10 月 27 日(周六)上午,PaperWeekly 携手清华大学计算机系推出了计算未来轻沙龙第三期线下活动——揭秘 AutoML 技术。来自中国科学技术大学、中国科学院自己主动化研究所和探智立方的三位嘉宾,系统而深入地分享了他们各自在自己主动机器学习领域的最新研究进展。
本文将独家分享本期活动的完整视频回想和嘉宾课件下载。
吴开源 / 北京航空航天大学博士
吴开源,北京航空航天大学数学博士。眼下是探智立方(北京)科技有限公司算法project师。从事人工智能自己主动化平台算法研发。
DarwinML:基于图进化算法的自己主动机器学习
AutoML 技术能够降低模型设计过程中须要机器学习专业知识的手动操作,降低传统行业的进入门槛,让很多其它的社区开发人员方便地使用人工智能技术。
AutoML 技术近期得到学术界和工业界的越来越多的关注。
在这个讲座中,我们将介绍一种基于计算图的 AutoML 技术。利用计算图,能够灵活地表示各种复杂的 ML 模型。与 tree-based 和 stacking-based 等方法相比,基于计算图的方法能够提供了更大的搜索空间。我们引入了一种进化算法来搜索最佳的模型计算图,并设计对应的突变和遗传算子。
结合贝叶斯超參数优化。我们实现了机器学习的整个工作流程的自己主动化。在 PMLB 数据集上,与 TPOT,AutoStacker 和 AutoSklearn 相比,所提出的方法显示了更好的性能。
我们还将展示几个基于 DarwinML 平台的工业用户案例。
https://mmbiz.qpic.cn/mmbiz_jpg/VBcD02jFhgmmvuRPOz01L6PiasxYbKpwkNcBERa8IRutdLic2z8YKOia3rxxTicdxtea6P9yRttUN1EIuibTuYM8xpg/640" alt="640" />
罗人千 / 微软-中科大联合培养博士生
罗人千,微软亚洲研究院-中国科学技术大学联合培养博士生,眼下博士三年级在读。研究方向:机器学习、深度学习、机器翻译。
曾在 NIPS 上发表论文。
NIPS 2018:神经网络结构优化
神经网络搜索(Neural Architecture Search)是 AutoML 的一个分支。目标是针对给定的任务和数据。通过算法自己主动搜索出合适的深度神经网络结构。从而降低繁杂的人工设计过程。
当前的一些搜索方法有在离散空间里基于强化学习、进化算法等搜索更优的结构。
本次报告将介绍我们今年发表在 NIPS 上的工作 Neural Architecture Optimization。
本工作将神经网络结构映射到连续空间内。直接基于网络的性能这一目标进行优化。使得搜索过程更高效、使用资源更少,搜索得到的网络结构性能更好。
https://mmbiz.qpic.cn/mmbiz_jpg/VBcD02jFhgmmvuRPOz01L6PiasxYbKpwkYwK3r5znmb9SWhaZ2g173T2oWTWdmLDMmDDg2v3rcu8dveuNHT7SFw/640" alt="640" />
陈玉康 / 中国科学院自己主动化研究所硕士生
陈玉康。本科毕业于北京航空航天大学,曾赴加拿大约克大学、德国慕尼黑工业大学交流交换,先后在百度 IDL、地平线机器人实习。现为中科院自己主动化所模式识别方向硕士,眼下研究深度学习模型优化、模型压缩等方向。
基于进化算法和强化学习的网络结构搜索算法
深度神经网络逐渐替代了人工设计的特征。并在图像、语音、文本等领域不断超越传统算法。
然而。深度神经网络的兴起也带来了新的问题。良好神经网络的结构通常须要研究者在拥有丰富经验的情况下不断尝试,消耗大量的时间和计算资源来设计。而这样设计出来的网络结构通常情况下仍然存在着各种各样的问题,比方參数量大,精度低等等。因此,自己主动化的神经网络结构设计逐渐成为深度学习的进一步需求。
本报告将具体介绍我们提出的一种在进化算法框架下结合强化学习的神经网络结构搜索算法。本算法在消耗极少计算资源的情况下,在 CIFAR-10 和 ImageNet 等分类任务上取得了良好的效果。此外。我们还会讨论神经网络结构搜索方向的重点难点,以及未来的工作和趋势。
1 / 扫码关注
长按识别二维码。关注PaperWeekly
2 / 回复暗号
在PaperWeekly微信公众号后台
回复暗号181027
就可以获取视频和嘉宾课件
https://mmbiz.qpic.cn/mmbiz_gif/xuKyIMVqtF2cO2WSmiccOqL8YlIwp5Xv2cqdDp6ANbUt8yibCc1cgQQrPHLKhf73icQGHves57M2XMZLJxIhF0e7g/640?" alt="640? " />
让你的论文被很多其它人看到
怎样才干让很多其它的优质内容以更短路径到达读者群体,缩短读者寻找优质内容的成本呢? 答案就是:你不认识的人。
总有一些你不认识的人,知道你想知道的东西。PaperWeekly 也许能够成为一座桥梁,促使不同背景、不同方向的学者和学术灵感相互碰撞。迸发出很多其它的可能性。
PaperWeekly 鼓舞高校实验室或个人,在我们的平台上分享各类优质内容,能够是最新论文解读,也能够是学习心得或技术干货。我们的目的仅仅有一个,让知识真正流动起来。