机器学习策略篇:详解为什么是ML策略?(Why ML Strategy?)

时间:2024-02-23 09:52:50

为什么是ML策略?

从一个启发性的例子开始讲,假设正在调试的猫分类器,经过一段时间的调整,系统达到了90%准确率,但对的应用程序来说还不够好。

可能有很多想法去改善的系统,比如,可能想去收集更多的训练数据吧。或者会说,可能的训练集的多样性还不够,应该收集更多不同姿势的猫咪图片,或者更多样化的反例集。或者想再用梯度下降训练算法,训练久一点。或者想尝试用一个完全不同的优化算法,比如Adam优化算法。或者尝试使用规模更大或者更小的神经网络。或者想试试dropout或者\(L2\)正则化。或者想修改网络的架构,比如修改激活函数,改变隐藏单元的数目之类的方法。

当尝试优化一个深度学习系统时,通常可以有很多想法可以去试,问题在于,如果做出了错误的选择,完全有可能白费6个月的时间,往错误的方向前进,在6个月之后才意识到这方法根本不管用。比如,见过一些团队花了6个月时间收集更多数据,却在6个月之后发现,这些数据几乎没有改善他们系统的性能。所以,假设的项目没有6个月的时间可以浪费,如果有快速有效的方法能够判断哪些想法是靠谱的,或者甚至提出新的想法,判断哪些是值得一试的想法,哪些是可以放心舍弃的。

很多大学深度学习课程很少提到这些策略。事实上,机器学习策略在深度学习的时代也在变化,因为现在对于深度学习算法来说能够做到的事情,比上一代机器学习算法大不一样。希望这个篇幅的策略能帮助提高效率,让你们的深度学习系统更快投入实用。