不断改进网站建设,微网站建设云帆网络,网站开发如何设置视频教程,wordpress怎么改电子邮箱文章目录9.1模型调参9.1.1思考与总结9.1.2 基线baseline9.1.3SGD ADAM9.1.4 训练代价9.1.5 AUTOML9.1.6 要多次调参管理9.1.7复现实验的困难9.1模型调参
9.1.1思考与总结
1了解了baseline和调参基本原则 2了解了adams和sgd的优劣 3了解了训练树和神经网络的基本代价 4了解了a…
文章目录9.1模型调参9.1.1思考与总结9.1.2 基线baseline9.1.3SGD ADAM9.1.4 训练代价9.1.5 AUTOML9.1.6 要多次调参管理9.1.7复现实验的困难9.1模型调参
9.1.1思考与总结
1了解了baseline和调参基本原则 2了解了adams和sgd的优劣 3了解了训练树和神经网络的基本代价 4了解了autoML 5要多次调参管理 6复现试验的困难
9.1.2 基线baseline
选取一个好的超参数得到一个好的结果是比较花时间的过程
一般会从一个好的基线开始。一般工具包中都会存在极限 基线是什么 选一个质量比较高的工具包其中设了不错的参数虽然可能对我们的问题不算是最好的但是是一个不错的开始点 如果要做的东西是跟某些论文相关可以看看该论文里面的超参数是什么有些超参数跟特定的数据集有关这些超参数在一般的情况下都不错 有了比较好的起始点之后调整超参数后再重新训练模型再去看看验证集上的结果精度、损失 一次调一个值多个值同时调可能会不知道谁在起贡献 看看模型对超参数的敏感度是什么样子【没调好一个超参数模型可能会比较差但是调好了也只是到了还不错的范围】
9.1.3SGD ADAM
想对超参数没那么敏感的话可以使用比较好的模型【在优化算法中使用Adam(对有些超参数没那么敏感调参会简单很多)而不是SGD在比较小的区域比较好
9.1.4 训练代价 在小任务上很多时候已经可以用机器来做了到最后可能都是用机器来调参【人的成本在增加】 训练树模型在CPU上花10min 大概花$0.4 训练神经网络在GPU花1h左右 大概花$5 跟人比人大概花十天左右算法训练1000次调参数很有可能会打败人类90% 9.1.5 AUTOML AutoML在模型选择这一块做的比较好 超参数的优化HPO【比较通用】通过搜索的方法找到一个集合去调整模型的超参数 NASNeural architecture search【专注于神经网络】可以构造一个比较好的神经网络模型使得能够拟合我们的任务 每个年代都有最大的技术痛点当前AutoML可能是技术瓶颈。
9.1.6 要多次调参管理 每次调参一定要做好笔记【任何调过的东西最好将这些实验管理好】训练日志、超参数记录下来这样可以与之前的实验做比较也好做分享与自己重复自己的实验 最简单的做法是将log记录到txt上把超参数和关键性指标训练误差放在excel中【适合实验没有那么多的参数】 Tensorboardtensorflow开发的一个可视化工具 weightkbias允许在训练的时候用他们的API然后把实验记录下来后上传到他们的网页上就可以进行比较 9.1.7复现实验的困难 重复一个实验是非常难的 开发的环境用的硬件是什么、新旧GPU可能会有点不一样用的库的版本Python本身也要去注意 代码开发要做好版本控制可以将每个版本的代码放在同一个地方 需求的库也放在这里 要注意随机性改变了随机种子模型抖动比较大的话说明代码的稳定性不是很好【要避免换了个随机种子后结果浮动比较大。这样的话尝试能不能将不稳定的地方修改一下实在不行就将多个模型做ensemble】
