星河之洲

同上一篇，“优化”是指提高训练速度、降低训练时间 ，效果是指模型的评价指标结果。

1. profile会是你的好朋友。知道时间消耗在哪，是优化的第一步。
2. 较深的网络，因为梯度过度衰减，拟合速度会很慢，尤其在训练后期。深层网络模块，需要使用残差块连接输入和输出，把梯度传播到后方网络模块——门控残差连接更佳。
3. RNN和它的嫡系兄弟LSTM和GRU的序列长度，是另一个方向的深度，且RNN们不支持在该方向上并行处理。如果不是处理持续增长的序列数据，请考虑TCN、Attention等可替代模块。
4. 理性看待微调预训练模型，你的任务可能不需要那么大规模的模型；通用的预训练模型在垂直领域表现可能并不优秀。
5. 一个设计良好的小型模型的效果，远胜设计一般的大型模型。这可能是整篇最重要一条。
6. 在模型效果不能再提升时，优化几个超参数，再简单微调，也许可以把模型效果再提升一丢丢。
7. 拟合速度很慢的模型，很可能不是一个设计良好的模型，很难或者不可能取得期望的效果。
8. 池化层是免费（没有学习参数）的提取主要/平均特征的网络组件。
9. 文档中的重要信息，可能很不起眼。浏览文档时，往往因为文档上太多不需要的信息，而漏掉重要的信息。
10. 看起来“错误”的操作，可能并不影响结果。看起来“正确”的操作，可能导致模型效果意外下降。一切以最终结果为准。
11. 训练/验证/测试的准确率可能没有任何意义。原因可能是：训练/验证/测试数据出现一定程度的数据倾斜；训练/验证/测试数据分布与生产数据分布差异较大。

本文为过去近一个月，我跑PyTorch模型训练所获得的经验和教训。

本文所述“优化”是指提高训练速度、降低训练时间 ，效果是指模型的评价指标结果。

1. 检查每一个环节的输出。如果等训练完成才发现前面的环节有问题，那就白玩了。
2. 避免重复的、耗时的环节，以预处理缓存替代。
3. 不要让大批量训练数据耗尽内存。可以考虑利用LMDB等把数据缓存到文件系统。
4. 先用小批量数据验证速度和效果。
5. 如果模型效果离你预期的相差太远，尝试把模型加宽、加深，提高学习率。
6. 降低特征维度、降低模型复杂度是最好的优化方法。
7. 限制变长序列数据（文本）的最大长度——序列组的最大长度直接决定了矩阵的大小，间接决定了训练所耗内存（显存）和计算量。如果训练一般情况所占内存不多，但突然out of memory，很可能就是这个原因。
8. 文档所述的各种优化办法，很可能：不被你的硬件支持、运行不起来、没优化效果。但文档不会告诉你这些。事实上，把基本特性玩好，对大多数场景而言都足够了。
9. 保存每一个epoch的模型状态，下次加载最佳状态继续训练。这个方法的带来利好多多：方便白剽免费的训练资源、可以中断训练以调整参数或补充训练数据、让电脑下班休息……。
10. 小心for循环和列表生成式，这可能是最耗时的逻辑——尽可能批量处理。如果某场景不支持批量处理——很可能不是不支持，而是自己的知识储备不够。
11. 提高准确率的更好方法是：找出准确率较低的领域，补充该领域的训练数据；剔除训练数据中有问题的部分。

商品：

1. BILLY 毕利 / OXBERG 奥克伯，书柜，带玻璃门 白色/玻璃 40x30x237 厘米。货号：595.283.49。
2. FIXA 费克沙，螺丝和螺塞12件套 银色/灰色。货号：403.075.12。

工具：

1. T型棘轮螺丝刀。
2. 梯子。
3. 电锤，带6mm和8mm的钻头。

选购：

• 毕利书柜零件含上墙固定件，不含上墙螺丝。需要自己根据墙壁类型选购固定螺丝。混凝土墙需要膨胀螺丝。我选择了工作人员介绍的费克沙螺丝。
• 根据工作人员介绍，TRIXIG 缇克西电动螺丝刀/电钻，无论3.6V，还是12V，都不适合在混凝土墙上打孔。我选择了借用邻居的电锤。
• 四组595.283.49，市内运费229元，安装费用300多（含上门费一百多）。我选择了DIY安装。房子6楼电梯房，师傅到约定时间送货进门。

安装：

1. 按照说明书，把书柜(含加高件)组装起来。我把门、隔板的安装，放在上墙固定之后。
2. 把书柜立起来。书柜会自靠在墙上。
3. 上墙。这步最难，因为说明书上没介绍具体细节，网上也没经验分享。
   费克沙膨胀螺丝的膨胀管直径8mm、长度39mm，螺丝直径4.5mm、长度55mm。用8mm的钻头，在墙上打出深39mm的孔，再用6mm的钻头把孔加深到55mm。打孔时几个注意事项：a.注意钻头的旋转方向，错误的旋转方向会导致事倍功半，打出的孔也会过大。b.孔一定要有55mm深，即膨胀管和螺丝的最大长度。c.避开墙内的管线。