绝大多数內容参照自《Machine Learning Yearning》
Bias 和 Variance
误差(bias)就是指优化算法在训练集上的误差，也就是差错率，不正确越大偏差越大，欠拟合
标准差（variance）就是指优化算法在开发设计集（或检测集）上的表現比训练集算差是多少，还可以解释为多重共线性，主要表现 为训练集准确率很高，检测集在的准确率很低
可防止误差和难以避免误差
误差能够分成2个一部分，包含可防止误差和难以避免误差
怎样看待：假定目前一个各种奇珍动物识别技术，每日任务困难大，就算由人们来区别，也存有14%的差错率(最佳差错率)
如今优化算法做到：
训炼差错率=15%
开发设计差错率=30%
能够将训炼差错率(误差)溶解以下：
最伏差错率(“难以避免误差”)：14%，能够将其以为是学习培训优化算法的误差“难以避免”的一部分。
可防止误差：1%。即训炼差错率和最伏误差中间的误差。
举个事例，该事例中最佳差错率是 14%，大家有：
● 训炼偏差 = 15%
● 开发设计偏差 = 16%
i这类情形下，可规避的误差偏差是 1%，标准差偏差约为 1%。因而，优化算法早已做的很好啦，基本上沒有提高的室内空间。它只比最好差错率低 2%
怎样设置期待误差
应用人们主要表现水准来可能最佳差错率，并设定可实现的“期待差错率”。 假定你的计算方法在某一每日任务上做到了 10% 的偏差，但平常人能够做到的偏差是 2% . 从而大家就可以了解最佳差错率是 2% 或更低，这也说明可防止误差最少是 8% . 因此你理应试着一下减少误差的技术性。更一般地说，有一个有效可达到的“期待差错率”能够幫助你来可能学习培训优化算法的可防止误差。这相反也帮你决策能否应用偏差减少技术性
误差和标准差的几类情形和解决方法
1）假定训练集差错率1%，开发设计集差错率10%，则样本方差大，多重共线性
-
改动实体模型构架
减少实体模型经营规模（例如神经细胞/层的总数），减少互联网复杂性
-
提升正则化
-
L 1 Regularization
-
L 2 Regularization
-
Dropout层
-
-
加上Batch Normalization
-
添加提早停止（Early stopping）
-
实体模型复位
-
根据数据预处理降低键入特点的数目和类型
-
特点特征提取
-
依据误差分析改动特点
-
检验训炼数据和数据测试是不是有比较应的特点，样本分布是不是一致，不一致的情况下，再次特征工程工作中
-
提升训炼信息的类型，促使训炼数据信息遮盖全部数据测试的特应用数据增强
-
提升信息量
2）假定训炼差错率为15%，开发设计差错率为16%，这个时候，误差较为大，欠拟合
-
提升训炼epoch
-
增大batch-size
-
调节激活函数(比如应用relu)
-
调节蚁群算法
-
比如应用Adam
-
增大learning rate
-
-
提升互联网复杂性
-
提升传输层数
-
提升卷积层輸出的安全通道数
-
提升池化层的结点数
-
-
检验训炼数据和数据测试是不是有比较应的特点
-
提升训炼信息的类型，促使训炼数据信息遮盖全部数据测试的特点，
-
提升外界数据，假如担忧外界数据环境污染training set，能够将外界数据的权重值降低一点
-
数据增强
-
3）假定训炼差错率为15%，开发设计差错率为30%，高误差，高标准差
这个时候，先要处理误差难题，仅有在训练集上逐渐收敛性了，才可以逐渐考虑到检测集在的标准差难题。因而碰到这样的状况，先依照高误差处理，高误差处理以后，或许很有可能高标准差的现象也就消失了，要是没有消退，在考虑到处理高标准差的难题。
4）假定训炼差错率为0.5%，开发设计差错率为1%，低误差，低标准差（极致情况）
5）假定训炼差错率为0.5%，开发设计差错率为1%，低误差，低标准差，可是开发设计集loss在底点不断波动
-
确定训练集和检测集遍布是不是具有很大的差别，差别大得话开展特征工程
-
确定是不是数据增强做的太多了
-
试着调节学习率，在不一样环节应用无需学习率
-
思索和检查网络是不是或是有点儿欠拟合，假如也有，处理欠拟合
-
寻找大量训炼数据信息，使其可以遮盖较多的样本分布
实体模型调参Pipeline
-
设置固定不动随机种子
-
先不必应用数据增强
-
设定合理性的baseline
-
多重共线性一个batch，随后观查loss最少能够抵达是多少，比照baseline，假如能抵达很低，开展下一步，假如不好，则考虑到 状况2）
-
制作training和testing 环节的loss曲线图
-
认证loss函数
-
假如train loss 小
-
假如test set 的loss 大，而train set 的loss小，表明多重共线性，应用状况1）处理
-
假如test set的loss 也小，那麼大部分算得上成功了
-
假如test set 的 loss 也小，可是波动，应用 状况5）处理
-
-
假如train loss 大
进到流程2）
-
已优化模型怎样进一步提高
-
优化网络构造，应用更快的backbone
-
应用更快的LOSS涵数，例如：回归问题能够考虑到smooth-l1等
-
考虑到应用难例发掘的方式
-
有标准得话，加大batchsize
-
考虑到预训练模型
-
观查检测样版，搜索case，对于Case来，填补样版 数据增强
-
试着不一样的提升涵数，更替训炼，fine-tuning
-
不一样的权重值复位方式
-
试着不一样的学习率初值和衰减系数值
-
考虑到在梯度方向上下功夫，能够是梯度方向剪裁、梯度方向校检、梯度方向归一化等方式
-
再次特征工程（通常最有效）
