目录

偏差和方差

欠拟合underfitting

过拟合overfitting

梯度消失和梯度爆炸

归一化

---

偏差和方差

偏差：算法期望预测和真实预测之间的偏差程度。反应的是模型本身的拟合能力。

方差：度量了同等大小的训练集的变动导致学习性能的变化，刻画了数据扰动导致的影响。

欠拟合underfitting

解决措施:

1.添加其他特征项(增大数据量)

2.添加多项式特征(增加网络层数，用更加复杂得模型)

3.减少正则化参数

过拟合overfitting

解决措施:

1.重新清洗数据

2.增大数据的训练量

3.采用正则化方法

4.采用dropout方法

         Vanilla dropout:训练时使用概率p丢弃某些神经元，测试时，让最后输出乘以(1-p)来保证期望一致。

         Inverted dropout:训练时使用概率p丢弃某些神经元，同时对该层的输出除以(1-p)，这样的话就不需要再测试阶段引入了。

  dropout有什么优点？有什么缺点?

  优点:阻止某些特征的协同作用，减小方差，防止过拟合，增强鲁棒性。因为如果模型对某些特征过拟合的话，训练的时候通过dropout使得这些容易拟合的特征出现的概率降低，减小因这个输入变化带来的对模型的影响

  缺点：会改变某些特征的分布，比如性别特征编码为{男->0,女->1}，当以概率p将女随机变为0的话，在一定程度上增加了男得概率(0.5+0.5*p)，这样得话就改变了性别特征得分布，最后测试阶段再通过乘以(1-p)并不能恢复原始数据分布；这个得解决方法是：上面这个例子应该从编码得角度解决，比如{男->1,女->2,未知->0}。

5.提前终止训练

6.减少网络层数，使用简单得模型

梯度消失和梯度爆炸

原理:

梯度消失:当网络层数很深时，如果梯度小于1，则会使得经过多层后向反馈时得梯度累乘远远小于1；

梯度爆炸:与梯度消失相反，当网络层数很深时，如果梯度大于1，则会使得经过多层后向反馈后得梯度累乘远远大于1；

解决措施：

1.激活函数得选择(使用Relu代替sigmoid，tanh等)

2.预训练+微调

3.使用batch normalization

公式:normalization(归一化)+scale-shift(反归一化)

    gamma*(x-E[x])/(sqrt(VAR[x]+e))+beta,其中E[x]为mini-batch mean, VAR[x]为mini-batch variance

    gamma(初始化为1)和beta(初始化为0)是可学习参数

为什么BN有效果?

    1)因为BN主要是将映射后数据进行归一化，这样对于sigmoid函数或tanh函数来说，能够使得数据分布在梯度较大得区域，同时加速收敛。

    2)由于BN中计算得是mini-batch mean和mini-batch variance，所以引入了一些noise,有一定正则作用

     mini-batch mean和mini-batch variance会带来noise，那如何缓解呢？

         训练过程中可以利用指数加权移动平均来累计mean和variance，这个得mean和variance接近all-batch

为什么BN归一化后还要有scale-shift操作?

这是利用神经网络自己去学习 归一化有没有效果，如果没有效果，则使用scale-shift操作来抵消归一化得作用。

BN改变了数据分布，为什么效果反而会更好？

1)虽然会改变数据分布，但是数据之间得关联性是不会变得。

2)由于有目标函数在，所以神经网络自己会朝着分布最优得方向去学习。

BN用在什么地方？

根据它起到得效果可知，一般用在全连接层+BN+激活函数

对于什么激活函数，BN效果更明显?

对于sigmoihe激活函数或者tanh激活函数，BN效果会好一些

BN中在训练和测试时怎么用?

训练中使用得是:计算每个mini-batch得数据

测试中使用得是:在训练过程中，通过指数加权移动平局来统计均值和方差，将这个值用于测试阶段计算。

BN缺点

1)小样本时，效果不好，均值和方差是有偏得

2)在RNN中效果通常不好--将不同batch得数据进行归一化，不符合句子内的语义更强的特点

BN和Dropout

Dropout为了平衡训练和测试的差异，会通过随机失活的概率来对神经元进行放缩，进而会改变其方差。如果再加一层BN，又将方差拉回至(0-1)分布，进而产生方差冲突。

处理方法:1.将dropout放在BN后；2.使用高斯dropout。

4.使用残差网络结构

5.使用LSTM网络

为什么LSTM比RNN更能解决梯度消失的问题?

因为在RNN中，BPTT的梯度是累乘形式，而RNN的输出中采用了tanh激活函数，所以会出现梯度消失问题；而LSTM的梯度除了累乘形式，还有累加形式，所以不容易出现梯度消失。

LSTM中用sigmoid激活函数，而不用ReLU激活函数的原因?

因为在LSTM中，忘记门和更新门是起筛选作用，所以需要0~1之间的至作为概率来进行筛选。

6.梯度剪切、权重正则

7.Layer normalization

公式:normalization(归一化)+scale-shift(反归一化)

gamma*(x-E[x])/(sqrt(VAR[x]+e))+beta,其中E[x]为mini-batch mean, VAR[x]为mini-batch variance

不需要额外维护一个对训练样本均值方差的统计，每次只需要在句子范围内计算即可

gamma(初始化为1)和beta(初始化为0)是可学习参数

归一化

机器学习为什么对数据进行归一化?

归一化的目的:

1.处理不同规模和量纲的数据，将其缩放到相同的数据区间和范围，以减少规模、特征、分布差异对模型的影响。

2.归一化加速GD求解最优解的速度。比如收敛路径呈Z字型，导致收敛太慢；

3.归一化可以提高精度。

机器学习什么情况下对数据进行归一化?

1.使用了梯度下降算法，如LR,SVM等。

2.计算样本点距离时，如KNN、K-Means等。

.....

机器学习什么情况下不需要归一化?

1.概率模型(决策树)不需要归一化

决策树不需要归一化:因为决策树分裂时是通过统计的方式寻找最优分裂点，并不是直接对数值进行拟合。

如何应用到训练集、测试集和验证集中？

由于测试集是未知的，所以测试集的归一化的均值和方差应该来源于训练集。验证集同理。

常用的归一化方法及适用情景

2.max-min法:容易受极端值的影响，一定程度上会破坏原有的数据结构；

3.z-score法:会改变原有数据的分布，不适合对稀疏数据做处理，不适合根据变量差异程度的聚类分析；

 

4.非线性归一化:log,exp,tanh,sigmoid等，取决于输入数据范围以及期望的输出范围。

5.length-one归一化:x/||x||这种处理用在不考虑向量大小而需要考虑向量方向的问题中，比如在一些文本情感的分类中，我们可能并不需要知道情感表达的强弱，而只要知道情感的类型，比如开心，生气等等。将特征转换为单位向量形式，可以剔除特征的强度的影响。

6.RobustScaler:适用于存在离群点的数据。

上述方法分析：在分类中，聚类算法，数据符合正态分布中，需要使用距离来度量相似性或者使用PCA降维时，z-score表现得较好。在不涉及距离测量，协方差计算，数据不太符合正态分布时，可以使用第一种方法或其他方法。

LR归一化问题，什么情况下可以不归一化，什么情况下必须归一化，为什么？

当数据分布比较集中时，可以不归一化

当数据分布比较分散时，需要归一化