网站备案号链接,做盈利网站怎么备案,福建搜索引擎推广方法,2018做网站的软件1.什么是梯度消失和梯度爆炸
梯度消失是指梯度在反向传播的过程中逐渐变小#xff0c;最终趋近于零#xff0c;这会导致靠前层的神经网络层权重参数更新缓慢#xff0c;甚至不更新#xff0c;学习不到有用的特征。
梯度爆炸是指梯度在方向传播过程中逐渐变大#xff0c;…1.什么是梯度消失和梯度爆炸
梯度消失是指梯度在反向传播的过程中逐渐变小最终趋近于零这会导致靠前层的神经网络层权重参数更新缓慢甚至不更新学习不到有用的特征。
梯度爆炸是指梯度在方向传播过程中逐渐变大权重参数更新变化较大导致损失函数的上下跳动导致训练不稳定
可以使用一些合理的损失函数如relu, leakRelu归一化处理batchnorm,确保神经元的输出值在合理的范围内
2.为什么需要特征归一化
因为特征之间的单位与尺度不同为了消除此间差异对每个维度等同看待防止尺度大的特征起决定性作用所以需要进行特征归一化使不同特征在数值范围和尺度上保持一致。
优点加快模型训练速度、提高模型性能、避免数值不稳定增强模型的泛化能力
平均值归一化
最大最小值归一化
标准化
3.什么是组合特征如何组合高阶特征 组合特征是指多个特征组合起来作为新的特征组合的方法有基本运算、聚合、聚合后进行基本运算等。
组合高阶特征可以对类别特征进行embedding嵌入、然后对特征实施FM因子分解机特征组合。
Embedding是一种将类别特征转换为低维稠密向量的技术。具体来说它将每个类别映射到一个固定维度的向量空间中
因子分解机FM是一种专门用于处理稀疏数据和特征组合的机器学习模型。它特别擅长处理类别特征的交互interaction和组合。FM的核心思想是 将每个特征包括类别特征的embedding表示为一个向量。 通过计算特征向量之间的内积点积捕捉特征之间的交互关系。
4.欧式距离与曼哈顿距离的区别
欧式距离是定义在欧几里得空间中两点之间的距离他具有明显的缺点是将样本不同属性之间的差别等同看待曼哈顿距离也叫城市区块距离是欧几里得空间上两点所形成的线段对轴产生的投影的距离总和
4.为什么一些场景使用余弦相似度而不是欧式相似度
余弦相似度指的是两个向量之间的角度关系并不关心他们的绝对值大小而欧式距离体现的是数值上的绝对差异
余弦相似度衡量的是两个向量之间的夹角只关注方向而不考虑向量的长度对向量的方向差异敏感但对长度不敏感
欧即里得距离衡量的是两个点在空间中的绝对距离关注的是向量的长度和位置
5.one-hot独热编码得作用是什么
将每个类别特征的取值转换为一个唯一的二进制向量其中只有一个位置的值为1其余位置的值为0。能够避免类别数据的序数关系提供稀疏的特征表示支持多类别特征的组合并且与大多数算法兼容。然而在处理类别数量较多的特征时需要考虑其维度爆炸和稀疏性问题
6.参数模型和非参数模型
在统计学中参数模型通常假设总体随机变量服从某一个分布该分布由一些参数确定比如正态分布由均值和方差确定在此基础上构建的模型称为参数模型,参数模型的形式和复杂度在训练之前已经确定模型的输出依赖于一组固定数量的参数.模型形式固定参数量有限训练速度块线性回归、逻辑回归、感知机所需样本量少、拟合快、复杂度低。
非参数模型对于总体的分布不做任何假设只是知道总体是一个随机变量其分布是存在的分布中也可能存在参数但是无法知道其分布的形式更不知道分布的相关参数只有在给定一些样本的条件下能够依据非参数统计的方法进行推断。非参数模型的形式和复杂度在训练过程中根据数据动态确定模型的输出不依赖于固定数量的参数。形式灵活参数不固定训练慢。K近邻算法SVM向量机高斯过程。所需样本量多、拟合慢、容易过拟合
7.L1和L2正则先验分别服从什么分布
L1:lasso回归拉普拉斯分布
L1正则化通过惩罚参数的绝对值使得模型参数倾向于稀疏化即很多参数会趋近于零。这种稀疏性可以帮助进行特征选择减少模型复杂度
L2:岭回归高斯分布L2正则化通过惩罚参数的平方使得模型参数的值保持较小但不会将参数完全置为零。这种正则化方法有助于平滑模型避免过拟合。
8.回归问题常用得模型评估方法
均方误差MSE预测值与实际值之差的平方的平均值。MSE的值越小表示模型的预测结果越接近实际值模型的性能越好。 均方根误差RMESE:均方误差MSE的平方根它衡量的是模型预测值与实际值之间的标准差。RMSE的值越小表示模型的预测结果越接近实际值模型的性能越好
和方误差SSEi1∑n(yi−y^i)2
平均绝对误差MAE:计算的是模型预测值与实际值之差的绝对值的平均值。
平均绝对百分比误差MAPE
决定系数表示模型解释的因变量的方差比例。R2的值介于0和1之间值越接近1表示模型对数据的拟合越好即模型解释的方差比例越高
