统计学 多元线性回归

多元线性回归模型

多元线性回归模型：设因变量为 $y$ ，$k$ 个自变量分别为 $x_1$ ，$x_2$ ，$\cdots$ $x_k$ ，一般表示形式为：
$$y={\beta }_0+{\beta }_1{x}_1+{\beta }_2{x}_2+\cdots +{\beta }_k{x}_k+\epsilon$$
这里对误差项 $\epsilon$ 同样有三个基本的假定：

• 正态性：$\epsilon$ 是一个服从期望为 0 的正态分布的随机变量，意味着给定 $x_1$ ，$x_2$ ，$\cdots$ $x_k$ 的值，$y$ 的期望值为 $E(y)={\beta }_0+{\beta }_1{x}_1+\cdots +{\beta }_k{x}_k$ ；
• 方差齐性：对于自变量 $x_1$ ，$x_2$ ，$\cdots$ $x_k$ 的所有值，$\epsilon$ 的方差 ${\sigma }^2$ 都相同 ；
• 独立性：对于自变量 $x_1$ ，$x_2$ ，$\cdots$ $x_k$ 的不同值，$\epsilon$ 之间相互独立

最小二乘法：根据残差的平方和最小，估计多元回归模型中的参数 ${\hat{\beta }}_0$ ，${\hat{\beta }}_1$ ，$\cdots$ ${\hat{\beta }}_k$ ：
$$Q=\sum (y_i-{\hat{y}}_i{)}^2=\sum (y_i-{\hat{\beta }}_0-{\hat{\beta }}_1{x}_1-\cdots -{\hat{\beta }}_k{x}_k{)}^2=\min$$
标准化回归方程：在计算最小二乘法前，对因变量和各个自变量进行标准化处理，再计算回归方程，其中标准化回归系数记作 $\bar{\beta }$ ；比较不同的 ${\bar{\beta }}_i$ 我们可以得到对因变量来说最重要的变量

拟合优度

拟合优度主要由多重决定系数或估计标准误差等统计量来评价。
多重决定系数：同样将总平方和分解为回归平方和加误差平方和：
$$SST=\sum (y_i-\bar{y}{)}^2=SSR+SSE=\sum (\widehat{y_i}-\bar{y}{)}^2+\sum (y_i-\widehat{y_i}{)}^2$$
多重决定系数 $R^2$ 为：
$$R^2=\frac{SSR}{SST}$$
多重决定系数表示因变量 $y$ 的总变差中被多个自变量所解释的比例；在多元线性回归中，自变量的个数将会影响到因变量中被估计回归方程所揭示的变差数量。即使再增加一个新的自变量，该自变量在统计上并不显著，也会导致多重决定系数 $R^2$ 增大，因此我们引入调整的多重决定系数 $R_a^2$ ：
$$R_a^2=1-(1-R^2)\times \frac{n-1}{n-k-1}$$
其中 $n$ 为样本数量，$k$ 为自变量的个数；这样调整过后的多重决定系数总会小于原来的系数，不会因为自变量的个数增加而导致 $R^2$ 越来越接近于 1；所以实际当中一般使用调整过后的多重决定系数进行评价。

估计标准误差：即残差平方和的平方根，是对误差项 $\epsilon$ 的标准差 $\sigma$ 的一个估计值：
$$s_e=\sqrt{\frac{\sum (y_i-{\hat{y}}_i{)}^2}{n-k-1}}=\sqrt{\frac{SSE}{n-k-1}}$$
$s_e$ 可解释为，根据自变量 $x_1$ ，$x_2$ ，$\cdots$ $x_k$ 来预测因变量 $y$ 时的平均预测误差

显著性检验

线性关系检验

线性关系检验：检验因变量 $y$ 与 $k$ 个自变量之间的关系是否显著，也称为总体显著性检验：

① 提出假设：

• $H_0$ ：${\beta }_1={\beta }_2=\cdots ={\beta }_k=0$ （因变量 $y$ 与 $k$ 个自变量之间的关系不显著）
• $H_1$ ：${\beta }_i$ 中至少有一个不为 0（因变量 $y$ 与 $k$ 个自变量之间的关系显著）

② 计算检验统计量（$F$ 检验）：
$$F=\frac{SSR/k}{SSE/(n-k-1)}=\frac{MSR}{MSE}\sim F(k,n-k-1)$$
③ 作出决策，算出 $P$ 值，根据显著性水平 $\alpha$ 决定是否拒绝原假设

回归系数检验

回归系数检验：判断每个自变量对因变量的影响是否都显著，需要对每个回归系数 ${\beta }_i$ 进行 $t$ 检验：

① 提出假设：

• $H_0$ ：${\beta }_i=0$ （$x_i$ 对 $y$ 的影响不显著）
• $H_1$ ：${\beta }_i\ne 0$ （$x_i$ 对 $y$ 的影响显著）

② 计算检验统计量 $t$ ：
$$t_i=\frac{{\hat{\beta }}_i}{s_{{\hat{\beta }}_i}}\sim t(n-k-1)$$
其中 $s_{{\hat{\beta }}_i}$ 是回归系数 ${\hat{\beta }}_i$ 的抽样分布的标准差，计算公式为：（$x_{j.i}$ 代表第 $j$ 组自变量中的第 $i$ 个自变量，即每一组中的第 $i$ 个自变量）
$$s_{\widehat{{\beta }_i}}=\frac{s_e}{\sqrt{\sum (x_{j.i}-{\bar{x}}_i{)}^2}}$$

多重共线性及其处理

多重共线性的问题

多重共线性：回归模型中两个或两个以上的自变量彼此相关

① 若 $k$ 个自变量之间存在高度相关时，有可能造成某一个或几个回归系数通不过检验，但并不意味着没通过检验的那些自变量对因变量的影响就不显著，只是这些相关的自变量提供了多余的信息。例如通过了 $F$ 检验但某些回归系数没有通过 t 检验，并不代表没有通过 t 检验的自变量对因变量的影响不显著，可能只是它的贡献与其他自变量的贡献重叠了；

② 多重共线性可能对回归系数的符号造成影响，有可能几个相关的自变量中，某些自变量的回归系数较大，导致另一些自变量要抵消一部分作用所以回归系数算出来是负的，但是并不意味着它们与因变量是负相关的关系；

多重共线性的识别与处理

识别方法：

① 对模型中各自变量之间的相关系数进行显著性检验，若存在某些自变量是显著相关的，那么可能存在多重共线性；

② 考察各回归系数的显著性，若通过 $F$ 检验，而几乎所有的回归系数都没有通过 t 检验，那么就可能存在多重共线性

③ 分析回归系数的正负号，如果回归系数的正负号与预期（现实经验）相反，那么就可能存在多重共线性

④ 计算容忍度和方差扩大因子（VIF）来识别共线性：
$$\begin{gathered} tolerance=1-R_i^2 \\ VIF=\frac{1}{1-R_i^2}=\frac{1}{tolerance} \end{gathered}$$
其中 $R_i^2$ 代表将第 $i$ 各自变量看作因变量，其他 $k-1$ 个自变量对其造成影响的决定系数；容忍度越小，方差扩大因子越大（大于5或10），多重共线性越严重；

处理方法：

① 将一个或多个相关的自变量从模型中剔除，使得自变量之间尽量不相关

② 如果要在模型中保留所有自变量，则要避免对单个回归系数进行 t 检验，并且将对因变量 $y$ 值的推断限定在自变量样本的范围内

③ 在建立模型之前有选择地确定进入模型的自变量

变量选择

在多重共线性的处理中，变量选择是有效方法。在建立多元线性回归模型时，不要试图引入更多的自变量，除非确实有必要。选择自变量的原则是：将某个自变量引入回归模型时，应当使残差平方和（SSE）有显著的降低，否则就没有必要。

变量选择的主要方法有：向前选择、向后剔除、逐步回归

向前选择：从没有自变量开始，按照步骤逐步选择自变量；特点是被选择的自变量不会再被剔除。

• 分别拟合因变量 $y$ 与 $k$ 个自变量的一元线性回归模型，找到 $F$ 统计量最大（$P$ 值最小，代表线性关系越显著）的模型对应的自变量 $x_i$ ，将其引入模型；
• 分别拟合因变量 $y$ 与 $k-1$ 个新的自变量 $x_i+x_1,x_i+x_2,\cdots ,x_i+x_k$ 进行一元线性回归的 $F$ 检验，找到 $F$ 统计量最大（$P$ 值最小，代表线性关系越显著）的模型对应的自变量 $x_j$ ，将其引入模型；
• 重复，直到满足某种条件：达到预设的变量数量；达到预设的显著性水平；达到算法的最大迭代次数；模型预测性能（SSE）不能再提升

向后剔除：从完整模型开始，按照步骤逐步剔除自变量；特点是被剔除的自变量不会再进入模型。

• 计算完整的多元回归模型；
• 分别拟合因变量 $y$ 与剔除每一个自变量、保留剩下的 $k-1$ 个自变量时的回归模型，挑出 $F$ 统计量最大（$P$ 值最小 / SSE 增加最少）的模型，则保留该模型的 $k-1$ 个自变量；
• 重复，直到满足某种条件：达到预设的变量数量；达到预设的显著性水平；达到算法的最大迭代次数；模型预测性能（SSE）不能再提升

逐步回归：结合前两种方法：开始时与向前选择法相同，但增加一个自变量后，要对模型中所有自变量进行考察，若有些自变量对模型的影响变得不显著，则将其剔除，直到增加变量已经不能导致 $SSE$ 显著减少。特点是加入模型的自变量也可能被剔除，被剔除的自变量也可能重新加入模型中。

利用回归方程进行预测

书上没给公式耶，因为比较复杂，但是跟一元线性回归一样，可以进行点估计、平均值的置信区间估计和个别值是预测区间估计。可以借助软件来完成。

哑变量回归

哑变量：又称虚拟变量，即代码化的定性自变量（一位热键，OneHotEncode）；如果定性自变量又 $k$ 个水平，需要在回归模型中引入 $k-1$ 个哑变量：
$$x_1=\{\begin{array}{ll}1& 水平1\\ 0& 其他水平\end{array}{x}_2=\{\begin{array}{ll}1& 水平2\\ 0& 其他水平\end{array}\cdots x_{k-1}=\{\begin{array}{ll}1& 水平k-1\\ 0& 其他水平\end{array}$$
只有一个定性自变量且处理有两种（不论数值自变量有几种）的情况，例如性别用 1 和 0 编码，那么 ${\beta }_0$ 总是代表哑变量值 0 所对应的那个类别变量水平的平均值，而 ${\beta }_i$ （即定性自变对应的回归系数）总是代表哑变量值 1 所对应的那个类别变量水平的平均值与哑变量值 0 所对应的那个类别变量水平的平均值的差值。