background-image: url("../pic/slide-front-page.jpg") class: center,middle exclude: FALSE # 统计学原理(Statistic) <!--- chakra: libs/remark-latest.min.js ---> ### 胡华平 ### 西北农林科技大学 ### 经济管理学院数量经济教研室 ### huhuaping01@hotmail.com ### 2025-04-07 <div> <style type="text/css">.xaringan-extra-logo { width: 110px; height: 70px; z-index: 0; background-image: url(../pic/logo/nwafu-logo-circle-wb.png); background-size: contain; background-repeat: no-repeat; position: absolute; top:0.2em;left:1em; } </style> <script>(function () { let tries = 0 function addLogo () { if (typeof slideshow === 'undefined') { tries += 1 if (tries < 10) { setTimeout(addLogo, 100) } } else { document.querySelectorAll('.remark-slide-content:not(.title-slide):not(.inverse):not(.hide_logo)') .forEach(function (slide) { const logo = document.createElement('div') logo.classList = 'xaringan-extra-logo' logo.href = null slide.appendChild(logo) }) } } document.addEventListener('DOMContentLoaded', addLogo) })()</script> </div> --- class: center, middle, duke-orange,hide_logo name: chapter exclude: FALSE # 第五章 相关和回归分析 ### [5.1 变量间关系的度量](#corl) ### [5.2 回归分析的基本思想](#concept) ### [5.3 OLS方法与参数估计](#ols) ### [.white[5.4 经典假设与OLS性质]](#nclrm) ### [5.5 假设检验](#hypothesis) ### [5.6 拟合优度与残差分析](#goodness) ### [5.7 回归预测分析](#forecast) ### [5.8 回归报告解读](#report) --- layout: false class: center, middle, duke-softblue,hide_logo name: nclrm # 5.4 经典假设与OLS估计性质 --- layout: true <div class="my-header-h2"></div> <div class="watermark1"></div> <div class="watermark2"></div> <div class="watermark3"></div> <div class="my-footer"><span>huhuaping@ &emsp;&emsp; <a href="#chapter"> 第05章 相关和回归分析 </a> &emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp;&emsp; <a href="#nclrm"> 5.4 经典假设与OLS估计性质 </a> </span></div> --- ## 仅仅利用OLS估计方法就足够了么？ 我们已经知道OLS方法的原理和基本特征。 **问题**是： - OLS方法凭什么能在其他众多拟合估计方法中“脱颖而出”？ - 要跨越“从样本推断总体”的巨大“鸿沟”，仅仅使用OLS方法就足够了么？ **答案**是： **OLS估计方法**，还需要**经典线性回归模型（CLRM）假设**的加持，二者“双剑合璧”才能真正完成“从样本推断总体”的逻辑证明过程。 --- ## CLRM：关于模型的假设 **CLRM假设1（模型是正确设置的）**：这里大有学问，也是一切计量分析问题的根本来源。 > 思考： > - 我们怎么知道自己设置的模型是“正确的”？ > - 我们有可能知道“正确的”模型么？ </br> **CLRM假设2（模型是参数线性的）**：模型应该是参数线性的，具体而言模型中**参数**和**随机干扰项**必须线性，变量可以不是线性。 `$$\begin{align} Y_i = \beta_1 + \beta_2X_i + u_i \end{align}$$` > 思考：为什么需要模型是“线性的”？ --- ### 课堂讨论 以下模型都是**线性的**： `$$\begin{align} Y_i &= \beta_1 + \beta_2 X_i + \beta_3 X_i^2 +u_i && \text{(quadratic polynomial)} \end{align}$$` `$$\begin{align} Y_i &= \beta_1 + \beta_2 X_i + \beta_3 X_i^2 + \beta_4 X_i^3 +u_i && \text{(cubic polynomial)} \end{align}$$` -- `$$\begin{align} Y_i &= \beta_1 + \beta_2 ln(X_i) +u_i && \text{(linear-log)} \\ \end{align}$$` `$$\begin{align} ln(Y_i) &= \beta_1 + \beta_2 X_i +u_i && \text{(log-linear)} \end{align}$$` -- `$$\begin{align} Y_i &= \beta_1 + \beta_2 \frac{1}{X_i} +u_i && \text{(reciprocal)} \end{align}$$` `$$\begin{align} Q_t &= AK_t^{\alpha}L_t^{\beta}u_t && \text{(Cobb-douglas)} \end{align}$$` --- ## CLRM：关于自变量X的假设 **CLRM假设3（自变量X是外生的）**：X是固定的（给定的）或**独立于**误差项。也即自变量X**不是**随机变量。 `$$\begin{align} Cov(X_i, u_i)= 0\\ E(u_i|X_i)= 0 \end{align}$$` 自变量 `\(X\)`是固定的（给定的）是什么含义？ - 其方差 `\(Var(X)\)`是有限的正数。 - 如X取值不能全部相同。如果全部X取值都一样，也即 `\(Var(X)=0\)`，则会形成什么样的散点图？ - 又例如回归系数估计值公式中分母为0，无法求解！ - X变量没有异常值(outlier)，即没有一个X值对于其他值过大或过小。 --- ## 课堂思考 X值固定不变现实么？ 为什么要假设这种情形？ 如果X是随机变量，仍旧坚持用OLS方法，得到的结果还是不变么？ --- ## 关于随机干扰项的假设1 **CLRM假设4（随机干扰项条件期望值为零）**：假设随机干扰项条件期望值为零。也即给定 `\(X_i\)`的情形下，假定随机干扰项 `\(u_i\)`的**条件期望**为零。 `$$\begin{align} E(u|X_i)= 0 \end{align}$$` <img src="../pic/chpt05-CLRM-mean0.jpg" width="454" style="display: block; margin: auto;" /> --- ## 关于随机干扰项的假设2 **CLRM假设5（随机干扰项的方差为同方差）**：随机干扰项的方差为同方差。也即给定 `\(X_i\)`的情形下，随机干扰项 `\(u_i\)`的方差，处处都是相等的。记为： `$$\begin{align} Var(u_i|X_i) & = E \left[ \left( u_i -E(u_i) \right)^2|X_i \right] \\ & = E(u_i^2|X_i) \\ & = E(u_i^2) \\ & \equiv \sigma^2 \end{align}$$` --- ### 随机干扰项的方差为同方差 <div class="figure" style="text-align: center"> <img src="../pic/chpt05-CLRM-homoscedasticity.png" alt="随机干扰项的方差处处相等" width="608" /> <p class="caption">随机干扰项的方差处处相等</p> </div> - 同方差性(homoscedasticity) ： `\(Var(u_i|X_i) \equiv \sigma^2\)` --- ### 随机干扰项的方差为异方差 <div class="figure" style="text-align: center"> <img src="../pic/chpt05-CLRM-heteroscedasiticity.png" alt="随机干扰项的方差随X取值不同而不同" width="599" /> <p class="caption">随机干扰项的方差随X取值不同而不同</p> </div> - 异方差性(heteroscedasticity) ： `\(Var(u_i|X_i) \equiv \sigma_i^2\)` --- ### 课堂讨论 讨论1: 如果 `\(Var(u_i|X_1) < Var(u_2|X_2)\)`，是否意味着来自 `\(X=X_1\)`的总体，相比来自 `\(X=X_2\)`的总体，更靠近总体回归线PRL? 讨论2：如何看待**随机样本**的质量？或者，那些离均值较近的Y总体的随机样本，与远为分散的Y总体的随机样本，前者是不是质量更好? 讨论3：此时， `\(Y_i\)`的条件方差 `\(Var(Y_i|X_i)\)`是多少？ `\(Y_i\)`的无条件方差 `\(Var(Y_i)\)`又是多少？ 讨论4：如果出现异方差，会对OLS估计产生什么后果？ --- ## CLRM：关于随机干扰项的假设3 **CLRM假设6（随机干扰项之间无自相关）**：各个随机干扰之间无自相关。也即给定两个不同的自变量取值（ `\(X_i,X_j;i \neq j\)`）情形下，随机干扰项 `\(u_i,u_j\)`的相关系数为0。或者说 `\(u_i,u_j\)`最好是相互独立的。 在 `\(X_i\)`为给定情形下，且 `\(i,j \in (1, 2, \cdots, n); i \neq j\)`，记为： `$$\begin{align} Cov(u_i, u_j|X_i,X_j) & = E \left[ \left( u_i -E(u_i) \right)\left( u_i -E(u_i) \right) \right] \\ & = E(u_iu_j) \\ & \equiv 0 \end{align}$$` --- ## CLRM：关于随机干扰项的假设3 重要概念区别： - 无**序列相关**(no serial correlatìon)： - 无**自相关**(no autocorrelation)： `$$\begin{align} Y_t &= \beta_1 + \beta_2X_t + u_t \\ Y_t & = \beta_1 + \beta_2X_{2t} + \beta_2X_{3t} + u_t \end{align}$$` --- ### 课堂讨论 .pull-left[ <div class="figure" style="text-align: center"> <img src="../pic/chpt05-CLRM-correlation.png" alt="随机干扰项之间的相关情形" width="486" /> <p class="caption">随机干扰项之间的相关情形</p> </div> ] .pull-right[ - 讨论1：该假设的目的和用处是什么？ - 讨论2：如果出现自相关，会对OLS估计产生什么影响？ ] --- ## CLRM：关于样本数的要求 **CLRM假设7（观测样本数假设）**：观测次数n，要大于待估计参数个数。否则方程无法解出，参数不能估计出来。 --- ## 关于CLRM假设体系的讨论 - 所有这些假设有多真实? > “假定无关紧要论”——弗里德曼 - 上述说有假设都是针对PRF，而不是SRF！ > 例如：PRF中随机干扰项有无自相关的假设 `\(Cov(u_i, u_j)=0\)`；但是在SRF中，可能就会出现 `\(Cov(e_i, e_j) \neq 0\)` - 前面提到的OLS方法正是试图“复制”CLRM的假设！ > OLS方法中， `\(\sum{e_iX_i}=0\)`，就类似于自变量X与随机干扰项不相关的假设（也即 `\(Cov(u_i,X_i)=0\)`）。 > OLS方法中， `\(\sum{e_i}=0,(\bar{e_i}=0)\)`，就类似于随机干扰项期望值为0的假设（也即 `\(E(u|X_i)=0\)`） --- ## 关于CLRM假设体系的讨论 **思考1**：CLRM假设本质上是在讨论什么？ -- > **回答**：数据是依据什么机制产生的？(data-generating process, DGP) - 我们手头只有 `\(n\)`个 样本数据对 `\((Y_i,X_i)\)`。 - 但是我们希望能得到对总体**参数集** `\(\Phi\)`的合理推断。 - 因此，如果不对总体回归模型（PRM）作任何假设的话，我们就没有更多的信息，来对总体参数集进行任何有价值的推断。 --- ## 关于CLRM假设体系的讨论 **思考2**：CLRM假设既然有很多地方明显不符合现实，那么我们可以**放宽**这些假设么？如果现实根本就是**违背**了CLRM假设，OLS方法又将何去何从？对于参数估计量的性质会造成致命性的打击么？ -- > **回答**：**放宽**CLRM假设和**违背**CLRM假设的后果是不同的。 - 如果只是**放宽**CLRM假设，则不会影响OLS方法的参数估计量的BLUE性质。 - 但是如果是**违背**了CLRM假设，则OLS方法的参数估计量的BLUE性质很可能无法保持！ --- ## OLS方法怎么就“天生丽质”了？ 我们已经知道了，OLS方法和CLRM假设“双剑合璧”下，参数估计量是最优线性无偏估计量（BLUE）。 .pull-left[ 问题是： - OLS拟合估计方法很有“特点”，是不是意味着它就很“优秀”呢？ - 我们怎么知道，OLS方法和CLRM假设“双剑合璧”就是所向披靡呢？ - 同样在CLRM假设下，有没有一种不同于OLS的其他估计方法，也是同样那么优秀，甚至更好呢？ ] .pull-right[ > 参数估计量的可能行为： <div class="figure" style="text-align: center"> <img src="../pic/chpt05-BLUE-demo-manu.png" alt="估计量的性质的一个图形说明" width="347" /> <p class="caption">估计量的性质的一个图形说明</p> </div> ] --- ## OLS方法怎么就“天生丽质”了？ 某种参数**估计方法**（如OLS方法），得到的**估计量**（如 `\(\hat{\beta}_2,\hat{\beta}_1, \hat{\sigma}^2\)`）是总体**参数**（如 `\(\beta_2, \beta_1, \sigma^2\)`）的**最优线性无偏估计量**（**B**est **L**inear **U**nbiased **E**stimate，**BLUE**）需要满足如下三个条件： - 线性的(Linear)：估计量是因变量 `\(Y_i\)`的线性函数。 - 无偏的(Unbiased)：**估计量**的均值或期望值（ `\(E(\hat{\beta}_i)\)`）等于**参数**的真值（ `\(\beta_i\)`）。 - 方差最小的（Best）：也即估计量是最有效的(Efficient)，是所有线性无偏估计量中有最小方差的那个估计量。 我们下面将证明：OLS方法在给定条件下就是那么“天生丽质”！ > - 用记号表达为： `\(\hat{\Phi} \text{ of} \overset{OLS}{\underset{CLRM}{\Longrightarrow}} \Phi \text{ is BLUE}\)` > - 以上表达读作：在经典详细回归模型假设下（CLRM），采用普通最小二乘法（OLS），得到参数 `\(\Phi\)`的估计量 `\(\hat{\Phi}\)`，是最优线性无偏估计量（BLUE）。 --- ## 高斯-马尔可夫定理(Gauss-Markov Theorem)： **高斯-马尔可夫定理**(Gauss-Markov Theorem)：在给定经典线性回归模型(CLRM)的假定下，最小二乘(OLS)**估计量**（如 `\(\hat{\beta}_2,\hat{\beta}_1,\hat{\sigma}^2\)`），在无偏线性估计量一类中，有最小方差，就是说它们是**总体参数**（如 `\(\beta_2, \beta_1, \sigma^2\)`）的**最优线性无偏估计量**(BLUE)。 课堂思考与讨论： -- - 讨论1：为什么最小二乘法（OLS）被计量学家奉为神明？还有其他选择吗？ - 讨论2：OLS得到的BLUE为到底有什么值得你称赞？ - 讨论3：OLS得到BLUE还需要CLRM假设以外的更多假设吗？(正态性？？) --- ## OLS方法最优线性无偏估计性质的证明 不同估计方法下两个估计量的抽样分布 .pull-left[ <img src="../pic/chpt05-BLUE-demo.png" width="304" style="display: block; margin: auto;" /> ] .pull-right[ - 图(a) **OLS方法**下估计量 `\(\hat{\beta}_2\)`是总体参数 `\(\beta_2\)`的一个**线性无偏估计量** - 图(b) **其他某种方法**下估计量 `\(\hat{\beta}_2^{\ast}\)`也是总体参数 `\(\beta_2\)`的一个**线性无偏估计量** - 图(c) 那么哪一个估计量（ `\(\hat{\beta}_2\)`还是 `\(\hat{\beta}_2^{\ast}\)`）更能为我们所接受呢？ - 讨论1：什么是抽样分布？ - 讨论2：怎样获得估计量分布？ - 讨论3：没有比OLS估计量更好的估计量吗？ ] --- ## CLRM假设下OLS估计量的性质1：线性性 **线性性**（Linearity）：是指 `\(\hat{\beta}_2\)`和 `\(\hat{\beta}_1\)`对 `\(Y_i\)`是线性的。 具体证明过程如下： **步骤1**：证明斜率系数估计量 `\(\hat{\beta}_2\)`对 `\(Y_i\)`是线性的。 `$$\begin{align} \hat{\beta}_2 & = \sum{k_iY_i} && \leftarrow \left[ k_i =\frac{x_i}{\sum{x_i^2}} \right] \\ \end{align}$$` 又因为 `\(k_i =\frac{x_i}{\sum{x_i^2}}\)`是不全为0的（为什么？），所以斜率系数估计量 `\(\hat{\beta}_2\)`对 `\(Y_i\)`是线性的。 --- ## CLRM假设下OLS估计量的性质1：线性性 详细证明（反证法）： - 假设 `\(H_0\)`： `\(k_i =\frac{x_i}{\sum{x_i^2}}= 0\)`，也即全为零。 - 则有： `\(x_i= X_i-\bar{X}=0\)`， - 则有： `\(X_i\)`处处等于 `\(\bar{X}\)`， - 也就意味着： `\(x_i\)`是一个不变的量（只有一个取值） - 因此，这是明显违背CLRM假设中关于自变量 `\(X_i\)`的设定（见前面）。 - 因此， `\(H_0\)`是显然不成立的，认为 `\(k_i\)`不能全为零。[证明完毕] --- ## CLRM假设下OLS估计量的性质1：线性性 **步骤2**：证明截距系数估计量 `\(\hat{\beta}_1\)`对 `\(Y_i\)`是线性的。 `$$\begin{align} \hat{\beta_1} & = \sum{w_iY_i} && \leftarrow \left[ w_i = \frac{1}{n} - k_i\bar{X} \right] \end{align}$$` 又因为 `\(w_i = \frac{1}{n} - k_i\bar{X}\)`是不全为0的（为什么？），所以斜率系数估计量 `\(\hat{\beta}_2\)`对 `\(Y_i\)`是线性的。 --- ## CLRM假设下OLS估计量的性质1：线性性 详细证明（反证法）： - 假设 `\(H_0\)`： `\(w_i = \frac{1}{n} - k_i\bar{X}= 0\)`，也即全为零。 - 则有： `\(\sum{w_i} = \sum{(\frac{1}{n} - k_i\bar{X})}=0\)`， - 则有： `\(1-\bar{X}\sum{k_i}=0\)`， - 又因为： `\(\sum{k_i} = \sum{\frac{x_i}{\sum{x_i^2}}=\frac{\sum{x_i}}{\sum{x_i^2}} }=0\)`， - 因此有： `\(1-0=0\)`，也即 `\(1=0\)` - 因此，这显然是错误的。 - 因此 `\(H_0\)`是显然不成立的，认为 `\(w_i\)`不能全为零。[证明完毕] --- ## CLRM假设下OLS估计量的性质2：无偏性 **无偏性**(Unbias)：**估计量**期望值（ `\(E(\hat{\beta}_i)\)`）等于**参数**的真值（ `\(\beta_i\)`）。 **步骤1**：证明斜率系数估计量 `\(\hat{\beta}_2\)`是无偏的，也即 `\(E(\hat{\beta}_2)= \beta_2\)`。 容易有： `$$\begin{align} \hat{\beta}_2 & = \sum{k_iY_i} && \leftarrow \left[ k_i =\frac{x_i}{\sum{x_i^2}} \right] \\ & = \sum{k_i(\beta_1 +\beta_2X_i +u_i)} \\ & = \beta_1\sum{k_i}+\beta_2\sum{k_iX_i} + \sum{k_iu_i}\\ & = 0 + \beta_2 +\sum{k_iu_i} \end{align}$$` --- ## CLRM假设下OLS估计量的性质2：无偏性 > （续前）因为有： `$$\begin{align} \sum{k_i} &= \sum{\frac{x_i}{\sum{x_i^2}}=\frac{\sum{x_i}}{\sum{x_i^2}} }=0 \\ \sum{k_iX_i} &= \sum{\left[ \frac{x_i}{\sum{x_i^2} }\cdot X_i \right]} = \frac{ \sum{x_iX_i}} {\sum{x_i^2}} = \frac{ \sum{x_i(x_i+ \bar{X})}} {\sum{x_i^2}} \\ &= \frac{ \sum{x_i^2}+\sum{x_i \bar{X}}} {\sum{x_i^2}} = \frac{ \sum{x_i^2}+\bar{X}\sum{x_i} } {\sum{x_i^2}} = 1 \end{align}$$` > 所以有： `$$\begin{align} \hat{\beta}_2 & = \beta_2 +\sum{k_iu_i} \\ E(\hat{\beta}_2) & = E(\beta_2 +\sum{k_iu_i}) = \beta_2 +E(\sum{k_iu_i}) \\ & = \beta_2 +\sum{\left[ k_iE(u_i) \right]} = \beta_2 \end{align}$$` ??? **[证明完毕]**！ --- ## CLRM假设下OLS估计量的性质2：无偏性 **步骤2**：证明截距系数估计量 `\(\hat{\beta}_1\)`是无偏的，也即 `\(E(\hat{\beta}_1)= \beta_1\)`。 > 容易有： `$$\begin{align} \hat{\beta_1} & = \sum{w_iY_i} && \leftarrow \left[ w_i = \frac{1}{n} - k_i\bar{X} \right] \\ & = \sum{w_i(\beta_1 +\beta_2X_i +u_i)} \\ & = \beta_1\sum{w_i} + \beta_2\sum{w_iX_i} + \sum{w_iu_i}\\ & = \beta_1 + 0 +\sum{k_iu_i} \end{align}$$` --- ## CLRM假设下OLS估计量的性质2：无偏性 > （续前）因为有： `$$\begin{align} &\sum{w_i} = \sum{ \left[ \frac{1}{n} - k_i\bar{X} \right]} = 1- \bar{X}\sum{k_i} = 1 \\ & \sum{w_iX_i} = \sum{\left[ \left( \frac{1}{n} - k_i\bar{X} \right) \cdot X_i \right] } = \sum{\left( \frac{X_i}{n} - \bar{X} k_i X_i \right) } = \bar{X} -\bar{X}\sum{( k_i X_i) } = 0 \end{align}$$` > 所以有： `$$\begin{align} \hat{\beta}_1 & = \beta_2 +\sum{w_iu_i} \\ E(\hat{\beta}_1) & = E(\beta_1 +\sum{k_iu_i}) \\ & = \beta_1 +E(\sum{k_iu_i}) \\ & = \beta_1 +\sum{\left[ k_iE(u_i) \right]} \\ & = \beta_1 \end{align}$$` **[证明完毕]**！ --- ## CLRM假设下OLS估计量的性质3：方差最小性 **方差最小性**（Best）：也即估计量是最有效的(Efficient)，是所有线性无偏估计量中，方差为最小的那个估计量。 > 证明： - 已知估计量 `\(\hat{\beta}_2\)`和 `\(\hat{\beta}_1\)`的**总体方差**分别是： `$$\begin{align} Var(\hat{\beta}_2) \equiv \sigma_{\hat{\beta}_2}^2 &=\frac{\sigma^2}{\sum{x_i^2}} \\ Var(\hat{\beta}_1) \equiv \sigma_{\hat{\beta}_1}^2 &=\frac{\sum{X_i^2}}{n} \cdot \frac{\sigma^2}{\sum{x_i^2}} \end{align}$$` --- ## CLRM假设下OLS估计量的性质3：方差最小性 假设存在用其他方法估计的线性无偏估计量 `\(\hat{\beta}_2^{\ast}\)`和 `\(\hat{\beta}_1^{\ast}\)`： `$$\begin{align} \hat{\beta}_2^{\ast} = \sum{\left[ (k_i + d_i)Y_i \right]} = \sum{c_iY_i}\\ \hat{\beta}_1^{\ast} = \sum{\left[ (w_i + g_i)Y_i \right]} = \sum{h_iY_i} \end{align}$$` 其中， `\(d_i\)`和 `\(g_i\)`为不全为零的常数（证明略），则可以证明（此处略）： `$$\begin{align} Var(\hat{\beta}_2^{\ast} ) \geq Var(\hat{\beta}_2) \\ Var(\hat{\beta}_1^{\ast}) \geq Var(\hat{\beta}_1) \end{align}$$` 因此，方差最小性得以证明！ --- ## 关于OLS估计量性质的小结 评价不同估计方法的**参数估计量性质**，一般是从线性的(Linear)、无偏性(Unbiased)和有效性（方差最小性，Best）三个维度来共同测量。 OLS估计方法，在CLRM假设下，其参数估计量很好地满足如上三个性质，因此我们称OLS方法估计的参数估计量是最优线性无偏估计量（BLUE）。 --- ## 关于OLS估计量性质的思考 关于OLS估计量**有效性**（方差最小性，best）的证明过程你满意么？你能不能自己查阅资料证明一下？找到自己满意的证明过程！ > 参考答案：建议参阅Greene的《计量经济分析》，他采用的矩阵方法做了完美的证明！ 还有没有**其他维度**来评价不同估计方法的**参数估计量性质**？ > 参考答案：还可以从“一致性”（consistency）维度来评价，主要考察参数估计量的**渐进性质**，也即在样本不断接近总体时估计量的表现。 使得参数估计量具备BLUE性质，仅有OLS方法么（独孤求败）？你能说出一个么？ --- ## 经典正态线性回归模型假设（N-CLRM） **经典正态线性回归模型**(classical normal linear regression model , N-CLRM)：在经典线性回归模型(CLRM)假设中再增加干扰项 `\(u_i\)`服从正态性的相关假设。 - 均值为0： `\(E(u|X_i)=0\)` - 同方差： `\(Var(u_i|X_i) \equiv \sigma^2\)` - 无自相关： `\(E(u_i,u_j|X_i)=0\)` - 正态性分布： `\(u_i \sim N(0, \sigma^2)\)` 以上几条也可以统写为： `\(u_i \sim iid. \ N(0, \sigma^2)\)` 其中，iid表示独立同分布(Independent Identical Distribution, iid)。 --- ## N-CLRM假设下OLS估计量的性质 在N-CLRM假设下，OLS估计量有如下统计性质： - 性质1：无偏性 - 性质2：有效性（方差最小） - 性质3：一致性（收敛到它们的总体参数上） --- ## N-CLRM假设下OLS估计量的性质 - 性质4：估计量 `\(\hat{\beta}_2\)`是正态分布的： `$$\begin{align} \hat{\beta}_2 & \sim N(\mu_{\hat{\beta}_2}, \sigma^2_{\hat{\beta}_2}) \\ \mu_{\hat{\beta}_2} & = E(\hat{\beta}_2) = \beta_2 \\ \sigma^2_{\hat{\beta}_2} & = \frac{\sigma^2}{\sum{x_i^2}} \end{align}$$` 随机变量 `\(Z_2\)`服从标准正态分布： `$$\begin{align} Z_2 &=\frac{\hat{\beta}_2- \beta_2}{\sigma_{\hat{\beta}_2}} \sim N(0,1)\\ \mu(Z_2) & = E(\hat{\beta}_2- \beta_2) =0 \\ \sigma_{Z_2}^2 & = Var \left( \frac{\hat{\beta}_2- \beta_2 }{\sigma_{\hat{\beta}_2}} \right)= \frac{Var(\hat{\beta}_2)}{\sigma^2_{\hat{\beta}_2}} =1 \end{align}$$` --- ## N-CLRM假设下OLS估计量的性质 - 性质5：估计量 `\(\hat{\beta}_1\)`是正态分布的： `$$\begin{align} \hat{\beta}_1 & \sim N(\mu_{\hat{\beta}_1}, \sigma^2_{\hat{\beta}_1}) \\ \mu_{\hat{\beta}_1} & = E(\hat{\beta}_1) = \beta_1 \\ \sigma^2_{\hat{\beta}_1} & = \frac{\sum{X_i^2}}{n} \cdot \frac{\sigma^2}{\sum{x_i^2}} \end{align}$$` 随机变量 `\(Z_1\)`服从标准正态分布： `$$\begin{align} Z_1 &=\frac{\hat{\beta}_1- \beta_1}{\sigma_{\hat{\beta}_1}} \sim N(0,1)\\ \mu(Z_1) & = E(\hat{\beta}_1- \beta_1) =0 \\ \sigma_{Z_1}^2 & = Var \left( \frac{\hat{\beta}_1- \beta_1 }{\sigma_{\hat{\beta}_1}} \right)= \frac{Var(\hat{\beta}_1)}{\sigma^2_{\hat{\beta}_1}} =1 \end{align}$$` --- ## N-CLRM假设下OLS估计量的性质 <img src="../pic/chpt05-N-CLRM.png" width="2043" style="display: block; margin: auto;" /> --- ## N-CLRM假设下OLS估计量的性质 - 性质6： `\(X \equiv (n-2)\hat{\sigma^2}/\sigma^2\)`服从自由度为 `\((n-2)\)`的卡方分布。 `$$\begin{align} X & \equiv (n-2)\hat{\sigma}^2/\sigma^2 \\ X & \sim \chi^2(n-2) \end{align}$$` - 性质7：随机变量 `\((\hat{\beta}_2, \hat{\beta}_1)\)`的分布独立于随机变量 `\(\hat{\sigma}^2\)` - 性质8：估计量 `\((\hat{\beta}_2, \hat{\beta}_1)\)`在所有无偏估计中，无论是线性还是非线性，都有最小的方差。也即，它们是最有无偏估计量（**B**est **U**nbiased **E**stimators, **BUE**）。 --- ## 关于N-CLRM的几点小结 **核心观点**： 除了关心参数估计量的性质（是否BLUE），我们还需要关注：参数估计量作为一个**随机变量**，会服从什么概率分布？这样才会为后面的**假设检验**提供基础！它将成为完成“由样本推断总体”逻辑分析的最后一个台阶，也是最重要的一个环节之一！ N-CLRM假设体系，是在CLRM假设基础之上，额外再增加了一条关于随机干扰项服从**正态分布**的假设。基于此，我们可以推断得到回归系数估计量也将服从正态分布，从而进一步可以构造出很多有用的**样本统计量**，例如后面要学的**t统计量**、**F统计量**等。 --- ## 关于N-CLRM的思考与讨论 你能说出现实中，随机干扰项 `\(u_i\)`服从其他概率分布的情形？ > 参考答案：显然，现实社会现象中有很多不服从正态分布的情形，比如t分布、二项分布等。 如果随机干扰项确实**不服从**正态分布，OLS方法+CLRM假设还能那么“天生丽质”、那么“无往不利”么？ > 参考答案：事实上，我们并不需要随机干扰项服从正态分布这条**强假设**。即时不服从正态分布，**中心极限定理**和**大数定理**也照样能保证OLS方法的有效性！ --- layout:false background-image: url("../pic/thank-you-gif-funny-little-yellow.gif") class: inverse,center # 本节结束