第五讲OLS的渐进性
《第五讲OLS的渐进性》由会员分享，可在线阅读，更多相关《第五讲OLS的渐进性（40页珍藏版）》请在文档大全上搜索。
1、第第五章五章：OLS的渐进性的渐进性( (OLS Asymptotics ) )5.1 一致性5.2 渐近正态和大样本推断5.3 OLS的渐进有效性第一节第一节 一致性一致性(consistency)一、一、一致性的含义一致性的含义 令令Wn是基于样本是基于样本y1,y2yn的关于参数的关于参数的估计量，的估计量，如果对任意如果对任意0，当，当n时，时，Pr(|Wn|)0，Wn就是就是的一个的一个一致估计量一致估计量(consistent estimator)。当。当Wn具有一具有一致性时，我们也称致性时，我们也称为为Wn的概率极限的概率极限(probability limit of Wn)，
2、记作，记作Plim(Wn)=。1.定义定义2.为什么要考虑一致性为什么要考虑一致性 我们已经讨论了有限样本我们已经讨论了有限样本(finite sample)，也就是小样本，也就是小样本(small sample)中中OLS估计量估计量(OLS estimators )和检验统计量和检验统计量(test statistics)具有的如下性质：具有的如下性质：u在在MLR. 1-4下下 OLS估计量具有无偏性估计量具有无偏性(Unbiasedness)u在在MLR. 1-5下下 OLS估计量是最优线性无偏无计量估计量是最优线性无偏无计量(BLUE)u在在MLR. 1-6下下 OLS估计量是最小方
3、差无偏估计量估计量是最小方差无偏估计量(MVUE)uT统计量的分布为统计量的分布为t分布分布样本容量为任意样本容量为任意n时，这些性质都成立。时，这些性质都成立。 由于在很多情形下误差项可能呈现非正态分布，由于在很多情形下误差项可能呈现非正态分布，了解了解OLS 估计量和检验统计量的渐近性，即估计量和检验统计量的渐近性，即当样本容当样本容量任意大时量任意大时(when the sample size grows without bound)的的特性就是重要的问题。特性就是重要的问题。 虽然在高斯马尔可夫假定下虽然在高斯马尔可夫假定下OLS 是最优线性无是最优线性无偏估计量，但在别的情形下不一定
4、能找到无偏估计量。偏估计量，但在别的情形下不一定能找到无偏估计量。因此，因此，在那些情形下，我们只要找到一致的估计量，即在那些情形下，我们只要找到一致的估计量，即n 时时, 这些估计量的分布退化为参数的真值即可。这些估计量的分布退化为参数的真值即可。u当当n增加时样本的分布增加时样本的分布(Sampling Distributions as n increases)b b1n1n2n31的样本分布的样本分布例：例：n1:每次从班上抽取每次从班上抽取10人，人， 抽若干次后，平均身高的分布；抽若干次后，平均身高的分布； n2:每次从班上抽取每次从班上抽取100人，人， 抽若干次后，平均身高的分布
5、；抽若干次后，平均身高的分布； n3:每次从班上抽取每次从班上抽取200人，人， 抽若干次后，平均身高的分布抽若干次后，平均身高的分布。的的一一致致估估计计量量、是是、方方法法得得到到的的下下，通通过过可可以以证证明明，在在假假定定的的分分布布紧紧缩缩成成一一个个点点趋趋于于无无穷穷大大时时，当当的的周周围围。的的分分布布越越来来越越集集中中在在样样本本容容量量的的增增加加，随随着着估估计计量量是是一一致致的的，那那么么概概率率分分布布。如如果果都都有有一一个个，估估计计量量，对对于于每每一一个个的的是是kkjjjjjjjOLS.MLRnOLSnOLSb bb bb bb bb bb bb b
6、b bb bb bb bb bb b101041 3.一致性和无偏性的关系一致性和无偏性的关系(Consistency v.s. unbiasedness)u一个估计量是否有可能在有限样本（小样本）中是一个估计量是否有可能在有限样本（小样本）中是有偏的但在大样本条件下又具有一致性？有偏的但在大样本条件下又具有一致性？ 假设假设Z的真值为的真值为0，一个随机变量，一个随机变量X以以(n-1)/n的概率的概率取值为取值为Z，而以，而以1/n的概率取值为的概率取值为n。那么，。那么，X的期望为的期望为1，也就是：也就是：记记plim(x) 为为n趋向无穷大时趋向无穷大时x的取值，则有：的取值，则有：
7、plim(x)=z=0111nnnnZXEu是否有可能一个估计量是无偏的但又不具备一致性？是否有可能一个估计量是无偏的但又不具备一致性？ 依然假设依然假设Z的真值为的真值为0，一个随机变量，一个随机变量X以以0.5的概率取的概率取0.5，而，而以以0.5的概率取的概率取-0.5，那么，那么X的期望为的期望为0，也就是说，也就是说，X是是Z的无偏估的无偏估计量。计量。 但是，但是，X总是在总是在X=0这条线上下摆动，当这条线上下摆动，当n趋向无穷大时，它趋向无穷大时，它的方差并不会趋于的方差并不会趋于0。因此，。因此，X并不是并不是Z的一致估计量，也就是说的一致估计量，也就是说X不具备一致性。不
8、具备一致性。 无偏估计量未必是一致的，但是那些当样本容量增大时方差无偏估计量未必是一致的，但是那些当样本容量增大时方差会收缩到零的无偏估计量是一致的。会收缩到零的无偏估计量是一致的。二二、OLS估计量的估计量的一致性一致性1.定理定理5.1 在假设在假设MLR.1到到MLR.4下，下，OLS截距估计量截距估计量和和斜率斜率估计量估计量都是都是一致一致的估计量。的估计量。2.证明一致性证明一致性在简单回归中，斜率的估计量为：在简单回归中，斜率的估计量为：21111111211111211111xxnuxxnxxuxxxxyxxiiiiiiiiibbbn时，分子趋近于时，分子趋近于0，但分母，但分
9、母却不趋近于却不趋近于0，因此，当，因此，当n时，时， Plim( )=1b1b3.一个更弱的假定一个更弱的假定 要获得估计量的无偏性要获得估计量的无偏性(unbiasedness)，我们假定零，我们假定零条件期望条件期望(zero conditional mean)：E(u|x1, x2,xk) = 0 而要获得估计量的一致性而要获得估计量的一致性(consistency)，我们可以使，我们可以使用更弱的假定：零期望和零相关性假定，即：用更弱的假定：零期望和零相关性假定，即：E(u) = 0，Cov(xj,u) = 0, j = 1, 2, , k。 如果连这个较弱的假定也不成立，如果连这个
10、较弱的假定也不成立，OLS将是有偏将是有偏(biased)而且不一致的而且不一致的(inconsistent)。上述讨论表明：如果上述讨论表明：如果OLS估计量是无偏的，那么它一定是一致的；估计量是无偏的，那么它一定是一致的；但是如果但是如果OLS估计量是一致的，却不能保证它是无偏的。估计量是一致的，却不能保证它是无偏的。u推导不一致性推导不一致性定义渐近偏差定义渐近偏差(asymptotic bias)为：为： ， 并考并考虑下面的真实模型和待估计模型。虑下面的真实模型和待估计模型。11plimbbvxxy22110bbbuxy110bbvxu22b真实的模型为：真实的模型为：实际进行估计的
11、模型为：实际进行估计的模型为：显然：显然：1121lim0)(p，,xxCov则此时，如果 12121112211122111111,limxVarxxCovxVarvxCovxxCovxVarvxxCovxVaruxCovpbbbbbbbb则：则： 因此，考虑渐近偏差的方向就像是考虑存在一个遗漏变量时因此，考虑渐近偏差的方向就像是考虑存在一个遗漏变量时偏差的方向。主要的区别在于渐近偏差用总体方差和总体协方差偏差的方向。主要的区别在于渐近偏差用总体方差和总体协方差表示，而遗漏变量时的偏差则是基于它们在样本中的对应量。表示，而遗漏变量时的偏差则是基于它们在样本中的对应量。bbb211limp12
