权回归模型中最小二乘估计的相对效率

权回归模型中最小二乘估计的相对效率

导师 答辩人 专业

数学与应用数学

前言针对权回归模型中最小二乘估计的相对效率，本 文给出了两种效率：参数的最佳线性无偏估计与最小 二乘估计协方差行列式的比值、最佳线性无偏估计与 最小二乘估计的各分量方差之和的比值。并解决了参 数的下界问题。通过对两种效率的对比，选出了更为 优良的相对效率。本次ppt演示，通过提出问题、分析问题、解决 问题三部分，诠释了这篇论文。

一、提出问题本文题目为权回归模型中最小二乘估计的相对效 率，要解决这篇论文，我们从题目中提炼出几个问题： 权回归模型、最小二乘估计、相对效率。 要解决以上问题，我们还需要求证效率下界及两 种效率的关系。

二、分析问题

要解决一下问题，我们的一般步骤应该是： 首先、建立权回归模型，

其次、求出参数相对效率再次、求出两种效率的下界 最后、求出两种效率的关系

三、解决问题3.1 建立权回归模型考虑模型Q Q

0

cov 22

这里 为n 1 观测向量，X为n p 列满秩设计阵， 为 p 1未 知参数向量， 为 n 1 随机误差向量, 0为常数， 为 一正定矩阵, 记 Q diag ( q , q , , q ) q i 1, 2 , , n ,为常 数。显然, 当 Q I 时, 该模型即为一般Gauss-Markov模型。1 2 n

i

3.2 相对效率当已知时,权回归模型中 的最佳线性无偏估计(The Best Linear Unbiased Estimate,以下简称为BLU估计)为： Q 1 Q Q

1

Q Q

1

它的协方差阵为：cov

Q 2

1 Q Q

1

无论 是否已知, 的最小二乘估计(The Least Square Estimate,以下简称LS估计)为： Q Q 2 Q 2 1

其协方差阵为： cov

Q

Q 2 2

1

Q Q Q 2

1

如果n很大, 1 的计算非常复杂,或 未知, 此时人们 往往用LS估计代替BLU估计,根据Gauss-Markov定理，有 1 1 1 2 2 2 1 cov( ) cov( ),即 Q Q Q Q Q Q Q Q

因此，当用 代替 时，估计的精度就要蒙受一些 损失。为了度量这种损失的大小，一些作者研究了LS估 计相对于BLU估计的相对效率(以下简称效率),其中 较重要的一种是 与 的协方差阵的行列式之比，即 Q

Q

Q

Q

e0 ( Q )

cov( Q ) cov( Q )

但是 e ( ) 的一个明显缺点是它依赖于设计阵x的程度太 低。本文提出另一

种推广，考虑两种估计的各分量方差 之和的比值，即定义LS估计相对于BLU估计的效率为0 Q

e ( Q )

tr cov( Q ) tr cov( Q )

3.3 效率 e ( ) 的下界Q

定理： 记 特征根，则有1

n

0

和 e( ) Q

1

1

p

0

,分别是 和

x' x 的

i 1 i p 1 i 1 i

p

n p i

i

定理的证明需要下面的引理。 引理 ：记 diag ( , , ) , U 的矩阵，若U满足 U 则1 p1

p

0

,

n n

0

,U为 n p

(1) (2)

U U

max tr (U ' AU ) i ( A ) ii 1

p

U U

min tr U U

1

p i 1 i 1 i 1

p

1

由引理及 UU ' ,得： e Q

2 tr Q

tr Q Q 1

1

Q Q Q 1 1 2

1

tr U U

tr U U

1

1 1

1

U U U U

min tr U U

1

1

max tr U U

1

1

U U

min tr U UU U

1

1

max tr U U

i 1

i n p ii 1

p

1

i

p

1 i

,则定理得证。

段清堂(《权回归模型中最小二乘估计的相对效率》) 老师给出了 e ( ) 的下界：0 Q

e0 Q

min( p , n p )

i 1

i n i 1

4 i n i 1

2

这个下界与设计阵X无关。而定理所得出的 e ( ) 的下界 除了含有 之外，还依赖于 的特征根 。Q

1

n

1

p

3.4 两种效率的关系 一个感兴趣的问题是两种效率 e ( ) 和 e ( ) 的关系。 关于这一点，我们有如下定理。Q0 Q

记

Q 2Q

1

Q Q Q 20

1

, Q 1Q 1 。

e 定理： ( 的特征根。

)

e (

)Q

,且等号成立当且仅当A、B有相同

证明：记 1 p 为A的特征根， u 征根。则 e( ) tr tr Q 1 1

1

u 为B的特p

p p

e ( 0

) Q

1 1

p p

对P进行归纳法，当P=1时，命题显然成立。对P=2时，e(

) Q

e ( 0

)Q

,即为：

(1)

1 1

2 2

1 1i

2 2

因 0, 0, ,所以， 则：

i

0

。所以(1)成立。

且等号成立，则1 1 2 2 2 1 1 2 1 1 2

2

01 1 2 2 2 2 1 1

1

, 1

2

2

假设命题对P成立，则

1 2

1 2

p 1 p 1

1 2

1 2

3 3

p 1 p 1

公式 (1 )

1 1

2 2

p 1 p 1

定理得证。 这个定理表明，一般来说，我们总有 e ( ) e ( ) 。 即本文定义的效率要高一些。我们认为 e ( ) 的值更能确 切的度量LS估计的优劣程度。Q 0 QQ