第08章 对数极大似然估计_s

第八章 对数极大似然估计EViews包含了一些常用方法，如最小二乘法、非线性 最小二乘法、加权最小二乘法、TSLS、GMM、ARIMA、 ARCH、GARCH等方法，这些方法可以解决可能遇到的 大多数估计问题。但是，我们在研究中也可能会碰到一些 不在上述之列的特殊的模型，这些模型可能是现存方法的 一个扩展，也可能是一类全新的问题。 为了能解决这些特殊的问题，EViews提供了对数极大

似然估计对象这一工具来估计各种不同类型的模型。对数极大似然估计对象提供了一个一般的，开放的工具，可以 通过这个工具极大化相关参数的似然函数对一大类模型进 行估计。1

使用对数极大似然估计对象估计时，我们用 EViews 的序列生成器，将样本中各个观测值的对数似然贡献描述 为一个未知参数的函数。可以给出似然函数中一个或多个 参数的解析微分，也可以让 EViews 自动计算数值微分。

EViews 将寻找使得指定的似然函数最大化的参数值，并给出这些参数估计的估计标准差。 在本章，我们将详细论述对数极大似然估计对象， 说明其一般特征。并给出了一些可以使用该方法的具体的 例子。2

§8.1 对数极大似然估计的基本原理§8.1.1 极大似然估计的基本原理 设总体的概率密度函数为P,其类型是已知的，但含有 未知参数(向量) 。我们的目的就是依据从该总体抽得的 随机样本 y1, y2, … , yT ,寻求对 的估计。

观测值 y1, y2, … , yT 的联合密度函数被给定为

L ( y ; ψ ) P ( yt )t 1

T

(8.1.1)

其中：y = ( y1, y2, … , yT ) 。将这一联合密度函数视为参

数 的函数，称为样本的似然函数(likelihood function)。3

极大似然原理就是寻求参数的估计值 ψ ,使得所给样本值 的概率密度(即似然函数)的值在这个参数值之下，达到最 大。在当前的情形下，就是寻求 的估计值，使得似然函数

L(y ; ) 相对于给定的观测值 y1, y2, … , yT 而言达到最大值，

就被称为极大似然估计量。 ψ在 L(y ; ) 关于 i(i =1, 2, …, n,n是未知参数的个数) 的偏导数存在时，要使 L(y ; ) 取最大值， 必须满足

i被称为似然函数。

L( y ; ψ ) 0 ,

i =1, 2, …, n

(8.1.2)

由上式可解得 n 1 向量 的极大似然估计值

,而式(8.1.2)也 ψ4

因为 L(y ; ) 与 ln[L(y ; ))] 在同一点处取极值，所 以也可以由

i

ln L( y ; ψ ) 0 ,

i =1, 2, …, n (8.1.3)

求得，因为对数可将乘积变成求和，所以，式(8.1.3)往往比直接使用式(8.1.2)来得方便。式(8.1.3)也被称为对数似

然函数。

考虑多元线性回归模型的一般形式

yt 0 1 x1t 2 x2t k

xkt ut

, t =1, 2 , … , T (8.1.4)

其中 k 是解释变量个数，T 是观测值个数，随机扰动项

u t ~ N (0 , 2 ) ,那么 yt 服从如下的正态分布：

yt ~ N ( t , 2 )其中

t 0 1x1t 2x2t k xkt

(8.1.5)6

y 的随机抽取的 T 个样本观测值的联合概率函数为

L( β , 2 ) P( y1 , y2 , , yT ) P( yt )t 1

T

1 e T 2 T (2 π) 这就是变量 y 的似然函数。

1 2 2

( yt t ) 2t 1

T

(8.1.6)

对似然函数求极大值和对数似然函数求极大值是等价 的，式(8.1.6)的对数似然函数形式为：

T 1 2 ln L( β , ) ln( 2 π ) 2 2 22 T

2 ( y ) t t t 1

T

1 1 2 2 (8.1.7) ln( 2 π ) ( yt t ) 2 2 2 t 1 7

注意，可以将对数似然函数写成 t 时刻所有观测值的 对数似然贡献和的形式，

ln L( β , ) lt ( β , )2 2 t 1

T

(8.1.8)

这里对数似然的单个贡献(用小写字母表示)由下面 的式子给出：

1 1 2 2 lt ( β , ) ln( 2 π ) ( y ) (8.1.9) t t 2 2 2 2

式(8.1.7)也可用标准正态分布的密度函数 表示T T 1 1 2 2 ln L( β , ) ln( 2 π) ln( ) 2 2 t 1 2 2 2 ( y ) t t t 1 T

( yt t ) 1 2 ln 2 ln( ) t 1 T

(8.1.10)

式中标准正态分布的对数似然函数 为

T 1 T 2 ln ( z t ) ln( 2 π) z t 2 2 t 1

zt

yt t

(8.1.11)

这里对数似然函数每个观测值的贡献式(8.1.9)又可以由下面的 式子给出：

yt t lt ( β , ) ln

1 2 ln( ) 2

(8.1.12)9

§8.1.2 EViews极大似然对象概述用对数极大似然估计来估计一个模型，主要的工作是 建立用来求解似然函数的说明文本。用EViews指定对数 极大似然函数的说明是很容易的，因为似然函数的说明只 是一系列对序列的赋值语句，这些赋值语句在极大化的过 程中被反复的计算。我们所要做的只是写下一组语句，在

计算时，这些语句将描述一个包含每个观测值对似然函数贡献的序列。10

注意到，我们能将对数似然函数写成所有观测值 t 的 对数似然贡献和的形式，

ln L( , 2 ) lt ( , 2 )t 1

T

这里单个贡献由下面的式子给出：

1 1 2 lt ( , ) ln( 2 ) 2 ( yt t ) 2 2 2 2

以只含一个解释变量的一元线性回归方程为例

yt 0 1 x1t ut ,ut ~ N (0, 2 )

t =1, 2 , … , T11

假定知道模型参数的真实值，并且想用EViews产生一个 包含每个观测值的贡献的序列。可以将

已知的参数赋值给系 数向量的c(1)到c(3)元素，然后把下面的赋值语句作为EViews

的命令或程序来执行。Series res = y-c(1)-c(2)*x Series var = c(3) Series logL1 = -log(2*3.14159*var)/2- (res^2/var)/2 前面两行语句描述了用来存储计算时的中间结果的序列。 第一个语句创建了残差序列：res,而第二个语句创建了方差 序列： var。而序列 logL1 包含了每个观测值的对数似然贡献

的集合。12

EViews中的标准正态分布的对数似然函数为

T 1 T 2 yt t log ( zt ) log( 2 ) zt , zt 2 2 t 1将对数似然函数写成所有观测值 t 的对数似然贡献的和的形式：T

log L( , ) lt ( , )t 1

这里每个观测值的贡献由下面的式子给出： yt 1 2 xt 3 wt lt ( , ) log 1 2 log( ) 2 13

§8.1.3 似然说明要创建一个似然对象，选择Objects/New Object... /LogL 或者在命令窗口输入“logL”。似然窗口将打开一个空白说明 视图。说明视图是一个文本窗口，在这个窗口里可以输入描 述统计模型的说明语句，还可以设置控制估计程序各个方面 的选项。 1.似然的定义 正如上节中所描述的那样，似然说明的主线是一系列赋 值语句，在计算时，这些赋值语句将产生一个包含样本中每 个观测值的对数似然贡献的序列。赋值语句的多少可以由自 己决定。

每个似然说明都必须包含一个控制语句，该语句命名了保存似然贡献的序列。语句的格式为： @logL series_name 这里@logL是关键字，series_name是保存似然贡献的序列的 名字，可以写在似然说明的任何位置。

如果想在估计完成后删除说明中的一个或多个序列，可以使用@temp语句： @temp series_name1 sereis_name2 ... 这个语句告诉EViews在对说明的计算完成后，删除列表 中的序列。15

2.参数名 在上面的例子中，我们使用了系数c(1) 到c(5) 作为未知 参数的名称。更一般的，出现在说明中一个已命名的系数向

量中的每一个元素都将被视为待估参数。例如创建 2个命名的系数向量： coef(2) beta

coef(1) sigma于是可以写出下面的似然说明： @logL logL1 res=cs- beta(1)- beta(2)*inc var=sigma(1) logl1=log(@dnorm(res/@sqrt(var)))-log(var)/216