贝叶斯统计(7)

贝叶斯所有内容

这个在样本x 给定下， 的条件分布被称为 的后验分布。它是集中了总体、

样本和先验等三种信息中有关 的一切信息，而又是排除一切与 无关的信息之

后所得到的结果。故基于后验分布 ( /x) 对 进行统计推断是更为有效，也是

最合理的。

6．在 是离散随机变量时，先验分布可用先验分布列 ( i),i 1,2,3,..., 表示。

这时后验分布也是离散形式。

假如总体X也是离散的，那只要把（1.1）或（1.2）中的密度函数p(x/ ) 看作

为概率函数P(X x/ ) 即可。

3、共轭先验分布

一、共轭先验分布

假如 的先验分布为Be( , ),其中 0, 0 。经过计算可以看

出， 的后验分布仍是贝塔分布Be( x, n x)，此种先验分布被称为 的

共轭先验分布。

定义：设 是总体分布中的参数（或参数向量）， ( ) 是 的先验密度函数，

假如由抽样信息算得的后验密度函数与 ( ) 有相同的函数形式，则称 ( ) 是

的（自然）共轭先验分布。

二、后验分布的计算

在给定样本分布p(x/ )和先验分布 ( ) 后可用贝叶斯公式计算 的后验

分布

由于 m(x) 不依赖于 ，在计算 的后验分布中仅起到一个正则化因子的作用。

假如把m(x)省略，把贝叶斯公式改写为如下等价形式

贝叶斯所有内容

其中符号“ ”表示两边仅差一个常数因子，一个不依赖于 的常数因子。（1.9）

式右端虽不是正常的密度函数，但它是后验分布 ( ,x) 的核，在需要时可以利

用适当方式计算出后验密度，特别当看出 ( ,x) ( )的核就是某常用分布的和

时，不用计算 m(x) 就可很快恢复所缺常数因子。这样一来就可简化后验分布

的计算，这在共轭先验分布与非共轭先验分布场合都可使用。

例如在正态均值 的先验分布 ( ) 取为另一个正态分布N( , 2) 。在

与 2 已知的情况下， 后验分布为

其中A与B就像略去 那样，上面几步中都把与 无关的因子略去，从最

后的结果看出，后验分布是正态分布，其均值为B/A,方差为 。这就简化了计

算。

三、共轭先验分布的优点

1、计算方便。

2、后验分布的一些参数可得到很好的解释。

四、常用的共轭先验分布

共轭先验分布的选取是由似然函数 L( )=p(x/ )中所含 的因式所决定

的，即选与似然函数（ 的函数）具有相同核的分布作为先验分布。

例. 设 x1,x2,...,xn 是来自正态分布N( , 2) 的一个样本观测值，其中 已知，

现要寻求方差 2 的共轭先验分布，由于该样本的似然函数为