线性回归中的Bayes估计+文献综述(3)
。所以对Bayes参数的优良行进分析，并将 Bayes 估计方法与其他估
计方法比较分析是很有必要的。
1.2 Bayes统计的基本概念
我们在进行统计试验前，人们对于待估参数已掌握的知识就叫做先验分布（或验
前分布，事先分布等）。在 Bayes 学派看来，任何未知参数都可看成随机变量，我们
记它为θ，先验分布也就是 θ 服从的分布。把 θ 看作已知的时候，样本 x1,…, n的联合
分布密度p(x1,…, n;θ)就可看成x1,…, n对θ的条件密度，记作p(x1,…, n|θ ，可简写为
p(x|θ （此处 p(x1,…, n|θ 中当样本 x 取定时，只有参数 θ 可变，就看成是似然函数
l(θ| 1,…, n)）[13]
。有了先验分布和 x对θ 的条件密度我们就可以通过 Bayes公式确定
出后验密度了，如下
下文中我们用记号“∝”，为了突出 h(x)中与自变量 x 有关的部分，而将无关的常数
部分略去不写，即 h(x)=cf(x)，其中 c 为常数，则可以写成 h(x) ∝f(x)，我们称 f(x)
为h(x) 的核[7]。
1.3 先验分布的选取步骤和准则
1.3.1 Bayes假设
如果参数 θ 的无信息先验分布 (θ 在 θ 的取值范围内为均匀分布，则这样的先验
分布称为Bayes假设。用数学形式表达为
此处参数θ 的取值范围是 D，c为一常数，且在 D上的积分为常数，可简写为 (θ = 当 θ
用核的形式表达为 (θ ∝1 当θ （1.6）
以上参数在有界区域内变化，我们称为 Bayes 假设；如果参数的变化范围是无界的，
可采用先验密度 (θ ∝ （1.7）
这称为广义Bayes 假设[7]。
当先验分布采用了 Bayes假设时，后验密度可写成 h(θ| ,…, ) ∝1∙l(θ| ,…, )。
1.3.2 共轭分布法
设样本 ,…, 对参数 θ 的条件分布为 p(x1,…, n|θ ，如果 (θ 决定的后验密度
h(θ| ,…, )与 (θ 是同一个类型的，则称 (θ 为p(x1,…, n|θ 的共轭分布。如正态总
体的共轭分布为正态分布；二项分布的共轭分布为贝塔分布；指数分布的共轭分布为
逆Γ 分布。先验分布应取共轭分布最早是由 Raiffa,H 和Schlaifer,R 提出的，他们认为
共轭分布之所以要求先验分布与后验分布属于同一个类型，就是经验的知识和现在样
本的信息有某种同一性，他们能转化成同一类的经验知识。如果以过去的经验和现在
的样本提供的信息作为历史知识，也就是以后验分布作为进一步试验的先验分布，在
做若干次试验获得新的样本后，新的后验分布仍然还是同一个类型的。
【例 1.1】[13]
设 n 次独立试验中，事件 A 每次发生的概率为 θ。则事件 A 发生的次数
遵从二项分布，x对θ 的条件概率密度为
θx(1-θ)n-x
取共轭分布为贝塔分布 β(a,b),后验密度是
h( |θ =
上一篇：环上的线性方程组研究+文献综述
下一篇：整函数的阶型与零点+文献综述