广义线性模型下参数极大似然估计 (2)
时间:2019-10-05 21:17 来源:毕业论文 作者:毕业论文 点击:次
为了叙述极大似然原理的直观想法，我们先看两个例子： 例1 设有外形相同的两个箱子，甲中有99个白球和1个黑球，乙箱中有1个白球和99个黑球，随机抽取一箱，并随机抽取一球，结果是白球，问这球是哪一箱中取出的？ 我们知道不管是哪一箱中，从中抽取任意一球都有两种可能的结果：A表示取出白球，B表示取出黑球.如果我们取出的是甲箱，则A发生的概率是0.99，而如果取出的是乙箱，则A发生的概率是0.01.现在一次试验中结果是A发生了，人们的第一印象就是：“此白球最像是从甲箱中取出的”，或者说，应该认为实验条件对结果A的出现有利，从而可以推断这球是从甲箱中取出的.这个推断很符合人们的经验事实.这里的“最想”就是“最大似然”之意. 本例中的假设数据很极端.一般地，我们可以设想：有两个箱子，各装有相同数量的小球，甲箱中白球的比例是p_1,乙箱中白球的比例是p_2，已知p_1>p_2，现在随机抽取一个箱子并从中抽取一球，假定得到的白球，如果要在两个箱子中选择，由于甲箱中白球的比例比乙箱中的高，根据极大似然原理，我们应该推断该球是来自甲箱中. 例2 设产品分为合格和不合格两类，用随机变量X表示某个产品是否合格，X=0表示合格，X=1表示不合格，则X~b(1，p)，其中p是未知的不合格品率.现在随机抽取n个产品查看其是否合格，得到样本x_1,x_2 〖,⋯,x〗_n，这批观测值发生的概率是 P(X_1=x_1，⋯〖，X〗_n=x_n，p)=∏_(i=1)^n▒〖p^(x_i ) 〖(1-p)〗^(1-x_i )=p^∑▒x_i 〖(1-p)〗^(n-∑▒x_i ) 〗， （1） 由于p是未知的，根据极大似然原理，我们应该选择p使得上式表示的概率尽可能的大，将上式看作是未知参数p的函数，用L(p)表示，称作似然函数，亦即 L(p)=p^∑▒x_i 〖(1-p)〗^(n-∑▒x_i )， （2） 要求（2）式的最大值不是难事，将其两端取对数并关于p求导，并令其等于0，即得到如下方程： (∂ L(p))/∂p=(∑▒x_i )/p-(n-∑▒x_i )/(1-p)=0, (3) 解之即得到p的极大似然估计，为p ̂=p ̂(x_1，x_2，〖⋯，x〗_n )=(∑▒x_i )⁄n=¯x. 由例2我们可以得到求极大似然估计的基本思路.对于离散型总体，设有样本观测值x_1，x_2，〖⋯，x〗_n，我们写出该观测值得概率，它一般依赖于某个或某些参数，有θ表示，将该概率看成是θ的函数，有L(θ)表示，即 L(θ)=P(X_1=x_1，⋯，X_n=x_n，θ)， (4) 求极大似然估计就是找到θ的估计值θ ̂=θ ̂(x_1，x_2，〖⋯，x〗_n)使得上式L(θ)达到最大. 对连续型总体，样本观测值x_1，x_2，〖⋯，x〗_n出现的概率总是为0，但我们可以用联合密度函数来表示随机变量在观测值附近川县的可能性大小，也将之称为似然函数.由此，我们给出如下正规的定义. 定义1.1 设总体的概率函数为p(x;θ)，θ∈Θ，其中θ是一个未知参数或几个未知参数组成的参数向量，Θ是参数θ可能取值得参数空间，x_1，x_2，〖⋯，x〗_n是来自该总体的样本，将样本的联合概率函数看成是θ的函数，用L(θ；x_1，x_2，〖⋯，x〗_n)表示，简记为L(θ)，则 (责任编辑：qin) |