极大似然估计与似然比检验的几点注记

作者简介：成平中科院数学与系统科学研究院系统所，北京 100080
    引言
    
    从它们定义可看出。它们都是从产生当前样本x的可能大小，也就是似然函数的大小出发，取使得似然函数达到最大的未知参数作为未知参数的估计就是θ的MLE。对比在零假设H[,0]下使之达到极大似然函数与使之在全参数空间似然函数达到极大之比，就是似然比检验统计量，它们都是很直观的，因此它们在统计推断中，是很重要、很普遍使用的方法，自产生以来，就是统计学者所感兴趣、研究的主题之一，首先为R.A.Fisher及G.A.Barnardt提倡使用，为英国学派所极端重视，甚至到了不用似然方程的文章就不受欢迎的程度，可见其重要性，确有它的优良性。MLE有三条重要性质：一是不变性，也就是若，二是在一些正则条件下，MLE是相合的，因此可能产生其三，它的渐近正态性。虽然这些正则条件是很普遍的，但是有些现实，正则条件是不满足的，必须引起我们的注意和探讨。本文就是为此，举出几个例子，以及解决这类问题的办法，提供参考，以便大家探讨。
    一、非正则的例子
    非正则情况也绝非我们在日常工作中不会碰到的情况。有些是从理论的兴趣，或者说，从数学严格意义下提出来的，但不少是从应用统计中提出来的，我们必须作出回答，给出办法加以处理，本节就举些例子来说明。
    例1不唯一，但皆收敛于真值θ，只是收敛优势不同。设X服从(θ-1/2;θ+1/2)上的均匀分布，θ∈R[1]。令x[,(1)],x[,(n)]分别表示简单抽样中的极小值与极大值，则对任意0≤p≤1，px[,(1)]+(1-p)x[,(n)]都是θ的MLE。而且都收敛于真值θ，只是收敛好坏有差异，一般取(x[,(1)]+x[,(n)]/2为宜。
    例2令密度函数f(x)在(a,b)上为正的连续可微的函数，但在(a，b)之外为零，现考虑分布密度族f(x-θ)，θ∈R[1]，求θ的MLE，此估计可能有各种不同的极限分布，例如：
    ⅰ)f(x)为(a,b)上单调降的函数，f(0+a)＜∞的θ的MLE是x[,(1)]，n(x[,(1)]-θ)的极限分布是指数分布，但当f(x)=c(x-a)[-∞],0＜α＜1，当a＜x＜a+δ内则n[1/(1-α)](x[,(1)]-θ)的权限分布为1-e[-c/(1-α)x[-α+1]],x＞0；
    ⅱ)f(x)为(a,b)上单调增加函数，θ的MLE为x[,(n])，其极限分布类似ⅰ)；
    
    
    例5总体分布是否有混合的检验？
    在生物统计中，混合型分布是经常碰到的，自然产生一个问题，它的总体分布是否为混合分布的问题？即检验H[,0]:p(x,θ),H[,1]:pp(x,θ[,1])+(1-p)p(x,θ[,2])，由于混合比例0≤p≤1作为未知参数之一，因此产生了不正则的情况，当θ[,1]=θ[,2]与p=0或1对应同一分布，因此用极大似然原则时，要作特别处理。Hartigan在1985[6]就指出，有限混合型分布的iog似然比检验的极限分布不是χ[2]分布，并举例指出log似然比统计量可以趋于发散。为了避免这种情况的发生，我们在[10,11]提出把混合参数作一点限制。对任何确定的ε＞0，我们在假设H[,1]中，限制min(p,1-p)≥ε，来讨论问题，避开了这个非正则情况，取得良好结果，在[10]中作者证明了，在上述限制下，用log似然比统计量检验H[,0]:p(x,θ),H[,1]:pp(x,θ[,1])+(1-p)p(x,θ[,2])，θ是单参数，p(x,θ)是位置参数分布族、刻度参数族、指数分布族时，log似然比统计量的极限分布是零点退化分布与χ[2,1]分布的1/2混合分布（在H[,0]下），若我们欲检验H[,0]:N（μ／σ[2]），H[,1]:pN（μ[,1]，σ[2]）+(1-p)N（μ[,2]，σ[2]），此处θ=（p，μ，σ[2]），在H[,0]下及上述对p的限制，log似然比统计量收敛于一混合分布，具体而言，令
    
    他们证明了在适当条件下，M[,n]的极限分布是零点的单点分布与χ[2,1]的1/2混合分布。
    综上几个例子可以看出，在非正则情况下，我们认为：
    1.先要找到使之不正则的未知参数集合，针对这个集合是个别点，还是一个区域，再分析造成非正则的原因。像例5采用对参数限制的办法，消除这个不正则的因素，再用似然的原则，或者改变一点似然函数而替代原似然函数，而不改变其实质，即称之为惩罚函数的办法。像例2及例3(ⅲ)(ⅳ)就不必在极大似然去考虑，而采用其它估计方法，这当然离极大似然原则远一点，如果产生多个极大似然估计，则可选择所有混合下中最优的MLE，例2就可以这样做的。
    2.如果我们找出使之不正则的未知参数区域，含有内点。这情况比较复杂，像例4在θ[,K]＜0都不正则，其原因是有两个不同点，虽然样本趋向于∞，但不能区分这两点，亦即两个不同参数对应的分布本质是一样的，那只有删除这些情况，像例4那样来处理，只在θ[,K]≥0去考虑极大似然的原则，当然也可能有其它解决办法。
    3.我们处理极大似然原则时，必然注意是否有样本点，使之似然函数只在边界点达到极大，注意这个极大点有限唯一，例如Poisson分布，当x=0时，只有λ=0达到极大，它仍然按一般MLE去处理。如果有无限个边界点使之达到极大，像例3(ⅲ)那样，则得另想办法了，如采用其它估计办法，如果MLE对每个样本点皆满足就是可能有很多根，我们只能取使之达到最大的那个根作为θ的MLE。
    4.非正则条件下，如果MLE、似然比检验更复杂，它依赖母体分布更强，一个方面是它的缺陷，但另一方面又增加了研究题目，必须使用更高明的方法与技巧。
    参考文献：
    1R.R.Bahadur.Example of inconsistency of maximumlikelihood estimates.Sankhya,20(1958),207-210.
    2J.O.Berger and R.L.Wolpert.The Likelihood Principle,Institute of Math.Statist.Hayward,California,1984.
    3R.A.Fisher.Theory of statistical estimation.Proc.Camb.Phil.Soc.,22(1925),700-725.
    4Hanfeng Cen and Jiahua Chen.Large sample distribution ofthe likelihood ratio test for normal mixtures,unpublish.
    5Hanfeng Chen,Jiahua Chen and J.D.Kalbfeisch.A modifiedlikelihood ratio test for homogeneity in finite mixture models,unpublish.6L.Le Cam.Maximum likelihood:an introduction.International Statistical Review,58(2)(1990),153-171.
    7J.Neyman and E.S.Peason.On the problem of the mostefficient tests of statistical hypotheses,Philes.Trans.Roy.Soc.London Series A,231(1933),289-337.
    8A.Wald.Npte on the consistency of maximum likelihoodestimates.Ann.Math.Statist.,20(1949),595-601.
    9S.S.Wilks.The large sampling distribution of thelikelihood ratio for test composite hypotheses.Ann.Math.Stat.,9(1)(1938),600-662.
    10Jiahua Chen and Ping Cheng.The limiting distribution ofthe restricted likelihood ratio statistics for finte mixturemodels.应用概率统计，16(2)(2000),159-167.11Jiahua Chen and Ping Cheng.Restricted mzximumlikelihood estimates in finite mixture model.Northeastern Math.J.,11(3)(1995),365-374.
    12Cheng Ping.The limit distribution of the restricted logmzximum likelihood ratio for mixture models of two normaldistributions with unknown mean and variance.应用概率统计，16(1)(2000),20-24.
    13 Sun Wanlong.On the estimation of parameters of Poissonprocesses.数学进展，19(2)(1990),252-253.
    14成平，陈希孺，陈桂景，吴传义.参数估计，上海科技出版社，1985.