实际上,在两个参数上的求最大值的方法也差不多:只需要分别把可能性\mbox{lik}(\mu,\sigma) = f(x_1,,\ldots,x_n \mid \mu, \sigma^2)在两个参数上最大化即可 。当然这比一个参数麻烦一些,但是一点也不复杂 。
使用上边例子同样的符号,我们有θ = (μ,σ2).最大化一个似然函数同最大化它的自然对数是等价的 。因为自然对数log是一个连续且在似然函数的值域内严格递增的上凸函数 。
[注意:可能性函数(似然函数)的自然对数跟信息熵以及Fisher信息联系紧密 。]求对数通常能够一定程度上简化运算,比如在这个例子中可以看到: \begin{matrix} 0 & = & \frac{\partial}{\partial \mu} \log \left( \left( \frac{1}{2\pi\sigma^2} \right)^\frac{n}{2} e^{-\frac{ \sum_{i=1}^{n}(x_i-\bar{x})^2+n(\bar{x}-\mu)^2}{2\sigma^2}} \right) \\ & = & \frac{\partial}{\partial \mu} \left( \log\left( \frac{1}{2\pi\sigma^2} \right)^\frac{n}{2} - \frac{ \sum_{i=1}^{n}(x_i-\bar{x})^2+n(\bar{x}-\mu)^2}{2\sigma^2} \right) \\ & = & 0 - \frac{-2n(\bar{x}-\mu)}{2\sigma^2} \\ \end{matrix} 这个方程的解是\widehat{\mu} = \bar{x} = \sum^{n}_{i=1}x_i/n .这的确是这个函数的最大值,因为它是μ里头惟一的一阶导数等于零的点并且二阶导数严格小于零 。
同理,我们对σ求导,并使其为零 。\begin{matrix} 0 & = & \frac{\partial}{\partial \sigma} \log \left( \left( \frac{1}{2\pi\sigma^2} \right)^\frac{n}{2} e^{-\frac{ \sum_{i=1}^{n}(x_i-\bar{x})^2+n(\bar{x}-\mu)^2}{2\sigma^2}} \right) \\ & = & \frac{\partial}{\partial \sigma} \left( \frac{n}{2}\log\left( \frac{1}{2\pi\sigma^2} \right) - \frac{ \sum_{i=1}^{n}(x_i-\bar{x})^2+n(\bar{x}-\mu)^2}{2\sigma^2} \right) \\ & = & -\frac{n}{\sigma} + \frac{ \sum_{i=1}^{n}(x_i-\bar{x})^2+n(\bar{x}-\mu)^2}{\sigma^3} \\ \end{matrix} 这个方程的解是\widehat{\sigma}^2 = \sum_{i=1}^n(x_i-\widehat{\mu})^2/n.因此,其关于θ = (μ,σ2)的最大似然估计为: \widehat{\theta}=(\widehat{\mu},\widehat{\sigma}^2) = (\bar{x},\sum_{i=1}^n(x_i-\bar{x})^2/n). 。
6.最大似然估计的求法中,写出似然函数是不是就是求原函数???什么叫“求原函数”??
似然函数的定义是你抽样的n个数据X[1]…X[n]它们是随机变量的观测值,你把这些随机变量的联合密度函数(如果是离散型则是分布列)求出来(里面带有要估计的位置参数)就是似然函数,一般情况都是独立同分布,就把各自带有参数的分布函数乘起来就是似然函数 。
第一步先要求导,判断极值点和各个单调区间(当然离散型求不了导),然后把可能成为最大值的点找出来,然后综合题目给的参数范围在具体分析这个范围内的最大值 。就好比高中就学过的二次函数最大值并不一定时时刻刻都是顶点位置,一旦自变量区间不包含对称抽就要另行讨论 。
7.用什么函数能够描述先验密度及似然函数统计学中,似然函数(),或,是一种关于统计模型参数的函数 。给定输出x时,关于参数θ的似然函数L(θ|x)(在数值上)等于给定参数θ后变量X的概率:
L(θ|x)=P(X=x|θ).
似然函数在推断统计学(Statistical inference)中扮演重要角色,尤其是在参数估计方法中 。在教科书中,似然常常被用作“概率”的同义词 。但是在统计学中,二者有截然不同的用法 。概率描述了已知参数时的随机变量的输出结果;似然则用来描述已知随机变量输出结果时,未知参数的可能取值 。例如,对于“一枚正反对称的硬币上抛十次”这种事件,我们可以问硬币落地时十次都是正面向上的“概率”是多少;而对于“一枚硬币上抛十次,落地都是正面向上”这种事件,我们则可以问,这枚硬币正反面对称的“似然”程度是多少 。
8.如何理解似然函数统计学中,似然函数是一种关于统计模型参数的函数 。