简单说说极大似然估计
假设扔硬币。 先来看一下什么是概率: 已知硬币参数,去推测可能性,称为概率。已知硬币均匀,参数为0.5, 则扔10次出现5次正面向上的概率为
C[5 10] * 0.5^5 * (1-0.5)^5
1
什么是似然: 不知道硬币的参数,要通过抛硬币的情况去推测其参数。 根据观测,对参数推断,得到最可能的参数,叫做极大似然估计。
假设实验结果是,扔10次,6次正面。 推测硬币正面向上概率参数为0.5,计算
p(得到这种结果) = C[6 10] * 0.5^6 * (1-0.5)^4 ~= 0.21
1
推测参数为0.6,计算
p(得到这种结果) = C[6 10] * 0.6^6 * (1-0.6)^4 ~= 0.25
1
发现参数为0.6,得到这种观测结果的可能性更高。那么,这种不断推测并且找到可能性最大的参数的过程,就是最大似然估计。
下面开始形式化, 似然函数,就是刚才计算p的函数:
p(得到这种结果) = C[6 10] * 参数^6 * (1-参数)^4
1
用字母表示为 L(θ) ,θ是参数。
要通过数学的方法,得到p最大时的参数。 如果式子简单的话,可以通过求导解决,但上面式子中,θ有很高次方,直接求导不行,因此可以加一个ln对数,将乘法转换成加法,再求导解决。
求极大似然函数估计值的一般步骤: (1) 写出似然函数; (2) 对似然函数取对数,并整理; (3) 求导数 ; (4) 解似然方程
当然,实际会有更复杂的情况,例如有多个参数θ需要估计,概率分布是离散/连续型等等。
ref: https://www.zhihu.com/question/24124998 https://blog.csdn.net/zengxiantao1994/article/details/72787849
上次更新: 2021/06/13, 19:06:00