Dongxing's Wiki Dongxing's Wiki
首页
  • 剑指 Offer
  • LeetCode
  • 算法与数据结构
  • Python 语言
  • Web 开发
  • Hive
  • Elastic Search
  • 机器学习
  • NLP
  • 检索技术
  • 数据分析
  • 经验笔记
  • Linux 配置
  • 博客进化记
  • 杂谈
GitHub (opens new window)
首页
  • 剑指 Offer
  • LeetCode
  • 算法与数据结构
  • Python 语言
  • Web 开发
  • Hive
  • Elastic Search
  • 机器学习
  • NLP
  • 检索技术
  • 数据分析
  • 经验笔记
  • Linux 配置
  • 博客进化记
  • 杂谈
GitHub (opens new window)
  • 机器学习

    • 特征工程入门与实践 | 读书笔记
    • 简单说说极大似然估计
    • L1、L2正则化的区别
    • 分类评价指标整理
    • logistic regression 逻辑斯谛回归 数学推导
    • 概率图模型 整理
    • 贝叶斯估计vs最大似然估计
    • 生成式模型vs判别式模型
    • 3Blue1Brown 深度学习视频笔记
  • 机器学习
  • 机器学习
anthony
2018-03-22

简单说说极大似然估计

假设扔硬币。 先来看一下什么是概率: 已知硬币参数,去推测可能性,称为概率。已知硬币均匀,参数为0.5, 则扔10次出现5次正面向上的概率为

C[5 10] *  0.5^5 * (1-0.5)^5
1

什么是似然: 不知道硬币的参数,要通过抛硬币的情况去推测其参数。 根据观测,对参数推断,得到最可能的参数,叫做极大似然估计。

假设实验结果是,扔10次,6次正面。 推测硬币正面向上概率参数为0.5,计算

p(得到这种结果)  =  C[6 10] *  0.5^6 * (1-0.5)^4 ~= 0.21
1

推测参数为0.6,计算

p(得到这种结果)  =  C[6 10] *  0.6^6 * (1-0.6)^4 ~= 0.25
1

发现参数为0.6,得到这种观测结果的可能性更高。那么,这种不断推测并且找到可能性最大的参数的过程,就是最大似然估计。

下面开始形式化, 似然函数,就是刚才计算p的函数:

p(得到这种结果)  =  C[6 10] *  参数^6 * (1-参数)^4 
1

用字母表示为 L(θ) ,θ是参数。

要通过数学的方法,得到p最大时的参数。 如果式子简单的话,可以通过求导解决,但上面式子中,θ有很高次方,直接求导不行,因此可以加一个ln对数,将乘法转换成加法,再求导解决。

求极大似然函数估计值的一般步骤: (1) 写出似然函数; (2) 对似然函数取对数,并整理; (3) 求导数 ; (4) 解似然方程

当然,实际会有更复杂的情况,例如有多个参数θ需要估计,概率分布是离散/连续型等等。

ref: https://www.zhihu.com/question/24124998 https://blog.csdn.net/zengxiantao1994/article/details/72787849

上次更新: 2021/06/13, 19:06:00
特征工程入门与实践 | 读书笔记
L1、L2正则化的区别

← 特征工程入门与实践 | 读书笔记 L1、L2正则化的区别→

Theme by Vdoing | Copyright © 2017-2023 anthony 京ICP备17072417-3
  • 跟随系统
  • 浅色模式
  • 深色模式
  • 阅读模式