• 导赏!广美研究生导师带你看2018研究生毕业作品展 2019-04-20
  • 【沙湾风光】百花盛开 迎六月 2019-04-20
  • 【专题】传统文化点亮精彩生活 2019-04-10
  • 四川九寨沟发生特大泥石流 冲毁民房、省道205线被埋 2019-04-10
  • 探寻秘境阿勒泰《章棋的视频日志》 2019-04-06
  • 讲述波兰女子拯救百名犹太儿童的故事 美国教师获森德勒奖 2019-04-06
  • 一个理想的数列递减,看着就想笑,根本放不出什么屁来 2019-04-05
  • 给脑部做个“大扫除” 让大脑充分放松 2019-04-05
  • 海上洄游时 北海狗 连续两周深睡眠 2019-04-03
  • “石家庄太行大街发生重大事故”是谣言!传谣者被拘留 2019-04-01
  • 4号线为端午节“加班” 2019-04-01
  • 这18家小众颜高又难找的家居店,一次性帮你搜罗全了! 2019-03-24
  • “首届中国非处方药行业品牌宣传月”活动将在北京举办 2019-03-24
  • 《礼记》中的礼乐制度与“生活政治” 2019-03-23
  • 众泰T300 1.5L CVT车型上市 6.98万起 2019-03-23
  • 最新广东快乐十分开奖:【ML数学知识】极大似然估计

    【ML数学知识】极大似然估计

    广东快乐十分20选8计划 www.sde9.com 它是建立在极大似然原理的基础上的一个统计方法,极大似然原理的直观想法是,一个随机试验如有若干个可能的结果A,B,C,... ,若在一次试验中,结果A出现了,那么可以认为实验条件对A的出现有利,也即出现的概率P(A)较大。极大似然原理的直观想法我们用下面例子说明。设甲箱中有99个白球,1个黑球;乙箱中有1个白球.99个黑球。现随机取出一箱,再从抽取的一箱中随机取出一球,结果是黑球,这一黑球从乙箱抽取的概率比从甲箱抽取的概率大得多,这时我们自然更多地相信这个黑球是取自乙箱的。一般说来,事件A发生的概率与某一未知参数??
    有关,??
    取值不同,则事件A发生的概率??
    也不同,当我们在一次试验中事件A发生了,则认为此时的??
    值应是t的一切可能取值中使??
    达到最大的那一个,极大似然估计法就是要选取这样的t值作为参数t的估计值,使所选取的样本在被选的总体中出现的可能性为最大。 [1]?
    极大似然估计,只是一种概率论在统计学的应用,它是参数估计的方法之一。说的是已知某个随机样本满足某种概率分布,但是其中具体的参数不清楚,参数估计就是通过若干次试验,观察其结果,利用结果推出参数的大概值。极大似然估计是建立在这样的思想上:已知某个参数能使这个样本出现的概率最大,我们当然不会再去选择其他小概率的样本,所以干脆就把这个参数作为估计的真实值。
    当然极大似然估计只是一种粗略的数学期望,要知道它的误差大小还要做区间估计。? ?-----百度百科


    转自://www.sde9.com/yanqingan/article/details/6125812

    1.?作用

    在已知试验结果(即是样本)的情况下,用来估计满足这些样本分布的参数,把可能性最大的那个参数clip_image002作为真实clip_image004的参数估计。

    2.?离散型

    clip_image006为离散型随机变量,clip_image008为多维参数向量,如果随机变量clip_image010相互独立且概率计算式为P{clip_image012,则可得概率函数为P{clip_image014}=clip_image016,在clip_image008[1]固定时,上式表示clip_image014[1]的概率;当clip_image014[2]已知的时候,它又变成clip_image008[2]的函数,可以把它记为clip_image018,称此函数为似然函数。似然函数值的大小意味着该样本值出现的可能性的大小,既然已经得到了样本值clip_image014[3],那么它出现的可能性应该是较大的,即似然函数的值也应该是比较大的,因而最大似然估计就是选择使clip_image020达到最大值的那个clip_image002[1]作为真实clip_image004[1]的估计。

    3.?连续型

    clip_image006[1]为连续型随机变量,其概率密度函数为clip_image022,clip_image010[1]为从该总体中抽出的样本,同样的如果clip_image010[2]相互独立且同分布,于是样本的联合概率密度为clip_image024。大致过程同离散型一样。

    4.?关于概率密度(PDF)

    我们来考虑个简单的情况(m=k=1),即是参数和样本都为1的情况。假设进行一个实验,实验次数定为10次,每次实验成功率为0.2,那么不成功的概率为0.8,用y来表示成功的次数。由于前后的实验是相互独立的,所以可以计算得到成功的次数的概率密度为:

    clip_image026=clip_image028?其中yclip_image030

    由于y的取值范围已定,而且clip_image032也为已知,所以图1显示了y取不同值时的概率分布情况,而图2显示了当clip_image034时的y值概率情况。

    clip_image036

    图1?clip_image038时概率分布图

    clip_image040

    图2?clip_image042时概率分布图

    那么clip_image032[1]在[0,1]之间变化而形成的概率密度函数的集合就形成了一个模型。

    5.?最大似然估计的求法

    由上面的介绍可以知道,对于图1这种情况y=2是最有可能发生的事件。但是在现实中我们还会面临另外一种情况:我们已经知道了一系列的观察值和一个感兴趣的模型,现在需要找出是哪个PDF(具体来说参数clip_image032[2]为多少时)产生出来的这些观察值。要解决这个问题,就需要用到参数估计的方法,在最大似然估计法中,我们对调PDF中数据向量和参数向量的角色,于是可以得到似然函数的定义为:

    clip_image044

    该函数可以理解为,在给定了样本值的情况下,关于参数向量clip_image032[3]取值情况的函数?;故且陨厦娴募虻ナ笛榍榭鑫?,若此时给定y为7,那么可以得到关于clip_image032[4]的似然函数为:

    clip_image046

    继续回顾前面所讲,图1,2是在给定clip_image032[5]的情况下,样本向量y取值概率的分布情况;而图3是图1,2横纵坐标轴相交换而成,它所描述的似然函数图则指出在给定样本向量y的情况下,符合该取值样本分布的各种参数向量clip_image032[6]的可能性。若clip_image048相比于clip_image050,使得y=7出现的可能性要高,那么理所当然的clip_image048[1]要比clip_image050[1]更加接近于真正的估计参数。所以求clip_image032[7]的极大似然估计就归结为求似然函数clip_image052的最大值点。那么clip_image032[8]取何值时似然函数clip_image054最大,这就需要用到高等数学中求导的概念,如果是多维参数向量那么就是求偏导。

    clip_image070

    图3?clip_image072的似然函数分布图

    主要注意的是多数情况下,直接对变量进行求导反而会使得计算式子更加的复杂,此时可以借用对数函数。由于对数函数是单调增函数,所以clip_image056clip_image058具有相同的最大值点,而在许多情况下,求clip_image060的最大值点比较简单。于是,我们将求clip_image058[1]的最大值点改为求clip_image060[1]的最大值点。

    clip_image062

    若该似然函数的导数存在,那么对clip_image060[2]关于参数向量的各个参数求导数(当前情况向量维数为1),并命其等于零,得到方程组:

    clip_image064

    可以求得clip_image034[1]时似然函数有极值,为了进一步判断该点位最大值而不是最小值,可以继续求二阶导来判断函数的凹凸性,如果clip_image034[2]的二阶导为负数那么即是最大值,这里再不细说。

    还要指出,若函数clip_image022[1]关于clip_image066的导数不存在,我们就无法得到似然方程组,这时就必须用其它的方法来求最大似然估计值,例如用有界函数的增减性去求clip_image068的最大值点

    6.?总结

    最大似然估计,只是一种概率论在统计学的应用,它是参数估计的方法之一。说的是已知某个随机样本满足某种概率分布,但是其中具体的参数不清楚,参数估计就是通过若干次试验,观察其结果,利用结果推出参数的大概值。最大似然估计是建立在这样的思想上:已知某个参数能使这个样本出现的概率最大,我们当然不会再去选择其他小概率的样本,所以干脆就把这个参数作为估计的真实值。

    求最大似然函数估计值的一般步骤:?
    (1) 写出似然函数
    (2) 对似然函数取对数,并整理
    (3) 求导数
    (4) 解似然方程

    对于最大似然估计方法的应用,需要结合特定的环境,因为它需要你提供样本的已知模型进而来估算参数,例如在模式识别中,我们可以规定目标符合高斯模型。而且对于该算法,我理解为,“知道”和“能用”就行,没必要在程序设计时将该部分实现,因为在大多数程序中只会用到我最后推导出来的结果。个人建议,如有问题望有经验者指出。在文献[1]中讲解了本文的相关理论内容,在文献[2]附有3个推导例子。

    7. 参考文献

    [1]I.J. Myung. Tutorial on maximum likelihood estimation[J]. Journal of Mathematical Psychology, 2003, 90-100.

    [2] //edu6.teacher.com.cn/ttg006a/chap7/jiangjie/72.htm

    该文通过Windows Live Writer上传,如有版面问题影响视觉效果请见谅,可以通过点击看清晰图!^0^

    posted @ 2018-09-23 18:16 向前奔跑的少年 阅读(...) 评论(...) 编辑 收藏

    没有更多推荐了,广东快乐十分20选8计划

  • 导赏!广美研究生导师带你看2018研究生毕业作品展 2019-04-20
  • 【沙湾风光】百花盛开 迎六月 2019-04-20
  • 【专题】传统文化点亮精彩生活 2019-04-10
  • 四川九寨沟发生特大泥石流 冲毁民房、省道205线被埋 2019-04-10
  • 探寻秘境阿勒泰《章棋的视频日志》 2019-04-06
  • 讲述波兰女子拯救百名犹太儿童的故事 美国教师获森德勒奖 2019-04-06
  • 一个理想的数列递减,看着就想笑,根本放不出什么屁来 2019-04-05
  • 给脑部做个“大扫除” 让大脑充分放松 2019-04-05
  • 海上洄游时 北海狗 连续两周深睡眠 2019-04-03
  • “石家庄太行大街发生重大事故”是谣言!传谣者被拘留 2019-04-01
  • 4号线为端午节“加班” 2019-04-01
  • 这18家小众颜高又难找的家居店,一次性帮你搜罗全了! 2019-03-24
  • “首届中国非处方药行业品牌宣传月”活动将在北京举办 2019-03-24
  • 《礼记》中的礼乐制度与“生活政治” 2019-03-23
  • 众泰T300 1.5L CVT车型上市 6.98万起 2019-03-23
  • 幸运农场复式计算器 京东彩票是真的吗 什么是3d试机号今晚上 开乐彩开奖时间 曾道人内幕玄机 新时时彩中大奖 重庆老时时彩彩开奖360 球的计算公式 广东时时彩投注网站 七星彩预测号码 重庆时时彩破解手机版 体彩20选5走势坐标图 彩票平台开户送28元体验金 吉林体育彩票 北京pk10大特计算方式 体彩四川金7乐69明