参考视频:10 EM算法(1):餐前小甜点——回顾MLE_哔哩哔哩_bilibili
极大似然估计与EM的联系
极大似然估计回顾
举例
极大似然法求解
有缺失情况计算十分复杂,引入em思维
EM算法举例
盒子中有两枚硬币a和b,从中摸一个硬币抛掷10次,记录正反次数,求硬币a和硬币b的正面概率
若知道摸出的硬币是a还是b
若不知道摸出的硬币是哪一个,只知道抛掷结果
1.先假设硬币a和b的正面概率,
2.分别求解每一次抛掷结果属于a或b的概率
3.将算得的概率作为权重,分配结果
4.根据极大似然估计求硬币a和b的正面概率(同上)
若与最初假设的差距大于阈值,更新参数继续上述2-4步
若与最初假设的差距小于阈值,输出结果
整体过程图
EM算法公式流程
高斯混合模型与EM算法
高斯混合模型
E步
M步
过程公式
GEM算法
算法1
算法2
算法3