参考资料：李航《统计学习方法》视频：4.6【习题篇】朴素贝叶斯法：贝叶斯估计_哔哩哔哩_bilibili

生成模型与判别模型

生成模型

判别模型

区分

全概率公式与贝叶斯公式

条件概率

贝叶斯定理

贝叶斯分类

朴素贝叶斯分类器

当每个实例x有n个特征，且每个特征相互独立

分母求和都为p(X=x) ,分子大小代表了y取不同值时的概率，即x的归属

详解为什么取最大后验概率（最大后验概率与损失最小的联系）

期望风险最小化 —-后验概率最大化

极大似然估计

原理

概率：概率是在特定环境下某件事情发生的可能性，也就是结果没有产生之前依据环境所对应的参数来预测某件事情发生的可能性。

似然：似然刚好相反，是在确定的结果下去推测产生这个结果的可能环境（参数）。

极大似然估计：似然函数取得最大值表示相应的参数能够使得统计模型最为合理。

举例1

举例2

举例3 logistic回归

贝叶斯估计

贝叶斯估计公式

sj表示x得第j个体征可能的取值数量

注：拉普拉斯平滑当N趋于无穷大时，近似于极大似然估计

贝叶斯估计的思想

贝叶斯学派：认为参数是未观察到的随机变量，假定参数服从一个鲜艳分布，基于观察到的数据计算参数的后验分布。

思想：防止出现过拟合，与正则化的思想类似

求解得拉普拉斯平滑估计

计算举例