参考资料：李航《统计学习方法》视频：4.6【习题篇】朴素贝叶斯法：贝叶斯估计_哔哩哔哩_bilibili 生成模型与判别模型 生成模型 判别模型 区分 全概率公式与贝叶斯公式 条件概率 贝叶斯定理 贝叶斯分类 朴素贝叶斯分类器 当每个实例x有n个特征，且每个特征相互独立 分母求和都为p(X=x) ,分子大小代表了y取不同值时的概率，即x的归属 详解…

参考资料：文章内容主要来自吴恩达老师的机器学习课程及周志华老师的《机器学习》，李航老师的《统计学习方法》 参考视频：2.3 感知机——学习算法之对偶形式：算法解说_哔哩哔哩_bilibili 梯度下降 原理 梯度下降法(gradient descent)是一种常用的一阶(first-order)优化方法,是 求解无约束优化问题最简单,最经典的方法之…

注：文章内容主要来自吴恩达老师的机器学习课程和周志华老师的《机器学习》 欠拟合和过拟合 仅使用简单线性回归会导致欠拟合，引入多项式回归当阶数逐渐过大时会导致过拟合 欠拟合导致偏差、方差均增高 过拟合情况下偏差较低，但方差增高 随模型阶数增加，偏差（训练集误差）逐渐降低，方差（测试集误差）先降低达到最低点后逐渐升高 过拟合解决方法 增加样本量；选择合…

1.决策树 注：以下内容来自吴恩达老师的机器学习课程和周志华老师的《机器学习》 1.1决策树原理示例图 1.2纯度和信息增量 我们面临两个问题：1.如何选择分类特则； 2.何时停止分类 为解决以上两个问题，引入概念“纯度”和“信息增量” 1.2.1如何选择分类特则? 信息增量计算示例 1.2.2何时停止分裂 当一个节点100%是一个类时当拆分一个节…