参考资料：周志华《机器学习》 待更新 在高维情形下出现的数据样本稀疏、距离计算困难等问题是所有机器学习方法共同面临的严重障碍,被称为“维数灾难”(curseofdimensionality)缓解维数灾难的一个重要途径是降维(dimensionreduction),亦称“维数约简”,即通过某种数学变换将原始高维属性空间转变为一个低维“子空间“，很多时…

特征选择 基础知识 对一个学习任务来说,给定属性集,其中有些属性可能很关键、很有用,另一些属性则可能没什么用.我们将属性称为“特征”(feature),对当前学习任务有用的属性称为“相关特征”(relevant feature)、没什么用的属性称为“无关特征”(irrelevant feature).从给定的特征集合中选择出相关特征子集的过程,称为…

参考资料：周志华著《机器学习》 基础知识 在“无监督学习”(unsupervised learning)中,训练样本的标记信息是未知的,目标是通过对无标记训练样本的学习来揭示数据的内在性质及规律,为进一步的数据分析提供基础.此类学习任务中研究最多、应用最广的是“聚类”(clustering)。聚类既能作为一个单独过程,用于找寻数据内在的分布结构，也…

参考视频：10 EM算法（1）：餐前小甜点——回顾MLE_哔哩哔哩_bilibili 极大似然估计与EM的联系 极大似然估计回顾 举例 极大似然法求解 有缺失情况计算十分复杂，引入em思维 EM算法举例 盒子中有两枚硬币a和b，从中摸一个硬币抛掷10次，记录正反次数，求硬币a和硬币b的正面概率 若知道摸出的硬币是a还是b 若不知道摸出的硬币是哪一个…

参考文章：https://blog.csdn.net/hgnuxc_1993/article/details/114897839 参考视频：7.3 最大熵模型：拉格朗日乘子法_哔哩哔哩_bilibili 最大熵模型的数学基础 什么是熵？ 熵是用来表示随机变量不确定性的度量。 拉格朗日乘子法 原始问题 对偶问题 当满足KKT条件时，原始问题和对偶问题…

本节内容主要来自周志华老师的《机器学习》系列，李航《统计学习方法》。 参考视频8 支持向量机（2）：感知机与支持向量机_哔哩哔哩_bilibili 待更新. 支持向量机基础 感知机和logistic回归的关系 logistic回归可转为感知机模型 支持向量机和感知机的关系 观察感知机损失函数可发现，感知机所找到的超平面不唯一 支持向量机名字解析：支…

参考资料：李航《统计学习方法》视频：4.6【习题篇】朴素贝叶斯法：贝叶斯估计_哔哩哔哩_bilibili 生成模型与判别模型 生成模型 判别模型 区分 全概率公式与贝叶斯公式 条件概率 贝叶斯定理 贝叶斯分类 朴素贝叶斯分类器 当每个实例x有n个特征，且每个特征相互独立 分母求和都为p(X=x) ,分子大小代表了y取不同值时的概率，即x的归属 详解…

参考资料：文章内容主要来自吴恩达老师的机器学习课程及周志华老师的《机器学习》，李航老师的《统计学习方法》 参考视频：2.3 感知机——学习算法之对偶形式：算法解说_哔哩哔哩_bilibili 梯度下降 原理 梯度下降法(gradient descent)是一种常用的一阶(first-order)优化方法,是 求解无约束优化问题最简单,最经典的方法之…

注：文章内容主要来自吴恩达老师的机器学习课程和周志华老师的《机器学习》 欠拟合和过拟合 仅使用简单线性回归会导致欠拟合，引入多项式回归当阶数逐渐过大时会导致过拟合 欠拟合导致偏差、方差均增高 过拟合情况下偏差较低，但方差增高 随模型阶数增加，偏差（训练集误差）逐渐降低，方差（测试集误差）先降低达到最低点后逐渐升高 过拟合解决方法 增加样本量；选择合…

1.决策树 注：以下内容来自吴恩达老师的机器学习课程和周志华老师的《机器学习》 1.1决策树原理示例图 1.2纯度和信息增量 我们面临两个问题：1.如何选择分类特则； 2.何时停止分类 为解决以上两个问题，引入概念“纯度”和“信息增量” 1.2.1如何选择分类特则? 信息增量计算示例 1.2.2何时停止分裂 当一个节点100%是一个类时当拆分一个节…