القائمة
融合周志华《机器学习》(西瓜书)、李航《机器学习方法》、南瓜书公式推导、清华大学课件的统计学习与机器学习理论skill。涵盖监督学习、无监督学习、深度学习、强化学习等全套理论体系。用于学习机器学习理论、查阅概念公式、推导算法原理、辅助论文写作或工程实现。
التثبيت باستخدام Codex أو Claude انسخ هذا Prompt والصقه في Codex أو Claude أو مساعد آخر ليراجع صفحة Skill ويثبّتها لك.
استنادا إلى تصنيف SOC المهني
| name | ml-skill |
| description | 融合周志华《机器学习》(西瓜书)、李航《机器学习方法》、南瓜书公式推导、清华大学课件的统计学习与机器学习理论skill。涵盖监督学习、无监督学习、深度学习、强化学习等全套理论体系。用于学习机器学习理论、查阅概念公式、推导算法原理、辅助论文写作或工程实现。 |
融合来源: 周志华《机器学习》(西瓜书) + 南瓜书(公式推导) + 李航《机器学习方法》(第二版) + 清华大学《统计学习方法》课件 生成日期: 2026-07-13 | 总章节: 28 | 定位: 理论解析 + 理论使用
当你问及某个不在 Core Frameworks 中的具体话题时，我会加载对应章节文件来回答。
一切统计学习方法都可分解为三个要素的统一体：
| 要素 | 内涵 | 示例 |
|---|---|---|
| 模型 (Model) | 假设空间 $\mathcal{H} = {f_\theta \mid \theta \in \Theta}$ | 线性函数族、神经网络架构、决策树空间 |
| 策略 (Strategy) | 按什么准则选择最优模型 | 经验风险最小化(ERM)、结构风险最小化(SRM)、极大似然估计 |
| 算法 (Algorithm) | 求解最优模型的具体计算方法 | 梯度下降、SMO、EM、BP |
应用法则: 面对任何新算法，先拆解它的三要素——模型是什么形式？损失函数是什么？优化方法是什么？
泛化误差 = $\text{Bias}^2 + \text{Variance} + \text{Noise}$
在所有可能的问题上，所有学习算法的期望性能相同。脱离具体问题谈算法优劣毫无意义——算法必须在特定问题上下文中评估。归纳偏置(Inductive Bias)是学习能够发生的必要条件。
Probably Approximately Correct: 以高概率 $(1-\delta)$ 学到近似正确 $(\epsilon)$ 的假设。样本复杂度 $m \geq \frac{1}{\epsilon}(\ln|\mathcal{H}| + \ln\frac{1}{\delta})$。VC维是二分类假设空间的复杂度度量——VC维越大，模型容量越高，所需样本越多。
$$\min_f \frac{1}{m}\sum_{i=1}^m L(y_i, f(\mathbf{x}_i)) + \lambda \cdot \Omega(f)$$
数据 → [特征选择/降维] → [候选模型集] → [交叉验证评估] → [统计检验] → 选定模型
↑ L1/Relief ↑ 按数据特点选 ↑ k-fold CV ↑ McNemar/t-test
| 生成模型 | 判别模型 | |
|---|---|---|
| 建模对象 | $P(X, Y)$ 联合分布 | $P(Y|X)$ 条件分布或 $f(X)$ 决策函数 |
| 代表方法 | 朴素贝叶斯、HMM、LDA、GMM | 逻辑回归、SVM、CRF、感知机 |
| 优势 | 可生成新样本，可处理缺失数据 | 通常精度更高，对判别任务更直接 |
| 选择 | 数据量少或需要理解数据生成机制时 | 纯粹分类/预测任务时优先 |
关键法则: 个体学习器必须"好而不同"——准确性与多样性缺一不可。
SVM核心思想: 寻找使分类间隔最大化的分离超平面。通过Lagrange对偶转化为凸二次规划。核技巧隐式地在高维空间做内积而无需显式计算映射 $\phi(\cdot)$: $K(\mathbf{x}_i, \mathbf{x}_j) = \langle \phi(\mathbf{x}_i), \phi(\mathbf{x}_j) \rangle$。核函数需满足Mercer条件。
当模型含不可观测的隐变量时，直接最大化 $\log P(X|\theta)$ 困难。EM交替进行:
收敛到局部最优。GMM、HMM的Baum-Welch、K-means都是EM的特例。
| # | Title | 核心主题 |
|---|---|---|
| ch01 | 绪论与统计学习概论 | 三要素、归纳偏置、NFL定理、监督/无监督分类、损失函数 |
| ch02 | 模型评估与选择 | 交叉验证、P/R/F1/ROC/AUC、偏差-方差分解、统计检验 |
| # | Title | 核心主题 |
|---|---|---|
| ch03 | 感知机 | 原始/对偶形式、SGD、Novikoff收敛证明 |
| ch04 | k近邻法 | 距离度量、k值选择、kd-tree搜索 |
| ch05 | 线性模型与逻辑回归 | 线性回归、Logistic回归、LDA、最大熵、GLM |
| ch06 | 决策树 | ID3/C4.5/CART、信息增益、Gini指数、剪枝 |
| ch07 | 神经网络与BP算法 | 感知机、BP推导、激活函数、优化算法 |
| ch08 | 支持向量机 | 对偶理论、KKT条件、核技巧、SMO、SVR |
| ch09 | 贝叶斯分类器与朴素贝叶斯 | 贝叶斯定理、朴素贝叶斯、贝叶斯网、d-分离 |
| ch10 | 集成学习与Boosting | Bagging/RF、Boosting/AdaBoost/GBDT、Stacking |
| ch11 | EM算法 | Jensen不等式、Q函数、GMM应用、收敛性 |
| ch12 | 隐马尔可夫模型 | 前向-后向、Viterbi解码、Baum-Welch学习 |
| ch13 | 条件随机场 | 特征函数、全局归一化、与HMM对比、标注偏置 |
| ch14 | 监督学习方法总结 | 三要素统一表、模型分类、方法选择指南 |
| # | Title | 核心主题 |
|---|---|---|
| ch15 | 聚类 | k-means、GMM/EM、DBSCAN、层次聚类、性能度量 |
| ch16 | 降维与度量学习 | SVD、PCA、KPCA、流形学习(Isomap/LLE/t-SNE)、度量学习 |
| ch17 | 概率图模型与话题模型 | 贝叶斯网、MRF、HMM、LSA/PLSA/LDA、MCMC、变分推断 |
| ch18 | 无监督学习方法总结 | 聚类/降维/话题分析/图分析的统一视角、三要素表 |
| # | Title | 核心主题 |
|---|---|---|
| ch19 | 特征选择与稀疏学习 | Relief、LVW、LASSO/L1正则化、PGD、字典学习 |
| ch20 | 计算学习理论 | PAC学习、VC维、Rademacher复杂度、泛化误差界 |
| ch21 | 半监督学习 | 生成式方法、S3VM/TSVM、图方法、协同训练 |
| ch22 | 规则学习 | 序贯覆盖、RIPPER、FOIL、ILP/一阶规则 |
| # | Title | 核心主题 |
|---|---|---|
| ch23 | 强化学习 | MDP、Bellman方程、TD学习(SARSA/Q-Learning)、策略梯度 |
| ch24 | PageRank与LSA | 幂法、随机游走、SVD与话题分析、NMF |
| ch25 | 卷积神经网络 | 卷积/池化、经典CNN架构、迁移学习 |
| ch26 | RNN与Seq2Seq | LSTM/GRU、编码器-解码器、Attention机制 |
| ch27 | 预训练语言模型 | Transformer、BERT、GPT、预训练+微调范式 |
| ch28 | GAN与深度学习总结 | GAN原理与变体、深度学习三支柱、未来展望 |
Phase 1 基础: ch01(绪论) → ch02(评估) → ch20(学习理论) → ch03(感知机) → ch04(kNN)
Phase 2 经典: ch05(线性) → ch06(决策树) → ch09(贝叶斯) → ch07(NN基础) → ch08(SVM)
Phase 3 集成: ch10(集成) → ch19(特征选择) → ch21(半监督)
Phase 4 序列: ch11(EM) → ch12(HMM) → ch13(CRF) → ch14(监督总结)
Phase 5 无监督: ch15(聚类) → ch16(降维) → ch17(概率图) → ch18(无监督总结)
Phase 6 前沿: ch22(规则) → ch23(强化) → ch24(PageRank/LSA) → ch25(CNN) → ch26(RNN) → ch27(预训练) → ch28(GAN总结)
本 Skill 覆盖机器学习与统计学习的完整理论体系，融合4套中文教材的精华内容，共计28章。涵盖从最基础的概念（监督/无监督、过拟合）到前沿深度学习（Transformer、BERT、GAN）的全部理论知识点。
适用范围:
不适用范围:
来源覆盖: