跳转至

卷四 机器学习基础

Foundations of Machine Learning

即将推出

本卷正在编写中。估计学时:120 小时。以下为规划的内容,详见系列总纲。

学习目标

  • 掌握经典监督与无监督学习算法的原理并能从零实现
  • 掌握模型评估、交叉验证与实验设计方法,避免数据泄漏
  • 理解偏差—方差、正则化与泛化理论
  • 能用 scikit-learn 与梯度提升树解决实际的表格与文本问题

先修要求

卷二、卷三;熟悉 NumPy。

规划章节

章 标题 内容摘要
1 机器学习工程工具链 NumPy、pandas、scikit-learn、可视化与实验管理。
2 线性回归与正则化 最小二乘、岭回归、Lasso 及其贝叶斯解释。
3 逻辑回归与 Softmax 回归 交叉熵损失、决策边界、多分类。
4 模型评估与选择 交叉验证、ROC/AUC、校准、学习曲线、数据泄漏。
5 k 近邻与核方法 距离度量、维数灾难、SVM 与核技巧。
6 决策树与集成学习 CART、随机森林、梯度提升(XGBoost/LightGBM)。
7 无监督学习 k-means、高斯混合模型与 EM 算法、PCA、t-SNE/UMAP。
8 概率图模型入门 朴素贝叶斯、隐马尔可夫模型与维特比算法。
9 特征工程与数据处理 缺失值、类别编码、标准化、文本特征 TF-IDF 与中文分词。
10 学习理论初步 偏差—方差分解、VC 维与泛化界、双下降现象。

动手项目

  1. 从零实现逻辑回归、决策树与 k-means
  2. 完成一个表格数据竞赛风格项目(梯度提升 + 特征工程)
  3. TF-IDF + 逻辑回归的中文情感分类基线
  4. 复现多项式回归中的偏差—方差曲线与双下降现象

核心阅读

  • Bishop (2006). Pattern Recognition and Machine Learning
  • Hastie, Tibshirani & Friedman (2009). The Elements of Statistical Learning
  • 周志华 (2016).《机器学习》
  • Chen & Guestrin (2016). XGBoost: A Scalable Tree Boosting System. KDD