卷四 机器学习基础¶
Foundations of Machine Learning
即将推出
本卷正在编写中。估计学时:120 小时。以下为规划的内容,详见系列总纲。
学习目标¶
- 掌握经典监督与无监督学习算法的原理并能从零实现
- 掌握模型评估、交叉验证与实验设计方法,避免数据泄漏
- 理解偏差—方差、正则化与泛化理论
- 能用 scikit-learn 与梯度提升树解决实际的表格与文本问题
先修要求¶
卷二、卷三;熟悉 NumPy。
规划章节¶
| 章 | 标题 | 内容摘要 |
|---|---|---|
| 1 | 机器学习工程工具链 | NumPy、pandas、scikit-learn、可视化与实验管理。 |
| 2 | 线性回归与正则化 | 最小二乘、岭回归、Lasso 及其贝叶斯解释。 |
| 3 | 逻辑回归与 Softmax 回归 | 交叉熵损失、决策边界、多分类。 |
| 4 | 模型评估与选择 | 交叉验证、ROC/AUC、校准、学习曲线、数据泄漏。 |
| 5 | k 近邻与核方法 | 距离度量、维数灾难、SVM 与核技巧。 |
| 6 | 决策树与集成学习 | CART、随机森林、梯度提升(XGBoost/LightGBM)。 |
| 7 | 无监督学习 | k-means、高斯混合模型与 EM 算法、PCA、t-SNE/UMAP。 |
| 8 | 概率图模型入门 | 朴素贝叶斯、隐马尔可夫模型与维特比算法。 |
| 9 | 特征工程与数据处理 | 缺失值、类别编码、标准化、文本特征 TF-IDF 与中文分词。 |
| 10 | 学习理论初步 | 偏差—方差分解、VC 维与泛化界、双下降现象。 |
动手项目¶
- 从零实现逻辑回归、决策树与 k-means
- 完成一个表格数据竞赛风格项目(梯度提升 + 特征工程)
- TF-IDF + 逻辑回归的中文情感分类基线
- 复现多项式回归中的偏差—方差曲线与双下降现象
核心阅读¶
- Bishop (2006). Pattern Recognition and Machine Learning
- Hastie, Tibshirani & Friedman (2009). The Elements of Statistical Learning
- 周志华 (2016).《机器学习》
- Chen & Guestrin (2016). XGBoost: A Scalable Tree Boosting System. KDD