算法完整索引
本索引汇总了教程中涉及的所有算法和技术，便于快速查找和复习
📊 按类别索引
监督学习算法
线性模型
| 算法 | 章节 | 特点 |
| 线性回归 (Linear Regression) | 02-监督学习 | 基础回归算法 |
| 逻辑回归 (Logistic Regression) | 02-监督学习 | 基础分类算法 |
| Ridge回归 | 02-监督学习 | L2正则化 |
| Lasso回归 | 02-监督学习 | L1正则化，特征选择 |
| Elastic Net | 02-监督学习 | L1+L2正则化 |
树模型
| 算法 | 章节 | 特点 |
| 决策树 (Decision Tree) | 02-监督学习 | 可解释性强 |
| 随机森林 (Random Forest) | 02-监督学习, 12-集成学习进阶 | Bagging集成 |
| GBDT | 12-集成学习进阶 | 梯度提升 |
| XGBoost | 12-集成学习进阶 | 高效梯度提升 |
| LightGBM | 12-集成学习进阶 | 快速梯度提升 |
| CatBoost | 12-集成学习进阶 | 处理类别特征 |
概率模型
| 算法 | 章节 | 特点 |
| 朴素贝叶斯 (Naive Bayes) | 02-监督学习 | 简单高效 |
| 高斯判别分析 (GDA) | 15-其他监督学习算法 | 概率分类 |
实例学习
| 算法 | 章节 | 特点 |
| K近邻 (KNN) | 02-监督学习 | 惰性学习 |
| 支持向量机 (SVM) | 02-监督学习, 15-其他监督学习算法 | 核方法 |
| SVR | 15-其他监督学习算法 | 支持向量回归 |
集成方法
| 算法 | 章节 | 特点 |
| Bagging | 12-集成学习进阶 | 并行集成 |
| AdaBoost | 12-集成学习进阶 | 序列集成 |
| Stacking | 12-集成学习进阶 | 堆叠集成 |
| Voting | 12-集成学习进阶 | 投票集成 |
无监督学习算法
聚类算法
| 算法 | 章节 | 特点 |
| K-Means | 03-无监督学习 | 基础聚类 |
| 层次聚类 | 03-无监督学习, 16-聚类算法进阶 | 树状结构 |
| DBSCAN | 03-无监督学习, 16-聚类算法进阶 | 密度聚类 |
| OPTICS | 16-聚类算法进阶 | 处理不同密度 |
| GMM | 03-无监督学习, 16-聚类算法进阶 | 概率聚类 |
| 谱聚类 | 16-聚类算法进阶 | 图聚类 |
| BIRCH | 16-聚类算法进阶 | 大规模聚类 |
| MiniBatchKMeans | 16-聚类算法进阶 | 流式聚类 |
降维算法
| 算法 | 章节 | 特点 |
| PCA | 03-无监督学习, 13-降维与流形学习 | 主成分分析 |
| 核PCA | 13-降维与流形学习 | 非线性PCA |
| LDA | 13-降维与流形学习 | 有监督降维 |
| NMF | 13-降维与流形学习 | 非负矩阵分解 |
| SVD | 13-降维与流形学习 | 奇异值分解 |
| t-SNE | 03-无监督学习, 13-降维与流形学习 | 可视化 |
| UMAP | 13-降维与流形学习 | 快速可视化 |
| ISOMAP | 13-降维与流形学习 | 测地距离 |
| LLE | 13-降维与流形学习 | 局部线性嵌入 |
| MDS | 13-降维与流形学习 | 多维缩放 |
关联规则
| 算法 | 章节 | 特点 |
| Apriori | 15-其他监督学习算法 | 频繁项集挖掘 |
深度学习算法
基础架构
| 算法 | 章节 | 特点 |
| CNN | 05-深度学习 | 卷积神经网络 |
| RNN | 04-时序模型 | 循环神经网络 |
| LSTM | 04-时序模型 | 长短期记忆网络 |
| GRU | 04-时序模型 | 门控循环单元 |
进阶架构
| 算法 | 章节 | 特点 |
| ResNet | 09-深度学习进阶 | 残差网络 |
| BatchNorm | 09-深度学习进阶 | 批归一化 |
| Dropout | 05-深度学习 | 正则化 |
| Attention | 09-深度学习进阶, 18-NLP与Transformer详解 | 注意力机制 |
| Transformer | 04-时序模型, 18-NLP与Transformer详解 | 自注意力架构 |
生成模型
| 算法 | 章节 | 特点 |
| GAN | 09-深度学习进阶, 19-生成模型深度解析 | 生成对抗网络 |
| DCGAN | 19-生成模型深度解析 | 深度卷积GAN |
| cGAN | 19-生成模型深度解析 | 条件GAN |
| VAE | 19-生成模型深度解析 | 变分自编码器 |
| 扩散模型 | 19-生成模型深度解析 | Diffusion Models |
| Stable Diffusion | 19-生成模型深度解析 | 隐空间扩散 |
| 流模型 (Flow) | 19-生成模型深度解析 | 可逆变换、精确似然 |
| NICE | 19-生成模型深度解析 | 非线性独立成分估计 |
| RealNVP | 19-生成模型深度解析 | 仿射耦合层流模型 |
| Glow | 19-生成模型深度解析 | 可逆1x1卷积 |
| 一致性模型 | 19-生成模型深度解析 | Consistency Models |
| 视频扩散模型 | 19-生成模型深度解析 | 时空扩散 |
| 分子生成 | 19-生成模型深度解析 | 图神经网络生成 |
图神经网络
| 算法 | 章节 | 特点 |
| GCN | 17-图神经网络 | 图卷积网络 |
| GraphSAGE | 17-图神经网络 | 归纳式学习 |
| GAT | 17-图神经网络 | 图注意力网络 |
现代表格数据模型
| 算法 | 章节 | 特点 |
| TabNet | 26-现代表格数据方法 | 注意力驱动特征选择 |
| FT-Transformer | 26-现代表格数据方法 | 特征分词器+Transformer |
| TabPFN | 26-现代表格数据方法 | 元学习零样本预测 |
| KAN | 26-现代表格数据方法 | Kolmogorov-Arnold网络 |
| SAINT | 26-现代表格数据方法 | 自注意力+交叉注意力 |
AutoML框架
| 框架 | 章节 | 特点 |
| AutoGluon | 26-现代表格数据方法 | 多层Stacking集成 |
| FLAML | 26-现代表格数据方法 | 低成本高效搜索 |
| PyCaret | 26-现代表格数据方法 | 高层API快速实验 |
自然语言处理
词嵌入
| 算法 | 章节 | 特点 |
| Word2Vec | 18-NLP与Transformer详解 | 词向量 |
| CBOW | 18-NLP与Transformer详解 | 连续词袋 |
| Skip-gram | 18-NLP与Transformer详解 | 跳字模型 |
| GloVe | 18-NLP与Transformer详解 | 全局向量 |
| FastText | 18-NLP与Transformer详解 | 子词信息 |
预训练模型
| 算法 | 章节 | 特点 |
| BERT | 18-NLP与Transformer详解 | 双向编码 |
| GPT | 18-NLP与Transformer详解 | 生成式预训练 |
| RoBERTa | 18-NLP与Transformer详解 | BERT优化 |
| T5 | 18-NLP与Transformer详解 | Text-to-Text |
| BART | 18-NLP与Transformer详解 | 序列到序列 |
强化学习
| 算法 | 章节 | 特点 |
| Q-Learning | 10-强化学习基础 | 值迭代 |
| DQN | 10-强化学习基础 | 深度Q网络 |
| Policy Gradient | 10-强化学习基础 | 策略梯度 |
| Actor-Critic | 10-强化学习基础 | 演员-评论家 |
| PPO | 10-强化学习基础 | 近端策略优化 |
自监督学习
| 算法 | 章节 | 特点 |
| SimCLR | 20-自监督学习 | 对比学习 |
| MoCo | 20-自监督学习 | 动量对比 |
| MAE | 20-自监督学习 | 掩码自编码器 |
| BEiT | 20-自监督学习 | 离散表示 |
元学习
| 算法 | 章节 | 特点 |
| MAML | 21-元学习 | 模型无关元学习 |
| Prototypical Networks | 21-元学习 | 原型网络 |
| Matching Networks | 21-元学习 | 匹配网络 |
大语言模型
| 算法/技术 | 章节 | 特点 |
| Transformer Decoder | 22-大语言模型原理 | 自回归架构 |
| 自回归语言建模 | 22-大语言模型原理 | Next Token Prediction |
| 位置编码 (RoPE/ALiBi) | 22-大语言模型原理 | 高级位置编码 |
| 监督微调 (SFT) | 22-大语言模型原理 | 指令微调 |
| RLHF | 22-大语言模型原理 | 基于人类反馈的强化学习 |
| DPO | 22-大语言模型原理 | 直接偏好优化 |
| LoRA | 22-大语言模型原理 | 低秩适配 |
| KV Cache | 22-大语言模型原理 | 推理优化 |
| 量化 (INT8/INT4) | 22-大语言模型原理 | 模型压缩 |
| 投机采样 | 22-大语言模型原理 | 推理加速 |
可解释AI
| 方法 | 章节 | 特点 |
| SHAP | 23-可解释AI与因果推断 | Shapley值解释 |
| LIME | 23-可解释AI与因果推断 | 局部线性解释 |
| Grad-CAM | 23-可解释AI与因果推断 | CNN可视化 |
| 注意力可视化 | 23-可解释AI与因果推断 | Transformer解释 |
| 特征重要性 | 23-可解释AI与因果推断 | 全局/局部重要性 |
因果推断
| 方法 | 章节 | 特点 |
| 潜在结果框架 | 23-可解释AI与因果推断 | Rubin因果模型 |
| 因果图 | 23-可解释AI与因果推断 | Pearl因果图 |
| 工具变量 (IV) | 23-可解释AI与因果推断 | 2SLS估计 |
| 双重差分 (DID) | 23-可解释AI与因果推断 | 面板数据分析 |
| 倾向得分匹配 (PSM) | 23-可解释AI与因果推断 | 观察性研究 |
| PC算法 | 23-可解释AI与因果推断 | 因果发现 |
贝叶斯方法
| 算法 | 章节 | 特点 |
| 贝叶斯线性回归 | 14-贝叶斯方法 | 概率回归 |
| 高斯过程 | 14-贝叶斯方法 | 非参数方法 |
| 变分推断 | 14-贝叶斯方法 | 近似推断 |
| 贝叶斯优化 | 14-贝叶斯方法 | 黑盒优化 |
🔤 按字母索引
A
- AdaBoost - 12-集成学习进阶
- Apriori - 15-其他监督学习算法
- Attention - 09-深度学习进阶, 18-NLP与Transformer详解
- Actor-Critic - 10-强化学习基础
- AutoGluon - 26-现代表格数据方法
B
- Bagging - 12-集成学习进阶
- BatchNorm - 09-深度学习进阶
- BART - 18-NLP与Transformer详解
- BERT - 18-NLP与Transformer详解
- BEiT - 20-自监督学习
- BIRCH - 16-聚类算法进阶
- 贝叶斯优化 - 14-贝叶斯方法
- 贝叶斯线性回归 - 14-贝叶斯方法
C
- CatBoost - 12-集成学习进阶
- CBOW - 18-NLP与Transformer详解
- CNN - 05-深度学习
- cGAN - 19-生成模型深度解析
- Consistency Models - 19-生成模型深度解析
D
- DBSCAN - 03-无监督学习, 16-聚类算法进阶
- DCGAN - 19-生成模型深度解析
- DPO - 22-大语言模型原理
- 决策树 - 02-监督学习
- 扩散模型 - 19-生成模型深度解析
- Dropout - 05-深度学习
- DQN - 10-强化学习基础
- DID (双重差分) - 23-可解释AI与因果推断
E
F
- FastText - 18-NLP与Transformer详解
- FLAML - 26-现代表格数据方法
- Flow (流模型) - 19-生成模型深度解析
- FT-Transformer - 26-现代表格数据方法
G
- GAN - 09-深度学习进阶, 19-生成模型深度解析
- GAT - 17-图神经网络
- GCN - 17-图神经网络
- GDA - 15-其他监督学习算法
- GBDT - 12-集成学习进阶
- Glow - 19-生成模型深度解析
- GloVe - 18-NLP与Transformer详解
- GMM - 03-无监督学习, 16-聚类算法进阶
- GP (高斯过程) - 14-贝叶斯方法
- Grad-CAM - 23-可解释AI与因果推断
- GRU - 04-时序模型
- GraphSAGE - 17-图神经网络
H
- 层次聚类 - 03-无监督学习, 16-聚类算法进阶
I
K
- K-Means - 03-无监督学习
- KAN - 26-现代表格数据方法
- KNN - 02-监督学习
- 核PCA - 13-降维与流形学习
L
- Lasso - 02-监督学习
- LDA - 13-降维与流形学习
- LightGBM - 12-集成学习进阶
- LIME - 23-可解释AI与因果推断
- LLE - 13-降维与流形学习
- LoRA - 22-大语言模型原理
- 逻辑回归 - 02-监督学习
- LSTM - 04-时序模型
- 线性回归 - 02-监督学习
M
- MAML - 21-元学习
- MAE - 20-自监督学习
- MDS - 13-降维与流形学习
- MiniBatchKMeans - 16-聚类算法进阶
- MoCo - 20-自监督学习
- 朴素贝叶斯 - 02-监督学习
N
- NICE - 19-生成模型深度解析
- NMF - 13-降维与流形学习
O
P
- PCA - 03-无监督学习, 13-降维与流形学习
- Policy Gradient - 10-强化学习基础
- PPO - 10-强化学习基础
- Prototypical Networks - 21-元学习
Q
R
- Random Forest - 02-监督学习, 12-集成学习进阶
- RealNVP - 19-生成模型深度解析
- ResNet - 09-深度学习进阶
- Ridge - 02-监督学习
- RLHF - 22-大语言模型原理
- RoPE - 22-大语言模型原理
- RNN - 04-时序模型
- RoBERTa - 18-NLP与Transformer详解
S
- SAINT - 26-现代表格数据方法
- SHAP - 23-可解释AI与因果推断
- SimCLR - 20-自监督学习
- Skip-gram - 18-NLP与Transformer详解
- SFT (监督微调) - 22-大语言模型原理
- SVD - 13-降维与流形学习
- SVM - 02-监督学习, 15-其他监督学习算法
- SVR - 15-其他监督学习算法
- Stable Diffusion - 19-生成模型深度解析
- Stacking - 12-集成学习进阶
- 随机森林 - 02-监督学习, 12-集成学习进阶
- 谱聚类 - 16-聚类算法进阶
T
- T5 - 18-NLP与Transformer详解
- TabNet - 26-现代表格数据方法
- TabPFN - 26-现代表格数据方法
- Transformer - 04-时序模型, 18-NLP与Transformer详解
- t-SNE - 03-无监督学习, 13-降维与流形学习
U
V
- VAE - 19-生成模型深度解析
- 变分推断 - 14-贝叶斯方法
- Voting - 12-集成学习进阶
X
📈 算法选择速查表
分类问题
| 场景 | 推荐算法 |
| 小数据集 | TabPFN、朴素贝叶斯、SVM、KNN |
| 大数据集 | 随机森林、XGBoost、LightGBM、AutoGluon |
| 需要解释性 | 决策树、逻辑回归、TabNet、KAN |
| 需要概率输出 | 逻辑回归、朴素贝叶斯 |
| 非线性关系 | 随机森林、XGBoost、神经网络 |
| 表格数据最高精度 | AutoGluon、FT-Transformer |
| 文本分类 | 朴素贝叶斯、BERT |
| 图像分类 | CNN、ResNet |
回归问题
| 场景 | 推荐算法 |
| 线性关系 | 线性回归、Ridge、Lasso |
| 非线性关系 | 随机森林、XGBoost、神经网络 |
| 需要不确定性 | 贝叶斯线性回归、高斯过程 |
聚类问题
| 场景 | 推荐算法 |
| 球形簇 | K-Means、GMM |
| 任意形状 | DBSCAN、谱聚类 |
| 不同密度 | OPTICS、谱聚类 |
| 大规模数据 | MiniBatchKMeans、BIRCH |
| 需要层次结构 | 层次聚类 |
降维问题
| 场景 | 推荐算法 |
| 线性降维 | PCA、LDA |
| 非线性降维 | t-SNE、UMAP |
| 可视化 | UMAP、t-SNE |
🎯 学习路径推荐
初学者路径
- 线性回归 → 逻辑回归 → 决策树
- K-Means → PCA
- CNN基础 → RNN基础
进阶者路径
- 随机森林 → XGBoost → LightGBM
- BERT → GPT
- GAN → VAE → 扩散模型
研究者路径
- Transformer → BERT/GPT → 大语言模型
- GCN → GAT → GraphSAGE
- SimCLR → MAE → 元学习
- 可解释AI → 因果推断
新增章节：22-大语言模型原理, 23-可解释AI与因果推断, 24-数学基础进阶, 25-核心理论, 26-现代表格数据方法