跳转至

术语表

本表按术语在书中首次出现的大致顺序分组,列出本书涉及的主要术语的中英文对照。

中文 英文 简要说明
人工智能 Artificial Intelligence (AI) 让机器表现出智能行为的科学与工程
智能体 Agent 感知环境并采取行动的系统
图灵测试 Turing Test 以对话中能否与人区分来检验机器智能
机器学习 Machine Learning (ML) 从数据中学习规律的方法
深度学习 Deep Learning (DL) 使用多层神经网络的机器学习
大语言模型 Large Language Model (LLM) 在海量文本上训练的大规模 Transformer 语言模型
通用人工智能 Artificial General Intelligence (AGI) 能在广泛任务上达到人类水平的 AI
莫拉维克悖论 Moravec’s Paradox 对人难的事对机器易,反之亦然
M-P 神经元 McCulloch-Pitts Neuron 1943 年提出的二值阈值神经元模型
赫布学习 Hebbian Learning 共同激活的神经元之间连接增强
启发式 Heuristic 用于引导搜索的经验性估计
极小化极大 Minimax 双人零和博弈的搜索算法
组合爆炸 Combinatorial Explosion 状态数随问题规模指数增长
物理符号系统假设 Physical Symbol System Hypothesis 符号操作是智能的充要条件
感知机 Perceptron 可学习权重的线性分类器
学习率 Learning Rate 每次参数更新的步长
线性可分 Linearly Separable 可以用一个超平面分开两类数据
AI 寒冬 AI Winter AI 研究经费与关注度大幅下降的时期
专家系统 Expert System 用规则编码专家知识的推理系统
知识获取瓶颈 Knowledge Acquisition Bottleneck 把专家知识转化为规则的困难
符号主义 Symbolism 以符号与逻辑推理实现智能的流派
联结主义 Connectionism 以神经元连接与学习实现智能的流派
反向传播 Backpropagation 用链式法则高效计算梯度的算法
隐藏层 Hidden Layer 输入与输出之间的网络层
梯度下降 Gradient Descent 沿负梯度方向迭代更新参数
万能近似定理 Universal Approximation Theorem 单隐藏层网络可逼近任意连续函数
卷积神经网络 Convolutional Neural Network (CNN) 局部连接、权重共享的网络,擅长图像
支持向量机 Support Vector Machine (SVM) 最大化分类间隔的分类器
核技巧 Kernel Trick 用核函数隐式计算高维空间内积
决策树 Decision Tree 通过逐层提问进行预测的树状模型
集成学习 Ensemble Learning 组合多个模型以提升性能
随机森林 Random Forest 多棵随机化决策树的投票集成
隐马尔可夫模型 Hidden Markov Model (HMM) 由隐状态序列生成观测序列的概率模型
循环神经网络 Recurrent Neural Network (RNN) 按时间步传递隐状态处理序列
长短期记忆网络 Long Short-Term Memory (LSTM) 带门控机制、缓解梯度消失的 RNN
梯度消失 Vanishing Gradient 梯度在反向传播中指数衰减
残差连接 Residual Connection 把输入直接加到输出上的捷径
词嵌入 Word Embedding 词的稠密向量表示
注意力机制 Attention Mechanism 按相关性对信息加权汇总
生成对抗网络 Generative Adversarial Network (GAN) 生成器与判别器对抗训练的生成模型
自注意力 Self-Attention 序列内部各位置之间的注意力
词元 Token 模型处理文本的基本单位
自回归生成 Autoregressive Generation 逐个预测并追加下一个词元
交叉熵损失 Cross-Entropy Loss 对正确类别预测概率取负对数
规模定律 Scaling Laws 损失与规模之间的幂律关系
上下文学习 In-context Learning 仅凭提示中的示例完成新任务
对齐 Alignment 使模型行为符合人类意图与价值观
基于人类反馈的强化学习 RLHF 用人类偏好训练奖励模型再做强化学习
直接偏好优化 Direct Preference Optimization (DPO) 直接用偏好数据优化模型
思维链 Chain of Thought (CoT) 让模型写出中间推理步骤
监督学习 Supervised Learning 从带标签数据中学习
无监督学习 Unsupervised Learning 从无标签数据中发现结构
强化学习 Reinforcement Learning (RL) 通过试错与奖励学习
自监督学习 Self-Supervised Learning 从数据自身构造监督信号
泛化 Generalization 在未见过的数据上表现良好的能力
过拟合 Overfitting 记住训练数据噪声而泛化变差
欠拟合 Underfitting 模型过于简单无法捕捉规律
正则化 Regularization 限制模型复杂度以改善泛化
归纳偏置 Inductive Bias 学习算法对问题的先验假设
激活函数 Activation Function 神经元中的非线性变换
多层感知机 Multilayer Perceptron (MLP) 多层全连接前馈网络
计算图 Computational Graph 把计算表示为运算节点构成的图
自动微分 Automatic Differentiation 自动计算程序导数的技术
表示学习 Representation Learning 自动学习数据的有用表示
分词 Tokenization 把文本切分为词元
模型 FLOPs 利用率 Model FLOPs Utilization (MFU) 实际有效算力占峰值算力的比例
幻觉 Hallucination 模型生成看似合理但错误的内容