跳转至

孕育与诞生:1943—1956

人工智能并不是在某一天突然被“发明”出来的。它是数理逻辑、计算理论、神经科学、信息论和控制论等多条思想河流在 20 世纪中叶汇合的产物。本章讲述 AI 的“史前史”和它正式诞生的那个夏天。在进入细节之前,先用 图 2.1 俯瞰 AI 七十余年的全貌——本书第 2 至 7 章将沿着这条时间线展开。

人工智能发展时间线(1943—2025):主要事件、时代划分与两次“AI 寒冬”
图 2.1 人工智能发展时间线(1943—2025):主要事件、时代划分与两次“AI 寒冬”

思想的源头

逻辑:把推理变成计算

把思维形式化的梦想至少可以追溯到亚里士多德的三段论。17 世纪,莱布尼茨 (Gottfried Wilhelm Leibniz) 设想过一种“普遍文字”和“推理演算”,希望争论双方只需说一句“让我们来算一算”就能解决分歧。1854 年,乔治·布尔 (George Boole) 出版《思维规律的研究》,用代数运算表达逻辑推理,这就是今天每个程序员都熟悉的布尔代数。19 世纪末到 20 世纪初,弗雷格 (Frege)、罗素 (Russell) 和怀特海 (Whitehead) 等人建立了现代一阶逻辑,使得数学证明本身可以被形式化为符号的机械变换。

计算:什么是“可计算的”

1936 年,年仅 24 岁的图灵发表论文《论可计算数》,提出了一种抽象的计算模型——后来被称为 图灵机 (Turing Machine)。图灵机由一条无限长的纸带、一个读写头和一张有限的状态转移表组成。图灵证明:存在一台通用图灵机,它可以读入任何其他图灵机的描述并模拟其行为。这一思想正是“存储程序计算机”的理论基础:程序本身也是数据。

几乎同时,阿隆佐·丘奇 (Alonzo Church) 用 λ 演算给出了等价的可计算性定义。丘奇—图灵论题认为:任何“能行可计算”的过程都可以由图灵机完成。如果人的思维过程也是某种计算,那么原则上它就可以在机器上实现——这是人工智能最根本的哲学前提之一。

信息与控制:香农与维纳

1948 年是一个奇迹之年。克劳德·香农 (Claude Shannon) 发表《通信的数学理论》,创立信息论 (Information Theory),定义了信息熵,用“比特”来度量信息量 (Shannon, 1948)。信息论中的交叉熵、KL 散度等概念,今天依然是训练大语言模型的损失函数的核心(卷三将详细讲解)。香农在 1951 年还做过一个有趣的实验:让人猜测英文文本的下一个字母,以此估计英语的熵——这几乎就是“下一个词元预测”的雏形。

同年,诺伯特·维纳 (Norbert Wiener) 出版《控制论》(Cybernetics),研究动物和机器中的反馈与控制。控制论强调目标导向的系统可以通过感知误差并修正行为来实现“有目的”的行为,这与后来的智能体和强化学习思想一脉相承。

M-P 神经元:第一个神经网络模型

1943 年,神经生理学家沃伦·麦卡洛克 (Warren McCulloch) 与年轻的逻辑学家沃尔特·皮茨 (Walter Pitts) 发表了《神经活动中内在思想的逻辑演算》(McCulloch & Pitts, 1943)。他们把生物神经元抽象成一个极其简单的数学模型,后人称之为 M-P 神经元 (McCulloch-Pitts Neuron)。

生物神经元通过树突接收来自其他神经元的信号,当累积的刺激超过某个阈值时,它就会“激发”,沿轴突发出一个电脉冲。M-P 模型把这个过程简化为:

\[ y = \begin{cases} 1 & \text{ 若 }\sum_{i = 1}^{n}x_{i} \geq \theta \\ 0 & \text{ 否则} \end{cases} \tag{2.1} \]

其中输入 \(x_{i} \in \left\{ 0,1 \right\}\) 是二值信号,\(\theta\) 是阈值。原始模型还包括“抑制性输入”:只要任意一个抑制性输入为 1,神经元就不激发。

M-P 论文最重要的结论是:由这样的神经元组成的网络可以实现任意的逻辑函数。换句话说,神经网络在原理上与逻辑电路一样强大。这篇论文同时启发了两条后来分道扬镳的路线——用逻辑做 AI 的符号主义,以及用神经网络做 AI 的联结主义。冯·诺依曼 (John von Neumann) 在 1945 年描述 EDVAC 计算机的报告中也引用了 M-P 神经元来解释其逻辑元件。

例题 用 M-P 神经元实现逻辑门

设神经元有两个输入 \(x_{1},x_{2} \in \left\{ 0,1 \right\}\)。

  • 与门 (AND):取 \(\theta = 2\)。只有当 \(x_{1} = x_{2} = 1\) 时,\(x_{1} + x_{2} = 2 \geq \theta\),输出 1。

  • 或门 (OR):取 \(\theta = 1\)。只要有一个输入为 1,和就不小于 1,输出 1。

  • 非门 (NOT):只有一个抑制性输入 \(x\),阈值 \(\theta = 0\)。当 \(x = 0\) 时,和为 \(0 \geq 0\),输出 1;当 \(x = 1\) 时被抑制,输出 0。

把这些门组合起来,就能实现任意布尔函数,例如异或 \(x_{1}\text{ XOR }x_{2} = \left( x_{1}\text{ OR }x_{2} \right)\text{ AND }\text{ NOT}\left( x_{1}\text{ AND }x_{2} \right)\)——它需要两层神经元。请记住这个例子,在第 3 章中它将扮演关键角色。

下面的 Python 代码实现了 M-P 神经元并验证上述逻辑门:

def mp_neuron(inputs, theta, inhibitory=()):
    """McCulloch-Pitts 神经元:二值输入、固定阈值、无学习。"""
    if any(inhibitory):          # 任一抑制性输入为 1 则不激发
        return 0
    return int(sum(inputs) >= theta)

AND = lambda a, b: mp_neuron([a, b], theta=2)
OR  = lambda a, b: mp_neuron([a, b], theta=1)
NOT = lambda a:    mp_neuron([], theta=0, inhibitory=[a])
XOR = lambda a, b: AND(OR(a, b), NOT(AND(a, b)))   # 两层网络

for a in (0, 1):
    for b in (0, 1):
        print(a, b, "AND", AND(a, b), "OR", OR(a, b), "XOR", XOR(a, b))

M-P 神经元有一个致命的局限:它的阈值和连接方式都是人为设定的,不能学习。如何让神经网络自动从经验中调整连接?1949 年,心理学家唐纳德·赫布 (Donald Hebb) 在《行为的组织》一书中提出了一个影响深远的猜想:当神经元 A 反复参与激发神经元 B 时,A 到 B 的连接会增强。这一原则常被概括为“一起激发的神经元连在一起”(Cells that fire together wire together),即 赫布学习规则 (Hebbian Learning)。它是第一个关于“学习如何在神经网络中发生”的具体理论。

图灵 1950:机器能思考吗?

第 1 章已经介绍了图灵测试本身。这里补充两个与工程师更相关的细节。

第一,图灵非常清楚地看到了学习的重要性。他写道,与其试图编写模拟成人心智的程序,不如模拟儿童的心智,再对它进行“教育”。他甚至讨论了奖励与惩罚在教育机器中的作用——这正是强化学习的思想萌芽。

第二,图灵对计算资源做了估算。他认为实现模仿游戏大约需要 \(10^{9}\) 比特(约 125 MB)的存储量。今天的大语言模型参数动辄需要数百 GB 存储,比图灵的估计多出三到四个数量级——但考虑到他写作时世界上最大的计算机只有几 KB 内存,这个估计的方向感已经相当惊人。

达特茅斯会议:AI 的命名

1955 年夏天,达特茅斯学院的年轻数学助理教授约翰·麦卡锡,联合哈佛的马文·明斯基 (Marvin Minsky)、IBM 的纳撒尼尔·罗切斯特 (Nathaniel Rochester) 和贝尔实验室的克劳德·香农,向洛克菲勒基金会提交了一份提案,申请在次年夏天举办一次为期两个月的研讨会 (McCarthy et al., 1955)。提案的开头一段成为 AI 史上最著名的文字之一:

“我们提议于 1956 年夏天在新罕布什尔州汉诺威的达特茅斯学院进行一项为期两个月、十人参加的人工智能研究。这项研究基于这样一个猜想:学习的每一个方面或智能的任何其他特征,原则上都可以被精确地描述,以至于能够制造一台机器来模拟它。”

提案列出了七个研究方向:自动计算机、如何编程让计算机使用语言、神经网络、计算规模理论、自我改进、抽象、随机性与创造性。七十年后回头看,这几乎就是今天 AI 研究的完整清单——“如何让计算机使用语言”正是大语言模型要解决的问题,“自我改进”则是当下热门的研究方向。

1956 年夏天的研讨会本身并没有产生什么突破性成果,参会者来来去去,也没有形成统一的研究方案。但它完成了两件重要的事:给这个领域起了名字,并把未来二十年的核心人物聚集在了一起——除了四位发起人,还有艾伦·纽厄尔 (Allen Newell)、赫伯特·西蒙 (Herbert Simon)、奥利弗·塞尔弗里奇 (Oliver Selfridge)、雷·所罗门诺夫 (Ray Solomonoff) 等人。因此,1956 年通常被视为人工智能作为一门学科的诞生之年。

历史小故事 “人工智能”这个名字

麦卡锡后来回忆说,他选择“人工智能”这个词,部分原因是想与当时已有的“自动机理论”和维纳的“控制论”划清界限,开辟一个新的领域。这个名字也一直有争议——有人认为它过于夸张,容易引发不切实际的期望。事实证明,“期望过高—失望—寒冬”的循环确实在 AI 历史上反复出现。

逻辑理论家:第一个 AI 程序

在达特茅斯会议上真正带来“可运行成果”的,是来自卡内基理工学院(今卡内基梅隆大学)和兰德公司的纽厄尔与西蒙。他们与程序员克利福德·肖 (Cliff Shaw) 一起编写了 逻辑理论家 (Logic Theorist)。这个程序能够证明罗素和怀特海《数学原理》第二章中的定理,最终证明了其中前 52 条中的 38 条,其中一条的证明甚至比原书更为简洁。

逻辑理论家的意义不在于数学本身,而在于它展示的方法:把问题求解看作在可能的推理步骤构成的空间中进行搜索,并用启发式 (Heuristic) 规则来剪除没有希望的分支。“搜索 + 启发式”成为此后二十年 AI 研究的核心范式。纽厄尔和西蒙随后又开发了通用问题求解器 (General Problem Solver, GPS),试图用“手段—目的分析”解决一切形式化问题。

表 2.1 AI 孕育期的关键里程碑

年份 人物 贡献
1936 图灵、丘奇 可计算性理论:图灵机与 λ 演算
1943 麦卡洛克、皮茨 M-P 神经元:神经网络可以实现逻辑
1948 香农 信息论:熵与比特
1948 维纳 控制论:反馈与目标导向行为
1949 赫布 赫布学习规则:神经连接如何通过经验增强
1950 图灵 《计算机器与智能》:图灵测试与学习机器
1956 麦卡锡、明斯基等 达特茅斯会议:AI 正式命名
1956 纽厄尔、西蒙、肖 逻辑理论家:第一个 AI 程序

本章小结

  • AI 的思想源头包括:形式逻辑(推理可以机械化)、可计算性理论(图灵机与通用计算)、信息论(信息可以度量)和控制论(反馈与目标)。

  • 1943 年的 M-P 神经元是第一个人工神经元模型:加权求和后与阈值比较;神经元网络可以实现任意逻辑函数,但无法学习。

  • 赫布规则(1949)首次提出了神经网络中“学习”的机制猜想。

  • 1956 年的达特茅斯会议为 AI 命名,并汇聚了此后数十年的核心研究者。

  • 逻辑理论家开创了“搜索 + 启发式”的问题求解范式。

习题

  1. (计算) 用 M-P 神经元实现“多数表决”函数:三个二值输入中至少有两个为 1 时输出 1。应如何设置阈值?

  2. (计算) 用 M-P 神经元(可使用抑制性输入)实现 \(x_{1}\text{ AND }\text{ NOT }x_{2}\)。

  3. (编程) 修改本章代码,实现一个三输入的“奇偶校验”函数(输入中 1 的个数为奇数时输出 1),并说明你用了几层神经元。

  4. (概念) 为什么说丘奇—图灵论题是人工智能的“哲学前提”之一?

  5. (概念) 达特茅斯提案列出的七个研究方向中,哪些在今天的大语言模型中得到了体现?

延伸阅读

  • McCulloch, W. S., & Pitts, W. (1943). A Logical Calculus of the Ideas Immanent in Nervous Activity. Bulletin of Mathematical Biophysics, 5, 115–133.

  • McCarthy, J., Minsky, M. L., Rochester, N., & Shannon, C. E. (1955). A Proposal for the Dartmouth Summer Research Project on Artificial Intelligence.

  • Nilsson, N. J. (2009). The Quest for Artificial Intelligence: A History of Ideas and Achievements. Cambridge University Press. ——一本由亲历者撰写的 AI 思想史,第 1–4 章与本章内容对应。