机器为什么能学：神经网络 80 年发展史

从巴甫洛夫的狗，到 ChatGPT —— 一个想法熬了 80 年才改变世界

神经网络的故事里有一个反复出现的模式：核心想法很早就有了，但每一次都卡在不同的地方。1949 年就有了"连接会变强"的学习理论，1957 年就有了会学习的机器，1986 年就有了训练多层网络的方法——可真正的爆发要等到 2012 年。缺的从来不是想法，而是数据、算力和把算法磨到能用的耐心。这篇文章把两讲课程串成一条完整的线，并为每个关键机制配了可以动手操作的演示。

一、机器凭什么能学习：不教规则，让它看例子

1.1 两次寒冬的教训

人工智能历史上出过两次大寒冬。第一次栽在机器翻译上：自然语言太复杂，当时的理论和技术基础完全撑不住。第二次栽在专家系统上：规则要人一条条手写，越写越多，系统越来越复杂，维护成本迅速失控。到 1980 年代末到 1990 年代初，AI 研究的资金一个接一个被砍，整个领域进入极其低迷的时期。

注意，这两次失败其实是同一条路线的失败——用规则和逻辑构建智能的符号主义。1956 年达特茅斯会议提出的三条技术路线里，符号主义最先撞墙；而另一条路线——用神经元连接实现智能的连接主义——还没来得及充分发展。这个空档，就是后面整个故事的发生地。

1.2 连接主义：让机器自己学

连接主义的核心想法简单到一句话就能说完：不要教机器规则，让它看例子，自己学。就像小孩认猫——你不需要递给他一本规则手册，写上"猫有四条腿、尖耳朵、会喵喵叫"；你只需要带他看 100 只猫，他自己就学会了。人类学认字也是这样：爸妈不会告诉你"这个字有三横两竖所以读王"，他们只是一次又一次指着字告诉你读音，看得多了，大脑自己就记住了。

这套思路的技术载体，就是神经网络。但它凭什么能实现"自己学"？答案不在工程里，在生物学里。

1.3 生物学的底子：赫布法则

1949 年，心理学家唐纳德·赫布提出一个后来影响了整个神经科学和人工智能的理论，一句话概括：一起被激活的神经元，会连在一起。

最著名的证据是巴甫洛夫的狗：喂食前先摇铃，次数多了，狗一听到铃声就流口水——哪怕眼前没有食物。赫布的解释是：一开始，"听到铃声"和"分泌唾液"是两件毫不相关的事，负责听觉的神经元和负责唾液分泌的神经元之间没有连接；但因为喂食前总是先摇铃，两个神经元一次又一次被同时激活，它们之间的连接就一点点变强。直到有一天，听觉神经元一被激活，就会自动带动唾液神经元。这个"连接可以变强"的现象叫突触可塑性，它是神经网络能记住东西、学会东西的全部理论基础。赫布也因此被认为是神经网络思想的重要奠基人之一。

神经元本身的工作方式则像一个个小电站：接收电信号，够强就被激发（像灯泡亮一下），再把信号传给下一个神经元。有了赫布的理论，科学家们在 1950 年代开始认真思考一个问题：既然人脑是这样学习的，能不能造一台机器也用类似的方式学习？

二、感知机：第一个真能学习的机器（1957）

1957 年，罗森布拉特发明了感知机——人类历史上第一个真正能学习的机器。他把它连接到相机上识别字母：一开始感知机什么都不认识，给它看 100 张 A 的照片、告诉它"这是 A"，再看 100 张 B 的照片、告诉它"这是 B"，慢慢地它就学会了：看到这种形状是 A，看到那种形状是 B。

关键在于：它不是靠预设规则，而是靠看例子总结规律。这正是连接主义核心思想的第一次机器实现。

2.1 为什么必须同时给正例和反例

课程里有个很直观的思想实验：训练一个感知机识别三角形。你只给它看了 10 张三角形的图片，然后拿出来第 11 张——一个正方形。感知机会怎么判断？

它会把正方形也判成三角形。因为它从没见过反例，它总结出的规律只是"有角、有边"——而正方形也有角、有边。所以机器学习必须同时提供正例（这是三角形）和反例（这不是三角形），它才能学会把两类区分开。

2.2 全世界的追捧，与一个人的转向

1958 年 7 月，《纽约时报》报道感知机"将能够像人类大脑一样思考"，美国海军投入大量资金，罗森布拉特一夜之间成为学术明星。他在演讲中反复强调自己的信念：如果让机器像大脑一样学习，未来它或许能识别人脸、理解语言，甚至下棋。在他看来，神经网络就是人工智能的未来。

此时，一个关键人物登场了：明斯基。他是达特茅斯会议的发起人之一、AI 领域最有影响力的人物之一。有意思的是，他早期并不反对神经网络——1951 年还在读书时，他就设计过一台叫 Smart 的机器，能通过反馈改变行为，被认为是最早的学习型机器之一。但后来他逐渐转向了符号主义：他相信真正的智能应该建立在逻辑和规则之上，而不是依赖神经元式的连接。正是他，在 1969 年给神经网络判了死刑。

三、一道数学题判了死刑：异或问题（1969）

3.1 单层感知机是怎么做判断的

单层感知机本质上就是一台简单的计算器：给每个输入打个分，把分数加起来，总分够高，灯就亮；不够，灯就不亮。分数就是"权重"，够高的标准就是"阈值"。

这个方法能解决很多问题。比如"两个开关都打开，灯才亮"（与）——两个分数加起来肯定比一个高，简单。再比如"只要有一个开关打开，灯就亮"（或）——只要有分就能过线，也简单。但有一种情况它解决不了：恰好一个开关打开，灯才亮——两个都关，不亮；两个都开，也不亮。这个规则叫异或（XOR），你家里楼梯的双控开关就是它：两个开关位置不同，灯亮；位置相同，灯灭。

为什么打分制搞不定异或？A 开的时候灯要亮，A 开就得给高分；B 开的时候灯也要亮，B 开也得给高分。可问题来了：A、B 都开时，两个高分加起来，分数更高了——按"分数越高越亮"的机制，它就该亮；但规则偏偏说，两个都开时灯不能亮。这个矛盾不是参数没调好，而是"打分累加 + 一条及格线"这个结构本身做不到。

3.2 寒冬，以及一个悲伤的注脚

证明发表后，神经网络路线迅速失去学术界的主流地位，研究经费被削减，关注度也随之下降。1971 年 7 月 11 日——罗森布拉特 43 岁生日那天——他一个人去切萨皮克湾划船，几个小时后，人们发现他淹死在水里。官方说法是意外溺水；因为在那之前他一直处于抑郁状态，也有人猜测是自杀。此后，神经网络研究进入了长达 30 年的寒冬，整个学术界都认为这条路真的走不通了。

四、辛顿的救赎：多层网络 + 反向传播（1986）

4.1 多层为什么强

多层神经网络把一次判断拆成多个步骤。比如识别一个苹果：第一层分别关注颜色、形状、大小，第二层再把这些特征综合起来判断。层数越深，能理解的规律就越复杂——"深度学习"的"深度"，字面意思就是层数多。

用上一讲的异或问题来看：单层只能在图上画一条直线，而异或的两类点呈对角交叉，一条直线分不开；多层网络相当于允许先画两条线、再把它们组合起来。下面这个演示里，"或"神经元画一条线（切掉都关），"非与"神经元画另一条线（切掉都开），输出层把两条线的结果组合起来——异或规则就出来了。

4.2 反向传播：接力赛的责任倒推

多层网络的"能力"有了，但训练问题没解决：网络输出错了，错该怎么分摊到每一层、每个参数上？1986 年，辛顿与 David Rumelhart、Ronald Williams 在《自然》发表论文，系统提出了反向传播算法。

它的核心逻辑用一场接力赛就能说清：接力赛输了，你不能只说"最后一名慢"，而要从最后一棒开始倒推每一棒的责任——第四棒接棒时落后了多少、第三棒交棒时状态如何……算清每棒责任，再各自针对性调整。反向传播就是从最终输出的错误开始，一步一步往前追溯每一层的责任，再有针对性地调整参数。

4.3 理论可行 ≠ 跑得起来

但 1986 年之后，神经网络依然是冷门方向。反向传播让多层网络"理论上可训练"，可要真跑起来，需要三样东西：海量数据、强大算力、成熟的算法。当时三样全缺——没有足够大的标注数据集，没有足够快的计算机，算法本身也还有许多工程问题没解决。辛顿在冷板凳上守了 30 年，常年申请不到研究经费。改变世界的发现，一开始多半就是这个处境。

五、2012：三个条件第一次同时凑齐

2012 年 9 月，辛顿团队提交的 AlexNet 参加 ImageNet 图像识别挑战赛，把 top5 错误率从 2011 年的 26% 左右降到 15% 左右——而此前这个指标每年只进步 1–2 个百分点。一次拉开 10 个点以上，被公认为深度学习时代正式开启的标志。这不是某一个天才念头，而是三个条件第一次同时成熟：

• 数据：2009 年，李飞飞带领团队建成 ImageNet 数据库——1400 万张标注图片、2 万多个类别（比赛用其中约 120 万张、1000 个类别训练）。
• 算力：AlexNet 使用 2 块英伟达 GTX 580 GPU（每块 3GB 显存），把训练时间从传统 CPU 的几个月缩短到 5–6 天。GPU 本是为游戏画面设计的，天生适合"大量简单计算并行"——而这正是神经网络训练的计算形态。
• 算法：辛顿团队 20 多年的持续改进——权重初始化、防止过拟合、训练加速，一点点磨出来的。

六、三个人卖了 4400 万美元

AlexNet 夺冠后，辛顿和两个学生——Alex Krizhevsky、Ilya Sutskever——成立了一家只有 3 个人的公司：DNN Research。没有产品、没有办公室、没有任何有形资产。但谷歌、微软、百度、DeepMind 四家巨头闻讯而来，展开竞拍。

真实竞拍通过邮件出价，四方彼此不知道对手是谁；起拍价 1200 万美元，每轮加价至少 100 万美元。DeepMind 在 1500 万美元时退出——作为初创公司，他们只能用股票期权出价，拼不过巨头的现金；微软在 2200 万美元时退出；剩下百度和谷歌一路顶到 4400 万美元（约合 2.88 亿人民币）。出价时辛顿严重背痛，是躺在地板上看着电脑屏幕完成的。

故事还没结束。辛顿 2018 年获得图灵奖，2024 年与约翰·霍普菲尔德共同获得诺贝尔物理学奖。Ilya Sutskever 在 2015 年底离开谷歌，与 Sam Altman 共同创立 OpenAI，担任首席科学家领导大语言模型的研发——这些模型最终变成了 ChatGPT。辛顿培养学生的方式也很特别：不指定学生的研究方向，而是和学生一起探索可能性。

七、三条启发

1. 科学突破需要长期坚守。辛顿守了 30 年冷板凳。那些改变世界的发现，一开始多半不被看好。
2. 技术突破需要多个条件同时成熟。数据、算力、算法，缺一不可——就像食材、火、菜谱，缺一样都做不出好菜。做 AI 落地时尤其如此：别指望单点突破。
3. 人才是最宝贵的资源。4400 万美元买的是 3 个人的大脑。在 AI 时代，掌握核心技术的人就是未来。

八、一条时间线收尾

一句话收尾：这条线的逻辑是想法早就有了（1943/1949）→ 能力被证明不够（1969）→ 补上方法（1986）→ 等齐工具（2012）→ 复利兑现（2015/2022）。下一讲，我们聊 AI 的三种学习方式——监督学习、无监督学习、强化学习，看"例子"到底有几种给法。