👋 Hi，我擅长AI 大模型应用落地、意识解码与 AI 开发工具链。 💡 创业路上，用技术换时间，一起把 AI 变成生产力 🚀 >
从深蓝到 AlphaGo：六十年人机博弈，人类到底输在哪一步
AI 编年史 · 第 06 篇- 模块二【方法演进】· 三次范式 · 搜索与学习的分离与合流 · 人类经验的边际
📚 专栏信息
《AI 编年史：一条能查到底的时间线》专栏
专栏定位：面向技术读者与自学者，用 158 条带原始来源的条目，把 AI 从 1912 年到 2026 年的关键转折讲清楚
本系列共 10 篇，分为四大模块：
📖 模块一【源头考据】(3 篇)：年代盘点、起源（1912/1936）、感知机之争
🔧 模块二【方法演进】(3 篇)：反向传播到 AlexNet、Transformer 到 GPT、人机博弈
🛡️ 模块三【工程实践】(1 篇)：五席评审管线与八步门禁
📚 模块四【读者工具】(3 篇)：学习路线、面试 20 问、教学素材
本文是模块二第 3 篇，模块收尾。它把 1912 到 2019 的博弈线串起来，回答一个问题：人类在棋盘上到底输在哪一步？
👨💻 作者与项目
作者简介：翁勇刚 WENG YONGGANG
AI 编年史（aihist）维护者，新概念龙虾-WeClaw 开发团队负责人
理念：“再早的历史，也能查到它的源头”
- 🌐 站点地址：https://aihist.net
- 📝 作者 CSDN：https://blog.csdn.net/yweng18
- 📦 收录标准（JSON）：https://aihist.net/api/v1/standard
- 💻 同作者技术专栏：WeClaw 实战指南（CSDN 专栏）
- 🔍 发现错误：每个条目页页脚有纠错入口
📝 摘要
本文结构概览：
从 1912 年那台只会解残局的机械棋手起头，到 1959 年塞缪尔的跳棋程序第一次"从经验中改进策略"；
再跳到 1992 年的 TD-Gammon——它在西洋双陆棋上已经用上了神经网络 + 时序差分；
然后是 1997 年深蓝：纯搜索路线的巅峰；2015 年 DQN 把"从像素学"做实；
2016 年 AlphaGo 把搜索与学习焊在一起；2017 年 AlphaGo Zero 干脆把人类棋谱扔掉；
最后到 2019 年 AlphaStar 走进不完全信息与实时操作。
背景：
棋类是人机对抗最干净的实验场：规则封闭、胜负明确、可无限自我对弈。
正因为它干净，六十年里每一次范式变化都能被清楚看见。
核心问题：
人类在棋盘上输的，是算力、是直觉，还是"经验本身的价值"？
解决方案：
把六十年拆成三次范式——手工评估 + 暴力搜索、学习评估 + 搜索、只靠自我对弈。
三次范式的差别不在算力，而在"人类知识被放进系统的哪个位置"。
关键成果（按生产库条目实测）：
- 1959 塞缪尔跳棋程序通过自我对弈调整评估函数，达到能战胜作者的业余强手水平
- 1992 TD-Gammon 用神经网络 + 时序差分自我对弈，达到接近人类冠军的水平
- 1997 深蓝 3.5:2.5 战胜卡斯帕罗夫，是专用搜索 + 并行计算在封闭规则任务上首次击败人类顶尖
- 2015 DQN 用同一套网络与超参数学会 49 款 Atari 游戏，多款超过人类专业测试者
- 2016 AlphaGo 4:1 战胜李世石，第二局"第 37 手"成为标志
- 2017 AlphaGo Zero 不从人类棋谱学习，三天内超越击败李世石的版本，并以 100:0 取胜
- 2019 AlphaStar 在《星际争霸 II》完整对局中达到宗师段位
适合读者：对强化学习与博弈感兴趣的人、想理解"搜索与学习"关系的工程师、AI 科普写作者
阅读时长：约 15 分钟
关键词：深蓝、AlphaGo、AlphaGo Zero、强化学习、蒙特卡洛树搜索、自我对弈
一、先说结论
人类输在三步，一步比一步彻底：
- 1997 输给搜索。深蓝没有"棋感"，它靠专用评估函数加并行穷举，在封闭规则里压过了人。
- 2016 输给搜索 + 学习的组合。AlphaGo 用策略网络缩小搜索宽度、价值网络缩小深度，把"暴力"变成了"有选择的暴力"。
- 2017 输得最彻底——输给"不需要人类经验"。AlphaGo Zero 不用人类棋谱，只靠自我对弈，三天内超过了击败李世石的版本，并以 100:0 取胜。
所以真正的答案不是"算力比人强"。是：在规则完全明确、胜负可以自动判定的领域里，人类经验的边际价值会迅速衰减到零。
这句话有个关键限定——“规则完全明确、胜负可自动判定”。它解释了为什么棋类先失守，而写代码、看病、做研究没有。
二、1912 到 1959：从"会走棋"到"会改进"
第 02 篇讲过 1912 年的 El Ajedrecista：机械识别棋子、走完残局、完成将杀。它是专用机器，规则写死在结构里。
四十七年后，1959 年，塞缪尔（Arthur Samuel）的跳棋程序做了一件根本不同的事：它会调整自己的评估函数。
做法是自我对弈：程序和自己下很多盘，根据胜负去修正"什么样的局面算好"的权重。档案里的结论是：它最终达到能战胜作者的业余强手水平。
这三步的差别值得记住：
| 年份 | 系统 | 知识从哪来 | 会不会改进 |
|---|---|---|---|
| 1912 | El Ajedrecista | 机械结构写死 | 不会 |
| 1959 | Samuel 跳棋 | 人类给的评估特征 + 自我对弈调权重 | 会（调权重） |
| 1997 | 深蓝 | 人类专家写的评估函数 + 巨型开局库 | 不会（靠人力迭代） |
塞缪尔那句被引用最多的话大意是：与其教机器下棋，不如让它自己学。这句话在 1959 年是设想，在 2017 年成了事实。
三、1992：一条被低估的支线
在深蓝之前五年，有一条支线已经把"学习"做到了接近人类冠军的水平——TD-Gammon。
Tesauro 让神经网络通过自我对弈与时序差分学习评估棋局，在西洋双陆棋上达到接近人类冠军的水平。
它为什么重要：
- 不需要手工特征。网络直接从棋盘状态学评估值。
- 不需要人类棋谱。对手就是自己。
- 时序差分（TD）：不用等下完一整局才知道好坏，用"下一步的估计"来修正"这一步的估计"。
这三条，二十四年后原封不动地出现在 AlphaGo Zero 里。
那为什么 TD-Gammon 没有引爆？因为西洋双陆棋有骰子，随机性掩盖了评估误差，深度搜索的收益不明显；而且当时没有 GPU、没有大规模算力。方法对了，条件没到——和第 04 篇讲的是同一个规律。
四、1997：搜索路线的巅峰
1997 年 5 月，IBM 深蓝以 3.5:2.5 战胜国际象棋世界冠军卡斯帕罗夫。
它的技术构成，用一句话说是：专用硬件 + 并行搜索 + 人类专家评估 + 巨型开局库。
- 专用芯片做走子生成与评估，每秒能评估上亿个局面；
- 评估函数是人类大师和国际大师一起调的；
- 开局库收录了大量人类对局，避免在开局阶段浪费算力。
这是一次工程胜利，不是学习方法胜利。它证明的是：在国际象棋这种分支因子约 35、搜索深度可以做到十几步的领域，暴力搜索加好评估就够了。
它没有证明的是：这套方法能推广到围棋——分支因子约 250，同样深度下局面数是天文数字，暴力搜索必然失败。
这就是为什么 1997 到 2016 之间隔了十九年。不是没人试，是方法不对。
五、2015：先把"感知"这一环补上
在 AlphaGo 之前，2015 年 2 月，DQN 登上《Nature》。
DeepMind 用同一套网络结构与超参数，从原始像素和游戏得分信号学会 49 款 Atari 游戏，其中多款超过人类专业测试者。
它的贡献是把感知与决策接起来：输入是屏幕像素（210×160×3 的图像），输出是手柄动作，中间没有人工特征。
这一步很关键。棋类游戏的输入是结构化的棋盘状态，天然适合搜索；而 Atari 的输入是像素，必须先"看懂"。DQN 证明了深度网络可以从像素里学出可用的状态表示，再用它做决策。
DQN 能成，靠两个不显眼但关键的技巧：
| 技巧 | 做法 | 解决什么 |
|---|---|---|
| 经验回放 | 把每一步的（状态、动作、奖励、下一状态）存进缓冲区，训练时随机采样 | 相邻样本高度相关，按顺序训会让网络"追着最新数据跑"，遗忘旧知识 |
| 目标网络 | 用一份更新更慢的网络算 TD 目标，隔一段时间才同步 | 目标值跟着参数一起动，训练会像追自己的尾巴一样发散 |
这两条今天看很普通，但在 2015 年是"能把强化学习跑起来"和"跑不起来"的分界。深度强化学习的大部分工程难度，都在"让训练稳定"上，而不是在算法本身。
同一年 12 月，ResNet 用残差连接让上百层网络可训练。深度网络的容量上限被抬高了一档。
六、2016：把搜索和学习焊在一起
2016 年 1 月，AlphaGo 登上《Nature》：结合深度神经网络、蒙特卡洛树搜索与强化学习。3 月，它以 4:1 战胜李世石。
它的结构可以拆成四块：
1. 策略网络（policy） ：给定局面，预测下一步走哪里的概率分布 2. 价值网络（value） ：给定局面，预测最终胜率 3. 蒙特卡洛树搜索（MCTS） ：用上面两个网络引导搜索 4. 强化学习 + 自我对弈 ：用对弈结果反过来训练两个网络关键在于两个网络各解决一个维度：
| 问题 | 传统搜索的做法 | AlphaGo 的做法 |
|---|---|---|
| 分支太宽（250 种走法） | 剪枝 + 启发式 | 策略网络直接给高概率走法，把宽度压到几十 |
| 深度太深（无法到底） | 评估函数估值 | 价值网络直接估胜率，把深度截断 |
搜索负责"准"，学习负责"省"。这是六十年里第一次把两条线真正焊在一起。
蒙特卡洛树搜索本身分四步，值得看清楚，因为"搜索"到底在搜什么常被误解：
| 步骤 | 做什么 | AlphaGo 的改造 |
|---|---|---|
| 1. 选择 | 从根节点按 UCB 往下选，平衡"已赢得多"与"探索得少" | 用策略网络给先验概率，不让每条分支等权 |
| 2. 扩展 | 到达叶子后，新增一个未试过的动作 | 同上，优先扩展高概率动作 |
| 3. 评估 | 原版是随机走到底看输赢（代价高、噪声大） | 用价值网络直接估胜率，辅以快速走子 |
| 4. 回传 | 把结果沿路径回传，更新访问次数与胜率 | 同原版 |
UCB 的核心是一个权衡公式：
选择分数 = 平均收益 + c × √(ln N总 / N该节点) ↑ 利用已有经验 ↑ 奖励探索前半项让搜索集中心力在看起来好的分支，后半项保证冷门分支也有机会被试。c 就是"信经验"还是"多试试"的旋钮。
AlphaGo 真正的改动在第 3 步和第 1 步：把"随机走到底"换成"网络直接估"，把"均匀探索"换成"网络给先验"。两处都指向同一件事——用学到的知识缩小搜索空间。
第 37 手是这场比赛最著名的时刻：那是一步人类棋手几乎不会走的棋，赛后被称为"AI 创造力"的象征。但更准确的解读是——它证明了人类棋谱的分布不是唯一解。这一步不是"机器有灵感"，是"机器没被人类的先验限制住"。
七、2017：把人类经验扔掉
2017 年 10 月，AlphaGo Zero 发布：不从人类棋谱学习，仅靠自我对弈与蒙特卡洛树搜索，在三天内超越击败李世石的版本，并以 100:0 取胜。
这是这条线上最重要的一次实验，因为它是受控实验：
- 自变量：训练数据来源（人类棋谱 vs 纯自我对弈）
- 因变量：棋力
- 结果：不用人类棋谱的版本更强
它推翻了一个长期假设：顶尖人类对局是宝贵的训练数据。至少在围棋上，不是——人类棋谱既带来有用的先验，也带来人类的下法偏好（也就是"盲区"），而后者的代价更大。
顺带说一句 2019 年的 AlphaStar：在《星际争霸 II》完整对局中达到宗师段位。它把三件新东西带进来——不完全信息（看不到对手全图）、实时操作（动作有延迟与频率限制）、长时程规划。这三条比围棋更接近真实世界，也说明"搜索 + 学习"这套框架可以外推到更复杂的环境。
八、人类到底输在哪一步
回到核心问题。三个候选答案：
答案一：输在算力。不完整。深蓝确实靠算力，但 AlphaGo 的计算量并不比深蓝高多少——它靠的是把算力用在"该搜的地方"。AlphaGo Zero 甚至更省，因为它的搜索有更好的先验。
答案二：输在直觉。方向对，但不准确。机器并不是有了直觉，而是用网络替代了评估函数。人类的直觉是几十年对局压缩成的判断，网络的"直觉"是几百万局自我对弈压缩成的权重。两者是同一种东西的不同实现。
答案三（我认为最准确）：输在"经验的边际价值为零"。
在规则封闭、胜负可判定的领域里，自我对弈可以无限生成高质量数据，成本趋近于零。而人类经验是稀缺的、带偏好的、更新缓慢的。当数据可以自己造，人类经验就从"必需品"变成"可选项"，再从"可选项"变成"可能有害的偏置"。
这个结论有明确的边界，也就是它不适用的地方：
| 条件 | 棋类 | 现实任务 |
|---|---|---|
| 规则是否封闭 | 是 | 否（规则模糊、会变） |
| 胜负能否自动判定 | 能 | 常常不能（要人来评） |
| 能否无限自我对弈 | 能 | 不能（真实环境有成本、有风险） |
| 人类经验是否稀缺 | 是 | 是，但不可或缺 |
所以"AI 在棋盘上赢了"不等于"AI 在现实里赢了"。差别就在这四行。
补一句正在被测试的前提：上面整套结论都建立在"规则封闭、胜负可判定"上。2019 年的 AlphaStar 已经在削弱它——星际有战争迷雾、有实时操作限制——但那仍然是"有明确胜负的对手博弈"。真正没有胜负函数的领域（科研、医疗、写代码），自我对弈这套方法得换信号：人类反馈（RLHF）、可自动跑的测试用例，或者形式化证明。所以"输在哪一步"这个问题，棋盘上有答案，现实里还没有。
九、总结
三个关键点：
- 三次范式：手工评估 + 搜索（深蓝）→ 学习评估 + 搜索（AlphaGo）→ 纯自我对弈（AlphaGo Zero）。差别在人类知识被放在哪里。
- 第 37 手不是灵感，是"没被人类先验限制住"。它的意义是证明了人类棋谱不是唯一解。
- 人类输在经验的边际价值归零，而这个归零只在"规则封闭 + 胜负可判 + 可无限自对弈"的条件下发生。
一个公式：
博弈能力 = 搜索（准） × 评估（省） × 数据（自我生成）深蓝缺第三项（靠人力迭代），AlphaGo 三项齐全但第一项带着人类先验，AlphaGo Zero 三项齐全且没有人类偏置。
下一篇：《五个模型投票，八道门禁：一个内容档案怎么保证"每条都能查"》——进入模块三，讲这个站点自己的工程管线。
思考题：
- 如果围棋的胜负不能自动判定（比如需要人类裁判），AlphaGo Zero 的路线还成立吗？
- 现实任务里，哪一类最接近"规则封闭 + 胜负可判"？它们会不会是下一个失守的领域？
附录 A：本文引用的条目
| 年份 | 条目 | 来源类型 | 可信度 |
|---|---|---|---|
| 1912 | El Ajedrecista（呼应第 02 篇） | 百科条目 | single |
| 1959 | Samuel 跳棋程序 | 期刊论文（DOI） | likely |
| 1992 | TD-Gammon | 会议论文 + 百科 | verified |
| 1997 | 深蓝战胜卡斯帕罗夫 | 机构历史页 | likely |
| 2015 | DQN（Nature） | 期刊论文（DOI） | likely |
| 2016 | AlphaGo 论文 | 期刊论文 | likely |
| 2016 | AlphaGo 4:1 李世石 | 期刊论文 + 机构页 | likely |
| 2017 | AlphaGo Zero | 期刊论文（DOI）+ 百科 | verified |
| 2019 | AlphaStar | 期刊论文（DOI）+ 百科 | verified |
附注：深蓝（1997）与 AlphaGo 对局（2016）在档案里都是
likely，来源家族只有"官方发布页"一族。比分、日期、对局结果可查；更细的用时、读秒、具体着法则超出我核对的范围，正文因此停在能确认的粒度。
附录 B：参考资料
- 本文归因入口（唯一外链）：https://aihist.net/go/csdn06
- 上一篇：《Transformer 到 GPT：自注意力如何取代循环，2017 到 2020 到底解决了什么》
- 下一篇：《五个模型投票，八道门禁：一个内容档案怎么保证"每条都能查"》
版权声明：本文为 CSDN 博主「翁勇刚」的原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接及本声明。
