AlphaGo：搜索遇见深度学习

摘要

策略网络、价值网络与蒙特卡洛树搜索结合，击败人类围棋冠军——一次被认为还要再等十年的里程碑。

Combines policy/value networks with Monte Carlo tree search to defeat a human Go champion, a milestone previously thought to be a decade away.

提要

AlphaGo 将神经网络直觉与树搜索规划闭环结合，而非单靠其中一方。它在完整围棋上达到超人类水平，并为后续自我对弈与测试时计算路线提供了样板。

01背景与动机

围棋状态空间极其庞大，局面评估也缺乏简单可靠的启发式，传统纯搜索或纯人工规则都难以在完整规则下稳定达到超人类水平。

AlphaGo 的动机是证明：高维直觉可以先被学习，再经搜索精炼，从而在完备博弈中把学习系统与规划系统耦合成可靠决策。

02核心方法

先用人类棋谱监督初始化策略网络，再通过强化学习自我对弈改进策略，并训练价值网络评估局面，形成可复用的直觉模块。

决策时用蒙特卡洛树搜索结合策略与价值做前瞻规划，网络负责提议动作与局面判断，搜索负责核实与修正，构成闭环。

03结果与证据

系统在完整围棋上达到超人类水平，表明所学策略与价值函数能够有效引导大规模搜索，而不是停留在局部模式匹配。

关键证据在于：自我对弈改进加上 MCTS 规划，能够把神经网络的局部直觉提升为可竞赛的全局决策质量。

04影响与意义

该闭环为 AlphaZero、MuZero 以及更广泛的「模型 + 测试时计算」方法提供了清晰样板，影响延续到后来的博弈与规划系统。

它重新强调：数据引擎可以来自自我对弈，而推理阶段多分配算力，往往能换来比单纯放大训练更直接的收益。

05局限

方法高度依赖规则清晰、可精确模拟的环境，以便自我对弈与树搜索反复调用同一世界模型并获得稳定反馈。

迁移到观测不完整、规则含糊或难以高速模拟的开放世界时，闭环中的搜索与数据生成环节都会显著变难。

06要点

1. 01有效的智能体常让直觉负责提议动作，再让搜索负责核实与修正。
2. 02自我对弈可以把环境模拟器变成持续产生训练信号的数据引擎。
3. 03在测试时多规划一步，往往比单纯把模型再训得更大更划算。