阿法狗 ZERO以100：0打败阿法狗 ，引起轰动，论文在Nature发表。
阿法狗 ZERO引起轰动的原因：
1.完全自学，超越人类。
2.发展出超越人类认知的新知识，新策略。
3.能够快速移植到新领域
*杂志封面
摘要
长久以来，人工智能的目标是在富有挑战性的领域中学习出一种从无知幼儿到超级专家的算法。最近，AlphaGo成为了在围棋游戏中打败人类世界冠军的第一个程序。其中，AlphaGo对下棋位置的预估和选定下棋位置所使用的树搜索算法使用了神经网络。这些网络利用高段位棋手的走棋通过有监督学习的方式来训练，然后通过自我对弈来完成进行增强学习。本篇论文中我们提出了一种完全独立的增强学习算法，算法不需要人工数据，或是基于游戏规则的引导或领域知识。AlphaGo变成了自己的老师：训练一个神经网络用来完成AlphaGo的落子预测和对弈的赢家。这个网络同时还提高了树搜索的能力，带来的结果就是能够在下一手中有更高质量的落子选择和更强的自我对弈能力。从无知幼儿开始，我们新的程序—AlphaGo Zero达到了超级专家的水平，在与之前开发的AlphaGo(指代和李世石对弈的AlphaGo)的对弈中，取得了100-0的完胜。
引言
AlphaGo是在围棋领域能达到人类超级专家水平的第一个程序，我们开发的第一个版本—AlphaGo Fan在2015年10月打败了欧洲围棋冠军Fan Hui(樊麾:法国国家围棋队总教练)。AlphaGo使用了两个深度神经网络：一个是策略网络输出下一步落子位置的概率，一个是价值网络输出对位置的评估(也就是落子胜率)。策略网络通过有监督的学习来精确的预测高段位棋手的落子，之后再通过价值梯度增强学习来完成系统的增强。价值网络通过策略网络的自我博弈来预测游戏的胜方从而完成训练。训练结束之后，这两个网络通过蒙特卡洛树搜索的算法相结合来提供对未来局势的前望。使用策略网络来缩小高概率落子的搜索过程，使用价值网络(结合蒙特卡洛快速走子策略)在树上完成对落子位置的评估。在之后的开发版本中，我们称为AlphaGo Lee，使用和之前相同的方法，在2016年打败了Lee Sedol(18项国际冠军)。
我们现在的程序，AlphaGo Zero，和 Alpha Go、Alpha Lee这些之前的版本相比较，在很多方面都有不同。最重要的是，AlphaGo Zero完全独立的通过自我博弈增强学习来完成训练，从刚开始的随机博弈开始就没有任何的监督或使用人工数据。其次，它只使用棋盘上的黑白子作为输入特征(之前的AlphaGo有人工构建的许多特征)。第三，只使用一个神经网络，而不是分开的策略网络和价值网络。第四，只使用依赖于单一神经网络的简化版树搜索来评估落子概率和落子对局势的影响，不再使用蒙特卡洛的方法。为了实现这些方面，我们开发了一种能在训练过程中完成前向搜索的增强学习算法，目的是为了快速的提高和精确稳定的学习过程。对这些网络结构差异、搜索算法的不同已经训练过程的不同我们将会在Methods部分做进一步的详述。
AlphaGo Zero加强学习理论
我们的新方法使用具有参数θ的深层神经网络fθ。 该神经网络将位置及其历史的原始图表代表作为输入，输出移动概率和值(p，v)=fθ(s)。 移动概率的向量p表示选择每个移动a(包括pass)，pa = Pr(a | s)的概率。 值v是标量评估，估计当前玩家从位置s获胜的概率。 该神经网络将策略网络和价值网络12的角色结合到单一架构中。 神经网络包括许多残差块的卷积层，批量归一化和整流器非线性(参见方法)。
AlphaGo Zero中的神经网络是通过一种新的强化学习算法从自我游戏中进行训练。在每个位置，执行MCTS搜索，由神经网络fθ指导。 MCTS搜索输出每次移动的概率π。这些搜索概率通常选择比神经网络fθ(s)的原始移动概率p更强的移动;因此，MCTS可能被视为强大的策略改提供者。使用改进的基于MCTS的策略来选择每个动作，然后使用游戏赢家z作为价值的样本，可以自我搜索 - 可以被视为强大的策略评估运算符。我们的强化学习算法的主要思想是使用这些搜索算子。
神经网络通过自我强化学习进行训练，使用MCTS计算每个动作的算法。
一，神经网络被初始化为随机权重θ0。在每次后续迭代i≥1时，产生自己计算的游戏(图1a)。在每个时间步长t，MCTS searchπt=αθi-1(st)使用上述语句执行网络fθi-1，并通过对搜索概率π进行采样来进行移动。当两个玩家通过时，当搜索值下降到阈值以下或当游戏超过最大长度时，游戏终止于步骤T;然后游戏得分，以给予决赛奖励rT∈{-1，+ 1}(详见方法)。每个数据时间步t存储为(st，πt，zt)，其中zt =±rT是游戏赢家。
从步骤t的当前玩家的角度来看。并行地(图1b)，新的网络参数θ是从上一次自播的所有时间步长中均匀采样的数据(s，π，z)进行训练的。神经网络(p，v)=fθi(s)被调整为假设预测值v和自播赢者z之间的差异，并且最大化神经网络移动概率p与搜索概率π的相似性。具体来说，通过对均方误差和交叉熵损耗求和的损失函数l，通过梯度下降来调整参数θ(p，v)=fθ(s)和l =(z-v)2 -πTlogp + cθ2(1)其中c是控制L2权重正则化水平的参数(防止过度配合)。
AlphaGo Zero的最终表现
我们随后使用更大的神经网络和更长的持续时间将我们的强化学习流程应用于AlphaGo Zero的第二个实例。训练再次从完全随机的行为开始，持续约40天。
在训练过程中，生成了二千九百万次自娱自乐的游戏。参数从310万个小批量更新，每个2048个职位。神经网络包含40个残差块。学习曲线如图6a所示。在扩展数据图5和补充信息中显示了在训练中定期进行的游戏。
我们通过内部比赛对AlphaGo Fan，AlphaGo Lee和几个以前的Go程序评估了全面训练的AlphaGo Zero。我们还针对最强大的现有程序，AlphaGo Master - 基于本文中提出的算法和架构的程序，(但使用人力资源和功能) - 在线上击败了最强大的人力专业人员60-0(在我们的评估中)，所有的过程都被允许每次移动5次思维时间; AlphaGo Zero和AlphaGo Master都在4台TPU的单机上播放; AlphaGo Fan和AlphaGo Lee分别分布在176个GPU和48个TPU上。我们还包括一个完全基于AlphaGo Zero的原始神经网络的玩家;这个玩家只是以最大的概率选择了移动。
图6b显示了每个程序在Elo量表上的性能。原始神经网络，没有使用任何前瞻，实现了Eo评级为3,055。相比之下，AlphaGo Zero的评级为5,185
李(击败Lee Sedol)，阿尔法·范(击败范慧)以及以前的Go程序疯狂石，Pachi和GnuGo。每个程序每次都有5秒的思考时间。 AlphaGo Zero和AlphaGo Master在Google Cloud上的一台机器上播放; AlphaGo Fan和AlphaGo Lee分布在许多机器上。还包括AlphaGo Zero的原始神经网络，其直接选择最大概率pa的移动a，而不使用MCTS。计划以Elo量表评估25：200分差距对应于75%的获胜概率。
AlphaGo Master为4,858，AlphaGo Lee为3,739，AlphaGo Fan为3,144。
最后，我们评估了AlphaGo Zero的头脑，与AlphaGo Master进行了一场100小时的比赛，并以2小时的时间控制。 AlphaGo Zero赢得89场比赛至11场(见扩展数据图6和补充资料)。
结论
我们的研究结果全面表明，即使在最具挑战性的领域，纯粹的强化学习方法也是完全可行的：没有人类的例子或指导，无法超越基本规则领域的知识，有可能训练到超人的层面。 此外，与人类专家培训的数据相比，纯强化学习方法需要训练几个小时，并实现更好的渐近性能。 使用这种方法，AlphaGo Zero击败了AlphaGo的最强大的版本，它们使用手工制作的资源进行了大量的培训。
人类已经从数百万年来玩过的数百万场游戏中积累了Go的知识，共同融入了模式，资源和书籍。 在几天的时间里，Alphaura Zero能够重新发现这些Go知识，以及为最古老的游戏提供新的见解的新颖策略。
