图1：开放的环境与物种间的竞争是达尔文进化论中实现自然进化的两个重要的驱动力，而这两个驱动力在最近的AI模型演进方法的研究工作中却没有体现出来，在同一个世代中，更快的黑斑羚和更快的猎豹比它们更慢的同类更容易生存下来——由此进化出更快的黑斑羚和猎豹品种。基于基因和自然选择理论的这些原理可以帮助AI获得大的进步么？
目录一、简介
二、基因和自然选择
三、进化计算
进化策略
直接编码的基因算法
间接编码的基因算法
无限开放式进化（这是最有趣的部分）
本文未提及的其他方面
四、结论
五、参考文献
一、简介大概自2012年以后[1]，人工智能行业的爆发式增长几乎都是反向传播训练的（深度学习）神经网络模型所带来的。包括用于图形分类、自动语音识别、语言翻译、机器人以及能玩单人或多人游戏的自主智能体等领域的模型。
然而最近，研究者开始应用基于生物学进化机制的方法来构建模型。这种思路在深度学习时代之前就有了，但直到最近才发展到足以和反向传播训练的深度学习模型媲美的态势。
在这篇博客里，我们会聊到一些进化方法，对比它们与生物进化和有机发育的异同，并推断出他们最终将如何以甚至比传统深度学习模型更强大和更高效的方式推动AI模型的发展。
二、基因和自然选择简单来说，达尔文理论认为，进化是机体特性经自然选择强化所发生的微小变化的结果。具有优势特性的有机体更容易繁衍下来，这样就淘汰了那些具有相对劣势特性的有机体。
三、进化计算受进化论的启发，科学家们对生物进化的理解迁移到了计算模型的优化上。其中最简单的方式是进化策略（evolutionstrategies），更大、更多样化的复杂模型则采用基因算法（geneticalgorithms）。这两种方法都是通过优化适应度函数来显性地评估人工有机体在特定任务上的表现。另一种可替代的方法是，摒弃适应度函数，而选择利用丰富、开放的环境，让超过一个种类的多个智能体在该环境中为生存和繁衍而独自竞争，利用自然选择挑选出最终存活并繁衍下来的那个。
1、进化策略
进化策略是这样一类优化算法：在每一次迭代（代际传递）中，参数向量（基因型）都会受到扰动（突变），变化后的适应度函数会被再次评估打分[2,3]。最高得分的参数向量会参与形成下一代的参数向量，不断迭代直到目标方程已被充分优化。
在协方差矩阵适应性进化策略中（Coveriance-MatrixAdaptationEvolutionStrategy，CMAES），模型参数的分布会存储在协方差矩阵中。每一代中，每个样本的模型参数都取值于这个分布。协方差矩阵会根据获得最高适应度得分的样本参数更新矩阵。大家如果想看到这一过程的2D可视化效果，可参考Otoro的博客：
尽管这一方法的原理很简单，它与相对现代、大规模，经过强化学习训练的深度学习模型相比仍十分有竞争力，OpenAI[4]就体现了这一点，并且相关的文章（）中也对此有论述。
与强化学习方法相比，进化策略有一些非常好的属性，它在多核CPU上更容易实现并扩展，还能快速地完成模型训练，并且这种方法没有借助梯度（使用梯度方法较难在离散输出结果上训练）。
2、直接编码的基因算法
对于基因算法（GeneticAlgorithm）这个术语，不同的研究者和实践者可以有很多不同的定义。我们这里采用最常见的一种是，在每代中，算法：1）从一个规模P的种群中，基于适应性函数选出表现最好的N个智能体（N
进化策略与基因算法的另一个区别是在进化策略中，种群的基因组是用概率分布表示的。这也就意味着在指定某代的某个种群中的所有成员都落在参数（基因组）空间中的同一个类中，相反，在基因算法中就没有这种限制。而实际情况是，单个种群往往只进行其优势特性的进化，除非环境或者是有其他算法组分来推动种群的多样性（这种情况下，多个「种族」就会产生）。
而在基因算法的诸多应用中，基因型-表现型是直接对应的，也就是说每个基因都直接由智能体的模型参数进行编码。实际应用中，基因和它的外在表现型也是直接对应的，比如，深度学习模型中用数值表示权重或偏置项。因此，进化策略训练的模型可以直接编码。
相反，生物学是基于间接编码的。举例来说，由DNA组成的基因并不对大脑中神经元间的突触强度进行编码，而是对那些共同指导大脑（和它的突触）发育的蛋白质进行编码，并根据有机体的经验，学习选择强化或是弱化哪些突触的机制。我们会在后续的文章中介绍一些AI间接编码的例子。
2017年，KenStanley和JeffClune两位是长期推崇使用「神经进化主义」方法进化神经网络参数的倡议者，他们称直接编码的基因算法在很多Atari游戏中都有良好的表现，包括那些强化学习（Q-learning或策略梯度）方法也难以玩好的游戏[5]。他们的团队在UberAI实验室使用了一个简单的基因算法，这个算法中，通过在母网络参数中加入高斯噪音，就可将基因突变引入自我繁殖后代进程中。
图3：除了让智能体通过玩Atari游戏进行进化，UberAI团队还让智能体试着完成相对初级的迷宫游戏，只不过是让一个智能体玩两个有不同陷阱的迷宫。应用进化策略ES训练的智能体被困在陷阱1里且没有继续进化。经过基因算法GA训练的智能体表现更好一些，但还是被困在了陷阱2里。当同时根据适应性得分和智能体所表现出的探索性行为（GA-NS）挑选可继续繁殖的智能体时，智能体很快进化出了解谜的能力。而应用强化学习方法（A2C和DQN）训练的智能体就没有习得解谜的能力。
Uber团队还检验了奖励智能体（允许他们繁殖）的探索行为（NovelBehaviours）产生的效果。他们称，尽管智能体在传统适应性函数中都得分较低，但这个方法对整个种群的代际传递表现还是有帮助的。给行为的新颖度赋分的基因算法是一种质量多样性算法（Quality-DiveristyAlgorithm）[6]，该算法还是一个活跃的研究领域，它的理念是维持种群内行为的多样性，为新的、更复杂行为的出现提供了一个培养池，这有益于后代有机体的发展，尽管复杂行为在形成之前还会有更多得分很低甚至得负分的简单行为出现。（注意：这很大程度上是一种启发式策略，因为在代际传递中，自然力将如何推动这些保留下来的「无价值」行为表现型进行进化，还尚未明确。）
总之，Uber团队使用了一种充满创造力的高效方法，来保存数以千计的智能体涵盖的大规模基因型（每个智能体有几百万个神经网络参数）。换言之，他们留存了这些创造了初代智能体和各种突变集的种子记录。因此，单个智能体就可以用一个种子向量实现再生，智能体也可以这种形式作为整体被保存下来，而不再直接以模型参数的形式储存。
3、间接编码的基因算法
一般来说，间接编码模型的基因算法在应用上还不如直接编码模型成熟（尤其在解决现代大规模的问题上）。然而间接编码模型在未来或许会被证明是一种非常有力的方法，因为它具有对复杂、繁琐模型编码的潜力。举例来说，有机体内的某个基因组一般是确定的，但基因的蛋白质产物可以在一段时间和空间（有机体内）中以组合形式进行交互，这就允许了无限种可能性的发生。下面我们重点说两个间接编码的例子。
HyperNEAT
之间谈到过的进化计算方法有一个固定大小的基因组，也就是说是一个有着固定架构的神经网络。基因决定了这个固定架构的参数值，但并没有规定其他的方面，因此该基因算法并没有规定神经网络长大、缩小或是调整架构的途径。2002年，Stanley和Miikkulainen引入了增强拓扑的神经进化方法（NeuroEvolutionofAugmentingTopologies，NEAT）[7]，NEAT定义了基因与神经网络中的连接的映射关系，并支持通过加入定义新连接和节点的「新基因」来实现神经网络的进化。
图4：除了定义网络权重和偏置项值，NEAT还定义了基因与网络架构的映射规则。基因算法中，网络可以通过添加连接和节点发展。
然而，NEAT是一种直接编码模型，每个基因定义两节点之间的连接权重。一些基因可能会表现出「残疾」的情况，也就是转码后的权重值为0的情形。HyperNEAT于是应运而生。
在HyperNEAT中，NEAT训练输出的网络定义了次级网络的权重。这个次级网络被用来运行相应的任务。在最简单的版本中，次级任务网络中的节点是落在二维空间中的，因此每个节点都可以用（x,y）坐标来定义。初始生成的第一个网络，被称为是复合模式生成网络（CPPN），需要四个输入值来定义网络中两个节点的位置（i和j）：（xi,yi）和（xj，yj）。CPPN输出的则是网络中任意两点间连接的权重值。由此推之，NEAT方法可以通过进化CPPN网络，指导任务网络的“发育”。之后，适应性函数会对该任务网络而不是CPPN进行评估。
HyperNEAT方法中，一个较小的CPPN网络就可以定义一个任意密度的复杂任务网络。作为CPPN的这种进化性的体现，已进化出可以生成复杂二维图片的模型。与进化任务网络总是落后于其他新近模型的情况不同，HyperNEAT已被应用在训练模型玩Atari游戏上[9]（几乎是同一时期，DeepMind也公布了强化学习方法训练的此类模型[10]）。
图5：在这个HyperNEAT实例中，任务网络（右边）是一个双层网络，这个网络中的神经元在上下两层间建立了连接，但层内并没有任何连接。CPPN网络（左边）在给定任务网络节点的基础上，定义了任务网络连接的强度。CPPN是一个由NEAT基因-网络映射关系定义的神经网络，并可以根据适应性函数对给定CPPN实例进化出的任务网络的打分，应用基因算法进行进化。
有机体发育
生物学上的进化并不会直接建立成熟有机体的表现型。而是通过基因指导个体的发育间接地建立有机体的表现型（如胎儿期、婴儿期、青春期）。基因在成年期也会作用于个体对环境的反应（比如，在有机体由低海拔地区转移到高海拔地区时，有机体内会产生更多的红细胞）。然而，NEAT神经网络群体在进化时，这些网络并不是由基因组「生长」出来的，相反，由于NEAT网络是直接编码，它的网络进化也是直接由范例定义的。
研究者如JordanPollack和他的前博士后，SylvainCussat-Blanc，共同发现了将有机体的发育阶段原理吸收进来的进化计算方法。在2015年的研究中[11]，他们应用近似于NEAT的基因算法进化出了基因调控网络（GeneRegulatoryNetworks，GRNs），GRNs是一种通过基因（以及未组成基因的DNA、RNA和蛋白质）间的相互作用调控基因表达（转译蛋白质）的神经网络。不同的基因会在不同的发展阶段，在不同的环境条件中得以触发表达出来。因此，进化的不是有机体本身，而是有机体发育的方式。作者在文中表明了该算法相较于标准基因算法的优势。然而，由于该算法计算复杂度太高，导致其不太可能在现有硬件条件下，被应用到更大规模，更具挑战性的现代AI任务中。
图5：相比于由基因组直接编码神经网络（比如NEAT），Pollack和他的同事[11]选择应用可以调控神经网络发展的基因控制网络来调控网络的进化，这种方法更类似于生物学上的基因指导人类由胚胎期发育至成人期的机制。
最近，Miller等[12]构建了神经网络中的神经元（组织细胞和它们的树突）发展模型。这个发展模型是由基因编程形成的计算机程序展现。基因编程与基因算法之间有很大的区别，这就留待各位读者之后再去查阅其他相关资料。尽管如此，Miller和他的同事成功地应用进化计算方法创建了一种可以有效搭建神经网络的发展模型，这点毋庸置疑，该神经网络可以生成新的树突和神经连接来学习新任务。
4、开放式进化
到目前为止，我们讨论了应用适应性函数来给单个智能体的表现打分，并以此为依据来决定谁来繁殖后代的进化方法。很显然，自然界中没有显性的适应性方程（但，其实是有隐性逆向适应性方程的，如果有机体X繁殖了较有机体Y更多的后代，那么有机体X更有可能具备更强的适应性。）也就是说，自然界进化出了极其智慧的物种（人类），也进化出了具备其他独特迷人的物理特性以及天生行为特质的种群，而这一切都是在没有任何外在引导下完成的。
这项发现鼓舞了人工生命以及开放式进化的研究领域。人工生命学指的是在真实环境，或是在镜像还原了自然环境的人工环境中生存的人工有机体的研究。研究者们应用这种途径来研究我们已知的、或是未知但可能出现的生命形态。开放式进化研究通常都会考虑人工生命研究中的人工有机体，观察这些有机体如何在类似于产生其他生物进化的环境条件下进化，换言之，开放式进化的研究对象是在开放环境中直接进行的繁殖活动（寻找配偶，获取足够的食物以存活或繁衍，逃脱天敌的捕猎，等等），而不是基于显性的适应性指标。
与深度学习相比，开放式进化还属于一个较小的研究领域，但它其实已经是个相当古老的领域了，该领域的先锋学者如CharlesOfria，JordanPollack，RistoMiikkulainen，以及他们的学生（其中有些已经是该领域的领头人）已经在这个领域里上花费了数十年时间。对开放式进化的发展和繁荣的更详尽描述，请参见Lehman，Stanley,Soros的博客（），以及JeffClune[13]的这篇论文（）。
人工有机体在开放式环境中的进化机制可以帮助AI智能体发展取得进步么？
我们相信答案是「可以」，但有两个前提条件：（1）种类的共同进化和（2）在丰富、多样化、动态的环境中进行进化。（对此问题的不同的观点请参见LisaSoros的博士论文[14]：）.
针对第一个条件，环境中必须同时存在不同种类，具有差异化的需求和能力的智能体，这种情况下，物种的共同进化可能会进一步引申出物种间的协作——这是进化出人类这种级别的智慧生物的先决条件。共同进化作用不仅可以进化出越来越快的猎豹和黑斑羚，同时还可以进化出狼群中的智慧社群行为，正如BBC节目《coordinatedhuntinginpacks》中所展示的那样。
最近OpenAI的一项研究发现经过强化学习训练的智能体之间会产生复杂的交互行为，尽管它看上去更像是个“营养不良”的奖励系统。众所周知，奖励是基于团队表现而非个人表现裁定的——就像一群狼会因完成一次大型的捕猎获得更多的食物。
强化学习与进化计算间有个很重要的区别必须要在这里提一下。本质上讲，强化学习模型是对动物如何在后天进行学习的模拟，当动物的某个行为获得奖励时（获得食物、住所或者配偶等等），它们更倾向于重复这个行为，期待获得更多的好处。
然而，动物的许多能力都是源自进化，并在胎儿期或是降生后不久就能表现出来这些能力。举例说明，人类天然具备「客体」的感知能力（但尚不具备对「客体永久性」的认知），婴儿不需要学习就知道在空间上近距离排列的「像素」（视网膜上的光子）更有可能同为某个物体的一部分。一个解释先天性的极端例子是，一些动物可以在出生之后（几分钟内）迅速掌握复杂的运动控制能力。生物有机体与生俱来许多能力。
深度学习模型则大多是从头开始训练（宛若一张“白板”），并且都是面向某个专门的应用进行针对性训练的。构建具备更为通用的、更接近真实世界所需能力的AI智能体，或许可以首先从进化出诞生之初就具备了基准知识体系（物理学、情绪、基础需求等等）的智能体开始。这些智能体可能会通过强化学习机制（理想情况下，该机制可能会进化为智能体一种先天能力，比如元学习能力）在「有生之年」继续学习如何完成特定的任务。
正如前文指出的，进化出智慧智能体的第二个前提条件是丰富、多样、动态的环境。这样的环境包含了各种不同的时间和空间条件，某些基因突变会在恰当的生态条件得以留存下来，但当环境固定不变时，后续的世代中这些基因突变就会被淘汰掉。再进一步说，突变后的、有利的表现型可能不仅在某个环境中有优势，它可能在另一个恰当的环境中也是有优势的，出现这种有机体系的原因可以是智能体自主移动到了新的环境，也可以是智能体所在的环境发生了改变。这也和我们前面在基因算法中讨论过的质量多样性方法有类似之处。
5、本文未提及的其他方面
除了上述已经提及的内容之外，我在这里还列出了一些智能体和智能体环境以及我们推测能够推动智能体进化出超过当下AI模型能力的基因算法的其他相关观点。其中列出的一些智能体类别，在条件支持的情况下能够顺其自然地进化，但也可能被直接利用来加速实现通用人工智能的终极目标。
智能体与环境
培养与长期发展阶段：督促智能体更多地关心无助的、处于发育期的后代可能会促进一系列社会行为的发展，比如社会互动、沟通交流（语言）、协作（父母间的，父母与子女间的，或是无亲缘关系的父母和子女之间的——培育一个孩子是劳师动众的一件事情），等等。
个体意识：智能体应该具备识别同种类的其他个体的能力（通过一类智能体基因组表达出的「视觉上的」或是其他形式的特点）。如果智能体能够互相识别，它们就可以将个体的行为与其本身联系起来，这有助于信任、协作、看护等行为的进化。（但同时也会产生不信任、欺骗和合谋）。
沟通媒介：环境应当允许智能体具备一些可以发展出一套沟通方法（一种语言）的形态。它可以是听觉的、视觉的，甚至触觉的。这对智能体进化出复杂的社会交互或协作行为来说是必要的。
基因和基因算法
组合基因的间接编码：利用基因间的相互作用生产更高阶的产品（比如，蛋白质，或是调控蛋白质产物）使得结构紧凑但能够高度充分表达的基因组的出现成为可能，与每个基因值对应唯一一个模型参数或表现特质的基因模型相比，前者可以更高效的完成进化。除此之外，这种组合作用的方式还可以限制由于基因突变或偶发事件导致的后代完全无法自立生活（花在仿真/评估上时间被白费）的可能性。
指导发展的基因：与之前所提到的相关，编码指导有机体发育的基因，而不是最终的成年有机体可能是更加集约，且更具进化潜力的方式（正如HyperNEAT）。如果发育同样还受到基因间的相互作用以及环境的驱动，这就给基因带来了额外的筛选压力，可以更好地推动进化。
可在规模上进化的基因组：与行为简单的有机体相比，行为上复杂的有机体还可能要求更多基因来定义它们的表现型（或是它们的发育机制）。然而，一个具有小型基因组的简单物种，可能会较一个具有大型基因组的简单物种更快进化出复杂的行为。面对单个基因的选择压力，具有大型基因组的简单物种更脆弱，因为单个基因突变对大型基因组有机体的行为改变作用微乎其微，这就拖慢了进化的进程。
结构化筛选繁殖和死亡智能体的机制：在应用了适应性函数的算法中，典型的筛选机制是挑选出表现最好的智能体进行繁殖，并淘汰同世代的其他智能体。然而，在这种机制下，刚突变的可以给智能体提供适应性上的好处的基因可能仍会由于物种间的遗传漂变丢失掉。最近的研究[15]表明在一个智能体繁殖时，有策略地选择哪个智能体应被淘汰（结构化的「进化图谱」有对这种筛选机制的图示）对新的有益处的基因在物种间的传递有「放大作用」，并可同时降低有利基因丢失的概率。在丰富、开放式的环境里，这种结构可能正是环境间接施加影响的方式。
四、结论最近几年深度学习对于AI领域取得巨大进展所起到的作用是毋庸置疑的，相信未来还会有更多突破。但同时我们认为，过去一直处于替补地位的进化计算方法，最终能够在提升AI能力上实现能够与深度学习相媲美的飞跃——无论是以深度学习已取得的成果为基础，还是不借助深度学习成果基础，独立发展为全新的方法。
最后，我们推测进化计算方法将会极大提高AI的运算效率。基于现有的硬件平台进行智能体的进化，并合理设计从基因到指令的映射关系，筛选出可加速完成任务的智能体，由此在该硬件平台上逐渐优化智能体的性能。
五、参考文献1.Krizhevsky,A.,Sutskever,I.,andHinton,,–1114,2012.
2.:Opti,1973.
3.H.-
4.SalimansT.,HoJ.,ChenX.,:1703.03864,2017.
5.FelipePetroskiSuch,VashishtMadhavan,EdoardoConti,JoelLehman,KennethOStanley,:Geneticalgorithmsareacompetitivea:1712.06567,2017.
6.JustinKPugh,LisaBSoros,:,3:40,2016.
7.Stanley,,,99–127(2002).
8.Stanley,KennethO.;D』Ambrosio,DavidB.;Gauci,Jason(2009–01–14).「AHypercube-BasedEncodingforEvolvingLarge-ScaleNeuralNetworks」.(2):185–212.
9.Hausknecht,M.,Lehman,J.,Miikkulainen,,,355–366(2014).
10.Mnih,,529–533(2015).
11.Cussat-Blanc,S.,Harrington,,,823–837(2015).
12.Miller,,Wilson,,Cussat-Blanc,S.:Evolvingdevelop:Banzhaf,W.,Spector,L.,ShenemanL.(eds.)GeneticProgrammingTheoryandPracticeXVI,(2019).
13.:AI-generatingalgorithms,:1905.10985,2019.
14.Soros,Lisa,「NecessaryConditionsforOpen-edEvolution」(2018)..
15.PavlogiannisA,TkadlecJ,ChatterjeeK,;1(1):71.
via
