©Vernor Vinge©1993
(如果将本文全文(包括本声明)复制,则可以出于非商业目的复制本文。)
本文的原始版本是在1993年3月30日至31日由美国国家航空航天局刘易斯研究中心和俄亥俄州航空航天学院主办的VISION-21研讨会上发布的。1993年冬季发行的《地球总评》刊登了稍作改动的版本。
逐渐加速的技术进步一直是本世纪的中心特征。我们正处于变化的前沿,可与地球上人类的崛起媲美。造成这种变化的确切原因是,技术即将产生具有比人类更大的智慧的实体。科学可以通过多种方式实现这一突破(这是对事件将发生有信心的另一个原因):
可以开发出“觉醒的”超人智能的计算机。(迄今为止,关于我们是否可以在一台机器上创造人类等效性一直存在许多争议。但是,如果答案是“是”,那么毫无疑问,此后不久便可以构建更多的智能生物。)
大型计算机网络及其关联的用户可能会“觉醒”为超人类智能实体。
计算机/人机界面可能变得如此亲人,以至于可以合理地认为用户是超人智能的。
生物科学可以提供改善自然人类智力的手段。
前三种可能性取决于计算机硬件的改进。在过去的几十年中,硬件的发展经历了惊人的稳定曲线。基于这种趋势,我相信在未来三十年中将会创造出比人类更大的智慧。(查尔斯·普拉特(Charles Platt)指出,人工智能爱好者提出这样的声明已有30年了。为免我对相对时间的含糊不清,请让我更具体:如果这一事件发生在2005年之前或2030年之后,我会感到惊讶。)
此事件的后果是什么?当非人类智慧推动进步时,这一进步将更加迅速。实际上,似乎没有理由说进展本身不会涉及在更短的时间范围内创建更智能的实体。我所看到的最好的比喻是把它比作进化的过去:动物可以适应问题并创造发明,但通常不会比自然选择能够更快地完成其工作-在自然选择的情况下,世界充当了自己的模拟器。我们人类有能力将世界内部化,并在我们的头脑中进行假设分析。我们可以比自然选择更快地解决许多问题。现在,通过创造一种以更高的速度执行这些模拟的方法,我们正在进入一种与人类过去完全不同的制度,从这一观点看,过去人类仿佛来自低等动物。
这种变化可能会抛弃所有人类规则,也许只是眨眼之间就会超出了控制,呈现指数级失控。被认为可能仅在“一百万年”(如果有的话)中发生的发展可能会在下一世纪发生。
将此事件称为奇点(在本文中称为“奇点”)是合理的。在这一点上,我们必须摒弃旧模型并制定新的现实规则,这一点将在人类事务上越来越广泛,直到这一观念变得司空见惯。然而,当它最终发生时,它仍然可能是一个巨大的惊喜,并且是一个更大的未知数。在1950年代,很少有人看到它:Stan Ulam 1 用约翰·冯·诺伊曼(John von Neumann)的话说:
一场对话围绕技术的不断进步和人类生活方式的变化而进行,这似乎是种族历史上一些必不可少的奇异之处,在此之后,我们所知道的人类事务将无法继续。
冯·诺依曼(Von Neumann)甚至使用了奇点一词,尽管看起来他是在考虑正常的进步,而不是在创造超人智力。(对我而言,超人性是奇异性的本质。否则,我们将获得大量技术财富,而这些财富永远得不到适当吸收。)
1960年代,人们意识到超人智力的某些含义。IJ Good 2 写道:
一个超智能的机器定义为可以远远超过任何人的所有智力活动的机器。由于机器的设计是这些智力活动之一,因此超智能机器可以设计出更好的机器。毫无疑问,这将导致“智能爆炸”,人类的智慧将被远远抛在后面。因此,第一台超智能机器是人类有史以来需要做出的最后一项发明,但是前提是该机器要服从足以告诉我们如何对其进行控制。。。。很有可能,在二十世纪,我们将建造一台超智能机器,这将是人类需要做出的最后一项发明。
古德抓住了逃亡者的本质,但他没有追求其最令人不安的后果。他所描述的任何一种智能机器都不会是人类的“工具”-人类所用的像兔子,知更鸟或黑猩猩用的工具才叫工具。
整个六十年代和七十年代和八十年代,人们对大灾变的认识不断深入。这是科幻小说作家感受到的第一个具体影响。毕竟,“辛苦”的科幻小说家都是试图撰写有关技术可能为我们所做的一切的特定故事的人。这些作家越来越感觉到未来的不透明。曾几何时他们可以在未来数百万年内将这种幻想变为现实。现在他们看到他们最勤奋的推断导致了不可知的事情。。。不久前,银河帝国似乎是后人类的领地。现在,可悲的是,似乎地球就已经是了。
我们正走向危险的边缘,未来几十年内会到达吗?奇点的方法论将如何在人类世界观中传播?一段时间以来,对机器智能的一般批评受到关注。毕竟,在我们拥有像人脑一样强大的硬件之前,认为我们能够创造与人类相当(或更高级)的智力可能是愚蠢的。(也许存在一种难以捉摸的可能性,那就是我们可以用功能更弱的硬件制造出与人类相当的产品-如果我们愿意放弃速度,如果我们愿意接受字面上缓慢的人造物体,那么这种可能性更大。制定该软件将是一个棘手的过程,充满错误,失败和实验的。如果是这样,那么自我意识的机器的到来将不会发生,直到硬件的发展更强大。)
但是,随着时间的流逝,我们应该看到更多的征兆。科幻小说作家感到的困境将在其他创造性努力中得到体现。(我听说有思想的漫画作家担心当随处可见的普通技术都可以视觉化一切时,会创造出惊人的效果。)我们将看到自动化取代了越来越高的工作。我们现在拥有的工具(符号数学程序,cad / cam)使我们摆脱了大多数低级的繁琐工作。换句话说,真正富有成果的工作是在人类规模不断缩小,越来越精英化的领域。在奇点的到来中,我们将看到对真正的技术失业的预测最终成为现实。
走向奇点的另一个症状是:思想本身应以更快的速度传播,甚至最激进的思想也将很快变得司空见惯。
奇点本身的到来又是什么呢?它的实际外观是什么?由于它涉及到知识上的失控,它的发生可能比迄今为止所见的任何技术革命都要快。这次突发事件可能是出乎意料的-甚至可能涉及到研究人员(“但是我们以前的所有模型都是阳离子的!我们只是在调整一些参数……”)。如果网络足够广泛(到无处不在的嵌入式系统中),则实际结果就会是:好像我们的工件整体突然醒了一样。
那之后一两个月(或一天或两天)会发生什么呢?我只能指出一个比喻:人类的崛起。我们将进入后人类时代。就我所有的技术乐观度而言,如果我考虑的这些事件一千多年后发生,我会感到更加自在。。。而不是二十年。
好吧,也许根本不会发生:有时我尝试想象一下我们应该期待的症状,即看看奇点是否不会发展。彭罗斯(Penrose)3 和塞尔(Searle)4 受到反对机器智能的实用性的人的广泛推崇。1992年8月,思考机器集团举办了一个研讨会,以研究“我们将如何构建具有思考能力的机器”。您可能会从研讨会的标题中猜到,参与者并不特别支持反对机器智能的论点。实际上,人们普遍同意,思维可以存在于非生物基质上,并且算法对于思维的存在至关重要。但是,关于有机大脑中存在的原始硬件能力存在很多争论。少数人认为1992年最大的计算机在人脑力量的三个数量级内。大多数参与者都同意汉斯默拉维奇的估计5 ,即距硬件奇偶校验还有10至40年的时间。然而,还有其他少数人猜想单个神经元的计算能力可能远高于普遍认为的水平。如果是这样,我们目前的计算机硬件可能比我们脑中携带的设备少十个数量级。如果这是真的(或者就此而言,如果Penrose或Searle的批评是有效的),我们可能永远不会看到奇点。取而代之的是,在00年代初,我们发现硬件性能曲线开始趋于平稳-因为我们无法自动化支持进一步硬件改进所需的设计工作。我们最终将获得一些非常强大的硬件,但是无法进一步扩展它。商业数字信号处理可能会很棒,甚至给数字操作都提供了模拟外观,但没有任何东西会“醒来”,并且永远不会出现奇点本质的知识失控。这可能被视为黄金时代。。。这也将是进步的终点。这很像冈瑟·斯坦特(Gunther Stent)6 的未来预测,他明确指出超人情报的发展是打破其预测的充分条件。
但是,如果技术上的奇点能够发生,那将会发生。即使世界上所有国家的政府都理解“威胁”并对此感到恐惧,朝着这一目标的进展仍将继续。自动化的每一项进步所带来的竞争优势(包括经济,军事,甚至艺术优势)是如此引人注目,以至于禁止此类事情只是确保别人会首先获得它们。
埃里克·德雷克斯勒(Eric Drexler)就技术改进的发展方向提供了引人注目的见解。7 他同意超人类情报将在不久的将来出现。但是德雷克斯勒认为,我们可以限制这种超人设备,以便可以安全地检查和使用其结果。
我认为阻止奇点本质上是不切实际的。想象一下,你被只能进行有限的数据访问外部的机器自己锁在家里。如果那些机器人大师以比您慢一百万倍的速度思考,那么毫无疑问,在几年(您的时间)内,您可能会想出一种逃脱的方法。我将这种超智能的“快速思考”形式称为“弱超人性”。这样的“弱超人”实体可能会在几个星期的外部时间中耗尽。“强大的超人性”应该可以提高人类等同思维的时钟速度。很难确切地说出“强大的超人性”是什么样子,但是这两者差异似乎是深远的。想象一下,以很高的速度运行的狗的头脑。一千年的狗狗生活会增加人类的见识吗?关于超智能的许多猜测似乎是基于弱超人模型。我相信,我们可以通过思考强超人类的天性来获得对后奇点世界的最佳猜测。我将回到这一论点。
限制奇点的另一种方法是在创建的超人实体的思想中建立规则。我认为,任何严格到足以有效的规则都将产生一种设备,其功能显然不如不受限制的版本(因此,人类竞争将倾向于开发更危险的模型)。
如果不能阻止或限制奇异性,那么后人类时代会有多糟?好 。。。很糟糕。人类的身体灭绝是一种可能性。(或者,正如埃里克·德雷克斯勒(Eric Drexler)所说的那样,由于纳米技术可以做的一切,也许政府会简单地决定不再需要公民。)然而,自然灭绝并不是最可怕的可能性。想想我们与动物联系的不同方式吧。在后人类世界中,仍然存在很多需要与人类等效的自动化的奴隶:自治设备中的嵌入式系统,较大型智能体功能较低的自我意识守护进程。(AI强超人的智慧很可能在一种意识集会8包含 非常称职的组件。)有些类人物品可能会用于数字信号处理等等。其他的可能更像人,但只限在某些方面,它们有在我们这个时代会被送进精神病院的奉献精神。尽管这些生物都不是有血有肉的人类,但它们可能是新环境中与我们现在所说的人类最接近的事物。
我在上面已经论证过,我们不能阻止奇点,奇点的出现是人类自然竞争力和技术固有可能性的必然结果。但是我们是发起者。即使最大的雪崩也是由小事物触发的。我们拥有建立初始条件的自由,可以使事情以比别人更隐秘方式发生。当然(与开始雪崩一样),可能尚不清楚正确的引导微动到底是什么:
当人们谈论创造超人类智慧的生物时,他们通常会想象一个AI项目。但是正如我在本文开头所指出的那样,还有其他通往超人性的途径。计算机网络和人机界面似乎比AI更普通,但它们可能导致奇点。我把这种对比方法称为情报放大(IA)。IA进行得非常自然,在大多数情况下,甚至没有得到开发人员的认可。但是,每当我们获取信息并将其与他人进行交流的能力得到提高时,从某种意义上说,我们的自然智能都得到了提高。即使是现在,一个博士团队,一个人类和良好的计算机工作站(甚至是脱机工作站)可能会最大程度地提高现有的智力。
IA可能比纯AI更容易实现超人性。在人类中,最难的发展问题已经解决。从内部进行构建应该比弄清我们真正的身份然后再构建所有这些机器要容易。这种方法至少有推测的先例。凯恩斯-史密斯(Cairns-Smith)9 推测,生物生命可能已经开始作为基于晶体生长的更原始的生命。琳·马古利斯(在10 和其他地方)取得了强有力的论据是互惠是在进化过程中一个很大的推动力。请注意,我并不建议忽略AI研究。人工智能的进步通常会在IA中得到应用,反之亦然。我建议我们认识到,在网络和接口研究中,存在着与人工智能一样深远的(并且可能是疯狂的)东西。有了这种洞察力,我们可能会看到一些项目不像常规接口和网络设计工作那样直接适用现实,但可以使我们朝着IA路径的奇点前进。从IA的角度来看,以下是一些可能具有特殊意义的项目:
人/计算机团队自动化:处理通常被视为纯粹机器解决方案的问题(例如爬坡问题),以及利用人为优势的设计程序和接口直觉和可用的计算机硬件。考虑到高维爬坡问题的怪异性(以及为解决这些问题而设计的巧妙算法),这可以为团队成员提供一些非常有趣的显示和控制工具。
艺术中的人机共生:将现代机器的图形生成能力与人的审美敏感性相结合。当然,对为艺术家设计计算机辅助工具已经进行了大量研究。我建议我们明确地寻求更大的能力合并,明确地认识到可能的合作方法。卡尔·西姆斯(Karl Sims)在这方面做得很棒11。
象棋比赛中的人/计算机团队:我们已经拥有可以比几乎所有人都玩得更好的程序。但是,人类为了如何利用这种力量来获得更好的东西,已经做了多少工作?应该至少在某些国际象棋比赛中允许这样的团队参赛,则对IA研究产生积极影响,即允许比赛中的计算机具有AI的相应优势。允许计算机和网络访问的接口,而无需将人员绑在计算机前的某个位置。(IA的这一方面与已知的经济优势非常吻合,以至于已经在此方面进行了大量的努力。)这将导致更加对称的决策支持系统。近年来,研究/产品领域是决策支持系统研究中重点。这是IA的一种形式,但可能过于侧重于非人工系统。与提供用户信息的程序一样,必须有用户提供程序指导的想法。局域网使人员团队比其组成成员更有效。这通常是“群件”的领域;这里观点的改变是将群体活动视为一种组合生物。从某种意义上说,此建议的目标可能是为此类组合操作发明“订单规则”。例如,与传统会议相比,可以更轻松地保持小组焦点。可以将个别成员的专业知识与自我问题隔离开来,以便使不同成员的贡献集中在团队项目上。当然,与传统的委员会运作相比,共享数据库的使用更为方便。互联网作为人机/机器的组合,在列表中的所有项目中,进展最快。其实互联网的力量和影响被大大低估了。全球网络发展的无政府状态就是其潜力的证据。随着连接性,带宽,档案大小和计算机速度的提高,我们看到了像Lynn Margulis对生物圈的愿景,即数据处理器的重现,但速度提高了100倍,并且拥有数百万个人类智能代理(我们自己)。以上示例说明了可以在当代计算机科学系的背景下进行一些研究。还有其他范例。例如,人工智能和神经网络中的许多工作将从与生物生命的紧密联系中受益。与其简单地尝试用计算机来建模和理解生物生活,不如将研究的重点放在创建复合系统上,该系统依靠生物生活作为指导,或者能够使我们尚不十分了解的功能在硬件中实现。直接的脑机接口是科幻小说的长期梦想。实际上,这方面正在做具体工作:肢体假肢是直接在商业上适用的主题。可以制造神经硅转换器。这是朝着直接沟通迈出的令人激动的一步。如果比特率很低,则直接链接到大脑似乎是可行的:鉴于人类的学习灵活性,可能不必精确选择实际的大脑神经元目标。即使是每秒100位的速度,对于抚慰受害人也将是非常有用的,否则他们将被限制在菜单驱动的界面中。插入光纤干线可能会带来约1 Mbit /秒的带宽。但是为此,我们需要了解视觉的精细结构,并且需要以精密的精度放置巨大的电极网。如果我们希望将高带宽连接添加到大脑中已经存在的路径中,那么问题将变得更加棘手。仅仅将一排高带宽接收器插入大脑肯定不会做到。但是,假设随着胚胎的发育,大脑结构的建立就出现了高带宽网格呢。那说明我么需要:动物胚胎实验。我不希望在此类研究的头几年获得任何IA成功,但是从长远来看,让发展中的大脑能够使用复杂的模拟神经结构可能会产生具有其他感知途径和有趣智力能力的动物。我曾希望,对IA的讨论将产生一些明显更安全的奇点方法(毕竟,IA允许我们参与一种超越)。最后,我可以确定的是,应该考虑这些建议,以便为我们提供更多选择。但是关于安全性-有些建议听起来真的有些吓人。对个人而言,IA会产生一个相当险恶的精英。我们人类拥有数百万年的进化包,这使我们以致命的眼光看待竞争。在当今世界中,大部分的最后期限可能不是必需的,在这个期限中,失败者承担了获胜者的把戏,并被选入获胜者的企业。从头开始构建的生物可能比基于尖牙和爪子的生物更为良性。问题不仅仅在于奇点代表人类从中心舞台的消逝,而且它还与我们最深奥的存在观念相矛盾。我认为,仔细研究强超人性的概念可以证明这是为什么。
假设我们可以定制奇点吧。假设我们可以实现最奢侈的希望。那我们要什么呢?人类自己将成为自己的继任者,无论发生什么不公,都将因我们对自己根源的了解而受到抑制。对于那些仍未改变的人,目标将是良性对待他们(也许甚至让落后者成为神似奴隶的主人)。这可能是一个黄金时代,进步(突破扩张的障碍)和不朽(或者至少是一生,只要我们可以使宇宙生存)都可以实现。
但是,在这个最灿烂,最善良的世界中,哲学问题本身就变得令人生畏。保持相同能力的思想不可能永远存在。几千年后,它看起来将更像是重复的磁带循环。要无限期地生活,头脑本身必须成长。。。当它变得足够大,然后回头看时。。。它对原本的灵魂会有怎样的同情?后来的事物将是原始事物的全部,但比它更多。因此,即使对于个人而言,凯恩斯·史密斯(Cairns-Smith)或林恩·马古利斯(Lynn Margulis)的新生活观念也已从旧生活逐渐增长并脱出。
关于永生的“问题”会以更直接的方式出现。自我和自我意识的概念一直是最近几个世纪顽强的理性主义的基石。但是,现在,自我意识的概念正受到人工智能人们的攻击。智力放大从另一个方向削弱了我们的自我概念。后奇异世界将涉及极高带宽的网络。强大的超人实体的主要特征可能是它们具有用可变带宽(包括远高于语音或书面消息的带宽)进行通信的能力。当自我的一部分可以被复制和融合,自我意识可以增长或缩小以适应所考虑问题的性质时,会发生什么?这些是强大的超人性和奇异性的基本特征。在这样的前提下,人们开始感觉到后人类时代将是多么的奇怪和不同-无论它变得多么聪明和仁慈。
从一个角度来看,未来愿景符合我们许多最幸福的梦想:我么将拥有一个无休止的时间,在这里我们可以真正彼此了解并了解最深的奥秘。从另一个角度来看,这很像我之前想象的最坏情况。
实际上,我认为新时代太不同了,无法适应经典的善与恶框架。该框架是基于孤立的,不变的思想通过脆弱的,低带宽的链接连接在一起的思想。但是,后奇异世界确实与很久以前(也许甚至在生物生命兴起之前)开始的更广泛的变革与合作传统相吻合。我认为某些道德概念将适用于这样的时代。对IA和高带宽通信的研究应增进这种理解。我现在只看到这点微光。也许有一些可以根据连接带宽将自己与他人区分开的规则。尽管思想和自我比过去更加不稳定,但我们珍视的许多知识(知识,记忆,思想)永远都不会丢失。我认为弗里曼·戴森(Freeman Dyson)说的很正确:“神超越了我们的理解力,就会成为头脑。” 12
Ulam,S. ,致敬John von Neumann ,《美国数学学会简报》,第一卷。64. 3,1958年5月,第1-49页。
Good,IJ ,关于第一台超智能机器的推测,计算机进展,第6卷,Franz L. Alt和Morris Rubinoff编辑,1965年,第31-88页,学术出版社。
彭罗斯,罗杰,《皇帝的新思想》,牛津大学出版社,1989年。
塞尔,约翰·R。,《思想,大脑和程序》,在行为与脑科学,第1卷。3,剑桥大学出版社,1980。
Moravec,Hans ,《心灵孩子》,哈佛大学出版社,1988。
Stent,Gunther S. ,“黄金时代的到来:进步的终结” ,自然史出版社,1969年。
Drexler,K. Eric ,《创造的引擎》,锚定出版社/ Doubleday,1986 年。
Minsky,Marvin ,心灵协会,Simon和Schuster,1985年。
Cairns-Smith,AG ,《七种线索》生命的起源,剑桥大学出版社,1985年。
Margulis,Lynn和Dorian Sagan ,微观世界:微生物祖先进化了40亿年,首脑会议书籍,1986年。
Sims,Karl ,动力系统的互动进化,思维机器Corporation,《技术报告丛书》(发表于“走向自主系统的实践:第一届欧洲人工生命欧洲会议论文集”,巴黎,麻省理工学院出版社,1991年12 月。)
戴森·弗里曼,《全方位无限》,哈珀与罗尔,1988年。
Alfvin,Hannes 饰演Olof Johanneson,《人类的终结》,奖书,1969年。
安德森(Anderson),波尔(Poul),《如果死的国王》,如果,1962年3月,8-36。
阿西莫夫,艾萨克,搪塞,惊人的科幻,1942年3月,94 巴罗,约翰和法兰克·迪普勒,人择宇宙学原理,牛津大学出版社,1986年熊,格雷格,血里的音乐,模拟科幻,科学事实,1983年6月。
康拉德(Michael )等人,《迈向人工大脑》,生物系统,第一卷。
戴森(Dyson),弗里曼(Freeman),《开放宇宙中的物理学与生物学》,《现代物理学评论》,第23卷,第1989-175 页。51,447-460,1979。
用于外周神经记录和刺激的再生微电极阵列,生物医学工程IEEE交易,第1卷。39号 9,893-902。Niven,Larry ,《疯狂伦理》,如果,1967年4月,第82-108页。
普拉特,查尔斯,私人通讯。Rasmussen,S。等。
《神经元内的计算连接主义:支持神经网络的细胞骨架自动机模型》,在新兴计算中,斯蒂芬妮·福雷斯特(Stephanie Forrest)编辑,428-449,麻省理工学院出版社,1991年。
Stapledon,Olaf ,《星际制造者》,伯克利图书公司,1961年。Swanwick Michael ,真空鲜花,于1986年12月至1987年2月在艾萨克·阿西莫夫(Isaac Asimov)的《科幻小说》(Science Fiction Magazine)中连载。
Thearling,Kurt ,《我们将如何构建思考的机器》,在Thinking Machines Corporation的研讨会上,1992年8月24日至26日。
Vinge,Vernor ,Bookworm,Run !,Analog,1966年3月,8-40。Vinge,Vernor ,真名实姓,Binary Star Number 5,Dell,1981. Vinge,Vernor ,First Word ,Omni,1983年1月,10。
评论区
共 14 条评论热门最新