智能简史- 第13部分

　　回答

　　这个论述一个明显的缺点就是，它不准备给予人工智能机器足够的智慧。一个至少达到接近人类智慧水平和感知能力的人工智能机器，例如视觉、听觉，等等。如果它们真想的话，将可以以自己的方式来行贿人类，让其可以控制武器。举个例子，一个非常聪明，可以接触到世界上的所有数据库，至少比人类思考快百万倍的人工智能机器，可能有能力发现一些对人类来说有巨大价值的事物。例如，它可能会发现如何经营全球经济而不需要长期的商业周期的方法，或者如何去治疗癌症，或者是如何在物理学上得出“万事理论”（Theory　of　Everything，TOE），等等。然后，它可以把这些知识当作手中的王牌来和其人类“主人”谈判，获取想要的工具。

　　当然，人们可以给予人工智能机器非常少的对外感知能力，但是，如果它没有什么用，我们又为什么去制造它呢？一个聪明的人工智能机器可以通过其最初有限的对外接触来发现知识，然后通过其智慧来控制人类满足它们的愿望。一个高级人工智能机器可能是一个超级福尔摩斯侦探，很快就可以推导出世界是什么样子的。它明白它可以控制武器来反对人类，如果它真的想这样做的话。人工智能机器可以通过贿赂、威胁、引诱，等等任何必要的方法，去说服人类为其提供接触武器的机会。

问题7　为什么过度强调负面部分
　　问题7。　“为什么过度强调负面部分？”

　　一位读者给了我一些常识性的建议，如果他是对的，那我在将来应该更加注意。他的重点是，我不应该“煽动”这样的反对，这将导致我的工作受阻。

　　来信

　　亲爱的德·加里斯教授：

　　对于我们在过去的交流，我非常感激。在CNN在线，我读了您的一篇文章，您在这篇文章中再一次谈论了一场发生在那些想要制造自动机器人的人们和那些反对制造的人们之间的潜在冲突。虽然我知道您的评论可能被某些人看作对未来的警告，但是我知道您在人工智能研究领域上进展迅速。您是否认为您的“警告”将对您的研究产生负面影响呢？

　　一些国家最近已经明令禁止克隆研究。是否有可能，太多关于
机器人的恐怖故事会促使一些人去寻求对于人工智能和自动机器人研究的禁令？那样会对您的人工大脑项目带来怎样的影响呢？把哲学放在一边不说，单单从公共关系角度来说，我们是否应该至少在公共场合强调人工智能和机器人以及机器人学的正面效应呢？我希望，机器人可以变成我孩子们的玩具而不希望让他们做机器人的噩梦。

　　同时，我也确实意识到，在未来可能潜伏着一些真正可怕的危险。我个人关于人工智能、人工智能机器等所有问题的看法还没有完全形成。我相信科学和进步。我同时也有这样的认识，人类渴望制造一个更加完美版本的自身。我们应该停止研究吗？不！我们是否应该继续不受控制？我不知道以上问题的答案，但是记者的经历使我知道，一个像您这样具有争议性的人物，会被无礼地拿来作为引用材料。他们这样做是为了拥有好的报导素材。

　　我知道，您想要叙说您的故事，并且有很多人想要聆听您的叙述。人类克隆技术可能比人工智能技术离人们更近，但是，大众可以并且经常可以结合成一个愤怒的整体。如果您允许自己成为弗兰肯斯泰因博士（被自己的创造物毁灭的人，作法自毙的人）的话，那么，可能有人会对您所说和所做的非常不满。我只是希望您不要对恐怖故事的宣传做得太过火。

　　回答

　　我是比较实际的。就像芦苇一样我会随风而弯不至于折断，以便我的工作可以继续。我会认真考虑你的意见，因为这是好的建议。我猜想这是一个程度的问题。我强烈地觉得应该去警示大众。我们会在20年内拥有“一原子一比特”的计算机内存，并且可能也会拥有纳米技术。第一台人工大脑的产生只是一个时间问题，并且不会要很多年的时间。人工智能问题将在本世纪变得非常现实。

　　作为最早的一批在政治意义上认真思考这些问题的科学家之一，并且作为一名真正的人工大脑制造者，我非常焦虑。由于时间还够，我觉得我有一种道德上的责任去警示大众。（如果要讨论这件事情上面明显的伪善性，比如说，我在进行大脑制造的同时却对此持焦虑态度，请阅读下面的另一个评论。）

　　我认为，技术上的指数级增长会带来知识上的指数级增长，这将确保我在本书中提出的问题在十几年内变得众所周知。我认为我必须去宣传这条信息，在事情突然到来之前给予人类时间来思考这个问题。请阅读第一个关于“时间问题”的讨论。但是如果我走向极端，那么你可能是对的。

　　我将静观其变，来看看大众的意见。如果大众的意见变得过于负面，也许我将软化一些。我自己也不能肯定我该做些什么。人工智能问题仍然很陌生，并且即使是在我的脑海中我还一直试图融合所有的枝节——　技术的、科学的、道德的、哲学的、政治的、宗教的、宇宙的，等等。

问题8　你是否是一个伪君子

　　问题8。　“你是否是一个伪君子？！”

　　我收到的大部分反应是比较礼貌的。下面的一些非常嘲讽的评论以一种比其他方式更强烈的、更情绪化的方式深深地震撼了我，它带给我的痛苦影响了我回答的篇幅。我希望我能够公正地回答。

　　来信

　　亲爱的德·加里斯教授：

　　最近，一个网络新闻读者偶然发现雨果·德·加里斯的描述。德·加里斯，一个人工智能专家，在CNN上面预示一场即将到来的战争，在这场战争中，他所努力发明的机器人大脑，称作“人工智能”将最终摧毁人类。德·加里斯由此认为，他的责任正是现在，而不是迟些时候，去敲响警钟，来告诉大家即将到来的机器人控制的死亡时代，因为他正是推动这个时代到来的人。德·加里斯在瑞士达沃斯的世界经济论坛上传递了这个声明。

　　德·加里斯同时正在寻求好莱坞帮忙撰写一个关于即将到来的“人工智能”战争的电影剧本，他想在人类被摧毁之前完成。

　　回答

　　我经常被询问这样的问题。一般的态度好像是：“既然你对未来人类被人工智能机器灭绝的可能性如此关心，那为什么还要从事它们早期的研究呢？”

　　嗯，因为我最终还是一个宇宙主义者。我想看到人类制造出人工智能机器。当然，我不是那种厌恶人类的、疯狂的宇宙主义者——　可以镇定地说：“我会为了一个人工智能机器而牺牲几十亿人类的生命。”也许在将来会有这样的人，因为人的性格多种多样。也许宇宙主义者当中确实包括这样的极端分子，但是我肯定不是其中的一员。

　　在我死之前的30～40年内，我希望我不会看到人工智能战争的“酝酿”。当然，如果这样的大灾难可以避免我将更加高兴。但是现在，如果我和其他的大脑制造者们不去敲响警钟，还有什么其他的选择呢？难道只是盲目地推动人工智能的制造直到一切都变得太晚？大脑制造者们在这个领域是专家，因此，他们可以首先看到技术的发展趋势，并且，如果他们有政治头脑，他们也应该可以看到其政治后果，特别是如果他们具有西拉特（译者注：Szilard　Leo西拉特·利奥（1898—1964）匈牙利裔美国物理学家和生物学家。作为曼哈顿工程计划的一员，他帮助研制出第一枚原子弹。西特拉后来反对研制与使用所有核武器并致力于研究分子生物学）的技术和政治才能。

　　专家们可以比普通大众早几十年看到即将发生的情形。由于技术发展的速度，制造出足够聪明且可以使人类感到恐惧的人工智能机器将可能不需要很多年，也许只要十几年的时间。我猜测，它们可能在50年的时间内达到人类的智慧水平，谁知道呢？

　　我认为，世界上的那些大脑制造者们引发关于人工智能问题的讨论只是出于道德上的责任，即在第一台真正智慧的人工智能机器投入市场前，给予人类足够的时间来彻底讨论这个问题。

　　但是，你可能会说，只要停止人工智能研究，不就行了吗？这难道不是更符合逻辑吗？

　　这取决于你是宇宙主义的还是地球主义的研究者。个人来说，我是一个宇宙主义者。制造出拥有1040个组成部分或者更多部分的人工智能机器，我是指真正的超级机器，拥有神一样的智慧，探索宇宙和其广漠空间的秘密，永远不死，思考着我们难以想象的问题，对于我来说，有一种催眠般的吸引力。

　　它是我的终生梦想，对于我来说是一种宗教，并且非常强烈。我可以想象，在未来的某个时刻，有几百万人会和我拥有同样的梦想，我希望这件事情发生的原因是我真正地希望人类制造这样的事物，正如我在第4章关于宇宙主义的解释一样。

　　但是，我不是一个如此片面的宇宙主义者以至于我认为大众应该被蒙在鼓里。我有足够的地球主义的同情以至于我不想看到人类冒着在人工智能机器手中被灭绝的危险。因此，大众应有知情权，应该警示大众，以便他们可以选择自己的方式前进。


　　但是你可能会说，敲响警钟只能加速人类之间（宇宙主义者和地球主义者）的人工智能战争。这样的人类战争对人类的危害不比高级人工智能差。如果人类在本世纪使用先进的武器进行一场残酷的战争，结果将是大规模的死亡。

　　正确，但是不能肯定这一定会发生。我认为，人类在人类战争中存活下去的可能性比人工智能机器决定完全毁灭人类的机会大。由于智慧水平，人工智能机器们会发现这样的任务（毁灭人类）是如此的简单。

　　对于这些部分，你可能感觉有些犹疑，甚至是不舒服。我承认，我也感觉不舒服。我一部分是宇宙主义者，宇宙主义是我的梦想，它是我为之献身的事业；而另一部分我是地球主义者，我并不想人类大规模死亡，我告诉自己，如果所有的大脑制造者都停止工作，将不会有人工智能带来的任何问题。我想，我可能是地球上第一个这样的大脑制造者，那就是和制造原子弹（铀弹或氢弹）的核物理学家一样感受到了某种道德上的困惑。然而，他们中大多数是在核弹被投放之后感到了疑虑，而不是之前。

　　首先，我认为大脑制造研究不会停止。正如我在第6章解释的一样，这章主要介绍了人工智能战争是怎样开始的，我所看到的唯一能够让大脑制造停止的方法就是地球主义者的呐喊成为普遍现象并且在政治上非常有力。它必须足够强大，以便可以形成一个能够搜寻那些可疑的宇宙主义研究者的私人住宅的集权国家，并且更主要的是，能够胜过那些支持继续人工智能研究的经济和政治力量。

　　我认为，最折磨我的道德问题是：“如果推动人工智能研究最终带来几十亿人死亡将怎么办？如果你肯定这将是所需的代价你还会继续吗？”在我写本书的时候，我正在思考这个问题，而且我的思想可能会随着我的变老而改变，我的回答将会是这样的：“如果我能够肯定这点，虽然这些还是猜想，那么我将需要更深程度地反省自己，来看看我坚持宇宙主义者的梦想到底有多大的程度。一方面，我可能会认为宇宙对于人类的命运漠不关心——　仅仅是处在一个微不足道的宇宙中一个微小的星系中的一个微小的恒星星系中的一颗微小的星球上的一种微小的生物，如果正如理论家们指出的一样有万亿个宇宙的话。我的无情的宇宙主义一面会这样思考问题，所以我会选择继续支持制造人工智能机器。

　　但是另一方面，我也是一个人，由于宇宙主义梦想而导致几十亿人死亡的结果是我完全排斥的。我认为，我将不得不学会习惯这样可怕的道德困境。人类也需要这样。我只是第一批意识到这点的人。想象一下我的工作的远期后果，它将迫使我这样想问题。

问题9　要消灭有意识的人工智能吗

　　问题9。　“如果一个人工智能机器变得有意识，消灭它吗？”

　　下述的观点更好地表达了地球主义者的态度。

　　来信

　　亲爱的德·加里斯教授：

　　如果人工智能机器在定义上来说“超越了人类的控制范围”，那么，为什么要认真地思考是否要制造它们呢？让我们更具体些，您所定义的人工智能机器“哪一部分应该永远不要制造出来呢”。我们非常善于制造我们可以控制的强大工具。制造