所定义的人工智能机器“哪一部分应该永远不要制造出来呢”。我们非常善于制造我们可以控制的强大工具。制造对人类有危险的人工智能机器会有什么好处呢？为什么不停止制造这些人工智能机器而仅仅去制造那些无自我意识的人工智能呢？只有人类和其他的一些动物具有自我意识。把一台人工智能机器放在镜子前面，如果它可以识别其映像是自身的话，毁掉它！
回答
这种评论显然没有考虑“硅权利”。许多宇宙主义者会认为毁掉有意识的人工智能机器是一种谋杀行为。我从上述的评论可以看出这种评论没有宇宙主义的同情，因为他问到，“制造对人类有危险的人工智能机器会有什么好处呢？”
好，考虑一下这样的意见如何？——“去制造神一样的宗教般的吸引力”，或者“去制造出地球上或者更遥远的星球上的下一个主导物种”，或者“去创造出一个和科学更加兼容的宗教来达到‘宇宙意识’的目的”。或者这样，那就是“很多人渴望最终得到一个机会，来做一些‘大事’，来看到‘全景’”。
这样的评论低估了宇宙主义学说的力量，它非常强大有力，可能会影响几十亿人的思想，会成为影响本世纪全球政治的力量，并且在某个时刻会间接地导致几十亿人的死亡。请不要简单地反对它，它甚至可能成为人类和宇宙中其他几万亿个高级物种所必须面临的“宇宙主义者过渡”的问题，也许只有少数物种可以存活下来。宇宙主义可能比我们想象的要有影响得多。
问题10 没有更紧迫的问题吗
问题10。 “没有更紧迫的问题吗？”
下述的评论探讨了关于人工智能问题的所有疑惑。现在对于人类来说，肯定没有更紧迫的问题吗？
来信
亲爱的德·加里斯教授：
为什么要在意潜在的更高智慧“生物”的行为呢？我们这个物种中所谓的智慧成员在过去50年内花了很多时间，他们什么时候能够完善这么多自我毁灭的技术呢？现在大规模灭绝的物种是什么呢？人类在未来几十年里的生存和发展加速成千上万个已经生存了几百万年的独特物种的灭绝，这些需要某种程度的关心吗？对你来说，关心这些问题是否更好？
回答
有什么比人类这个物种的生存更重要的呢？高级人工智能机器决定要灭绝我们的可能也许非常遥远，但是，我们不能排除这样的可能性。由于这个赌注如此巨大，地球主义者的观点是，没有风险才是可以接受的，因此，人工智能机器的制造必须永远被禁止。
地球上有着几十亿人，有着几十亿种不同的兴趣。那些对人工智能辩论不感兴趣的人不必费心这些，有足够多的其他事情需要他们操心。一些像我这样的人对人工智能辩论感兴趣，所以，我们应给予足够的关注。由于我认为我是问题的一部分，所以我比大多数人给予了更多的关注。
当然，我并不否认其他问题的重要性。某些与人工智能问题不相关的问题，例如核子大毁灭的前景，也是很令人恐惧的。这种瞬间物种毁灭的事实也是一个大灾难。然而，尽管它们都很重要，我的观点是在本世纪中期，从全球的角度来看，你所提到的问题将处于比人工智能问题次要的位置。
问题11 悲剧可以避免吗
问题11。 “悲剧可以避免吗？”
下面的一些问题，来自我和我的一些朋友。本来我想单独写一章节，但是最后还是决定在这里讨论它。
来信
亲爱的德·加里斯教授：
您的工作是如此的悲观，它给予人们的印象是大规模死亡的战争将不可避免。难道没有更加正面的前景吗？
回答
是的，有正面的，我将在下面列举和讨论一些，因为这个问题是非常基本的。然而我个人的观点是，下面的每一个场景的可能性都不大。我花费很多时间希望能够找到避免我在本书描述的凄凉景象的替代前景，但是，我每次描述的新场景好像永远都不会成为现实。我请读者自己来做出判断。我希望下面所提供的替代场景容易理解。每一个场景都紧跟着我的评论，来解释为什么我认为这个场景是经不住认真推敲的。我给了8个场景来说明很多替代场景是可能的。
作为读者，你们可能会想象出其他的场景。如果你经过思考真的觉得你的场景是可能的，并且这个场景里没有人类的灾难，那么请和我联系，因为如果我赞同你的观点，兴许我可以在晚上睡得踏实点。其他关心本书所提问题的人也会更高兴听到您的观点，并且我可能在之后改编此书时提到这点。
场景1 地球主义者会以人类微小的代价胜出
这里的观点是，地球主义者组成了地球公民的主体，他们是无情的并且可以迅速扑灭宇宙主义思想和宇宙主义者。他们杀死宇宙主义者，只是杀死几百万，防止宇宙主义者真正有机会结为大型组织。
评论
我不觉得这会发生。事实上，人们更期待新事物的产生，也就是说，本世纪人工智能的崛起将属于像我这样非常明白大脑制造前景的宇宙主义者。我预言，迟些时候，一旦大众的了解成为普遍的事实，越来越意识到人工智能问题的宇宙主义者和地球主义者的数目将达到相当。双方将有时间在政治上、思想上和军事上进行准备。
当我让人们在我的演讲结束后投票表决人类是否应该制造人工智能机器时，表决结果的比例是50︰50，所以说地球主义者将不可能是主体。当事情真的来临的时候，并且当真正开始制造人工智能机器的时候，这个比例是否会变还是一个待解之谜。
场景2 人类适应了地球上的人工智能机器，人工智能机器们不理睬我们并且离开这个星球
这里的观点是，人工智能机器的崛起是如此的缓慢，以至于人类适应了它们，即使它们变得比我们更加聪明。可能事实上没有什么真正坏的事情发生。人工智能机器大规模在智慧上超越我们，并且离开这个星球去做其他的事情。
评论
我认为这绝对是一个可能的场景，但是它充满风险。我们永远都不能确定人工智能机器一直会对我们友好。它们对我们来说是如此的深不可测，并且难以预料。人类的命运将在它们的手中。它们可以在任何时候以我们可能永远无法了解的原因反对我们。我不认为有责任心的、具有全局思维的、关心人类命运的地球主义领导者会接受这样的风险。他们一定不会容忍人类冒这样的风险。
场景3 宇宙主义者变得普遍不受欢迎以至于他们消失了
也许早期制造人工智能的实验结果是如此的消极，即使宇宙主义者也开始害怕而转变为地球主义者，并且达到了没有一个宇宙主义者的程度。
评论
我觉得这是非常不可能的。总会有宇宙主义者，并且有不同虔诚和狂热程度的宇宙主义者。那些认为“一个人工智能机器顶得上万亿万亿人类”的宇宙主义狂热分子，将不允许任何阻止他们的逆流。他们将坚持干下去。只要有数百位进行秘密研究的宇宙主义者就完全可以制造出人工智能机器。通过自我说服让所有的宇宙主义者从这个地球上消失几乎是不可能的。
场景4 半
机器人的选择变得非常有吸引力以至于没有人愿意成为地球主义者
也许本书里我所描绘的关于人工智能的恐惧过于夸张。也许在将来人们对成为半机器人是如此的适应以至于每个人都成为半机器人，导致在某个时候将没有地球主义者。每个人都将被变成半机器人的好处所说服，因此，成为半机器人和成为人工智能机器的差距将缩小。半机器人将变成人工智能机器，因此，否定了地球主义－宇宙主义冲突的可能。
评论
这个场景很难判断是否合理。在未来肯定有几百万人（不是几十亿人）会尝试变成半机器人，特别是当科技变得完美，而同时人们看到自己的朋友已经这样做并且获得好处时。然而不是每一个人都想这样做。成百万的人会对此感到不愉快。发达国家将比不发达国家更容易承担这些变化，所以不可避免的是，在半机器人进化发展的过程中将会有国际上的差异。半机器人和人类的融合将会产生很多问题，并且只会让地球主义者的恐惧加剧。
场景5 宇宙主义者会逃亡到宇宙的深处并且消亡
由于某种原因，宇宙主义者会离开，但是他们会以某种方式自我毁灭或死亡。
评论
也许，但是可能性不大。宇宙主义者的逃离计划可能是如此的完美以至于其领地由于自身的错误、无知或者愚蠢而消亡几乎是不可能的。如果宇宙主义者确实离开了，那么，我猜想地球上的地球主义者会全力寻找他们，花费大量的金钱来搜寻宇宙主义者。宇宙主义者也是人类，也属于人类的范畴，因此，在以地球为中心的有限半径内找到他们应该不是很困难。地球主义者将对宇宙主义者穷追不舍并且摧毁他们。
场景6 宇宙主义者逃亡到深层空间，制造他们自己的人工智能机器，然后这些机器离开太阳系
这种观点是相当明显的。我认为，宇宙主义者的主要策略之一就是，一旦他们对于地球上的广大地球主义主体来说成为不受欢迎的人，他们将逃离地球并且离开得越远越好，以至于他们不会也不可能被地球主义者摧毁。如果宇宙主义者们可以成功地做到这点，并且之后成功地制造出人工智能机器，那么，人工智能机器们可能会认为，在它们面前的广漠宇宙充满着惊奇，甚至可能包括比它们更先进的人工智能机器。然后，人工智能机器们可能离开太阳系寻找更加重要的东西。人类将得以幸存，因为人工智能机器们离开了。
评论
我认为，这个场景实际上可能会发生。宇宙主义者们会尽他们的全力来逃离地球主义者。但是我仍然认为这不太可能，因为地球上人类的总体创造力比逃离地球的宇宙主义领地的要高很多。如果宇宙主义者尽其所能地迅速逃离地球，以便地球主义者没有设备可以在短期抓到他们，但是从长远角度来看，他们将被最终捕获。拥有地球上几十亿人脑的更高的总体脑力的地球主义者，如果要想出新的主意以开发新系统来摧毁逃亡的宇宙主义者的话，他们将最终胜出。比如说，地球主义者的最新超级技术将可以设计出更快更复杂的导弹，它能达到人类难以忍受的速度并且赶上逃亡的宇宙主义者的飞船，然后摧毁它。
场景7 宇宙主义者逃往深层空间，制造自己的人工智能机器，但是这些机器将灭亡或者自相残杀
这是场景6的一个变异。人工智能机器在这里不是离开太阳系，而是由于某种原因灭亡或者自相残杀。
评论
也许，但是地球主义者们会容忍人工智能机器灭绝人类的危险存在，而寄希望于它们自相残杀或者灭绝吗？几乎不可能！
场景8 宇宙主义者们逃往到深层空间，制造自己的人工智能机器，但这些机器之后被超级人工智能机器杀死
这是更具科幻小说性质的场景，即使是以我的标准来看！也许在宇宙深层空间里有很多ET（Extra Terrestrial，外星生命），但是它们对于人类来说太小了（基于费米技术或者更小！）以至于人类根本注意不到。也许当这些ET看到人类被新产生的人工智能机器威胁时，它们会介入进来并且消灭它们，使得人类得以生存下去。
评论
如果有超级人工智能机器，为什么它们会在意我们如此原始的人类，而不是其他人工智能机器呢？另一方面，人工智能机器对于那些超级人工智能机器更有吸引力，更有可能得到它们的帮助。这些超级人工智能机器可能相信“人工智能原则”，来解释“人类原则”，那就是“物理的原则是特别设计的，以便能够制造出人工智能机器，这是创造宇宙的目的！”
场景9 现在开始探讨人类出路的问题，也许我们可以找到一条共同生存的道路
我很喜欢您的书，这是我读过的最有意义的一本书了。您提的问题是人类有史以来最值得思考的问题。
读第一遍，我震惊，读第二遍，我害怕，读第三遍，我开始悲观，但是，作为人类我不甘心，于是我又开始读第四遍，我想我们应该开始寻找出路了。
我觉得还是有希望的，一开始我们觉得一定有很多人会是“地球主义者”，可是事实上，“地球主义者”和“宇宙主义者”往往各占半数。那么，试想一�