第七章 超人智力的展望
当然，如果我的“自我”只是一捆对已知数字和确切维数的直觉，那么，让我把它干净利落地捆扎起来，并最佳地利用它。但是，如果这种隐蔽的个性，带有一种不寻常的、使人满足的愿望，以及复萌、争斗和永恒的风格，并非一架齿轮出现故障，又有限定最大马力的机器，而是一种有生命的东西，无限可变、总是视情况而重新调整，并能取得不可估量的成就，也能诱致可悲的卑鄙，在某种意义上是其命运主宰的一种活的东西；如果其自由驰骋不是一种错觉，而其具有超自然经验的可能性又并非谎言，那么，我们必须防止我们自己坠入机械唯物论者古老的错误的泥淖中去。 查尔斯·雷文（Charles E. Raven），《造物主的精神》
我们有精神生活，那是因为我们思维活动是动态的达尔文过程，以致我们能创造——每天重新创造我们自身。那种精神生活（本书开始时描述的一种紊乱），现在也许能想象为一种达尔文过程，这种过程是高层次的，几乎达到分层稳定性那些层次顶端，能够实现雷文所论述的自我感觉。这样的深度和多方面的能力的产生，可能源自大脑密码的不断复制，与别的大脑密码相竞争，以及产生新的变异。
那不是一架计算机，至少不是通常意义上被看作能忠实地重复其动作的可信赖的那种机器。对于大多数人来说，在机械论的王国中，它是某种新东西，完全找不到良好的类比——除了其他已知的达尔文过程之外。但是，你对它可能是什么能获得一种感觉；俯视皮层的表面（实际上是展平的表面）看到的好像是一种镶嵌——一条拼花被褥，哪一片都不处于静息状态。再仔细一看，每一片都像是重复的墙纸图案，但每个单元的图案都是动态的，是一种闪动的时空模式，而非传统的静态模式。在被褥相邻的片之间的界线有时是稳定的，有时像一条战线一样推进。有时单元图案会从一个区域消退，三角形的阵列不再使同类点同步化；过一会儿，另一种单元图案可能很快占领杂乱无章的领土，而并未遭遇抵抗。
这种复制竞争的当时的赢家，也就是具有最多和声，从而赢得输出通路注意力的那种模式，看来像是我们称之为意识的良好候选者。我们转移注意力可能意味着另一类拷贝模式走到了台前。我们的下意识可能是当时不起主导作用的其他活动的模式。皮层中没有任何特定的部位会长时间作为“意识中枢”，不久另一个区就会接替过去。
变化的镶嵌似乎也为智力提供了一个良好的候选者。对新的运动的指令包含在能成形的空间模式之中。鉴于时空模式能改变以找到新的共鸣，这种变化的镶嵌能够发现巴洛式的新的次序。鉴于在长期记忆和现时感觉输入的共鸣的基础上，能对一种运动程式的大脑密码作出判断，于是，它们能在现实世界中控克雷克方式模拟动作。在某些情况下，下一步该干什么并非显而易见，它们在处理这些情况时具有皮亚杰特征。
这些镶嵌具有我们精神活动不羁的一面，我们可以创造出新的层次的复杂性，像填字游戏式体现新的意义层次的复合符号（写诗时就是这种情况）。因为大脑密码能表示的不仅是感觉和运动图式，也能表示思想，因此，我们甚至能够想象高质量的隐喻怎样出现，而当我们进入一个小说的想象王国时，能想象科尔里奇（CO-leridge）”的 “对不信的有意悬置”如何能发生。
大脑密码和达尔文过程正是我在本书开始时提到的，那时我曾说，读到这本书的结尾时，读者有可能去想象能导致意识的一种过程，这种过程能运转得足够快来产生敏捷的智力，且会长于揣测。这最后的一章就是讨论增强我们的大脑和建立其人工的近似所具有的涵义。但是，首先让我们先叉开一点，看一下解释本身具有的竞争性。
衡量解释的金科玉律——所有科学都热望于此，是抽象化和数学描述。当某人能以一组定义和公理展示一系列不断推进的推论，肯定会给人以深刻的印象。从柏拉图的理想国开始，笛卡尔和康德都试图了解精神是如何用数学的方式运作的。我们最终似乎是处于回答某些这样的问题的门槛上。
但是，长期以来一直存在着对整个科学界的挑战，当科学试图去解释人的精神时，挑战将会再一次强烈地表现出来。对真理的神秘主义和非理性主义观点来自精神启示，而并非来自演绎；这些观点认为，与纯粹的沉思所获得的相比较而言，科学真理是非上乘的、急功近利的。第二种挑战来自教条。伽利略之所以遇到麻烦，并非是他的天文学研究，而是因为他的不断挑战和修正的科学方法威胁了宗教曾用来建立其似乎是永恒的和内部和谐一致的世界观的真理。还存在着一种被文学批评家乔治·斯坦纳（George Steiner）称之为“浪漫的存在主义神学论辩”的挑战——例如尼采“的较之于徒劳的演绎对本能性睿智的偏爱或布莱克”对于牛顿对虹的光学分析的批评。第四种挑战以为隐秘不明的动机无处不在，或声称真理是依附于政治观点的。
从根本上来说，这些是来自科学传统之外的挑战；它们的现代拥护者将肯定会抓住我们日常科学上的混乱，并试图以基督教基安主义攻击进化生物学本身的方式来利用它们。这些类型的解释长久以来与科学竞争，虽然也有几次短期的获胜（如对拉曼特利的流放），但多以长期的失败告终。今天，所有这各种挑战的脉络均可见于理性时代的落伍者所发起的运动之中。
因此，我们必须努力清晰地陈述我们的科学解释，而不要试图去建立虚假的对立面 ——像有关进化是因遗传突变还是自然选择那次假想的争执那样。那场无谓的争论持续了几十年，直至本世纪40年代才为“现代综合论”所消飒我们必须避免使用数学概念而使人头晕目眩，而应该给人以启迪。我们必须摒弃“想象所需要的证明”，而当我们在作结论，说是除了我们已找到的答案外不存在别的可能时，同样必须摒弃妄自尊大或急躁。特别是当把我们的理论设定在机械论解释的恰当层次上时，我们必须谨慎。
因此，为大脑和精神提供的现代时髦图象的神经元层次上的描述，仅仅是细胞骨架更深层次上的影子——正是在这个更深的层次上，我们必须去寻求精神的物理基础！ 罗杰·彭罗斯《精神的影子》
我敢肯定，有些研究意识的物理学家或埃克尔斯学派神经科学家会说，在这架机器中仍然必须要有一个幽灵，它跳跃过分层稳定性的许多中间层次，从而引导神秘的量子力学至神经元的细胞骨架的微管之中，在那里非物质的精神能与大脑的生物学机制交换信息。实际上，这样的理论家通常避免“精神”这个词，而谈论鼻子场论”。我将很高兴采用丹尼诗的定义在“奥秘”这个问题上作妥协；奥秘是指一种人们不知如何去思考的现象。研究意识的物理学家们所做的一切，是用一种奥秘来代替另一种奥秘。迄今为止，在他们的解释中还不存在将其组合起来就能解释别的事物的片言只语。
即使他们在其组合上有所改进，同步他微管产生的任何效应只能为我们意识经验的整体特性提供另一位候选者。这种解释将必须与在别的层次上的解释结合起来完善其机械论上的细节，必须与其他可能的解释进行竞争取得地盘。至今为止，达尔文过程似乎能恰到好处地来解释意识的一些重要侧面的成功和失常。
我想，我们将会继续看到，在那些令人厌倦的辩论中，在争论“机器到底能否真正认识一切；机器是否能具有人所拥有的意识”时，一个哲学家企图把另一个哲学家逼入困境（至少是费尽口舌；欲将对方通过墙角旮旯）。遗憾的是，即使所有科学家和哲学家都承认精神是大脑产生的，论题的复杂性仍然会引起大多数人应用某种比想象更简单的概念（如“灵魂”）来对该种复杂性加以抽象化。也许感觉像是一个书评家，他咬文嚼字地问：“数字计算机是否如许多理论家所认为的，只是人脑的一种更简单的翻版？要是真是这样，其涵义太可怕了。”
可怕么？以我个人来看，我发现无知才真的可怕。在这方面可谓是源远流长，从用“着了魔”来“解释”精神疾患到巫师的装神弄鬼。我们极需要一种比鼻子力学的奥秘更有用的隐喻；我们需要种隐喻，它能够成功地架设起一座越过在我们感知的精神活动和其内在的神经机制之间鸿沟的桥梁。
迄今为止，我们实际上需要两种隐喻：一种是自上而下的隐喻，把思想映射于神经元群上；另一种是自下而上的隐喻，用来解释思想如何由那些看起来是杂乱无章的神经元集群产生的。但是，新皮层的达尔文机可以在这两方面都干得不错——如果它确实是其中的创造性机制的话。
对我来说，新皮层的达尔文机理论似乎是处在恰到好处的解释层次；它并不降到突触或细胞骨架的层次，而是上升至有成千上万个神经元参与的动力学的层次，它们产生的时空模式是运动的前提，即大脑之外世界中的行为的前提。此外，这一理论与一个世纪以来脑研究的许多现象是一致的，随着脑活动成象技术和微电极阵列技术的空间和时间分辨率的某种改善，也可以对这一理论加以检验。
达尔文过程的核心，至少在生物学家中，广泛地被理解为一种创造性机制。无规则的变异在成千上万年后成型为特性，而我们经过了一个多世纪才意识到这样的复制竞争是多么的强有力。在最近几十年里，我们已经能看到同样的过程也在几天或几周的时间尺度上运转，例如免疫反应形成一种更适合的抗体。这种新皮层的达尔文机在毫秒至分的范围内运转只是再一次改变时间尺度而已；我们应该有能力把对这种过程所能完成的任务的认识从进化生物学和免疫学扩展到思想和行为所实现的时间尺度。
在我看来，我们早就该接受詹姆斯关于我们精神活动的观点。但是，许多人，包括科学家在内，仍然对达尔文主义持有一种非真实的观点，认为它仅仅是选择性生存。在这一点上，达尔文也起了一点推波助澜的作用。他把他的理论命名为6要素中的第五点，即自然选择。我希望在本书中我所做的，是把达尔文过程的所有6个要素和其中加速性的那些方面汇集在一起，然后描述能在灵长类新皮层中利用这样的过程的一种特殊的神经机制。因为是机制而并非改进的隐喻，在这一点上，对我的新皮层达尔文权的最有力的支持是，皮层神经解剖学和拖拽振荡子原理与达尔文过程的那6个要素和加速性因素很相吻合。
这是不是最重要的过程，或者是不是还有另一种过程主导意识和揣测，还很难说；在生物学或计算机科学中，这可能是没有先例的——没有先发现某些居间的隐喻，我们还不能想象这样的过程。说真的，我怀疑，为了避免焦躁不安或停止不前，“管理”复制竞争的那种过程将需要其自身描述的中间层次，我并不是在“管理”这个术语的通常意义上来使用这个词的，而是有点像全球气候模式受急流或厄尔尼诺现象影响的方式。用心理学术语来说，这种“管理”可能像雷文所说的“隐蔽的个性，有其不寻常、使人满足的愿望、复萌和争斗”。
由达尔文复制竞争所形成的复合大脑密码能解释我们精神活动的许多东西。它提示为什么人类能完成比其他动物多得多的新行为（我们具有非标准运动模式的非主线进化）；它也提示我们如何能进行各种类比推理（关系本身能有会竞争的密码）。因为大脑密码能由小片形成，你能想象一只独角兽，且形成对它的记忆（印记能再激活与独角兽相应的时空密码）。尤其重要的是，达尔文过程是一台产生隐喻的机器：你能对各种关系间的关系进行编码，并把它们成形为某种特性。
对智力性意识的这样一种解释为我们洞察想象王国中的隐喻和动作提供了启示。它必须告诉我们在思想与其他精神活动之间的同类性。在我提出的解释中，弹道运动和音乐本质上是与思想和语言相关的。我们已经看到，对新的序列的强调有可能产生非语言性自然选择，这种选择使语言得益，反之亦然。在口一脸序列和手一臂序列间的重叠，提示两者均采用相同的神经结构。
达尔文机的重要的辅助性用途可能是对于行将发生的运动（而不是弹道运动）在秒、时、日、一生的时间尺度上进行策划。它将有可能尝试各种综合方式，判断它们有什么问题，使它们变得更精确等等。那些擅长此道者可谓之聪明人。
任何对智力的解释，也必须为我们洞察不同于地球上的生命的智力所循途径提供启示。简言之，它必须对人工智能（AI），对增强动物和人类智力提供启示，这也许会有助于发现来自地球外智能的信号。对于“地球外的智能”问题能说的还木多，但让我尝试从行为学的角度作一点展望，这可能会有助于我们思考人工智能和智能的增强。
一种摆脱了觅食和避敌必需的智能，像人工智能一样，可能毋需再运动。正因为如此，就会缺乏人类智能所具有的对下一步将要发生的所进行的思考。我们先解决运动问题，只有在稍后，在系统和个体发生上，才逐渐提出更抽象的问题，通过对前景的揣测来前瞻未来。
为了达到高度的智能也可能有其他的途径，但自运动开始向上发展是我们所知道的范例。有意思的是，在心理学中或人工智能中很少提到这一范例。虽然在脑研究中有一条很长的思维线，它强调“从运动开始向上发展”，但是更常见的是在对认知功能的讨论中强调一个运用智力对感觉世界进行分析的被动观察者。对世界的沉思仍然主导着大多数对精神的研究，其本身可能是完全误导的。对人的世界的探索伴有始终不断的猜测和断断续续地对下一步做什么作出决定，这些特点必须包括在我们理智地勾划出争议点的方式之中。
难以估计高级智能会如何频繁地出现在地球和宇宙别处的进化系统中，主要的限制是我们现在对如何克服自然界中的盲端（即容易陷于平衡而一成不变）一无所知，正是这种限制使大多数的猜测变得毫无意义。此外，还有对连续性的要求，要求物种在其进化过程中的每一步都保持足够的稳定而不自行解体，并且具有足够的竞争力，从而不至于在与一位一体化的专家的较量中败北。
列出智能一览表，如果做得足够充分，可能要比以一种测试人的智商的方法来测试其他物种（或计算机）略强一点。但是，对是何种生理机制会帮助脑作出正确的猜测和发现新的次序，我们现在已有所了解。
我们能对两种有希望的物种（人工创造或增强图式）加以评估，看看它们各自能设法装配多少个智能的构建单元，或它们能设法躲开多少绊脚石。我目前的评估一览表会强调：
·内容广泛的一整套运动、概念（如言词）和其他工具。但是，即使具有一套在漫长的一生中由文化素养所积累的庞大词汇，高级智能也仍然需要附加的单元来形成新颖的高质量的综合。
·对创造性紊乱的宽容性。这种紊乱使个体有时能摆脱旧的范畴，建立新的范畴。
·每个个体有6个以上的同时工作空间（“窗”），足以在不同的类似物中进行挑选；但是工作空间又不能太多，从而会消除了分团和以此建立新词汇的倾向。
·在这些工作空间的概念之间建立新关系的方式。这种关系比许多动物都能掌握的 “是一个…（is-a）”和“比…更大”（is-larger-than）更精致。树形关系对我们这样的语言结构来说似乎特别重要。我们比较两种关系的能力（类比）使运算能在隐喻的空间中进行。
·在现实世界中起作用之前的离线成型的能力。这是一种以某种方式与达尔文6要素结合起来的成型过程投p模式，它们能复制、变化和竞争，由多侧面的环境来作判断；较成功的模式成为下一轮的模式异体的中心）。这一过程也和某些加速因子（等价于重组、气候变化、孤岛）结合起来，它具有一条捷径，使达尔文过程能在思想而非运动的层次上运转。
·形成长期战略和短期策略的能力，通过实行居间的一些步骤以有助于为未来的技艺设立舞台。要是能推定日程表，并监视那些战略和策略的进展情况，甚至会更有帮助。
黑猩猩和倭猩猩可能缺失若干要素，但它们干得比现在这代的人工智能程序更好。
我的达尔文理论的另一层涵义是，即使具有所有的要素，我们将预期在智能上的变异相当可观，这是因为在许多方面都存在个体差异：在采用捷径上；在采用类比时找到合适的抽象层次上；在速度的处理上；在坚韧不拔的精神上（并非越多越好，厌倦可能给较好的模式异体以发展的机会）。
“是啊！在我们的国家里”，爱丽丝微喘着气说道：“如果你像我现在一样跑得那么快，跑一阵子后你会跑到另一个地方。”
“慢吞吞的国家！”象棋红后说道：“在这里，你瞧，为了留在原地，你必须尽力跑。如果你想到达别处，你必须跑得快一倍！”
卡罗尔，《镜中世界》
为什么没有更多的物种具有复杂的思维能力？当然，连环漫画渲染的荒诞不经的故事说昆虫也有沉默不语的智慧。但是，要是滚甚至只有我们十分之一的预先作出计划的思维能力，它们就会构成对非洲很大的威胁。之所以不存在较高智力的物种，我怀疑是因为需要跨越一种障碍。那并不只是一种脑的大小的卢比孔河（Rllbicon）“，不是一种使你能模仿别人的身体意象，也不是见诸于猿之后的人科动物其他10多种的进步。有一点智能可以是一种危险的东西——不管这是一种外星球的、人工的，或是人类的智能。超越猿的智能必定是经常在两种孪生的危险之间航行，就像古代的航海家必须与锡拉（Scylla）岩礁和卡律布狄斯（Charvbdis）旋涡周旋一样”“。危险的创新的涡流是更显而易见的危险。岩礁引起的危险更微妙：因循守旧的保守主义忽略了象棋红后对爱丽丝关于要留在原地必须尽力奔跑所作的解释。例如，当你行驶在急流中时，要是不能在主航道中保持你的速度，你往往会撞到岩礁上去。智力也是和其自身的副产品在赛跑。预见是我们跑步的特殊形式，这种对于智慧的航行家来说是至关紧要的素质，它对更长时期的生存来说是必需的。正如进化生物学家古尔德所告诫的：“智能和发展是进化中的一次辉煌的偶然事件。借助于它的威力，我们已经成为地球上生命延续性的管理者。我们并不曾要求扮演这个角色，但我们不能拒绝它。我们可能并不称职，但我们已经就职。”在谈论其他智能物种时，我们自己可创造出来的又是怎样的东西呢？包埋在硅芯片中的人的思维是对脑的精细结构的复制品，这种可能性已经引起一定的注意。我觉得这样一种“不朽的机器”把一个人的脑化解为一台软件通用型计算机，可能并不那么行得通。即使神经科学家最终会如某些物理学家和计算机科学家们贸然假设的那样解决 “读出”问题，我想，除非那些工作线路都调谐得很好，并且保持那种状态，否则很可能出现痴呆、精神变态、癫痫发作。只要想一下那些有偏执和强迫症状的人：当在精神病院的羁留是无时限的，不再为人的一生所限，那么“陷入一个无休止的怪圈”就会有新的意义。谁想打这种荒唐的赌呢？”
我想，去认识基因和拟于在连续发代中复制的基本特性运佳于此。道金斯在《自私的基因》一书中清楚地看到了这些复制的关系。我的朋友，未来学家托马斯·曼德尔（ThomasF Mandel）也看到了这些。他身患肺癌，前景日益暗淡，但是在回答他的研究空间控制论的朋友时，他说道：
在开辟这个课题时我有另一个动机。说真的，自从在我的癌症被确诊以来的5个月中，这个动机达观地几乎贯穿在我所做的一切之中。
我曾想，像别的所有人一样，我的肉体本身不会永远生存下去，我猜测我留下的时间要比保险精算师所划归的更少，但是，如果我能伸展出去，触摸每一个我所认识的…… 我能献出自我所有的以及组成托马斯·曼德尔的特异模式，那么当我的肉体死去时，我不会真正地离去。……我的主体会在这里，成为这个新空间的一部分。
这并不是一种原始创新的想法，但不管怎样，值得一试。也许有一天某人能以某种曼德尔的元件来修复所有的碎片，而我可能是傲慢的后执的，温柔亲切的，富有同情心的，以及你们大家似乎感觉到我可能是的其他的一切。
人工智能的特定程式也可能产生有智能的机器人。但是我想，借助于神经科学中已发现的原理，我们能够建造一台软件通用型计算机，它能像人一样谈话，像我们的宠物一样可亲，能够想象隐喻，在几个不同的抽象水平上思考。
初级软件通用型计算机最低限度要会推理、归类和理解言语。我想，甚至初级软件通用型计算机将公认是“有意识的”，像我们一样以自我为中心。我并不是指意识的那些不甚重要的侧面，诸如觉察、醒悟、敏感、可激动。我并不是指自我意识，这似乎并不重要。我认为，自我中心的意识将是容易达到的；使它对智力有所贡献才是更困难的。
在我来看，逐渐更新换代的软件通用型计算机将会获得智力性意识，如可驾驭的注意力，心中复述，符合句法的语言产生，想象，下意识信息处理，对未来的策划，战略上的决策，特别是我们人类在觉醒或睡梦中的自言自语。虽然这种软件通用型计算机所运行的原理与我们的脑所采用的原理十分相似，但设计制作得相当仔细，从而在发生困难时能得以补救。我已经能够看到实现这种设计的一种方式，那就是采用那些达尔文要素和皮层接线的模式，从而产生三角形阵列以及随后的在模式异体间的六角形复制竞争。与我们自己的以毫秒级运转的脑相比，这些功能能以高得多的速度运转，就此而言，我们已经看到了源自“软件通用型计算机”的“超人智能”的一个侧面。如果软件通用型计算机能够达到新的组构层次（超隐喻 meta-metaphor），那么它有可能为帮助人类迈出相同的一步，应在教育方面作些什么努力指明途径。但是，这是容易的一个方面，只是计算机技术、人工智能、神经心理学及对人脑的神经生物学的已有趋势的外推。从知识中来提炼智慧当然要比从资料中提炼知识需要更长的时间。然而，至少还存在3个难点。第一个难点是要肯定这种软件通用型计算机确实与各种动物（如我们人类）组成的生态系统相顺应。特别是与人类的生态系统相顺应，那是因为在紧密相关联的物种之间竞争最剧烈，这就是为什么我们的同类南方古猿和直立猿人皆不复存在的原因，也是为什么仅有两种杂食性猿一直生存至今（其余皆为素食动物，其肠子极长，从而从大量的食物中吸取卡路里）的原因。如果不是气候变化本身作祟的话，那么，我们更直接的先辈可能把别的猿和类人猿都作为竞争者清除掉了。未来的世界将是一场要求更高的斗争，以对抗我们智力的极限，而不是一张我们能舒服地躺在那里等候我们的机器人奴仆伺候的软吊床。 诺伯特·维纳
奥尔多二利奥波德（Aldo Leopold）在1948年说过：“保持每一个轮和齿是聪明的修补匠最要当心的。”把一种强有力的新物种引入生态系统决非轻而易举。
当自动化重新布局发生得慢到没有一个人挨饿时，常常是有益的。以前，每个人都收集或寻觅其自己的食物，但在工业化国家里，农业技术的发展已经逐渐把农业人口的百分比降低到约3％。这就使许多人能腾出时间来干其他事情。这些“职业”的相对比例是随时间而变的，在近几十年中，许多人从制造行业转向服务行业。一个世纪前，在发达国家中最大的两个职业群是农场工人和家庭仆人，而现在他们仅占一小部分。
然而，软件通用型计算机甚至将取代某些受过更高教育的工作人员。没有受到良好教育或智力低于平均水平的人的前景比他们现在的情况更加凄惨，但是人类也会明显地受益。想象一下，如果有一台超人教学机作为动教，它会与学生进行真实的交谈；对与学生操练从不厌倦，总是记得向学生提供必要的多种多样的东西使他们不觉腻味；能够按学生特定的需要修改课程；能够进行常规审视，以发现一种发育失调的征象（如诵读困难或注意力持续时间不长），你便会有同感。
硅质超人也能应用这些才能来教下一代超人，仅通过变异和选择就能进化出更有智慧的超人：最终，其中的明星硅人能被复制。之后，每个后代所受的教育都有所不同。按经验的不同，有些可能具有所期望的特征和价值（如社交能力或对人类繁荣的关心）。我们又能选择其中的明星加以复制。鉴于复制过程包括对时间的记忆（那是硅性智能除能作补救之外的另一个优点），经验会逐渐积累，真正是拉马克“式的：后代毋需重复前辈的错误。
第二个难点是价值问题；什么是公认的价值？如何在硅芯片中实施它们呢？
初级软件通用型计算机将是非道德性的，就像我们的宠物或幼童一样，只有不成熟的智能和言语能力。它们甚至不具备某些与生俱来的素质，而正是这些素质使我们的宠物安全地存在着。我们人类倾向于被我们的宠物视作它们的母亲（对猫来说）或它们一群的首领（对狗来说）；它们听从我们。对其角色的这种认知上的混乱使我们人类得益于其天生的社会行为。我们可能会希望我们的智能机器有某些相似的东西，但是由于它们在干坏事方面比宠物要能干得多，我们将可能需要现实的防卫，比犬的口套、系狗的皮带和篱笆更有效的东西。
我们如何建立那种抽象的防卫？就像艾萨克·阿西莫夫的机器人定律？我的猜测是，它将需要作多次明星硅人的复制，这有点像狗的驯养。这种经历许多代超人的逐渐的进化有可能部分取代生而有之的生物学遗传，这也许使硅质超人对社会有害的倾向减少到最低限度，并能限制其间祸行为。
如果确系如此，为了从只具有不成熟的智能的初级软件通用型计算机发展为一种安全的、毋需不断指导的超人将需要好几十年。早期的模型可能是灵巧而健谈的，而不是谨慎或机智的，这是一种充满危险性的综合，蕴涵着对社会有害的可能性。它们会具有顶尖的能力，却并没有以其能力经过良好考验的进化上的先辈为基础。
昭示往昔，诊断现在，预示未来。 希波克拉底（Hippocrates） 《对医生的忠告》
第三个难点是如何缓和人类对这种感受到的挑战的反应。正像你的免疫系统那样，对一种刺激的过于热情的反应，能通过变态反应和自身免疫疾病使你受到伤害一样（也许由于过敏性休克会使你丧生）。人类对硅质超人的反应也能在我们现时的文明中造成巨大的紧张。一旦软件通用型计算机已经在经济中起着一种显著的作用，对此所作出的一种严重反应有可能毁坏现存的社会体制，也即使农民养活其余97％人口的体制瓦解。请记住，饥荒之所以死人是因为分配体系的失灵，而并非因为世界某地没有足够的食物。
但是，21世纪的勒德分子“和破坏者将会得到人类行为的某些根基本特征的帮助，这些特征在19世纪欧洲并没有起多少作用。群体试图把自身与别的群体区分开来，尽管受惠于一种共同的语言，但历史上的大多数部落总是夸大与相邻部落间语言上的差异，以致敌友不分。能肯定图林试验（Turing Test）”将被经常使用，人们将试图了解在电话线的另一端是否是一个真人。为了减弱这种焦虑，可以要求机器以特别的嗓音来说话，但这不足以防止我们和它们怕的紧张。
软件通用型计算机和超人也可能而限于一定的职业。它们进入其他领域隶属于一种评估过程，这种过程在一个真实的人类社会的样本的背景上对一种新模型作仔细的考察。如果出现严重的副作用的潜在可能性是如此巨大，引进的速度又可能是如此快，我们就会得到劝告，采取与美国食品和药物管理局（FDA）测试新药物、新医疗仪器的有效性、安全性和副作用相似的程序。这与其说减缓了技术的发展，倒不如说减慢了它的广泛使用，并有可能暂作退却，以防止依赖性发展太甚。
软件通用型计算机可以局限于有限的相互作用的范围之内；为了使用交互网络或电话网络，它们可能需要严格的批准。对于只有新手执照的超人来说，对其输出可能会采取“延迟一天”规则，以避免某些“程序交易”的危险。对一些新手我们可能需要某种计算机遏制装置，类似于我们遏制致命病毒的生物危害。
对真理的探寻是掠夺性的，它确确实实是一种狩猎，一种征服。在《共和国》一书中描述了一个典型的时刻，那时苏格拉底”和他的同伴在争论一个抽象的真理。他们叫喊着，就像那些发现追捕猎物的猎人……（即使禁止科学上的探寻）在某个地方，某个时候也总有那些对绝对思想的毒药上了痛的人，或者是单枪匹马，或者是成群结队，在努力试图建立生物组织，确定遗传的特性，在云雾室中产生夸克——的踪迹。并非是为了名声，不是为了人类的利益，不是以社会正义或社会利益的名义，而是因为一种内驱力，这种内驱力比爱更强烈，甚至比恨也更强烈，是它使人类对某些东西感兴趣。因为其本身神秘的缘故，因为它存在在那里。 乔治·斯坦纳（George Steiner）
这就开始提出了以下问题：“什么是这个社会该做的正事呢？”是打碎枷锁，优化培育，使人类变得无所不能？还是制造比人类更高明的计算机？很可能我们能兼而为之（就像那些教师的助手一样）。但是，在我们轻率地蜂拥而至产生超人的过程中，我们需要保护人性，这是一种重要的补救形式。
然而，我们能够导人谨慎从事的途径受各种冲动的制约，正是这些冲动把我们引导到这种智能的转折：
好奇心是我们自身的初始动机——智力是如何产生的？这肯定也是许多计算机科学家的初始动机。但是，即使好奇心因其本身的原因有点破足（就像各种宗教试图做的那样），其他冲动也把我们引导至相同的方向。
象棋红后效应的技术版本。如果我们不改进技术，别的人会这样做。从历史上来看，技术上的竞赛的失败常常意味着被你的竞争者所取代（或消灭）——以国家而言，而不只是公司。从最近几十年在数字计算机中速度和信息量以每18个月增加一倍的增长曲线来看，世界的其他部分不会减慢速度，即使大部分国家决定这样做。就生物技术来说，情况也一样。
对文明的严重的环境威胁要求庞大的计算机资源尽快地发展，因为我们气候通过洋流的重组在约几年之内就“变换排挡”。这样的突然变动（全球变暖似乎使这种变动更可能发生）现在会引发第三次世界大战，因为每个人（不只是欧洲人）都在为生存空间而斗争。为了我们自身的生存，我们的一个迫切任务是学会如何推迟这些气候的变动。为模拟全球气候所需要的大型计算机与模拟脑的工作过程所需的计算机十分相似。
我并不知道有任何设法延迟作出决定的现实的途径，使这种向超人的转折以一种更审慎的速度推进。因此，在今后的几十年中，我们将需要面临超智能机的问题，这不会由于减慢技术进步本身而有所推迟。
确实，我们的文明将在终极的意义上“与造物主比赛”：它正在进化一种比地球上现存的更高明的智能。对于我们来说，有必要变成为一个思虑缜密的造物主，明智地对待世界及其脆弱的本性，敏感地注意到为了站稳脚跟需要做些什么，从而来有效地防止倒退，使我们称之为文明的木屋不至于崩溃。
仅仅在2个世纪之前，我们用纯粹理性能对每一件事都作出各种解释，而现在大多数精心构制的和谐结构都在我们眼前土崩瓦解了。我们说不出话来……我们已经发现公。何提出重要的问题，现在我们紧迫地需要某些答案。我们现在意识到，我们再不能通过探寻我们的精神来做到这一点了，因为在那里并没有足够的东西可供我们搜寻；我们也不能通过揣测或者为我们自己编制故事来发现真理。我们不能停留在我们现在所处的位置，耽于今日的认识水平，我们更不能倒退。我不认为在这方面我们会有任何真正的选择，因为我们能看到的仅有一条路伸向前方。我们需要科学，需要更多、更好的科学，不是为了技术，不是为了消遣，甚至不是为了健康和长寿，而是为了充满睿智的希望，我们的文明要存在下去必须获得这种希望。 托马斯