在21世纪，我们威力无比的三种科技：机器人、基因工程和纳米技术正在使人类成为濒危物种。

作者：Bill Joy

自从我从事科技创造的那一刻起，我就关注其在伦理上的问题。但直到1998年秋天我才认识到我们在21世纪面临着多大的危险。这一不安始于我遇到雷-库茨维尔， 一位伟大的发明家，发明了为盲人服务的阅读机，还有许多不可思议的机器。

我和雷都是在佐治亚州Gilder市召开的远程通讯大会的发言者。会议结束后，我在旅店酒吧与他偶遇。当时我正在与John Searle，一位在加州大学佰克利分校研究意识问题的哲学家，坐在一起聊天。雷走过来与我们攀谈起来。直至今日，我们谈论的内容依然困扰着我。

我没有听到雷的演讲及其后来的座谈，而约翰没有，他们现在重拾未完的话题。雷认为技术进步的速度将会越来越快，我们将会成为机器人或者与机器人结合的合成人，或者与之类似的东西。但约翰不以为然，他认为这不可能发生，因为机器人不会有意识。

在听到这样的谈话之前，我一直认为有感觉的机器人只存在于科幻小说中。但现在，从一些值得尊重的人那里，我知道了那些机器人已经离我们不远了。我大吃一惊，特别是我知道雷已经证明自己有资格有能力描绘并创造出这一未来。我现在已经知道新科技，比如基因工程、纳米技术，能帮助我们重新改造这个世界，但智能机器人的现状与未来使我感到惊奇。

诸如此类的技术突破会使人厌倦。我们几乎每天都能听到关于科技进步的新闻。但这次可不是一般的预言。在旅店的酒吧里，雷给了我一本他即将出版的新书《智能机器的时代》的预印本。他在这本书中勾勒出了他心目中的乌托邦：通过机器人技术，人类将会得到几乎永生不灭的生命。在阅读这本书时，我心中的不安越来越强烈。我敢肯定，雷低估了机器人技术的危险性，低估了这一技术造成严重后果的可能性。

我发现以下反乌托邦情景让自己寝食难安：

新卢德主义的挑战

首先让我们假定计算机科学家开发出了比人类更能干的智能机器。在这种情况下，所有的工作将由大量组织良好的机器系统完成，而人类不再需要进行劳动。我们可能会充许机器自主地作出决定，或者人们依然保留对机器的控制。这两种情况都有可能发生。

如果允许机器自主运行，由于我们不可能猜测出机器是如何得出结论的，所以也就无法推测这一结果。我们将会发现人类的命运将掌握在机器手中。也许有人会争论说人类不会愚蠢到把所有的权力移交给机器，但我们正在谈论的既不是人类把权力让度给机器，也不是机器有意攫取权力。我们谈论的是人类很容易陷入不得不接受机器的自主决定，从而依赖机器生存的境地。随着社会及其面对的问题越来越复杂，并且机器的智能越来越高，人类将让机器作出越来越重要的决定，不为其他，只是机器作出的决定要比人类明智得多。最终，由于保持系统正常运行的决策是如此复杂，人类的智能再也无法承担，而机器却能胜任愉快。人们再也无法简单地拨掉机器的电源，因为我们是如此依赖机器，关机无异于自杀！

另一方面，人类保持对机器的控制是有可能的。比如，在上面所说的情况下，相当部分的人仍然控制私人拥有的机器，象汽车、个人电脑之类。但控制大型机器系统的是极少数精英阶层，就象当今社会一样。但与现在相比有两点不同：由于科技进步，精英阶层对广大群众有了更大的控制权，并且由于人类劳动不再是必需的，广大群众也变成了整个系统无用而多余的负担。如果精英阶层是冷酷无情的，他们可能会简单地把这些人消灭殆尽。如果他们是仁慈的，可能会用宣传或其他精神上、生物上的技术来降低人口出生率，直至这些人灭绝，从而完全拥有这个世界。还有另外一种可能性，如果精英阶层是软心肠的自由主义者，他们可能会扮演牧羊人的角色来照顾其余的人类。他们将会满足每个人肉体上的需要，让孩子们健康地成长，每个人都会忙于有益身心健康的爱好，任何对此不满意的人都会受到「特殊照顾」以纠正他们的「问题」。当然，生命是如此没有意义，以至人们不得不接受生物或精神上的改造以去除他们对权力的欲望，或者使之「升华」成无害的嗜好。这些经过改造的人类在这样的社会中也许会感到快乐，但他们肯定是不自由的，他们就像动物园中被饲养的动物。

直到你读到这一页，你才发现以上内容的作者是是荻尔多-卡辛斯基，著名的「大学炸弹客」。我并不是卡辛斯基的辩护者。在他17年的恐怖活动中，用炸弹夺走了3个人的生命，还炸伤了很多人。其中一枚炸弹使我的朋友David Gelernter严重受伤，戴维是我们这个时代最具天才与想象力的计算机科学家。就象我的很多同事一样，我感到我很有可能就是「大学炸弹客」的下一个袭击目标。

卡辛斯基的行为是谋杀和愚蠢的罪行，毫无疑问，在我眼中他是个卢德主义者，但简单地下此结论难以驳倒他的观点。虽然很难，但在上面一段论述中，我还是察觉到了一些真相，我感到我有责任来面对它。

我们不希望卡辛斯基想象的反乌托邦成为现实，但一个众所周知的关于设计与技术应用的问题可以用「墨菲定律」来描述：「会出错的，终将会出错」（事实上，应当称之为菲纳络定律，这一错误本身就证明了菲格纳真是英明无比！）抗生素的过度使用已经造成最严重的问题：抗生素耐药性危机和越来越多的危险细菌。与之类似的事情曾经发生过：想用DDT杀死传播虐疾的蚊子，却使之产生DDT耐药性，其幼虫也获得了对多种药物的耐药性基因。

诸如此类令人惊奇的事故清楚地表明：系统各部分相互之间的作用与反馈太过复杂，对系统的改变会引起连锁反应，难以预料最终结果。特别是把人类的活动也考虑进来后，情况就越发复杂了。

我开始向朋友们介绍《智能机器的时代》一书对对卡辛斯基言论的引用；我递给他们卡辛斯基的书，让他们阅读这些引文，然后观察当他们发现是谁写下这些文字时的反应。大约在这一段时间，我发现了汉斯-莫拉维克的《机器人：通往非凡思维的纯粹机器》。莫拉维克是机器人研究领域的领军人物，他在卡耐基-梅隆大学创立并领导着世界上最大的机器人研究计划。这本书给了我更多的材料来考验我的朋友们。令人惊奇的是，那些材料大多支持卡辛斯基的论调。例如：「近期（2000年早期）」一章。

生物物种在遭遇到占优势的竞争者时几乎毫无生存的机会。一千万年以前，南北美洲被巴拿马地峡分开。南美洲就象今天的澳大利亚，到处繁衍着有袋类哺乳动物，有袋鼠、袋鹿和袋虎等等。当连接南北美洲的地峡升起后，北方在新陈代谢与神经系统上只占很少优势的胎生物种只用了几千年的时间就替换并灭绝了几乎所有的南方有袋类物种。

在完全自由竞争的市场上，占优势的机器人就会象北美胎生物种影响有南美有袋类物种一样影响人类的生存（也好象人类曾经影响无数其他物种一样）。机器人工业将会为了原材料、能源和空间展开激烈的竞争，其结果就是机器人的经济性超过人类。由于无法负担生活所需，人类将会被排挤出生存空间。

可能还有可能给人类留下喘息的空间，因为我们并不是生活在一个完全自由竞争的市场中。政府会强制执行一些非市场化政策，特别是税收。通过这一明智之举，政府的强制措施能支持人类在机器人劳动成果的基础以一种较高的生存状态繁衍生息。这一情况可能会持续很长时间。

这真是一本反乌托邦的生动教材，并且会让莫洛维克感到很不舒服。他继续讨论我们在21世纪的主要是：「制定法律来规范机器人工业的行为，确保与其持续的合作」。并描述了「一旦人类转变为毫无约束的超级智能机器人」会产生多么严重危险。在莫洛维克的观点里，机器人最终会战胜我们，人类毫无疑问将面结灭绝的命运。

我决定在此时此刻与我的朋友丹尼·希里斯(Dany Hillis)好好谈一谈。丹尼是生产并行超级计算机的Thinking Machines公司的创始人之一。我不光是太阳微系统公司的首席科学家，同时也是一个计算机设计者。丹尼在信息和物理科学方面的知识超过我认识的每一个人。丹尼还是一位值得关注的未来学家，他对未来进行了很长时间的思考，并在四年前创立了Long Now Foundation，他还为过去10000年制造了一台时钟，尝试刻画出人类历史上值得纪念的时间段（见「Test of Time」《时间测试》，《连线》2003年8月78页）。

因此我飞到洛杉矶与丹尼夫妇共进午餐。我倾其所有，向丹尼提出了一些困扰我的想法我思路供其考虑。丹尼的回答直指库茨维尔设想的未来情景：人类与机器人合二为一的时代很快就会到来。这一回答令我大吃一惊。总而言之，他认为这一变化会逐渐成为现实，人们迟早对此会习以为常。

但我认为我没有完全地感到惊奇。我从丹尼那听到了对库茨维尔书中内容的引用。他说：「虽然我象别人一样喜爱自己身体，但是如果我能依靠硅基肉体活上200岁，我会毫不犹豫地放弃它。」看上去丹尼已经对一变化过程及随之而来的危险听天由命了，而我却不能。

当谈论与思考关于库茨维尔、卡辛斯基及莫洛维克的事情时，我突然想到了20多年前读过的一本弗兰克-赫伯特（Frank Herbert）的科幻小说《白色瘟役》(The White Plague)。在小说中，一位分子生物学家因其父母妻儿被无原无故地谋杀而陷入疯狂。为了报复，他制造并散布了一种新研制的高度传染性的瘟役，用它来杀死很多经过选择的人（我们应当庆辛卡辛斯基只是个数学家，而不是分子生物学家）。我还记得《星际旅行》(Star Trek)中的博格人(Berg)，一种具有毁灭倾向的半人半机械生物。类似博格人的灾难是科幻小说中经常出现的情节。这就是我为什么更早更关注这样的机器人反乌托邦的原因。为什么其他人不为这梦魇般的未来世界操一点心呢？

这一问题的部分答案在于我们偏狭的劣根性：喜欢新奇的东西、马上就能上手的东西、毫无诫心地接受它们。习惯于每天听到的科技新发现。我们已经处于这样一个阶段：21世纪最引人注目的科技：机器人、基因工程和纳米技术，在其到来之前就已经表面出了与众不同的巨大威力，特别是机器人、经过基因工程改造过的有机体、纳米技术具有相同的使危险扩大的因素：它们能自我复制。一枚炸弹只能响一声，但一个机器人能就自我复制成很多个，很快就会失去控制。

在过去25年中，我的大部分工作是计算机网络研究。在网络上发送与接收信息会造成失控复制。虽然计算机或计算机网络上的失控复制很讨厌，但是在最坏情况下也不过是使单台计算机无法正常工作或阻塞网络通讯、网络服务。而那些更新科技产品的失控自我复制会造成更大危险：它们会损害到物理世界。

这些科技都提出了数不清的美好承诺：库茨维尔在其机器人梦想中看到的近乎长生不老的前景激励我们不断前进，基因工程很快就能为大多数不能很快痊愈的疾病提供了治疗方法；纳米技术和纳米医疗能治愈更多疾病。所有这一切将会极大提高我们的平均寿命及生活质量。然而，对于其中任何一项技术，持续不断地微小、个别的进行会积累成威力巨大的力量及其伴随而来的巨大的危险。

20世纪有何与众不同？当然，产生大规模杀伤性武器（WMD）核武器、生物武器、化学武器的科技极具威力，并且这些武器具有巨大的威胁性。但建造核武器至少需要时间、稀少、事实上不可能得到的原材料以及高度保密的资料；生物武器和化学武器的研制也需要开展大规模的活动。

而21世纪的技术-基因工程、纳米技术和机器人（GNR）的威力是如此巨大，它们会孕育出新的事故及滥用方式。最危险的是，这些事故与滥用首先会在个人或小型组织就能企及的能力范围内。它们不需要巨大的开发能力或稀少的原材料，只要有相关技术知识就能利用它们。

因此，我们不光受到大规模杀伤性武器的威胁，还有技术知识产生的大规模杀伤力，它们的自我复制能力极大地扩展了其杀伤力。

我想以下所说绝对不是危言耸听：我们人类面临产生极端邪恶的最高可能性，这一邪恶的产生正由国家力量支持的大规模杀伤性武器转而到恐怖的极端个人。

没有什么指出我们将面对这样的问题。

我的生命被内心深处的热情驱使着提出问题、找寻答案。当我3岁时，我已经开始阅读，所以我的父亲把我送进了小学，我那时只能坐在校长的腿上听他讲故事。我很早就开始上学。然后跳级，我以难于置信的热情投入到书本之中进行学习。我提出了很多让大人们都很难解决的问题。

作为一个十多岁的少年，我对科技技术非常着迷。我希望成为一名「火腿」（业余无线电爱好者），但我没有钱买设备。「火腿」是那个时代的因特网，非常容易上瘾，也使人离群索居。暂且不论有没有钱，我母亲马上表示坚决反对，我不能成为一名「火腿」，因为我已经够孤僻的啦！

那时我没有什么亲密的朋友，但我沉醉在我丰富的想像之中。我中学时代，我发现了许多伟大的科幻小说家。特别是我仍然记得Heinleain的《穿着太空服去旅行》(Have Spacesuit with Travel)和阿西莫夫的《我，机器人》及其机器人三原则。我被关于太空旅行的描写深深迷住了，就想拥有一架望远镜来看一看天上的星星；由于我没有钱买或制作一架，我就从图书馆借来关于如何制造望远镜的书，通过阅读来安慰自己。我在想像的空间中自由翱翔。

星期四晚上我的父母会出去打保龄球。而我们这些小孩独自待在家中。星期四晚上是 吉恩-罗顿巴里(Gene Roddenberry)最初的《星际旅行》(Star Trek)播出的时间，这个节目给我留下了深刻的映象。我开始接受这样一种理念：人类未来将在太空进行西部英雄式的冒险。罗顿巴里描绘的几个世纪后的情景有着重要的道德价值：遵守「第一守则」，不要干预任何技术水平较低的文明的发展。这些对我有着不可否认的吸引力；是精英人类，而不是机器人会支配我们的未来。罗顿巴里梦想成为我生命中不可或缺的一部分。

最脍炙人口的电视科幻片集《星空奇遇》，其中述及太空合众国的所有探险队都要遵守一条「第一守则」(prime directive)，那就是。在未调查清楚及未得太空合众国批准前，不得干预任何文化水平较低的族类的自然发展。

高中时我的数学相当不错，并且在密歇根大学工程专业读书时，我已经学习了研究生的高等数学课程。解决数学问题是一种令人兴奋的挑战，但当我发现了计算机以后，我觉得它更加吸引我：你能把用以解决某个问题的程序放入到一台机器里，然后这台机器很快就能判断出你的解决方案是否正确。计算机的答案非常清楚：正确或错误、真或假。我的想法正确吗？机器会告诉你一切。这真是太吸引人了！

我非常幸运地得到了一个在早期超级计算机上编程的工作。我发现大型计算机在对复杂设计方案进行数字化模拟方面有着不可思议的威力。当我在70年代中期到加州大学伯克利分校上研究生时，我开始在机房里待很长时间，常常是通宵达旦。我在计算机中发现了一个新世界，我在里面解决各种问题，编写被认为是很难的写出的代码。

在 欧文·斯通(Irving Stone) 为米开朗基罗写的传记小说《痛苦与狂喜》中，斯通生动地描写了米开朗基罗是如何从石头中解放出了雕像，「破除石化咒语」,依照心灵的指引切开巨石。在我大多数狂喜的瞬间，计算机中的软件也是如此完成。我曾经在我的心中这样描述：我感到那些软件已经「封印」在机器中，等待着我为它们破除咒语。而夙兴夜寐的辛劳与此相比不值一提。

在伯克利待了几年后，我开始向另外一些使用类似小型PDP-11和VAX微型计算机的同仁提供自己写的一些软件：一个教育用Pascal编译器、一些 UNIX程序和名为VI的文本编辑器（令人吃惊的是，到现在已经20多年了，它仍然被广泛地使用）。在这些软件上的探索最终形成了伯克利版本的UNIX，由此产生了我个人的「成功之灾」：太多的人想要得到它，以至于我没能完成我的博士学位。幸好，我得到了一份为DARPA（美国国防部先进计划研究局）把 UNIX系统应用到因特网上的工作，我的任务是使UNIX系统更加可靠，并能运行很多大型应用软件。这一工作非常有意思并有很高的报酬。并且，坦白地说，我没有在这个项目中或别的什么地方看到什么机器人。

随后，直到1980年早期，我一直潜心学习。UNIX系统的发布版非常成功，我的小项目很快有了钱和一些工作人员，但在伯克利，办公室总是比金钱要少得多；那儿不能为我的计划提供所需的房间，所以，当Sun微系统公司的其他创始人出面邀请我时，我就加入了他们。在Sun公司，我们为早期的工作站与个人计算机投入了大量时间，我则醉心参与先进微处理器技术与Java、Jini之类因特网技术的开发。

从所有这些事情中，我相信我决不会是个卢德主义者。我一直坚信为寻找真理而进行科学研究的价值和为改进物质条件而进行大规模工作实践的可能性。在过去几个世纪，工业革命曾经不可限量地改善了每个人的生活质量。我一直希望我的事业能够为解决有关国计民生的问题作出一份贡献。

我从来没有感到悲观失望。我的工作比我希望的更有影响，比我想到的应用更广泛。我用去20多年的时间使计算机能象我希望的那样可靠（目前它们几乎还不能达到这一目标），并且更加简便易用（这一目标取得了相对成功）。除去一些有限的技术进步，这些问题依然在那里，甚至看上去更加难以解决。

当我关注用于武器研究的技术成就的道德困境时，我不希望我自己的研究领域也会面对这样的问题，至少不是马上。

当一个处于风暴中心时，他很难对形势作出正确的判断。作为科学家和技术人员，当我们处于发现的狂喜之中时，我们看不到我们的发明所造成的后果。我们长久以来被求知的欲望驱驶，我们停不下脚步，这是科学家的天性，如果仅此而已，那我们就是不称职的科学家。现在我们要告诉大家：更新更具威力的科技进步最终会压跨生命本身！

长久以来，我认识到在信息技术领域的进步不是来自于计算机科学家、计算机设计师或电子工程师，而是来自于物理学家。在1970年早期，物理学家斯 Stephen Wolfman和Brosl Hasslacher向我介绍了浑混理论和非线性系统。1990年我在与丹尼-Hillis、生物学家斯图尔特-考夫曼、诺贝尔物理学奖获得者 Marray Gellmane及其他人的交谈中了解到了复杂系统的有关知识。Hass Lacher和电子工程师、device实验物理学家Mark Reed让我领略到了分子电子学不可思议的应用前景。

在我自己的工作中，作为三种微处理器架构：SPARC、picoJava、MAJC的设计者之一，并且作为以上架构的若干种实现的设计者之一，我亲自感受至了摩尔定律。在过去数十年间，摩尔定律精确地预测了半导体技术的指数级增长。直到去年，我仍然想信在一些物理极限达到之前，摩尔定律到2010年前仍能精确地预测半导体技术的增长率。我并不认为到时会有新技术来保持半导体技术平稳地前进。但最近分子电子学以及相关纳米技术方面的快速而根本的进展，使得我们能用单个原子和分子取化平面蚀刻二极管，这样我们就能在另外一个30年内保持甚至超越摩尔定律。我们就有希望建造比现在个人电脑强大百万倍的机器，足以实现库茨库尔和摩洛维克的梦想。

当强大的计算能力与物理科学的进步、对基因深入了解及其巨大进化能力结合到一起时，无论是好是坏，是福是祸，我们已经完全有能力改变这个世界：被束缚在自然界中的复制与进化机制现在已经可以由人类操控了。

我在设计软件与硬件时，从来没有感觉到我是在设计智能机器。软件与硬件是如此脆弱，机器「思考」的能力是如此差劲，就算考虑进它们可能达到的水平，也离上述的未来太遥远。

但现在，随着人类水平的计算能力在过去30年中的飞速发展，在我的脑海中一种新的想法浮现出来：可能我们努力开发出来的工具将帮助那些能够取代人类自身的技术成果孕育成熟。我对此有何感受？我非常不安。我奉献出我的一生建造可靠的软件系统，对我而言，某些人描绘未来世界最好不要出现。我的个人经验告诉我，我们总是对自己设计的设计能力评价过高，而设计中微小的失误就会造成不可挽回的损失。

我们给了这些技术不可思议的强大威力，那我们该如何与它们和平共处呢？我们自己的技术发展也许会，甚至极有可能导致自身的来绝，难道我们还不应当小心翼翼地前进吗？

起初，机器人之梦就是智能机器能为我们干所有人类能干的工作，使我们能悠闲生活，重返伊甸园。而乔治—dyson，机器人世界中的达尔文，在研究这一梦想的过程中发出警告：「在生命及其进化的游戏中有三个玩家：人类、自然，还有机器，我坚定地站在自然一边，但自然，我怀疑它是站在机器一边的。」正如我们在上面看到的，莫拉维奇就相信我们可能不会在遭遇到占优势的机器人种族时幸存下来。

还有多长时间会出现智能机器人？在即将到来的计算机能力将使之在2030年成为现实，并且，一旦一台智能机器人出现，这对机器人种族来说只是很小一步，但这台机器人自身来说，它能马上产生无数自身经过进化的复本。

关于机器人的第二个梦想是我们将逐步用机器人技术取代自己的身体，通过下载我们的意识而达到永生不死。这就是丹尼尔—Hillis所描绘的我会正在慢慢适应的世界前景；雷—库茨维尔在《智能机器的时代》一书中的描述的细节。（我们已在《连线》杂志8.02的封面上描绘的计算机设备到人类身体的移植上初见端倪）

但是，如果我们被下载到我们的科技设备之中，我们还有机会成为我们自己，甚至人类吗？我认为以机器人形式存在的绝不会是我们理解的人类个体，机器人绝对不会成为我们的孩子。

基因工程承诺在减少杀虫剂使用量的同时通过提高农作物产量来使我们的农业发生天翻地覆式的革命；创造成千上万种新型细菌、植物、病毒和动物；通过克隆技术替代自然生殖或增强自然生殖能力；治瘉疾病，增加我们的寿命与生活质量；还有很多很多。我们现在确切地知道这些生物技术中的深刻变革即将到来，并将挑战生命是什么的传统观念！

象人体克隆之类的技术已经使我们分外关注即将面对的伦理与道德问题。打个比方，如果我们使用基因工程技术改造我们的自己身体，或者改造不同的人群、种族，那我们就会摧毁我们民主政治的基石：平等。

毫无疑问，基因工程巨大的威力会在其使用过程中带来严重的安全问题。我们的朋友Amory Lovins最近与Hunter Lovins合作写了一篇社论，他们从生态学的观念考察了这类危险。在他们所关心的问题中：「新植物学」（见《两个植物学家的故事》247页）。 Amory在其漫长的职业生涯中一直关注从人造系统的整体观点研究能量及资源效率；这样的整体系统观念常常发现以别的方式看上去非常困难的问题有着简单而高明的解决方法。这种方式也能在此得到很好的应用。

读完Lovins的社论后，我看了Gregg Eusterbrook在《纽约时报》（1999年11月9日）发表的关于基因改良稻的非定官方评论。在大标题下写着：「未来的食物：除非卢德主义者胜利了，否则总有一天稻米将含有丰富的维生素。」

Amory和Lovins是卢德主义者吗？当然不是，我相信我们都同意：只要我们适当地关注在物种之间转移基因所带来的危险，「金稻」及其内含的维生素A对我们是有利的。

我们正在逐渐提高对基因工程与生俱来的危险性的关注程度，就象Lovins的社论所带来的反应。一般公众现在正很难得地在关注着基因改良食物，而且看上去他们不同意对这类食物不作特别标识的作法。

但基因工程技术已经走得太远了。在Lovins的备忘录中，USAP（美国农业部）已经批准了大约50种改良作物可以不受限制地扩散，世界上有超过一半的大豆和三分之一的玉米现在已经含有来自其他生物的基因。

在这里，非常非常重要的是，我所关注的基因工程领域，还有更重要的是，无论是军事上的，还是事故，还是蓄意的恐怖袭击，基因工程都给了他们制造白色瘟疫的强大能力。

纳粹技术的许多奇迹第一次被描述是在1959由诺贝尔物理学获奖者理查德-费曼Feynman的一次演讲上，随后，以《底下还大有可为》出版了这篇演讲稿。在80年代中期，给我留下深刻映像的是Eric Drexler的《创造引擎》，在这本书中，他生动了描绘了原子级的物质生产，创造出了多么美好的乌托邦。在那里能非常方便地生产每一样东西。使用纳米技术我人工智能，几乎任何一种你能想像得到的疾病或身体上的缺陷都会得到完美的解决。

接下来的一本书，《解放未来：纳米技术革命》，由Diexler参与写作，描绘了一个拥有分子级别「装配工」的世界中所发生的变革。「装配工」能生产成本低到不可思议的太阳能、通过增强人体免疫系统来治疗癌症和感冒，完全彻底地清洁环境，生产价格低到难于置信的、小到可发装到口袋中的超级计算机。事实上，任何由「装配工」生产的产品都不会比用木头生产的成本更高，太空飞行将比现在的越洋飞行更加方便，并且还能复活已经灭绝的物种。

我记得我读完了《创造引擎》后，感觉还不错。作为技术人员，这本书让我感觉平静，也就是说，这本书向我展示的不可思议的纳米技术是可能的，确实也是不可避免的。如果纳米技术是我们的未来，我就不会对眼前这些问题有紧迫感。我就会到时顺理成章地进入Drexler的乌托邦，我就会在此时此刻尽情享受生活。我现在没日没夜地辛苦工作在他的未来中根本就毫无意义。

Drexler的想像也带来了很多乐趣。我有时也向没有听说过纳米技术的人描绘一下纳米技术的奇迹。在用Drexler描述的东西调侃一下他们后，我还给他们一个我个人的课后作业：「用纳米技术建造一个帝国；但是你要想得到学分的话，就要再建造一个能摧毁它的力量。」

我十分关心这些与奇迹伴随而来的明显的危险。正如我在1989年纳米技术大会上所说的：「我们不能单单只顾埋头研究科学而不关心与之相关的道德问题。」但在下一个物理学家参加的会议上，他们使我相信纳米技术甚至不能正常运作，或者，至少不能在任何时间都能正常运作。

随后，我移居到科罗拉多州，进行一项我领导的skunk工作。我的工作重点转向了因特网软件，重点是最后形成Java和Jini的一些想法。

在我任期将满的那个夏天，Brosl Hasslacher告诉我纳米分子电子学已经实用化了。这的确是个新闻，至少对我来说是如此。我想对许多人来说也是这样。这一消息彻底改变了我对纳米技术的看法，让我不由自主回想起了《创造引擎》。在10年之后重读Drexler的著作，我沮丧地发现我记得其中冗长的一章《危险与希望》的很少很少一部分。在这一章，作者指出纳米技术可能会成为「毁灭的引擎」。在今天重读这段警世名言时，我对Drexler提出的如此天真的防卫方案感到惊奇！并且我认识到的危险性要比他当时所认为的大得多！（由于预言并描绘了纳米技术带来的众多技术和政治问题，Drexler在80年代末创立了Foresigh研究所，用以帮助社会大众迎接即将到来的先进科技—其中最主要的是纳米技术。）

使「装配工」成为可能的技术突破很有可能在下一个20年内实现。在未来10年内，分子电子学，能把单个分子排列成为电路器件的纳米技术，很快就会成熟并成为非常有利可图的技术成果，并招致对纳米技术各个领域投资的大幅增长。

但不幸的是，就象核技术一样，用纳米技术来进行破坏活动要比进行建设活动容易得多，纳米技术在军事或恐怖袭击活动中有着十分明确的用途，并且恐怖分子不需要用自杀性攻击方式来释放大规模杀伤性纳米技术装置，他们能建造具有选择性破坏能力的纳米装置，例如仅仅对特定地区或者具有显著基因、生物特征的人群。

为了得到纳米技术巨大威力而进行的浮士德式的交易的直接后果就是我们正在玩火—我们可能会我们包容万物的生物圈。

而Drexler却如是说：

不比现在的太阳能电池板效率更高，「有叶树木」会排挤掉正常的树木，即那些到处都是而又不能食用的树木。粗野而又无所不能的「细菌」会排挤掉真正的细茵，它们象风中的花粉一样传播、快速地繁衍，并且把生物圈中生命降解成象灰尘一样的东西。如果我们没有做好准备，危险的复制者可能会太粗野、太小、太快地传播而失去控制。对我们来说，即使是控制病毒和花粉就已经让我们伤尽脑筋了。

在熟知纳米技术的人中，这种「灰胶」的威胁，以「灰胶问题」而广为人知。尽管大量失去控制的「复制者」既不是「灰」色，也不呈「胶」状。但「灰胶」这个名词是指「复制者」能涂去可能比杂草crabgrass更少生气的生命。它们可能在生物进化是优胜者，但这并不会使它们高人一等。使这一事实更加明白无误：我们负担不起此类「复制装配工」引起的事故。

比起天降火球或冰雪覆盖，「灰胶」极有可能是我们人类在地球上冒险生涯的悲惨结局。而这一切可能仅仅由于一次简单的实验室事故。

在基因工程、纳米技术和机器人(GNR)中的毁灭性的自我复制威力极有可能使我们人类发展嘎然而止。自我复制是基因工程的一种主要研究方法，它利用细菌的自我复制机制，而主要的危险来自于纳米技术的「灰胶」。横行霸道的机器人的故事，比如《星际旅行》中的博格人，通过复制或变种来脱离其制造者施加的道德约束，这一情景在我们的科幻小说与科幻电影中表现得淋漓尽致。自我复制的本能可能比我们想象得更加贴近物质本性，因此也就更加难以控制，如果我们还有机会来控制话。Sturoot Kauffman最近在《自然》杂志上发表了一篇名为《自我复制：缩氨酸也能行》的文章，他在文章中指出32-amino-acid缩氨酸能「自我催化自身组织」。我们不知道这一能力在自然界有多广泛，但Kauffman认为这一现象提示我们「自我生产分子系统方式比沃森-克里克」的双螺旋base-pairing要基本得多。

事实上，我们多年以来已经得到了明确无误的警告：广泛传播的GNR知识带有与生俱来的危险性。仅仅只需要知识就能造成大规模的破坏。但这些警告还没有广为人知；很明显，公众对此没有足够的关注，而传播有关这一危险的信息对许多人来说却又无利可图。

用于制造二十世纪大规模杀伤性武器的核技术、生化技术（NBC）在过去与现在都是由政府机构开发的军事技术。与之完全相反的是，21世纪的GNR技术具有很明确的商业用途，毫无例外都是商业公司企业在进行研发。在这个商业主义大行其道的时代，只要能得到最大的收益，以科学作为自己奴仆的技术进步就能释放出魔幻般的发明创造。在现在全球化主义及其多样化的金融动力及竞争压力下，我们不加思索地就做出决定来开发这些新技术。

这是在我们星球的历史上第一次出现某种生物出于自愿而使其他许多物种陷入绝境。

这可能是很常见的过程，在许多世界中流传，一个才形成的星球，平静地在星河中忽隐忽现，生命慢慢形成；接下来是万花筒般的生物进化世纪；智能逐渐浮现；终有一天，生物靠此度过险境；然后技术发明出来；自然法则逐渐被了解；这些法则来自于实践，有关这些法则的知识以空前的速度被保存、被传播；它们认识世界、获取无边的动力；就象电光一闪，它们已经创造出能改变世界的发明；一些行星上的文明之路漫长而曲折，前途时而是一失足成千古恨的独木桥，里面是任意驰骋的阳关道；它们中有一些安全地度过艰难岁月，而有些却不是如此幸运或谨慎而遭到灭顶之灾。

这是事实，Sagan在1994年出版的《暗淡的蓝点》一书中所说的，这本书描绘了人类在宇宙中的未来命运。我到现在才认识到，他的眼光是如此深邃，我已经，还有将来会错过他的教诲。对于所有这些至理名言，Sagan的贡献并不仅仅是简单的常识，许多21世纪技术的领先者看上去缺少这种谦逊品质。

从小我就记得我的祖母强烈反对滥用抗生素。她从一次大战前就开始从事护士工作。作为一名护士，除非绝对必须，使用抗生素是对人有害的。

这并不是说她是进步的敌人。她在70年的护士生涯中看到了许多技术进步。我的祖父是一个糖尿病人，在其有生之年，人从已经证实确实有效的治疗方法中获益不浅。但我的祖母，就象其他头脑清醒的人一样，也许会认为在我们很明显无力应付相对较简单的工作，并为管理或者理解我们自身伤尽脑筋时，却想着要发明一种机器人「替代物种」，这是不是太狂妄自大了？

我现在认识到她已经了解了这个众生各安天命的自然界，万物依天命而生，并对自然充满敬畏。伴随着由敬畏而来的谦逊，伴随着21世纪早期的chatipah，我们才不会过于胆大妄为。

扎根于这一敬畏的常识、观点一般是正确的，胜过科学的所谓证据。我们建造的人工系统很明显非常脆弱，可能会使我们人类的发展嘠然而止。由人造系统的脆弱无能曾多次使我们蒙羞。

我们应当从第一枚原子弹的制造及其引发的军备竞赛中吸取教训。但我们马上又要重蹈覆辙了，与那时情况类似的灾难又要重现人间。

制造第一枚原子弹的成就出自天才物理学家罗伯特-奥本海默的杰出领导。奥本海默本非天生就对政治感兴趣，只是他对第三帝国对西方文明的威胁有切肤之痛。由于希特勒可能就要拥有核武器，这一威胁毫无疑问是更加致命的。在此威胁的驱使下，他用自己杰出的智力、对物理学的热情、非凡的领导才能，汇集了无数伟大思想，在洛斯阿拉莫斯成功而又迅速地制造出了第一枚原子弹。

令人惊奇的是，在最初的动机消失后，这一工作却偏离了原来的设想！在v-eDay之后举行的一次会议上，一些物理学家认为也许要停止对原子弹的研究工作，而奥本海默却坚持要继续进行。他作出这一决定的理由有些奇怪：不是害怕占领日本造成的巨大人员伤亡，而是因为很快强大起来的美国应当掌握原子武器的预备知识。而更有力的原因是momentum已经建造完成，第一次原子强试验-三位一体-已经准备就绪了。

我们知道在这次原子弹试验中，物理学家要克服大量前所未知的危险。根据爱德华-泰勒的计算，他们起初担心原子弹爆炸会引燃大气层。后来经过修正的计算把毁灭世界的危险降到了一百万分之三(泰勒说他后来放弃了原子弹爆炸会引燃整个大气层的看法)。

然而，奥本海默，十分担心三位一体实验的结果，他安排新墨西哥州北部的人们尽量撤离，并且，当然还有开始核军备竞赛的危险。

在与第一次成功核试验的同一个月内，两枚原子弹投到了广岛与长崎。一些科学家建议只需要简单演示一下这种炸弹的巨大威力，而不用真正地把它们投到日本的城市，他们以为这样就能极大地增加在战后军备控制的机会。但这个建议没有人理会。只要珍珠港的悲剧仍然历历在目，就不可能让杜鲁门总统仅仅演示一下这种武器，而不把它们投到日本人头上。人们强烈要求尽快结束战争，从而可以拯救那些可能在占领日本的战斗中失去的生命。尽管无视真理可能非常简单，但是，正如物理学家弗雷曼-Dyson后来所说， 扔下原子弹的原因只是没有人有勇气说「不」！

物理学家们对1945年8月广岛原子弹爆炸的后果是非常震惊的，认识到这一点是非常重要的。他们描述了持续不断的冲击波：首先，炸弹爆炸了，然后现场所有的人在惊恐中死去，接下来人们认为不会再投下另一枚炸弹。然而，另一枚还是在长崎投下了，仅仅在广岛之后三天。

在1945年11月，原子弹爆炸后三个月，奥本海默以科学的态度坚持认为：「除非你认为世界上的知识及其与之俱来的威力是对人类有真正价值的东西，并且相信你要利用它们来传播知识并作出成绩，否则，你没有必要成为科学家。」

奥本海默和其他人一起完成了《Acheson-lilienthal报告》。关于这份报告，正如Richard Rhodes在他最近发表的《技术的Vision》中所说的：「在不扩散核武器到世界各国政府手中的情况下找到一种能防止秘密核军备竞赛的方法，」他们的建议是把核武器研制由国家移交到一个国际机构。

这一倡议产生了Barich计划，并于 1946年提交给联合国，但从来没有被采用（可能是因为，就象Rhodes建议的，Bernard Baruch「坚持以传统约束力来作为此计划的保障，因此不可避免地使这一计划惨遭厄运，它几乎可以肯定会遭到斯大林主义下的苏联的反对」）。其他一些想通过国际化核武器来防止军备竞赛的努力也是四处踫壁。在内有美国政治家与国内人民之间的互不信任，外有来自苏联的威胁的情况下，避免军备竞赛的机会很快就一去不复返了。

在1949年，苏联爆炸了第一枚原子弹。在1955年，美国和苏联试验了适于空投的氢弹。核军备竞赛从此开始了。

近20年以前，在《「三位一体」核爆后的时代》一书中，弗雷曼-Dyson总结了把我们这处世界推入核大战边沿的科学的attitudes：

「核武器爆炸时的灿烂光辉是多么迷人，作为一名科学家，你不能抗拒它的诱惑，每个人都能感受到这一点，感受到把这一巨大威力握到自己手中，释放出点燃群星的能量时的自豪。让它们对你俯首贴耳，你能创造这些奇迹，你能把千万吨巨石抛向天空。它给予人们掌握无穷力量的幻想，它能解决我们的一切难题。这就是科学的傲慢，它让人们觉得自己无所不能。」

现在，还有未来，我们是新科技的创造者。我们是未来世界耀眼的明星。在巨大经济回报及全球竞争的驱使下，我们全然不顾迫近的危险，很难预测哪些我们正在创造及构想的事物能在这个世界上不断成长，最终把我们取代。

在1947 年，《the Bulletin原子科学》杂志开始把「审判日时钟」放在封面上。在长达50年的时间内，它显示了我们面对的核危险的估计值，反映了国际形势的变迁。时钟上的指针已经移动了15次，到今天为止，离午夜只剩下9分钟，反映了核武器对我们持续不断而又迫在眉睫的危险。最近，印度和巴基斯坦加入了核俱乐部，使防止核武器扩散的目标陷于失败，这一危险使得时钟上的指针在1998年前所未有地更接近午夜。

在我们的一生中，有多少危险要去面对。难道核武器还不够，还要加上这些科技吗？我们人类灭绝的危险到底有多高？

哲学家约翰-Leslie经过研究得出人类灭绝的危险至少有30%。然而，雷-库兹维尔不顾对他过于乐观态度的指责，依然相信我们更有可能平安无事。但是，这两种态度都不应当提倡，而且他们都没有考虑到另外一引起可能性：那些信誓旦旦不会危害到人类的事物现在都发生了可怕的变化！

面对这样的评估结果，一些严肃的人们已经开始建议我们一有可能就要移民到外星球。我们可以用冯-若伊曼的probes来克隆galaxy子，从一个星球跳跃到另一个星球，到处繁衍生息。在50亿年后，我们就有需要这样做（或者更短一些，在30亿年后，如果太阳被步步紧逼的仙女座撞击的话）。但是如果我们进入库兹维尔和莫拉维克所说的世界，那到本世纪中叶，我们可能就要这样做了！

这里的道德约做含意是什么？如果我们必须为了种族生存而移居外星，谁该为人类这样的命运负责？（我们自己，after all），谁最后离开？就算我们遍布整个宇宙，难道我们就不会重蹈覆辙吗？或者，在后来发现，老问题依然如影随形吗？我们种族在地球上的命运，我们种族在银河系中的命运，看起来有着解不开的关联。

另外一种想法是建立一系列防线来对抗每一种危险的科技。由里根政府提议建造的战略防御计划就是建立一条对付苏联核打击的防线的一个尝试。但知情人Arthur C-Clarke认为：「假设耗费巨资真能建立起区域防御系统，只要它漏过了很少部分的部分的弹道导弹，国家保护伞的touted就毫无意义。」路易斯- Alvavrz可能是本世纪最伟大的实验物理学家，对我形容这些计划的拥护者是一些「没常识的聪明人」。

克拉克接下来说道：「盯着我们云翻雾扰的水晶球，我猜想整体防御武器会在一个世纪内成为现实。但同时，其所防御的对象却能象日用品一样从流水线上源源不断地走下来，它们早如此恐怖，以至于我们根本不会为此感到烦恼，就象原始人对弹道导弹毫无感受一样。」

在《创造的引擎》一书中，Eric Drexler提议我们为生物圈建立一条基于纳米技术的防线，一种免疫系统，以此来防御所有可能从实验室中逃出的危险复制者。但他建议的防线自身也是极其危险的，没有什么能防止它产生发展过度而摧毁生物圈。

类似的困难也存在于建立对付机器人技术或基因技术的防线中。这些技术的威力过于强大而难于在有限的时间内加以防御。就算我们有可能能建立这样一条防线，开发其技术的副作用就象我们极力防御的技术一样危险。

以上可能发生的事情要不是我们极力反对的，要不就是我们不能完成的，或者两者皆是。在我看来，唯一现实的选择就是放弃、限制那些太过危险的技术研发，限制我们对此类知识的追求。

是的，我的确知道知识有助于我们，特别是发现真理的探索。我们从远古时代就开始寻找知道。亚里士多德在其《形而上学》中开篇明义：「人天生求知。」作为我们社会的根本价值，我们对信息获取的知道，并认识到尝度限制获取发展知识所引起的种种问题。在近代，我们开始崇拜科学知识。但是，忽视有力的历史教训，允许自己获取并无限制发展知识，就会使我们陷入物种灭绝的境地，而常识要求我们再次检验甚至很基本的、长久以来奉为圭杲的信念。

这是尼采在19世纪末告诫我们的，不仅上帝死了，而且对科学的信任，必竟不可否认地存在着，不能—-的起源到应用微积分学，它必须起源于对追求真理的意愿，不顾众多危险的事实。「Truth at any price」的无用与危险已经不断被证实。

这是我们现在完全而对的未来的危险。我们追寻真理的结果。如果科学技术追求的真理会使我们亡族灭种，那它就可以被看作危险的「新上帝」。

如果我们同意，作为一个物种，我们需要什么？为什么需要它们？我们向哪里进发？为什么是那里？我们才能使我们的未来远离危险，然后我们才有可能知道我能或应当放弃些什么？另外，我们能很容易地开始基于GNR技术的军备竞赛，正如在20世纪进行的基于NBC技术的军备竞赛。一旦这样的军备竞赛开始，就非常难于停下，这可能是最危险的冒险。

我们需要知道，此时此刻，只是我们的恶习、我们的欲望、我们的经济体系，我们的竞争在驱使着我们，而不是象二战时的曼哈顿计划，那时我们面临着不共戴天的敌人对我们文明的致命威胁。

我相信我们都希望我们的共同价值观、道德能决定我们的所作所为。如果我们在过去数千年间已经获得了更多的团体智慧，那么对人类的结局展开对话就更加现实，并且我们解除威力难于置信的危险的行动看起来就不象我们想象的那样麻烦。

人们可能会想我是出于自我保存的本能而进行这样的对话。很明显，一个人有这样的欲望，然而作为一个物种，我们的行为看上去不象是由我们的好恶所决定。在处理核武器的威胁时，我们经常对自己、对别人撒下弥天大谎，因此使我们面临更大的风险。无论是出于政治动机，或者是因为我们不想多费脑筋，抑或是因为面对如此严重的威胁我们惊慌失措。真正的原因我可能永远不会知道，但这确实不是个好的先例。

新潘多拉之盒：基因技术、纳米技术、机器人技术即将打开，但我们看上去还毫无查觉。一旦打开就很难关上盒子。不象铀或钚，它们不需要开采或提炼，它们能自由拷贝。一旦它们逃脱，它们就再无踪影。虽然是言不由衷的恭维话，丘吉尔强调这样一个事实：美国人民和他们的领导「在检验过每一条可能的道路之后，就会做出正确的决定。」而在这里，我们必须更有先见之明。我们只能做正确的事情，因为一次失误就会让我们全盘皆输。

正如Thorra所说：「我们并不是在高速公路上驾车飞奔；而是被什么东西驾驭着。这个东西就是我们奋力反抗的。现在的问题是，到底谁是谁的主宰？我们能从自己所创造的技术手中幸免于难吗？」

我们正被推入到一个新世纪，没计划、没控制、没刹车。我们已经深陷泥潭了吗？虽然我并不是这样认为，但目前我们没有努力自救，最后用来确保我们能够走上正确道路的机会已经在快速远去。我们已经有了第一台宠物机器人，还拥有了用于商业用途的基因工程技术，并且纳米技术也进展很快。这些技术已经取得了很大进展，不象曼哈顿计划和三位一体核试验，我们不是非要完成最后的步骤，才能证明一项技术深邃而又艰难。在机器人技术、基因工程，或纳米技术中，自我复制的技术突破随时会到来。就象在哺乳动物克隆成功后，我们到那时又会大吃一惊。

并且，我相信我们有对希望强烈而又持久的意愿。上个世纪，我们在处理大规模杀伤性武器上的尝试提供了一个光明的先例以供我们参考：美国在没有任何先决条件的情况下单方面放弃了生物武器的开发。这一行动来自于这样的现实状况：当费尽心机开发出恐怖的武器，却有可能被人很容易地复制并流入到无赖国家或恐怖组织手中。

有一点很清楚：当我们紧随其后开发用以制造这些武器的技术时，就会给我们增加更大的威胁；而我们不这样干时，我们反而更安全。我们在1972年在生物武器协议上放弃生物武器，并在1993年的化学武器协议上放弃了化学武器。

为保持相当大的与我们共存超过50年的核武器威慑力，美国参议院否决了《全面禁止核武器实验公约》，说明放弃核武器并不是一个简单的政治问题，但随着冷战的结束，我们还有一个独一无二的机会来避免多边军备竞赛。

基于BWC和CWC对生物和化学武器的放弃，成功的废除核武器能帮助我们建立放弃危险技术的良好习惯（事实上，只要销毁世界范围内大约100件核武器，就大概相当于二战所有武器摧毁能力的总和，这应当是比较容易完成的任务，我们就能消除核武器对人类的威胁）。

事实证明，是否真正放弃危险技术将是件非常困难的任务，但并不是不能解决的问题。我们非常幸运，我们已经在BWC威胁存在的情况下成功完成了类似工作。我们的主要任务将是把以上经验应用到那些本为商业用途开发，但有可能用于军事的技术上。在这里最重要的是透明性。核查的困难程度与从合法的活动中甄别出需要放弃的内容的困难程序直接相关。

坦白的说，我认为我们在1945年面临的情况比现在还要简单一些：核技术可以很容易地划分为商业与军事用途，可以藉由检测原子的自然特性来进行监控，并且很容易地测量出其辐射量。进行军事用途的研究必须在国家级的实验室中进行，比如洛斯阿拉莫斯，研究成果会尽可能的秘而不宣。

而GNR技术不能很清楚地划分为商业和军事用途；它们在商业市场上极具潜力，仅仅在国家级实验室中很难跟踪其技术进度。由于它们有广泛的商业用途，需要一种类似对付生物武器的检测方法来强制某些机构放弃对GNR的研发。这一方法不可避免地在个人隐私、知识产权与保证我们全体社会成员的监察要求之间引发冲突。由于失去个人隐私与行动自由，这一方法毫无疑问会受到强烈的反对。

监察工作需要科学家与工程师应用严格的伦理指导规范，即与希波克拉底誓言类似的规范，这样他们才有勇气在需要时举起红牌，甚至为此会出极高的个人代价。这将回应50年前广岛、长崎核爆之后由诺贝尔将得主汉斯- Bethe（曼哈顿计划资格最老的幸存者之一）的呼吁：「所有科学家放弃并停止创造、发展、改进及生产核武器和其他具有潜在大规模杀伤性能力的武器。」在 21世纪，也就是要求那些正在研发NBC和GNR技术的人们加强个人责任并提高警惕，以避免大规模杀伤性武器和生产大规模杀伤性武器的知识泛滥于世界上。

Thoreau还说道：「我们将会盲目到我们所能提供的数据之一。」我们每个人都在寻求快乐，但对此值得发出疑问：我们是否要冒全军覆灭的危险来攫取更多的知识或财富；我们的物质需求是有限有，这是尽人皆知的常识，并且我们都知道某些知识很危险，必须被放弃。

我们不应当对这些危险的知识付出代价，不应当对与之同步增长的灭绝危险视而不见。不顾这一切而去追求永生不死。永生不死，也许是我们最初的乌托邦梦想之一，但肯定不是我们唯一的梦想。

我最近有幸遇见了杰出的作者、学者Jacques-Attali，他的著作《Liqnes d’hoeizons》(《千僖年》)预先描述了即将到来的无所不在的计算，使我产生了把Java、Jini运用到这一领域的灵感。在他的新书《Fraternites》中，描绘了在过去的岁月中，我们的乌托邦之梦曾经经过了怎样的变迁：

「在科学的萌芽期，人们认为他们在地球上的生活只是一座痛苦的迷宫，在其尽头耸立着死亡之门，通向上帝的宫殿，并进入来世。希伯莱人，还有后来的希腊人勇于从神的统治下解放自己，并梦想有一座充满自由的理想之城。另外一些人注意到了商业发展，他们明白一点点自由都会使人与人之间互相疏离，所以他们寻求的是平等」。

Jacques使们明白了在我们今天的社会中这三种不同的乌托邦目的是如何相互冲突。他接下来描述了第四种乌托邦，建立在利他主义上的兄弟会。兄弟会把个人的快乐和其他人的快乐联系在一起，定下自助的誓言。

这使我对库茨维尔的梦想的疑问更加具体化了。通过机器技术来使我们不朽，几乎永生不死的技术可能并不是我们最想要的乌托邦，并且这追求会带来明显的危险。也许我们该重新思考一下我们的乌托邦选择。

我们能在哪里发现新的伦理基础来设定前进路线？在达赖喇嘛的著作《新千年的道德》中找到了对我极有启发的灵感。有一点可能广为人知，却少有人特别关注：达赖认为对我们而言，最重要的事情是用对他人的关爱与怜悯来指导我们的生活，我们的社会需要发展出更加坚实的共同责任感和互相依赖的观念。他计划为个人及社会制订出看上去与Atatali的Friternity友爱乌托邦一致的绝对伦理教条。

达赖更进一步认为我们必须明白是什么是人们感到快乐，有明确的证据表明无论是物质进步还是对知识的追求都不是关键，只依靠科学及其追求所能做到的是有限的。

我们西方的快乐观念来自于古希腊，定义为「在有限的生命中以充满活力的活动竭力追求卓越。」

很明显，我们需要在我产的生命中找到值得去做的的挑战和足够的生存空间与时间，如果我们在无论什么条件下都要寻求快乐的话。但我相信我们必须寻求另外一条道路来发泄我们的创造激情，超越不断的经济增长；这种增长已经极大地造福于我们几个世纪之久，但它并不能给我们带来真正的快乐，我们现在必须在通过科学技术产生的无约束、无方向的增长追求和与之相伴而来的明显的危险之间作出选择。

自从我与库茨维尔、约翰-Searle相会以来已经一年多了。我环视四周，在那些我发现他们曾经和我一样关注我们的困境的人们发妯的要求慎重考虑并放弃危险科技的呼吁声中，我又有了希望。在我的科研经历中，我同时也感受到个人责任的重大意义，不是对我曾经从事的工作，而且是对我可能要去做的工作。

但许多人明知某些科技的危险性却仍然保持沉默，当你逼问时，他们只是故作高深地说上一句「这没什么新鲜的」来敷衍了事，就好象只关心一下可能会发生什么就足够了。他们告诉我，大学里到处都是研究此类玩意的生物伦理学家，你提到的那些东西早已经书架蒙尘了，并且都还是大师之作，你所担心的、所争论的已是老生常谈。

我不知道这些人把他们的恐惧藏在何处。作为复杂系统的设计师，我是作一名多面手进入这个领域。但这应当减少我的忧虑吗？我深知怎样被如此权威地论述、讨论、演讲时提到，但这就意味着这些危险已经传达给人们了吗？这就意味着我们能减少我们面临的危险了吗？

知而不为是不恰当的。我们能怀疑知识已经成为我们对会自己的武器了吗？

原子物理学家的经验已经清楚地表明需要对太快增长的危险、对那些能甩开人类独自发展的技术方法负起个人责任。我们能，就象某些人曾经做过的那样，创造出没有时间来铲除的不可克服的问题。如果我们不想我们的发明产生的后果产生类似的惊讶与震撼，我们必须要三思而后行。

在我的职业生涯中，我一直致力于提高软件的可靠性。软件只是个工具，并且作为工具的建造者，我必须与我创造出的工具应用到的用途斗争。我曾经相信使软件可靠性更高、用途更广，将会使这个世界更加安全与美好，如果我开始与之相反的信念，我就会用道德上的义务来终止我的工作，我现在能想象到这样一天终会到来。

当这些都离我而去，虽然我不会怒气冲天，至少也有一丝忧郁。从此以后，科技进步将会叫人患得患失。

不知你是否记得在电影《曼哈顿》中的漂亮的倒数第二个场景：伍迪-艾伦躺在长椅上对着录音机口述。他正在写一个短篇故事，讲述了为自己造成了不必要的、神经质的问题的人们，因为他们要从自己宇宙中不可能解决的、可怕的问题中解脱出来。

他给自己提出了一个问题：「为什么生命是值得度过？」并且对他而言，考虑到底是什么使得生命值得度过：Grocho Max、Willis Mays、Jupiter交响曲的第二章、路易斯-阿姆斯特朗的唱片《Potato Head Blues》、瑞典电影、Flaudert的《感受教育》、马龙-白兰度、弗兰克-Sintra、Cezamne的苹果和橘子、SanWo的螃蟹，还有最后被精彩掌声打断的：他的至爱—翠亚的面孔。

我们每个人都有自己心爱的事物。我们关心它们，并把最基本的人性投注到它们身上。最后，我们仍保持乐观，因为我们有能力付出关爱，我们终会反抗我们现在面临的危险。

我现在的愿望与来自不同背景的们一与参与关于目前问题的更为广泛的讨论，而不事先基于某种原因假设人们害怕或喜爱技术发展。

作为开端，我曾经两次在Aspen研究所发起的会议上提出这类问题，并且分别建议对美国艺术与科学学院和Pug Wash会议，把它们纳入自己的工作范围。（自从1957年开始探讨军备控制，特别是核武器，它们就召开了，并制定了可行的政策。）

非常不幸的是，Pug Wash会议在核武之魔逃出瓶中几乎15年后才开始召开。我们也可能在解决21世纪技术带来的防止知识产生的大规模杀伤性武器问题上动手太迟，如果再不开始行动，就会大势已去，一切就会太晚。

所以我仍在不停地探索，我有很多东西要来学习，无论我成功或失败，幸免于难或成为这些技术的牺牲品，都不是命中注定的。我起床又晚了，这时大概是早上6点钟，我努力构想一些更好的答案，我努力打破石化咒语，把我们的回答解释出来。