微软 AI CEO：浪潮将至

作者：DeepMind 联合创始人、微软人工智能 CEO 穆斯塔法·苏莱曼 浪潮 几乎每种文明都有一个关于洪水的神话。 据古印度教文献记载，宇宙中的第一个人类摩奴曾得到大洪水即将来临的警告，并成为唯一的幸存者。在《吉尔伽美什史诗》中，恩利尔神以一场大洪水摧毁了世界，这个故事不免让熟悉《圣经·旧约》中挪亚方舟故事的人感到似曾相识。柏拉图曾提及消失的城市亚特兰蒂斯，它被一场巨大的洪水吞噬。人类的口述传统和古代文献中弥漫着这样一个主题：一场巨浪席卷一切，随之而来的是世界的重塑和重生。 洪水在历史上也留下了真实的印记—无论是世界巨大河流的季节性泛滥，冰期结束后海平面的上升，还是地平线上突如其来的海啸冲击。导致恐龙灭绝的那颗小行星曾在地球上激起高达一英里 a 的巨浪，从此改变了进化的轨迹。这些浪潮的巨大力量已经深深烙印在我们的集体意识之中：它们如同巨大的水墙，势不可当、无法驾驭、难以遏制。它们是地球上最强大的力量之一，它们塑造了大陆的轮廓，灌溉了地球上的庄稼，孕育了文明的发展。 其他类型的浪潮也具有同样强大的变革力。如果重新审视历史，你就会发现，历史上充斥着一系列比喻意义上的浪潮：帝国和宗教的崛起与衰落，商业活动的迸发与繁荣。想想基督教或伊斯兰教，这些宗教起初只如同小小的涟漪，而后逐渐发展壮大，覆盖了地球上广阔的区域。这样的浪潮是一个反复出现的主题，勾勒了历史的沉浮、大国的争斗和经济的兴衰。 技术的崛起与传播也一直以改变世界的浪潮之姿出现。自人类初次掌握技术（发现火与使用石器）以来，一个鲜明的趋势便在我们的历史长河中显现。从镐到犁，从陶器到摄影，从电话到飞机等，几乎每一种基础技术的诞生都遵循一个恒定不变的规律：随着时间的推移，这种技术的成本会降低，使用变得越来越容易，最终得以大规模扩散和普及。 这种浪潮般的技术发展与扩散，正是“技术人”（Homo Technologicus）的崛起史—人类仿佛化身为技术动物。人类对改善的追求，无论是在个体、环境、能力方面，还是在我们对周遭世界的影响方面，都在推动着思想与创造力不断演进。发明，这一持续展开、不断扩展和涌现的进程，是由自组织的、竞争激烈的发明家、学者、企业家和领导者共同驱动的。每个人都怀着各自的动机，竞相前行。技术发明的生态系统天生具有扩张性，这是技术的内在特质。 问题是，接下来事情会如何发展？在后续章节中，我将为你们讲述历史的下一个伟大浪潮的故事。 请环顾四周。 目光所及之处都有什么？是家具、高楼大厦、手机、食物，还是一个景观公园？你视线中的几乎所有物体都很可能是经由人类智慧创造或改造过的。语言作为人类社交互动、文化传承、政治组织乃至人性本质的基石，既是我们智能的产物，也是其驱动力。每一条规则、每一个抽象概念、每一次小小的思维创新或项目尝试，以及你人生旅途中的每一次偶遇，都深深地镌刻着我们这个物种独有的、纷繁复杂的想象力、创造力和理性印记。人类的聪明才智令人惊叹。 在你的视野中，有一种力量像人类智慧一样无所不在，那就是生物生命本身。在现代到来之前，除了少量的岩石和矿物，大多数的人工制品（从木屋、棉衣到煤火）皆源自曾有过生命的事物。自那时起，这个世界上新出现的一切东西就都来自人类，来自我们作为生物体存在的事实。 可以说，整个人类世界都建立在生命系统或我们的智能之上。然而，如今这两者都正处在一个前所未有的急速创新与动荡时期，经历着空前的扩展，几乎所有事物都即将改变。一场新的技术浪潮正向我们汹涌而来。这场浪潮正释放出改造上述两大基石（生命系统和人类智慧）的力量，可谓智能与生命的浪潮。 这场浪潮由两大核心技术所定义：人工智能和合成生物学。它们将共同开启人类的新黎明，创造出前所未有的繁荣和富足。然而，它们的迅速扩散也带来了威胁，使得各种恶意行为者有能力在难以想象的范围和规模上制造混乱、动荡，甚至灾难。这场浪潮带来了一个巨大的挑战，它将决定 21 世纪的走向：我们的未来既依赖于这些技术，又因它们而面临威胁。 从我们当前的情况来看，试图遏制这场浪潮（即对其进行控制、限制或阻止）似乎是不可能的。本书探讨了其背后的原因，以及这一趋势若无法改变，将对人类意味着什么。这些问题的含义最终将影响每一个生活在当下的人，以及我们所有的子孙后代。 我相信，这场浪潮正将人类历史推向一个新的转折点。如果我们无法有效地遏制它，我们的物种就可能会面临无法预知的可怕后果。同样，如果我们不充分利用这场浪潮带来的果实，我们也将陷入孤立无援、岌岌可危的境地。10 年来，我已多次在私下场合表达过这一观点，然而，随着技术浪潮的影响力变得越发凸显，现在是时候公开阐述它了。 困境 在深入思考人类智慧的深刻力量之后，我萌生了一个简单的问题，这个问题自此萦绕着我的生活：如果我们能够提炼出赋予人类生产力和创造力的核心要素，并将其转化为软件和算法，那么未来会怎样？这个问题的答案或许能为我们解锁一些极其强大的工具，帮助我们应对最棘手的问题。一种超乎想象的、非凡的工具可能将应运而生，它能帮助我们在未来几十年里应对从气候变化、人口老龄化到可持续食品开发等一系列艰巨的挑战。 怀着这个想法，2010 年夏，我与两位朋友—戴密斯·哈萨比斯和谢恩·莱格在伦敦罗素广场旁一间建于英国摄政时代的古色古香的办公室里，共同创建了 DeepMind 公司。如今回想起来，我仍深感我们的目标宏大、疯狂而振奋人心。我们的目标就是复制那个让人类独一无二的特质，即人类的智能。 为实现这一目标，我们需要创建一个能够模仿并最终在各个方面（从视觉和语音能力到规划和想象力，甚至包括共情力和创造力）超越人类认知能力的系统。考虑到这一系统将充分利用超级计算机的大规模并行处理技术以及全球互联网日益丰富的新数据源，我们深知，即便是朝向这一目标迈出的微小步伐，都将对社会产生深远的影响。 这个目标当时看起来遥不可及。那时，人工智能的广泛应用还只是天方夜谭，更多地存在于人们的幻想中，仅为少数纸上谈兵的学者和狂热的科幻小说迷所津津乐道。然而，在我写下这些文字时，回顾过去的 10 多年，人工智能的发展可谓突飞猛进。DeepMind 已崛起为世界顶尖的人工智能公司之一，取得了一系列重大突破。这场新技术革命的发展速度和力量，让我们这些身处领域前沿的人都震惊不已。在本书的写作过程中，人工智能的发展速度令人瞠目结舌：每周，有时甚至每天，都会有新的模型和产品问世。显然，这场浪潮正在不断加速。 如今，人工智能系统已经能够近乎完美地识别人脸和物体。我们已习惯于使用语音转文字和即时语言翻译功能。在道路和交通导航方面，人工智能的表现已相当出色，甚至在某些情境下足以支持自动驾驶。新一代的人工智能模型能够根据简单的提示生成新颖的图像，并能以出色的细节和连贯性撰写文本。人工智能系统还能以惊人的逼真度生成合成声音，并创作出令人赞叹的音乐。即使在更具挑战性的领域，如长期规划、想象力以及复杂思维的模拟方面，人工智能也取得了长足进步，尽管这些领域曾被视为人类独有的能力范畴。 在过去几十年里，人工智能在认知能力上不断取得突破。现在看来，它似乎有望在未来 3 年内，在各类任务中达到与人类相当的表现水平。这是一个大胆的论断，但如果这个论断不算太偏颇，那么其意义无疑是深远的。许多在 DeepMind 创立之初看起来不切实际的想法，如今不仅变得合理可行，而且似乎已经成为必然趋势。 从一开始，我就清楚地认识到，尽管人工智能这一强大的工具能带来巨大的利益，但它也会像其他大多数形式的强大力量一样，引发重大的危险和道德困境。我担忧的不仅仅是人工智能发展所带来的后果，还有整个技术生态系统的演变方向。在人工智能之外，一场更为广泛的技术革命已然兴起。在这场革命中，人工智能正推动新兴的、强大的基因技术和机器人技术突飞猛进。在这个错综复杂、多种技术相互交织的局面下，一个领域的进步会加速其他领域的发展，而这种相互强化的局面已经超出了任何人的直接掌控。显然，如果任何人能够成功地复制人类智慧，那就不仅仅意味着一个有利可图的商机，更预示着人类历史的一次重大变革。它将开启一个新的纪元，带来前所未有的机遇，同时也伴随着前所未有的风险。 这些年来，随着技术的不断进步，我的担忧也与日俱增。如果这股技术浪潮实际上是一场无法阻挡的海啸，那么我们该怎么办？2010 年时，几乎无人认真探讨人工智能。如今，这个曾被 视为仅属于少数研究人员和企业家的研究任务，已经演变为一个吸引全球广泛参与的宏大领域。人工智能无处不在。无论是在新闻报道中，还是在智能手机中，甚至在股票交易和网站建设的过程中，我们都能见到它的身影。全球众多顶尖企业和国家都在竞相研发尖端的人工智能模型和基因工程技术，这些技术的研发背后有着数百亿美元的庞大投资。 这些新兴技术一旦成熟，将会迅速普及，价格将变得更便宜、获取将变得更便捷，其将广泛渗入社会的各个领域。它们将带来卓越的医学进步和清洁能源的突破，不仅能催生新的商业机会，还将在几乎所有我们可以想象的领域中促进产业多样化和生活质量的提升。 然而，除了带来众多利益，人工智能、合成生物学以及其他尖端技术也将引发令人忧虑的尾部风险。这些风险可能对民族国家的生存安全构成威胁，其影响之深远，足以动摇甚至颠覆现有的地缘政治格局。设想一下，由人工智能助力的网络攻击、可能引发国家毁灭的自动化战争、人为制造的流行病，以及一个由看似强大但充满未知力量的技术所主导的世界，这些极端情况在技术的推动下都有可能成为现实。尽管每种情况的发生概率都不大，但其潜在后果都是灾难性的。因此，即便这些后果出现的可能性较小，我们也必须保持高度警惕。 面对这些潜在的灾难性风险，一些国家可能会采取高度技术化的威权主义手段来应对，以减缓这些新力量的扩散。这很可能导致对个人隐私的严密监控和大规模侵犯。技术的严格控制可能会催生一个反乌托邦式的全球监控体系，在这个体系下，一切事物和个体都将受到无间断的监视。人们对预防最极端的潜在后果的渴望为这个监控体系提供了合理化的借口。 同样可能出现的是卢德主义式抵抗。一系列针对新技术的抗议、抵制和要求暂停的声音可能出现。然而，放弃新技术的研发并全面暂停其应用，这可能吗？答案似乎是否定的。考虑到新技术所带来的巨大地缘战略和商业价值，我们很难想象有谁能轻易说服国家或企业单方面放弃这些技术所带来的变革力量。此外，试图阻止新技术的发展本身就是一种危险。历史上，技术停滞的社会往往不稳定，容易崩溃。这样的社会最终会丧失解决问题和实现进步的能力。 从当前的视角来看，无论是追求还是避免新技术都存在着巨大的风险。随着技术变得更加便宜、强大，普及度更高，风险也在逐渐累积。在这些风险中寻找一条安全的“狭窄小道”，以避免陷入技术专制主义的反乌托邦或陷入技术开放可能带来的灾难，变得越来越困难。然而，放任自流也非明智之举。尽管我们对技术风险深感担忧，但我们前所未有地需要即将到来的技术浪潮所带来的巨大好处。这正是我们面临的核心困境：新一代的强大技术迟早可能将人类引向灾难性或反乌托邦式的局面。我坚信这是 21 世纪人类必须面对的一个重大元问题。 本书阐述了该困境逐渐变得无法回避的原因，并探讨了可能的应对策略。我们需要充分利用技术的优势，这对于我们应对一系列严峻的全球性挑战以及摆脱当前的困境至关重要。然而，目前关于科技伦理和安全的讨论还远远不够。尽管有大量关于技术的图书、辩论、博客文章以及社交媒体热议，但关于如何遏制技术的讨论鲜有耳闻。在我看来，遏制技术的关键在于构建一个融合技术、社会和法律机制的综合体系，以在各个可能的层面上对技术进行约束和控制。从理论上讲，这是避免陷入困境的途径。但令人感到遗憾的是，即使一些对技术持最严厉批评态度的人，也常常回避讨论应如何严格遏制技术。 这种情况需要改变。我希望本书能阐明为什么，并指出应如何改变。 陷阱 在 DeepMind 成立几年后，我曾制作过一组幻灯片，旨在探讨人工智能可能带来的长期经济和社会影响。在加州西海岸一个充满现代感的会议室里，我向十几位科技界最具影响力的创始人、CEO 和技术专家展示了这些内容。我指出，人工智能带来了一系列的威胁，我们必须积极应对。它有可能会引发大规模的隐私侵犯，或导致错误信息泛滥的信息末日危机。此外，人工智能还有可能用于军事领域，制造出一系列致命的新型网络武器，给我们这个高度网络化的世界带来新的安全威胁。 我还强调了人工智能可能带来的大规模失业风险。我引导在场的人回顾了自动化和机械化逐步取代人力的历史进程。最初，只是出现了能更高效地完成某些特定任务的手段，随后整个劳动力角色变得不再必要，而后很快，整个行业所需的工人数量就会大大减少。我认为，在未来几十年里，人工智能系统将以类似的方式取代脑力劳动，并且这一过程很可能发生在机器人取代体力劳动之前。过去，随着旧工作岗位的消失，新工作机会将随之出现。然而，假如人工智能真的能够胜任大多数工作，情况又会如何？这种即将到来的新型集中化力量几乎前所未有。尽管看似遥远，但其潜在的严重威胁正在迅速逼近我们的社会。 在幻灯片的最后，我展示了一幅出自动画片《辛普森一家》的画面。在这个场景中，斯普林菲尔德的居民起义反抗，我们熟悉的角色们手持棍棒和火把冲向前方。场景所传达的信息很清晰，但我还是在幻灯片上明确地写了下来：干草叉就要来了。它们朝着我们这些技术创造者而来，而我们有责任确保未来不会变成这样。 我环顾桌子四周，只有一片茫然的目光。房间里没有人被触动，我的信息没有引起共鸣。反驳的声音却接踵而至。他们质疑，为何经济指标并未显示出任何支持我的论点的迹象？他们认为，人工智能会激发新的需求，从而创造新的岗位；它将提升人的能力，使人更具生产力。或许确实存在一些风险，但这并不像我所描述的那么严重；人类是聪明的，总能找到解决问题的方法。他们认为没什么可担心的，并示意该进行下一个演示了。 几年后，在新冠疫情暴发之前，我参加了一场在一所知名大学举办的技术风险研讨会。会议场景似曾相识：同样宽大的会议桌，同样是一场富有远见的讨论。在一整天的会议中，伴随着咖啡、饼干以及幻灯片展示，一系列令人感到恐惧的风险在会议桌上提出来。 其中一种风险格外令人关注。演讲者展示了可打印定制 DNA（脱氧核糖核酸）链的 DNA 合成器的成本是如何迅速下降的。这些合成器仅需几万美元便可购置，小巧便捷，放在车库的工作台上就可以帮助人们合成（也就是制造）DNA。1 如今，任何在生物学方面达到研究生水平或热衷于在线自学的人都有可能做到这一点。 在这种工具日益普及的背景下，演讲者描绘了一个可怕的情景：很快就可能有人制造出比自然界中的任何病原体都更具传染性和致命性的新型病原体。这些合成病原体可以规避人类已知的对策，以无症状方式传播，或具有对抗治疗的内置能力。如果需要，一个人就可以通过网上订购和在家中重组 DNA 的方式来完成自制实验。邮购下单，末日便可降临。 演讲者是一位备受尊敬的拥有 20 多年专业经验的教授。他强调，这并非科幻小说的情节，而是真实存在的风险。在报告的结尾部分，他提出了一个令人不寒而栗的想法：如今，一个人很可能“具备杀死 10 亿人的能力”，所需的仅仅是一个动机。 与会者显得坐立不安，他们扭动身体，不时地咳嗽几声。随后，大家开始抱怨，避重就轻。没人愿意相信这样的可能性。他们认为，肯定有有效的控制机制，制造那样的疾病绝非易事，数据库肯定可以封锁，硬件安全肯定可以得到保障，等等。 与会者的集体反应远不仅仅是不以为意。他们从根本上拒绝接受演讲者所描述的情景。没有人愿意正视那些严峻的事实、冰冷的概率及其背后的含义。我选择了沉默，但内心的不安难以掩饰。研讨会匆匆结束。当晚，我们像往常一样外出用餐、交谈。在结束了讨论世界末日的一天之后，我们还能享受比萨，还能谈论笑话，还将回到办公室继续工作。大伙儿认为，事情总会有转机，或者那场可怕的讨论一定是弄错了什么。我也随波逐流。 然而，在接下来的几个月里，那场演讲一直萦绕在我脑海中。为什么我们当时没有更认真地对待它？为什么我们尴尬地回避了进一步的讨论？为什么有些人会变得如此尖锐，指责提出那些危机问题的人，说他们小题大做或“忽视了技术的惊人好处”？我将这种我观察到的普遍的情感反应称为“悲观规避陷阱”，即当你过于害怕面对潜在的黑暗现实时，你就容易产生错误的分析和判断，并倾向于从另一个看似安全的角度来看待问题。 几乎每个人都多多少少有过这样的反应，这导致我们忽视了一系列正在我们眼前展开的重大趋势。这几乎是一种与生俱来的本能反应。我们的物种并没有天然地准备好应对如此大规模的变革，更不用说应对技术可能让我们失望的可能性。在我整个职业生涯中，我不断经历这种心理感受，也观察到许多其他人有同样的本能反应。我写作本书的目的之一便是直面这种感受。我们需要冷静客观地看待事实，无论它们多么令人不适。 要妥善应对这场浪潮，遏制技术，并确保技术始终服务于人类，我们就需要克服悲观规避心态，直面即将到来的现实。 我希望通过本书达到这一目标。具体而言，我要承认浪潮将至并阐明浪潮的轨迹；探讨遏制是否具有可能性；将事物置于历史语境下，从人们对技术的日常喧嚣讨论中抽离出来，以看到更广阔的画面。我的目标是直面困境，理解驱动科技发展的基本过程。我希望最大限度地向尽可能广泛的读者清晰地呈现这些观点。我以开放和探究的精神写作：基于观察，从观察中追溯其含义和影响，但也对反驳的观点和更优的解读持开放态度。如果有人能证明我的观点是错误的，或证明技术遏制实际上容易实现，那我会感到无比高兴。 作为两家人工智能公司的创始人，我可以理解有些人可能期待像我这样的人能写一本更乐观、更偏向技术乌托邦的书。作为技术专家和企业家，我本质上是个乐观主义者。回想起少年时，我第一次在 Packard Bell 486 电脑上安装 Netscape（网景）浏览器的场景，那种着迷的感觉我至今记忆犹新。嗡嗡作响的风扇，56 千位每秒拨号调制解调器在连接到万维网时发出的噪声，彻底把我迷住了，这些让我得以进入充满自由和知识的网络聊天室和论坛。我热爱技术，它一直是推动人类进步的引擎，也是我们为人类的成就感到自豪和兴奋的重要原因。 但我也相信，我们这些推动技术创造的人必须有勇气预测技术在未来几十年的走向，并为其担负起责任。如果技术真有可能辜负人类的期望，我们就必须开始思考应对策略。这不仅仅需要个人的努力，更需要社会和政治层面的应对。而这样的应对，需要从我们这个行业，从我和我的同行开始。 有人可能会说，这一切都被过分夸大了；变化是渐进式的，不会那么突然和剧烈；这只不过是技术成熟曲线上的又一个高点，随后技术发展会转入低谷期；我们用于应对危机和变化的系统和机制足够强健。他们还会认为我对人性的看法过于悲观，人类历史的记录到目前为止还算不错，历史上不乏错误的预言家和被证伪的末日宣告者，这一次又有什么理由会不同呢？ 悲观规避是一种根深蒂固的本能情绪反应，它让人不愿面对严重的破坏性后果出现的可能性。这种心理往往出现在那些处于安稳状态和权势地位的人身上，他们有着固执的世界观，表面上能应对变化，但实际上不愿接受任何对现有秩序构成的真正挑战。在我批评的那些陷入悲观规避陷阱的人中，有很多人对技术批评持开放态度，但他们只是口头附和，从不付诸行动。他们总是说：“我们会解决好的，一直以来，一切尽在掌控之中。” 在技术或政策领域有一定经历的人很快就能意识到，把头埋进沙子里、逃避现实的鸵鸟政策是这些领域的默认意识形态。背离这种意识形态去思考和行动意味着一定的风险：面对一些巨大而不可阻挡的力量，人们可能被恐惧和愤怒感击倒，而感觉一切都徒劳无功。因此，他们往往会维持这种奇怪而矛盾的悲观规避的心理。我深知这一点，因为我也曾在这种心理状态中挣扎很久。 在我们成立 DeepMind 之后，在我提及的那些报告展示发生之后，话语已在某种程度上发生了变化。关于工作自动化的辩论已经进行了无数次。一场全球性的大流行病展示了合成生物学的风险和影响力。一股“科技抵制潮”开始涌现，批评者通过文章和图书对技术和技术公司展开猛烈抨击，在华盛顿、布鲁塞尔和北京等监管职能所在的重要城市，对技术的批评声也此起彼伏。以前对于技术的小众担忧如今已成为主流，公众对技术的怀疑在增加，来自学术界、公民社会和政治界的批评声也变得更加尖锐。 然而，在即将到来的技术浪潮和巨大的困境面前，在一众习惯于悲观规避的技术精英面前，所有这些还远远不够。 论点 浪潮在人类生活中无处不在，而我们讨论的是最新的技术浪潮。人们常常觉得它仍然遥不可及，仿佛只是关于未来的幻想，听起来甚至有些荒谬。人们认为这场浪潮仅仅是少数书呆子和边缘思想家头脑里的东西，充满了夸张、术语和噱头。这种认识是错误的。相反，这场浪潮是真实存在的，就像从宽阔的蓝色海洋中袭来的海啸一样真实。 这并非幻想或纯粹的理论探讨。即使你不同意我的观点，认为这一切都不太可能发生，我也希望你能继续阅读下去。的确，我有人工智能的背景，习惯于从技术的视角审视世界。在探讨这场技术浪潮是否真的具有重大影响这一问题时，我难免带有一定的偏见。但是，在过去 15 年里，在近距离亲眼看见了这场不断深化的技术革命之后，我确信我们正站在一生中最为重要的变革的风口浪尖。 作为这些技术的一个构建者，我相信它们能带来众多的好处，改善无数人的生活，解决一系列根本性挑战，无论是助力开发下一代清洁能源，还是为我们最棘手的疾病提供廉价而有效的治疗方法。技术可以也应该丰富我们的生活。有必要强调的是，历史上，这些技术背后的发明者和企业家一直是推动社会进步的强大动力，改善了数十亿人的生活。 但是，如果没有遏制，技术的所有其他方面，包括每一个关于其伦理缺陷或可能带来的好处的讨论，就都将变得没有意义。如何控制和遏制这场即将到来的技术浪潮？如何在这场浪潮中维护民族国家的保障和供给？我们迫切需要为这些问题找到完美答案。但目前，还没有人能回答这样的问题。我们正面临着一个没有人希望看到的未来，但我担心它出现的可能性越来越大。我会在接下来的章节中解释原因。 在本书第一部分，我们将回顾技术发展的漫长历史，以及技术是如何像浪潮一样在几千年的时间里传播的。这些技术浪潮背后的驱动力是什么？是什么使它们在人类社会普及？我们还将讨论，是否有人类社会有意识地回避一项新技术的先例。过去，人们通常不会谈论回避技术，技术的扩散模式十分明显，而那导致了一系列有意和无意的后果。 我把这个问题称作“遏制问题”。如今，我们拥有人类发明出来的最具价值的技术，它们比以往任何技术都更加经济实惠，传播速度更快。我们该如何把控这些技术呢？ 本书的第二部分详细阐述了即将到来的技术浪潮的特征。其核心是两项通用技术，即人工智能和合成生物学，它们都具有巨大的前景和力量，也伴随着巨大的风险。尽管这两者长期以来都已备受关注，但我认为它们的影响范围仍然常被低估。围绕这两项技术，已经发展出了一系列相关技术，如机器人和量子计算，这些技术的发展将以复杂而动荡的方式相互影响。 在这一部分中，我们不仅要探讨这些技术的出现模式以及它们具有的力量，还要深入剖析它们如此难以遏制的原因。这些技术都具有 4 个关键特征，这些特征使得这一次的技术浪潮与以往不同：它们本质上具有通用性，因此可以得到多元应用；它们具有超级进化性；它们的影响具有非对称性；在某些方面，它们还呈现出日益提升的自主性。 这些技术产生的背后有强大的驱动力：地缘政治竞争、巨额经济回报，以及开放、分布式的研究文化。无论我们能否有效监管和控制即将到来的风险，无数的国家与非国家实体都将争先恐后地开发这些技术，它们的行为将影响所有人，无论我们是否喜欢这一点。 本书的第三部分探讨了难以遏制的技术浪潮引发的大规模权力再分配所带来的政治影响。我们目前的政治秩序基础，也是技术遏制的最重要参与者，是民族国家。民族国家已经受到各种危机的冲击，而这一浪潮将进一步放大这些冲击，带来一系列的新挑战和威胁，包括潜在的新型暴力形式、错误信息的泛滥、工作岗位的流失，以及灾难性事故发生的可能性。 此外，这一浪潮将迫使权力发生一系列结构性转移，同时呈现出权力集中化和分散化的趋势。这将创造出庞大的新企业，巩固威权主义，同时将赋予某些群体和运动在传统社会结构之外的生存能力。浪潮到来时，将是我们最需要民族国家这样的机制的时候，而那时民族国家的内在微妙平衡也将面临前所未有的压力。这也正是我们陷入困境的原因。 在本书第四部分，我们将讨论如何应对即将到来的技术浪潮。我们是否还有一线希望，能够摆脱上述困境？如果存在这样的希望，应该如何实现它？在这一部分，我们提出了 10 个步骤，其涵盖代码编程和 DNA 技术的微观层面以及国际条约的宏观层面，旨在构建一套相互衔接的有力的遏制机制，作为我们实现技术遏制的基本计划。 这是一本关于应对技术失败的书。技术失败可以指普通意义上的技术故障，如发动机不工作、桥梁坍塌。但这一失败还可以从更广泛的意义上理解。如果技术损害了人类生命，催生了伤害人类的社会，或者让一些恶意（或无意中具有危险性的）行为者掌握了权力，社会就会无法管控和治理……总之，如果技术总体上造成了破坏，那么我们就可以说技术在一个更深的层次上失败了，它背离了其初衷和承诺。这种意义上的技术失败并不是技术本身固有的问题，而是与技术所处的环境、治理结构及其所服务的权力网络和用途有关。 人类身上令人惊叹的创造力为我们带来了无数成就，这种创造力使得我们擅长避免前一种类型的技术失败。正因如此，飞机失事事故变得越来越少，汽车变得更加清洁和安全，计算机变得功能更强大且更加安全。然而，我们面临的巨大挑战是，我们还未认真考虑后一种失败。 几个世纪以来，技术极大地提高了数十亿人的福祉。现代医学极大地改善了我们的健康状况，世界上大多数人能够享受到食物充足的生活，人们的受教育水平从未如此之高，和平程度也达到了前所未有的水平，物质生活比以往都更加丰富。这些都是人类的重大成就，其中一部分这样的成就正是由科学和技术创造的伟大引擎促成的。这也是我一生致力于安全地开发这些技术工具的原因。 但是，在我们从这段非凡的历史中汲取任何乐观情绪的同时，我们也必须坦诚面对现实。要防范技术失败，我们就必须理解并最终正视可能出现的问题。我们必须将理性的思考延伸到其逻辑终点，不能畏惧它指向的潜在结果。在我们认识到不好的结果可能出现时，我们必须采取行动。即将到来的技术浪潮带来了比以往任何时候都更加紧迫和巨大的威胁，这需要全球范围内的共同关注和应对。它急需答案，而目前还没有人能够回答。 技术遏制看起来不可能实现。但为了所有人的利益，我们必须让遏制成为可能。 本文摘自《浪潮将至》第一章 书籍推荐：

亲爱的读者们，请星标《碳链价值》，不然会收不到最新推送。我们精心创作和精选的每一篇内容希望都能为读者们带来理性思考与启发。