作者：卜淑情
在新一轮AI全球竞赛爆发之际，一封呼吁暂停大型AI研究的公开信在科技圈掀起轩然大波。
图/Future of Life Institute
这封公开信矛头直指OpenAI，呼吁暂停开发比GPT-4更强大的AI系统至少6个月。
图灵奖得主Yoshua Bengio、马斯克、苹果联合创始人Steve Wozniak、Stability AI创始人Emad Mostaque等上千名科技大佬和AI专家已经签署公开信，目前已经有近13000人签名。
令人意外的是，OpenAI CEO Sam Altman的名字也曾赫然在列，但后来被证实为假签名，Altman称并没有计划呼吁暂停人工智能的开发。
图/Future of Life Institute
近期，OpenAI 已经公布了GPT-4模型，其起草诉讼书、通过标准化考试和根据手绘草图建立工作网站的能力震惊四座。
然而，就当所有人的注意力集中在签名的AI大佬身上时，我们注意到这封公开信背后的生命未来研究所（Future of Life Institute，FLI）可一点都不简单。
图/Future of Life Institute
FLI是什么样的组织？
先简单介绍一下FLI，它是一家专注于变革性科技的非盈利组织。
顾名思义，FLI研究的对象是“生命的未来”，以“引导变革性技术造福生命，远离极端大规模风险”为使命。
图/Future of Life Institute
FLI官网写着：“我们认为，开发和使用强大技术的方式将是决定未来生命前景的最重要因素，因此我们的使命是确保技术继续改善等前景。”
FLI工作包括资助各种研究项目，组织和赞助相关会议和讲座，以及向公众普及科技领域的最新发展和挑战。
FLI成立于2014年，创始人为科技界人士和哲学家，比如Skype联合创始人Jaan Tallinn，麻省理工学院（MIT）物理系教授Max Tegmark，牛津大学哲学教授Nick Bostrom。
FLI的拥趸除了学术界翘楚之外，还有全球首富马斯克，甚至是美国知名演员摩根·弗里曼也榜上有名。
图/Future of Life Institute
而提到FLI，就不得不提它的姊妹机构牛津大学人类未来研究所（Future of Humanity Institute，FHI），后者自称关注解决人类及其前景的宏观问题。
巧合的是，牛津大学哲学教授Nick Bostrom同时也是FHI的创始人和主任。
仅有两字之差的机构名称，同样宏大的宗旨，关键的人物任职，均表明两者有着特殊的联系——长期主义。
Bostrom是长期主义的提出人，FHI研究助理、开放慈善项目官员Nick Beckstead、牛津大学哲学教授William MacAskill都对这一理论有所贡献。
长期主义影响力有多大？
除了FLI和FHI之外，长期主义还是全球优先事项研究所（Global Priorities Institute, GPI）和全球优先事项研究前瞻基金会（Forethought Foundation for Global Priorities Research）的研究重点。
前者由牛津大学哲学教授Hilary Greaves领导，后者由牛津大学哲学教授William MacAskill管理，他也在FHI和GPI任职。
长期主义还是慈善巨头有效利他主义（Effective Altruism，EA）运动的主要理论支撑之一，这一组织由FHI研究员、《悬崖：世界末日和人类的未来》作者Toby Ord联合创立，MacAskill现担任主席。
MacAskill创作的有关长期主义的书籍《我们欠未来什么》，在硅谷广受赞誉，马斯克曾称其“与我的哲学非常吻合”。
马斯克还是Bostrom的忠实拥护者，他经常引用Bostrom的研究成果，还曾通过FLI向FHI捐赠了150万美元。
除此以外，贝宝（PayPal）联合创始人Peter Thiel曾向机器智能研究所（Machine Intelligence Research Institute）捐了一大笔钱，这一机构对长期主义深信不疑，宣称要从超级智能机器手中拯救人类。
图/Machine Intelligence Research Institute官网
长期主义不仅受到科技大佬的赏识，其影响力甚至渗透到了欧美政界。
总部位于华盛顿的安全和新兴技术中心（Center for Security and Emerging Technologies，CSET）希望将长期主义者安置进美国政府高层，帮助塑造国家政策。
CSET由前FHI研究助理Jason Matheny建立，他曾是拜登政府的美国国家安全专家，现担任美国知名智库兰德公司的CEO。
Ord曾为世卫组织、世界银行、世界经济论坛、美国国家情报委员会、英国首相办公室、内阁办公室和政府科学办公室提供过建议，他还曾为联合国秘书长的一份报告做出了贡献，在这篇报告里特别提到了长期主义。
关键在于，长期主义可能是除了全球顶尖学府和硅谷以外，很少有人听说过的最具影响力的意识形态之一。
但更可怕的是，这种世界观可能是当今世界上最危险的世俗信仰体系。
长期主义是什么？
首先需要注意的是，Bostrom提出的长期主义并不等同于关心长期前景或后代福祉。
远不止这些。
长期主义把个体的人比作人类整体。
这是什么意思？
长期主义者认为，人类有自己的“潜力”，一个超越每个人的潜力，如果不能实现这种潜力将是极其糟糕的。
长期主义的核心教条，是从伦理上讲，没有什么比实现人类作为“源于地球的智慧生命”物种的潜力更重要的了。
在长期主义者看来，这一点至关重要，甚至还创造了一个听起来很吓人的术语——“世界末日”。
这一术语是指人类潜能被破坏的任何可能性，以及任何实际上破坏了这种潜能的事件的“存在主义灾难”。
长期主义为什么很危险？
一言以蔽之，将实现人类潜力这一事业的重要性提升到高于一切的水平，可能会显著增加现实中的人——眼下和不久的将来还活着的人——遭受极端伤害甚至死亡的可能性。
比如，长期主义者认为不需要关注全球气候变化。
因为气候变化不会损害人类在未来数万亿年的长期潜力，即使它会让岛屿消失，让数以亿计的人流离失所，面临严重的生存危机。
如果从宇宙的角度来看这种情况，那么即使是在未来2000年里使人口削减75%的气候灾难，也只不过是沧海一粟。
Bostrom在谈到两次世界大战、艾滋病和切尔诺贝利核事故时，称“这样的悲剧事件对人们来说是受到实时影响的，但从大局来看，即使是最严重的灾难也仅仅是生命大海上的一片涟漪”，只是“人类的小失误”。
这意味着，如果未来发生灾难，只要它不对人类整体构成直接的生存风险，那么人类就不应该太担心，即使是对个人来说可能是悲惨的。
Ord则认为，人类的首要任务是，到达“人类存在安全区”，即“存在风险”较低的地方。
据他估计，气候变化导致生存灾难的几率只有千分之一，比本世纪超级智能机器毁灭人类的几率低了整整两个百分点。
Ord曾承认，气候灾难“有可能造成文明无法挽回的崩溃，甚至是人类完全灭绝”，同样对现实中的人类（尤其是南半球的人类）造成绝对巨大的伤害，但与人类在宇宙中的长期潜力相比，它的影响几乎可以忽略不计。
如果人类将“发挥潜能”当成第一要务，那么应该用什么样的手段去确保不偏离这一方向呢？
Bostrom本人认为，人类应该认真考虑一个全球性的“入侵式监听系统”，实时监听地球上的每个人，增强预警能力。
他说，国家应该使用先发制人的暴力或战争来避免存在性灾难，并认为拯救数十亿现实中的人类的生命仅等同于微微降低存在风险。
举例来说，即使有百分之一的可能性拯救1054个未来人类的生命，那么将生存风险降低一个百分点的一亿亿分之一，其价值也相当于拯救十亿人类生命的1000亿倍。
这种危险的世界观还存在其他根本性问题。
比如，长期注意与实现“生存安全”根本不相容，换句话说，要真正降低未来人类灭绝风险的唯一途径可能是完全放弃长期主义。
来看看长期主义者所说的人类“长期潜力”。它主要由三部分组成：超人类主义、空间扩张主义以及与哲学家所谓的“总体功利主义”密切相关的道德观。
超人类主义，指人类应该用先进的技术来重新设计我们的身体和大脑，创造一个由彻底增强的“后人类”组成的“优越”种族。
比如，我们可以对自己进行基因改造以完全控制我们的情绪，或者通过神经植入物访问互联网，或者甚至可以将我们的思想上传到计算机硬件以实现“数字永生”。
将超人类主义和长期主义联系起来，根据Bostrom 和Ord的说法，成不了所谓的后人类会阻碍人类实现巨大而光荣的潜力，这将是“存在主义灾难”。
空间扩张主义，指的是我们必须尽可能多地殖民未来的光锥（时空中的面）：即理论上我们可以进入的时空区域。
根据长期主义者的观点，我们未来的光锥包含了大量可利用的资源，他们称之为负熵的“宇宙禀赋”。
Ord写道，单单银河系的直径就有15万光年，包含了超过1000亿颗恒星，其中大部分都有自己的行星。要实现人类的长期潜力，我们只需要最终到达附近的一颗恒星，建立一个足够坚实的立足点，创造一个新的繁荣社会。
但为什么要这么做？让新的后人类文明洒满宇宙有什么重要的？
这就不得不提第三个组成部分：总功利主义，这里简称为“功利主义”。
一些长期主义者坚称他们不是功利主义者，在一些人眼中，这只是一种烟雾弹行为。
比如，EA运动可能只是披着利他主义外衣的功利主义。
这项运动被称为EA运动之前，Ord等早期成员曾认真考虑过称之为“有效功利主义社区”。
功利主义并不在意价值是如何在时间和空间中分配的，重要的是总净额。
比如，假设现在有1万亿人，每个人的生命价值为1，那么总价值为1万亿，而如果现在有10亿人，每个人的生命价值为999，那么总价值为9990亿。在功利主义者眼中，第一个世界的价值更高。
这里的推测基于这样一个观点，即人只是价值的“容器”，本身并没有价值，人类存在的意义仅限于“容纳”了价值，更多的人意味着更多的价值。
简而言之，在功利主义者看来，人的存在是为了价值最大化，而不是为了造福人民。
这就是为什么长期主义者痴迷于计算未来有多少人可以存在。
Bostrom曾估计未来世界人类数量将达到1054，这一数字在他2014年出版的《超级智能》一书中更高，为1058。
最后总结一下长期主义者眼中的人类长期潜力：通过数字化技术增强的人类遍布银河系。
为了长期主义者的目标，人类不能把资源浪费在解决全球贫困问题和全球气候变暖上，反而应该把更多精力放在超级智能机器上，建立一个全球监视系统，发动“先发制人”的战争。
Beckstead甚至认为，人类应该优先考虑富裕国家人民的生活，而非贫穷国家人民，因为前者对未来的影响绝对更加重要。
为了实现价值最大化，人类必须开发越来越强大、越来越危险的技术；如果做不到这一点，本身就将是一场生死存亡的灾难。不过，技术并不是导致全球性问题日益恶化的根本原因，也不是停止创造更多技术的理由。
有人认为，人类需要先进的技术逃离可能在未来十亿年内被太阳毁灭的地球，但在此之前，滥用技术更有可能导致人类灭绝。
最后，你怎么看长期主义？