作者：城主
编辑：腾讯新闻 郝博阳
编者导语：只经过了一个月，这个引领AI时代的男人似乎对之前的困惑都有了自己的答案。
在经历了数论关于AI监管的对谈和磋商后，最近很少发声的 Sam Altman 又一次接受了新访谈，5月9日，在一场Sohn 2023活动的对谈中，OpenAI的CEO 对大语言模型和AI的未来，监管的方式，竞争对手和中国AI发展及AI领域的创投机会都表达了他新一轮，更成熟更系统化的思考。
在一个月之前，他说巨型模型的时代已经见顶，但现在给出了如何突破的解决方案。一个月前，他对AI创业的商业化路径还很少思考，现在他已经可以给出几个具体的方案。在这篇访谈中，我们还可以看到他对OpenAI的具体规划，定位和野心。以及他对竞品，尤其是谷歌和中国AI公司的关注与评价。
基本上这次访谈就是他对整个AI产业的一个初步解决方案路线图。
当然，这也归功于他谈话的对手，Patrick Collison，一位同样是年少功成，在20岁的年纪已成为亿万富翁的IT创业者。他的问题相当犀利，而且有着不俗的逻辑和见解，也因此能碰撞出这样多的思想火花。
划重点：
- 在AI的发展中，我们正在进入一个新阶段，在某些领域需要大量聪明的专家给出反馈，以使模型变得尽可能智能。这可能会引发一轮的RLHF人才争夺战。大模型的数据缺口可以通过合成数据弥补，简单地通过互联网数据把Transformer扩展起来的方法会失效。
- AI监管应该建立起类似原子能机构这样保证核不扩散的国际组织，根据硬件和能源使用情况监控所有AI公司，所有超过能力阈值的系统都需要接受审核。
- 后续AI行业会产生分化，开源AI负责产出商业化产品和应用创新，闭源AI负责建构超级智能，已解决前沿的科学研究问题。商业化AI方面最有前景的领域是AI投资决策技术和AI自动化办公辅助。
- Google是很有力的竞争对手，中国在AI领域可见到的成果太少，透明度较低。
Patrick：谢谢Sam能和我们在一起。
去年我实际上采访了Sam Bankman-Freed（被逮捕的加密企业FTX创始人）。显然，我采访的是错误的Sam，所以很高兴今年能纠正过来，和正确的Sam进行交流。让我们从大家关心的话题开始，我们什么时候能得到我们的Worldcoin（由Sam Altman发起的一个虚拟代币项目，通过虹膜认证替代一般身份认证）呢？
Sam：我认为如果你不在美国，你可能在几周内就能得到一个；如果你在美国，可能永远都得不到。我不知道，这取决于美国政府禁止加密货币的决心有多大。
Patrick：Worldcoin大约是一年前左右启动的？
Sam：实际上它还没有正式运行，它已经在测试阶段大约一年了。但它将在美国以外的地方很快上线。在美国，你可能永远都不能使用它，我不知道。
Patrick：好吧。
Sam：所以这是一件疯狂的事情。你知道，不管你对加密货币的涨跌有什么看法，但美国是全世界最糟糕的拥有加密货币公司的国家，很可能你根本就不能提供加密货币服务。这是一个（影响）巨大的声明，历史性的声明。
Patrick：是的，就是这样。是的，很难想象最后一次出现这种情况的技术是什么。
Sam：也许是欧洲人应该做这个，而不是我们。
Patrick：是的。
Sam：超音速飞行或者类似的东西。
Patrick：对的。然后，我猜几乎所有在场的人都是ChatGPT的用户。你最常用的ChatGPT是什么样的，就是你在不测试东西的时候，你真的想要用的时候，ChatGPT完全是你的工具。
Sam：无疑是汇总文摘。如果没有它，我已经不知道怎么继续工作。我可能无法处理电子邮件和Slack（一种基于云端运算的即时通讯软件）。你知道，你可以把一堆电子邮件或者Slack消息发给它。希望能随着时间的推移，我们为这个场景构建一些更好的插件；但即使是手动操作也效果相当好。
Patrick：有没有任何插件成为你的工作流程的一部分？
Sam：我偶尔在代码解释器中浏览。但说实话，对我个人来说，它们还没有真正像是日常习惯的一部分。
大语言模型的未来：合成数据突破数据天花板 / RLHF训练人才争夺战
Patrick：所以显然，这很有可能是我们正在经历的趋势，超线性（速度）的实现模型能力的收益；但谁知道呢，也许我们很快就会接近极限，那是可能的，但至少是一种可能性。如果我们最后走到这个尽头，你认为我们回头看，认为原因是数据不够，或者计算能力不足，最有可能的是什么呢？
Sam：我真的不认为这会发生。但如果真的发生了，我认为这可能是我们现有架构中的某些基本问题，以一种我们现在还没有察觉的方式限制了我们。比如说，我们可能永远无法让这些系统变得非常稳健，所以我们无法让它们能够可靠地保持在正确的轨道上，理解它们正在犯错误；因此，它们不能真正在大规模上有效地获取新知识。但我没有理由相信这就是（会发生的）情况。
Patrick：有些人认为我们现在的训练数据已经接近互联网的全部内容，你不能把这个数目再增加两个数量级，我想你可能会反驳说，是的，但是（还有）合成数据生成，你认为数据瓶颈重要吗？
Sam：我认为，就像你刚才提到的，只要你能达到这个合成数据的临界点，模型足够聪明，能制作出好的合成数据，我认为应该没问题。
我们肯定需要新的技术，我不想假装没有这个问题。简单地把Transformer扩展起来，预先从互联网上获取训练数据，这种方法会失效，但这并不是我们的计划。
Patrick：所以GPD 3.5和4的一大突破就是RLHF。如果你，Sam，亲自做了所有的RLHF，模型会变得明显更聪明吗？反馈的人是否重要？
Sam：我认为我们正在进入一个阶段，在某些领域，你真的需要聪明的专家给出反馈，以使模型变得尽可能智能。
Patrick：所以，这会不会引发一场疯狂的对最聪明的研究生的争夺战？
Sam：我认为会。我不知道这场争夺战会有多疯狂，因为世界上有很多聪明的研究生，但聪明的研究生将会非常重要。
Patrick：我们需要多少聪明的研究生呢？一个就够了，还是需要10000个？
Sam：我们正在研究这个问题。我们真的不知道，比如一个真正聪明的人能为我们带来多大的优势，模型可以在哪些方面提供帮助，或者模型能自我进行一些强化学习，我们对此深感兴趣，但这还是个未知数。
AI监管：建立AI国际化监管机构，所有超过能力阈值的系统都需要接受审核
Patrick：核武器的秘密应该被机密处理吗？
Sam：可能，应该吧。我不知道我们在这方面做得有多有效。我认为我们之所以避免了核灾难，并不完全是因为我们把秘密做了机密处理，而是我们做了一些聪明的事情。我们很幸运，至少很长一段时间，它所需要的能量是巨大的，基本上需要国家的力量。我们建立了国际原子能机构，我认为总的来说这是一个好决定，还有其他一些事情。所以我认为，你可以做任何事情来提高好结果的可能性，机密化核武器的秘密可能会有所帮助。不把它机密处理的话（其他操作）似乎没有多大意义，另一方面，我不认为这会是一个完全的解决方案。
Patrick：当我们考虑所有现在已经成为中心的AI安全问题时，我们应该从我们核不扩散的经验中吸取什么最重要的教训？
Sam：首先，我认为过分借鉴以前的技术总是一个错误。每个人都想要找一个类比，每个人都想说，哦，这就像这个，或者那个，我们是这样做的，所以我们将再次这样做，但每种技术的形式都是不同的。然而，我认为核材料和AI超级计算机有一些相似之处，这是我们可以借鉴和获得启示的地方，但我会提醒人们不要过度学习上一件事的教训。我认为可以建立一个类似于国际原子能机构的AI机构——我知道这听起来多么天真，这么做有多困难——但是我认为让每个人都参与到对极其强大的AI训练系统的全球监管机构中来，这似乎对我来说是一个非常重要的事情。我认为这就是我们可以学到的一个教训。
Patrick：如果它被建立了，明天就存在了，那么它应该首先做什么呢？
Sam：任何超过我们设定的阈值的系统——实现这个最容易的方法是计算阈值（最好的方法是能力阈值，但这更难以衡量）——任何超过这个阈值的系统，我认为都应该接受审核。应该让这个组织有完全的可视化权限，要求在发布系统之前通过某些安全评估。那将是第一件事。
Patrick：有些人可能会说，我不知道该如何描述这种情况，但让我们说，更好战的一方可能会说，这一切听起来都很好，但是中国不会这么做，因此，我们只会束缚自己。因此，这个主意在表面上看起来不如它看起来的好。
Sam：有很多人对中国会或不会做什么发表了非常强硬的言论，但他们从未去过中国，也从未与过去曾经与中国进行过外交工作的人交谈过，他们对复杂的高风险国际关系几乎一无所知。我认为这显然非常困难，但我也认为没有人想要摧毁整个世界，所以至少有理由在这里尝试一下。
我认为这里有一些不寻常的事情，这就是为什么从过去任何一种技术类比中学习都是危险的。
这里有一些不寻常的事情，当然有能源签名和所需能源的数量，但制造最有能力的GPU的人并不多，你可以要求他们都安装一种监测设备，如果你正在与超过10，000个其他GPU进行通信，那么你就必须（接受监管）。
无论如何，我们都有选择的余地。
后续的AI发展：开源的经济应用和封闭源模型的超级智能探索并行
Patrick：今年对我来说，一个大的惊喜就是开源模型的进步，特别是最近60天左右的疯狂进步。你认为，一年后开源模型会有多好？
Sam：我认为这里将会有两个发展方向，一是超级规模化的最好的封闭源模型，二是开源社区的进步，可能（开源）会落后几年或者说多几年。但我认为我们将会生活在一个有着非常强大的开源模型的世界，人们会用它们来做各种各样的事情，整个社区的创造力将会让我们所有人感到惊讶。
然后还有那些拥有巨大集群的人能做什么的前沿（研究），那将会非常遥远。
我认为这是好事，因为我们有更多的时间去解决一些更恐怖的事情。
Patrick：David Luan（前OpenAI工程副总裁）向我阐述了，经济有用的活动集合，理论上是所有可能活动的子集，而相当好的模型可能足以解决大部分的第一套活动。因此，可能超大型的模型在科学上非常有趣，也许你需要它们来做一些事情，比如推动AI的进步，但是对于大多数的实用日常案例，可能一个开源模型就足够了。你认为这个未来有多大可能性？
Sam：我认为对于许多超级经济价值的事情来说，这些较小的开源模型将足够使用。但你刚刚提到了我想说的一件事，那就是帮助我们发明超级智能，那是一个非常经济有价值的活动，就像治愈所有的癌症或发现新的物理规律等等，这些都将首先由最大的模型来实现。
Patrick：Facebook现在应该开源Llama吗？
Sam：现在这个点上，可能应该。
Patrick：他们应该采用开源他们的基础模型/语言模型，还是只是特别的Llama呢？
Sam：我认为Facebook的AI策略在最好的情况下也只能说是混乱的，但我认为他们现在开始非常认真，并且他们有非常能干的人，我预计他们很快就会有更连贯的策略。我认为他们将会是一个令人惊讶的新真正的玩家。
AI的安全性：大家都在指责AI不安全，但没人给出解决方法
Patrick：有没有什么新的发现可能会显著改变你对灾难性结果的可能性估计，无论是提高还是降低它？
Sam：是的，我认为有很多，我认为从现在到超级智能之间的大部分新工作都会使这个概率上升或下降。
Patrick：那么，你特别关注什么？有什么你特别想知道的事情吗？
Sam：首先，我不认为强化学习人工智能（RLHF）是正确的长期解决方案。我不认为我们可以依赖它。我认为它是有帮助的，它当然使这些模型更容易使用。但你真正想要的是理解模型内部的运作情况，并能够使之对齐，比如说，精确地知道哪个电路或人工神经元集合在发生什么，并能够以一种能够给模型性能带来稳定改变的方式调整它。
还有很多超越这个的事情，但如果我们能让这个方向可靠地工作，我认为每个人的灾难概率（P Doom）都会大幅降低。
Patrick：你认为有足够的可解释性工作正在进行吗？
Sam：没有。
Patrick：为什么不呢？
Sam：你知道，很多人都说他们非常担忧AI的安全，所以这在表面上看起来很奇怪。
大部分声称他们真的很担心AI安全的人，似乎只是在推特上花时间说他们真的很担心AI的安全，或者做很多其他的事情。
有一些人非常担心AI的安全，并且正在做出很好的技术工作。我们需要更多这样的人，我们肯定在OpenAI内部投入更多的努力，让更多的技术人员去研究这个问题。
但是，世界需要的不是更多在Twitter上发帖写长篇大论的AI安全人员，而是更多愿意做技术工作，使这些系统安全且可靠地对齐的人。我认为这些事情正在发生，优秀的机器学习研究者转变焦点，以及新人进入这个领域，两者的结合。
Patrick：这次通话上的很多人都是活跃的慈善家，他们中的大多数人在Twitter上发布的内容不是很多。你知道，他们听到这个交流，可能会想，哦，也许我应该帮助资助可解释性领域的一些事情。如果他们有这种想法，下一步应该做什么？
Sam：我认为一个还没有做出足够尝试的策略是，给单个人或小团体提供资助。
这些人非常技术性，并且想要推动技术解决方案，也许他们正在读研究生或者刚毕业，或者正在读本科。我认为尝试这个是非常值得的，他们需要访问到非常强大的模型，OpenAI正在尝试开展一些项目来支持独立的对齐研究者，但我认为给这些人提供财务支持是非常好的一步。
Patrick：此外，你认为这个领域在多大程度上受技能瓶颈的限制？也就是说，有些人可能具备所需的内在特性，但可能没有所需的四年或者更长时间的学习经历，这对他们的有效性也产生了影响。
Sam：我认为，如果有一个聪明的人，他已经学会了如何做好研究，并且具有正确的心态，那么只需要大约六个月的时间就能让他从一个聪明的物理研究者变成一个有成果的AI研究者。所以我们在这个领域还没有足够的人才，但是这个很快就会到来。我们在OpenAI有一个项目，就是做这个的，我对它的效果感到惊讶。
情感对话机器人：未来的人类可能有更多AI朋友而不是人类朋友
Patrick：似乎很快我们将拥有，嗯代理人，你可以以非常自然的方式与之对话，低延迟全双工（虚拟人可以进行听和说），你可以像打断整个事情一样打断它们。显然，我们已经看到了像Character和Replica这样的产品，你知道，即使是这些初期的产品在这个方向上也取得了相当惊人的进展。
我认为这些可能是一项巨大的成就，也许我们正在大大低估它，尤其是一旦你可以通过语音进行对话。你认为这样对吗？如果是这样，你认为可能的后果是什么？
Sam：是的，我确实认为是对的。
最近有人对我说过一句印象深刻的话，他们相当确定，他们的孩子将来会有更多的AI朋友而不是人类朋友。至于后果，我不知道会是什么样子。
我认为有一点很重要的是，我们要尽快确立一个社会规范。
你知道，如果你在与AI或人类进行交流，或者类似奇怪的AI辅助人类的情况，人们似乎很难在他们的头脑中区分（对方是人还是AI），即使是像你提到的Replica这样的早期的弱智系统。
不管我们大脑中渴望社交互动的电路是什么，似乎有些人在某些情况下可以通过与AI朋友相处来满足这种需求，这是棘手的。
Patrick：最近有人告诉我，在Replica的Reddit上读到的一个讨论主题是，如何处理升级到Replica模型时的情感挑战和创伤。因为你的朋友突然变得有点智力受损，或者至少是一个有点不同的人，而且，这些对话者都知道Replica实际上是一个AI，但不知何故，我们的情感反应似乎并没有太大的区别。
Sam：我认为，大多数人都觉得我们正朝着发展的是这样一个社会，在天空中有个漂浮的至高无上的超级智能存在。而我认为，那是一个在某种意义上不那么可怕但仍然有些奇怪的社会，一个由很多AI和人类共同整合的社会。
关于这个已经有很长时间的电影，就像《星球大战》中的C3PO或其他你想要的AI。人们知道这是AI，但它仍然很有用，人们仍然与之互动，它有点像可爱的人，尽管你知道它不是一个人。
而在这个世界上，我们只是有一个很多AI与人类一起融入基础设施的社会，这对我来说感觉更容易应对，也不那么可怕。
AI将如何改变经济体系: 更高效的资本配置带来经济的大幅繁荣
Patrick：是的。嗯，这是一个金融事件(问题），这样做将如何改变实际利率？
你知道，在经济学中存在着一种关于工作年龄人口变化是否推动实际利率上升或下降的辩论，因为你有一系列相互抵消的影响，他们更有生产力，但你还需要资本投资来使它们变得有生产力，等等。嗯，那么AI将如何改变实际利率呢？
Sam：我尽量不进行宏观预测，但我会说它们将会发生很大改变。
Patrick：好吧。那么， 这将如何改变经济增长？
Sam：我认为它应该会导致实际经济增长的大幅增加，我假设我们将能够合理地衡量它。
Patrick：且至少在早期阶段，这将是一个极其资本密集的时期。因为我们现在知道应该建造哪些治疗癌症的工厂，或者哪些制药公司，以及确切的反应堆设计等等。
Sam：我会持相反的观点，我们不知道，但我会说，人类资本配置是如此可怕，即使我们确切知道该做什么。
Patrick：你是指现今人类进行的资本配置，对吗？
Sam：是的。
Patrick：或者你是指将人们自身分配到社会中不同角色的分配？
Sam：不，我是指我们目前的资本配置方式，比如说，你认为我们今天在癌症研究上花了多少钱？癌症研究一年花了多少钱。
Patrick：我不知道，可能这取决于你是否考虑了制药公司，但从NIH来看，可能大约80到90亿美元；然后我不知道制药公司花了多少，可能这只是其中的一小部分。
Sam：如果是在500到1000亿美元之间……好吧，我只是猜测，数字是每年在500亿到1000亿美元之间。如果AI能告诉我们确切该做，并且每年只需要这个单独项目上花费500万美元。虽然这对于一个单独的项目来说是巨大的投资，但如果这是正确的答案，那将是一个巨大的效率提升。
是的，所以我们在这项技术的推动下可能会变得更加资本高效，这是我的猜测。
OpenAI的未来：平台+顶级应用
Patrick：对，很有趣。对于OpenAI来说，显然你们想成为并且是一家卓越的研究机构。但是关于商业化，是成为一家消费者公司更重要还是成为一家基础设施公司更重要？
Sam：嗯，作为一项商业策略，我是支持平台加顶级应用的。
我认为这在很多企业中都取得了成功，原因是充分的。我认为我们开发的消费者产品有助于改进我们的平台。我希望随着时间的推移，我们能够找到方法，让平台也能够改进消费者应用。我认为这是一个良好的连贯策略，将它们同时进行。
但正如你指出的，我们的目标是成为世界上最优秀的研究机构，这对我们来说比任何产品化更重要。我们建立这样一个组织，能够不断取得突破性的进展，虽然并非所有尝试都会成功，我们走过了一些弯路，但我们已经找到了比其他人更多的范式转变，并且我认为我们将在这里实现下一个重大突破。这是我们努力的重点。
Patrick：你对OpenAI最引以为豪的突破是哪个？
Sam：整个GPT范式，我认为那是具有变革性和对世界的重要贡献的，它源于OpenAI擅长结合多种工作方式的工作。
竞争对手和中国：Google最近很专注，中国的成果不明确
Patrick：明天是Google I/O，如果你是Google的CEO，你会怎么做？
Sam：我认为Google做得很好，他们最近非常专注和紧张，真的在努力寻找如何重新打造公司来适应这项新技术，我对他们的表现印象深刻。
这些模型和它们的注意力能力是否真的对搜索构成威胁，还是只是一种表面上的反应，可能过于仓促？
我认为它们可能会以某种重大方式改变搜索，但并不威胁搜索的存在。所以，如果Google什么都不做，那将是对Google构成威胁，但显然Google不会无所作为。
Patrick：中国的机器学习研究有多重要？
Sam：我很想知道这个问题的答案：中国的机器学习研究对我们而言有多重要，我们能够看到多少成果。
Patrick：不太多，你说对了，从已发表的文献中了解的并不多。
Sam：但也不是完全没有。
Patrick：你是否了解任何的原因。因为中国研究人员的发表论文数量非常大，也有很多在美国进行出色工作的中国研究人员，那么为什么中国的研究论文在单篇论文影响力方面相对较低？
Sam：我猜测很多人怀疑的是他们没有发表最重要的研究成果。
Patrick：你认为这可能是真的吗？
Sam：对于这个问题，我对自己的直觉不太确定，我感到困惑。
对AI未来应用的畅想：更多取代日常工作，产生出独立的优于人的判断
Patrick：你更希望OpenAI能够实现训练效率的10倍提升，还是推理效率的10倍提升？
Sam：这是一个好问题。取决于合成数据的重要性。强迫选择的话，我会选择推理效率。但我认为正确的衡量指标是考虑所有用于模型训练和推理的计算量，然后进行优化。
Patrick：你提到的推理效率可能是该方程式中占主导地位的项。
你说推出GPT-2时，只有少数人注意到并真正理解其意义。关于突破的重要性，现在是否正在发生类似的GPT-2时刻？
Sam：我们正在做很多工作，我认为其中一些工作将成为类似GPT-2的重要时刻，如果它们能够结合在一起。但目前还没有什么发布的东西，我可以有很高的信心说这是2023年的GPT-2。但我希望到今年年底或明年会有所改变（发布）。
Patrick：什么是你使用的最好的非OpenAI的AI产品？
Sam：坦率地说，我想不出其他什么产品。我对世界的了解比较狭窄，但ChatGPT是我每天使用的唯一AI产品。
Patrick：有没有你希望存在的AI产品，你认为我们当前的能力或即将实现的能力使得这种产品成为可能，你期待着它的出现？
Sam：我希望有一种像“副驾驶”一样的产品，可以控制我的整个电脑。它可以查看我的Slack、电子邮件、Zoom、iMessage以及庞大的待办事项和文档，并且在很大程度上完成我的工作。
Patrick：一种类似Siri Plus Plus的产品。
嗯，你提到了治疗癌症，这些技术和技术对科学的显而易见的应用有哪些，你认为我们已经或即将具备的能力，但目前人们并没有看到人们明显追求的应用？
Sam：有一个无聊的答案和一个令人兴奋的答案。
无聊的答案是，如果你能够开发出非常好的工具，如我刚提到的那个，并且将每个科学家的工作速度提高三倍、五倍甚至十倍，那么科学发现的速度可能会大大增加，即使它并非直接从事科学本身。
更令人兴奋的是，我认为类似的系统可以开始阅读所有的文献，产生新的想法，在模拟中进行一些有限的测试，然后给科学家发送电子邮件，说：“嘿，你能帮我在湿实验室中运行这个吗？”这样可能会取得真正的进展。
Patrick：我不知道这里的本体论如何工作，但你可以想象构建更好的通用模型，类似于人类，它可以阅读大量的文献，可能比人类更聪明、记忆更好，然后你可以想象基于某些数据集训练的模型，它们在某个特定领域做一些完全不同于人类的工作，例如将CRISPR映射到编辑精确度之类的事情。这真的是一种特殊用途的模型，在特定领域做一些与人类完全不同的事情。
你认为对这些模型来说，最有用的应用是属于第一类，即创造更好的人类，还是属于第二类，即为目前不易处理的问题域创建这些预测性的架构？
Sam：我真的不知道。在大多数领域，我都愿意给出一些粗略的观点，但在这个领域，我对科学过程和伟大科学家是如何工作的没有足够深入的了解，无法说出我的观点。我觉得，如果我们能够有一天找到如何构建出真正擅长推理的模型，那么它们应该能够自己做出一些科学上的飞跃，但这需要更多的工作。
投资和创业：硅谷走偏了，太重视短期收益；AI的下一个风口可能在AI投资应用上
Patrick：OpenAI在筹款方面做得非常出色，具有非常特殊的资本结构，与非营利组织和微软的交易等等，那么这些奇特的资本结构被低估了吗？企业和创始人是否应该更加开放地思考，无论是默认的还是已经默认的，如同我们只是一个德拉华州的C公司？（是否要考虑特殊的资本结构）
Sam：我怀疑不是，我怀疑在这方面进行创新可能是一件可怕的事情，你应该在产品和科学方面进行创新，而不是企业结构方面。
我们所面临的问题形式非常奇特，尽管我们尽力而为，但我们不得不采取一些奇怪的措施，但总体而言，这是一种令人不快的体验，也是一个时间消耗的过程。
对我参与的其他项目来说，它总是采用正常的资本结构，我认为那样更好。
Patrick：我们是否低估了资本的重要程度？你所参与的很多公司都需要大量的资本。可能OpenAI就是最需要资本的公司，虽然谁知道还有没有别的更需要的。
我们是否低估了资本对未实现的创新的限制？这是否是你所参与的各种努力中的共同主题？
Sam：是的，我认为这是个问题，基本上我参与的四家公司中，除了只是作为投资者写支票的那些，所有的公司都需要大量的资本。
Patrick：你想要列举一下这些公司吗？对于在场的观众。
Sam：OpenAI和Healing是我最花时间的项目，然后还有Retro和Worldcoin。
但你知道，所有这些公司在任何产品出现之前都筹集了至少九位数的资金，而且在OpenAI的情况下，这个数字更大，所有公司都在第一轮融资或在发布产品之前筹集了九位数的资金，它们都需要很长时间，花费多年时间才能发布产品。
我认为愿意做这样的事情是有很大价值的，而这种方式在某个时候在硅谷失宠了。
我理解为什么，像那些只需要筹集几十万，一百万美元就可以盈利的公司也很好，但我认为我们过度倾向于这个方向了，我们已经忘记了如何进行高风险高回报的大量资本和时间密集型的投资，这些也是有价值的，我们应该能够支持两种模式。
Patrick：这涉及到，嗯，为什么没有更多的埃隆马斯克。
我猜，在过去的20年里，两家最成功的硬件公司（SpaceX和Tesla）在更广泛的意义上（Tesla是Elon收购重建）都是由同一个人创办的。这看起来像一个令人惊讶的事实。
显然，埃隆在很多方面都是独一无二的。但你对这个问题的回答是什么，我们是否喜欢他这种特殊的情况，是不是实际上资本的故事与你所说的线索相符，如果让你去创造更多的世界上的SpaceX和Tesla，嗯，你可能在自己的工作中也试图做到这一点，但如果你不得不以系统的方式推动这个方向，你会尝试改变什么？
Sam：我从未遇见过另一个埃隆，我从未遇见过我认为可以轻易地被培养成另一个埃隆的人。他是一种奇怪的独一无二的人物。我很高兴他存在于世界上；但你知道，他也是一个复杂的人。我不知道如何创造更多像他那样的人，我不知道。我不知道你对如何创造更多的想法是什么，我很好奇。
Patrick：我不知道，我怀疑创始人和资本方面的文化有一些东西，以及创始人想要创造的公司类型。
以及在某种程度上，但也许在较小程度上，资金来源的基金结构（也有关系）。嗯，你知道，当我在过去的15年里对这个领域了解得更多时，这个领域有限的或者基本上有限的一套资金模型，每一个都有特定的激励方式，大部分都有特定的社会学。比如风险投资本身就是一种投资，私募股权在其现代形式下，基本上是一种投资发明，
所以，我怀疑我们是否完成了资金模型发明的过程，我怀疑是否有一些模型，至少在某种程度上，与今天的主流模型不同，而这种模型在某种程度上更适合于这种类型的创新。
Sam：好的，我很兴奋的一件事是，我认为你是一个很好的例子。但我认为在上一个周期里成为科技亿万富翁的所有人都几乎都对投入大量资本到长期项目中很感兴趣，而这种一开始就投入大量资本的高风险高回报的长期项目依赖于基础的科学和创新，这将会或者已经发生了巨大的变化。所以我认为将会有更多的资本可用于此，你仍然需要像埃隆那样的人去做这个。
有一个我一直很想尝试的一个项目，我们要确定比如说我们可以找到想要从事这类项目的最有才华的100个人，给他们每年25万美元，大概10年左右，就像给一个20岁的人10年的时间，这感觉像是终身职位，让他们自由地去 在没有大多数人感受到的压力的情况下进行长时间的探索，比如说，不必承受赚大钱的压力，让他们与优秀的导师和优秀的同伴群体在一起。然后财务模型就是，如果没有创立公司那没关系，那没关系，像作家、政治家、思考者一样；如果你创立了一家公司，投资项目就可以按照预定的条款进行投资。
嗯，我认为这是值得尝试的，有人应该去做这件事。
Patrick：这就是大学的模式，我想说的并不是这已经存在了，不是说只是重新发明轮子。我的意思是，这是证据表明它可以工作，而且通常大学在支持其衍生品方面并不擅长，但至少在某种程度上是这样。
Arc的一个主张实际上是通过更加正式地鼓励这种情况，可能比现在的情况更有效。
西尔瓦娜，Arc的联合创始人，我从青少年时代开始就认识她了，我们一起度过了一半以上的岁月。帕特里克·苏（Patrick Sue）是另一位联合创始人，她与他共同攻读博士学位，所以她认识他已经很久了。关于长期投资，我之所以对此感到满意，部分原因是我已经认识这个人很长时间了。
当你考虑像你提到的Retro或其他公司这样的公司时，你是如何决定这个人是否是你可以承担这个超长期探险的人呢？
Sam：实际上，我已经认识Joe很长时间了。
Patrick：我想这是一个不好的例子，问题是实际上是，你是否需要认识这个人很长时间？
Sam：这非常重要，虽然并非总是有效，但我尽量与我认识了十年以上的人合作。
你当然不想只做这类合作，你希望在混合中有新的能量和波动性，但与你相识已久、与你合作已久的人占有一定比例，我认为这是非常有价值的。
就像在OpenAI的例子中，我已经认识Greg Brockman（OpenAI联合创始人）很久了，我可能在我们创办公司之前只认识Ilya一年，甚至不到一年，但我们在一起度过了很多时间。这是一个很好的组合。
我从与人们的长期工作关系中得到了极大的快乐，经过几十年的时间，通过多个项目，感觉像是一起建设向着一个很长的弧线前进的事情，这是非常有趣的。
Patrick：同意。嗯，哪家并未被视为AI公司的公司将在未来五年从AI中受益最多？
Sam：我认为有一种投资工具会找出如何利用AI成为一个非凡的投资者，并且有着疯狂的超额回报，所以像是利用这些新技术的Rentech。
Patrick：那么，你看到有哪家（上市）运营公司呢？
Sam：嗯，你认为微软是一家AI公司吗？
Patrick：就此问题而言，我们假设答案是否定的。
Sam：我认为微软将在几乎所有方面都将通过AI进行自我变革。
Patrick：那是因为他们更认真对待这个问题，还是因为微软的性质使他们特别适合这个问题，更能理解这个问题？
Sam：他们比其他人更早地认识到这个问题，并且比其他人更认真地对待这个问题。
对监管的态度：过度官僚化监管可能会拖慢创新速度和意愿
Patrick：你认为我们会意识到GPT-4在某种程度上过度拟合了它所接受训练的问题的可能性有多大？
或者说，我们如何知道它是否过度拟合了，或者你甚至是否考虑过度拟合作为一种关于代码强制问题的担忧，你知道，比如在21年之前和之后的问题，早期（模型）的问题表现更好，等等。
Sam：我认为基本模型并没有显著地过度拟合，但是我们对RLHF（强化学习和人类反馈）过程的理解还不够，我们可能在这个过程中对模型造成了比我们意识到的更大的破坏。
Patrick：你认为G，也就是普遍的智力指标在人类中存在吗？除了作为一个统计学的产物之外？如果答案是肯定的，你认为在模型中存在类似的共同因素吗？
Sam：我认为这是一个非常不精确的概念。但是，很明显，它在人类和模型中都有一些实际的含义。所以我认为，我们可能过度解读了这个概念，当人们试图去讨论它时，往往会有太多的显著性数字。但是，我的经验确实告诉我，非常聪明的人可以很快地学习很多事情，尽管我不会说是任意的事情。有些人在某一种事情上比另一种事情更擅长。我不想在这里过多地争论细节，但我会说，我相信模型的智力也会在某种程度上有所不同。
Patrick：基于你的经验，你如何看待所有这些AI安全问题？你认为合成生物学应该如何被监管？
Sam：我希望我们不再有另一种合成病原体导致全球大流行。
我想我们都同意这不是一次好的经历，虽然与可能发生的情况相比，这并不算太糟糕；但我对此并没有更多的全球协调行动感到惊讶。我认为我们应该有更多的协调行动。
Patrick：那么我们实际上该怎么做呢？因为我认为与人工智能一样，同样的挑战也适用于合成生物学。我认为这是一种生产装置，你知道，合成病原体的生产装置并不一定那么大，观测和遥测是困难的。
Sam：我认为这个问题比AI的挑战要复杂得多，我们确实有一些这样的特征，比如巨大的能量和大量的图形处理器。我没有过多地思考这个问题，我会问你我们应该怎么做。我想如果有人告诉我这是个问题，我们应该怎么做，我会打电话给你，所以我们应该怎么做呢？
Patrick：我不知道我是否有一个现成的解决方案。我想说的是，我不确定这有多大的帮助，我们需要更多的一般性可观察性，例如废水测序等等，我们应该无论如何都这样做。你知道，这并不能帮助我们，你知道，防止合成生物学的攻击，我们没有一个巨大的关联数据集，比如人们所感染的病原体，以及随后的纵向健康结果，这就是一个普遍的疯狂事实。
显然，有一些无法计数的传染病类别，人们通常最容易感染，显然，新冠病毒本身就是一个例子。所以我认为我们可以在治疗和疫苗的开发上取得更多的进步。
如果真的证实新冠病毒是人为制造的，我认为我们可以显著提高对那些对已有传染病进行微小修改的实例的保护。显然，让人担忧的类别将是完全新的病原体，那将是一个无穷的搜索空间。然后你需要考虑如何，我是说，有一些有限的方式可以进入细胞，比如受体等等，所以也许你可以用这些来覆盖可能的治疗方式的空间，然后你需要投资更多的剩余生产能力，比我们现有的新疫苗生产能力要多，希望mRNA平台和类似的技术可以让我们更容易拥有通用的生产能力。
但是，从这个长篇的回答中，你可以看出，我不认为有一种灵丹妙药，即使你做了我刚才说的所有事情，你可能还是不够。
Sam：我认为，提高我们的快速响应、治疗和接种能力是一件明显需要做的事情，我本来希望我们现在能有更多的进步。
Patrick：我非常同意这一点，临床试验是限制我们应对新冠病毒的一步。我认为这已经被广泛地报道和评论了，我们在1月份就有了疫苗候选品，之后发生的一些事情显然是生产的扩大，但大部分的时间都是在验证疫苗的效果和安全性。我认为这是整个生物医学领域里最容易采取的方法。
埃兹拉·克莱恩和德里克·汤普森正在写一本书，关于丰富议程的概念。他们认为，很多左翼的观念，是关于自我克制，某种新清教主义的概念。他们认为，为了实现我们所关心的价值，我们需要更多的东西，在许多不同的领域，更多的亨利·亚当斯曲线实现。他们经常指出，许许多各种各样的，出于善意的但却是自我设限的禁止，阻碍了这一过程的实现。从你所参与的各种事情来看，你认为自我设限和限制对实际进展的影响有多大？
Sam：这肯定很重要，但我也认为，有很多人喜欢说，这是唯一的问题，如果我们只能解决许可的问题，我们都会很高兴。我不认为问题就这么简单。
我确实认为，我们需要更多的丰富性，我个人认为，丰富的能源和丰富的智能将是两个非常重要的因素，但也有许多其他的因素。当我们开始能够为世界提供大量的聚变能源时，理解要实现这些目标的过程有多么痛苦，至少可以说是令人沮丧。这迫使我们开始考虑我们可以尽快做的各种奇怪的事情，而不是等待所有的许可过程，将这些能源连接到电网上。在某个国家进行海水淡化，只需要他们的核能机构或其他机构的许可，这比连接到电网要容易得多。
我认为这是一个真正的问题，我认为我们社会对解决这个问题的意愿并不强烈，这使得问题变得更糟。但我不认为这是唯一的问题。
Patrick：如果埃兹拉和德里克采访你，我猜他们应该会这么做，对于这本书，如果他们问你，你认为什么是限制丰富议程的主要病因，你可能会说是什么？
Sam：我认为是社会集体信念，我们实际上可以使未来变得更好。最后，我们对这个问题投入的努力，每一个额外的障碍都会使这些事情更不可能发生。所以你有这样的情况，创办一家新公司真的很难，说服人们这是一件好事也很难，特别是现在，人们对此持怀疑态度。然后你有这样一个监管问题，它需要很多时间，所以也许你甚至不会尝试去做，然后你知道它会更贵，所以就像在从想法到在世界上大规模部署的过程中，每一个阶段都有太多的阻力和疑虑。我认为这使得人们尝试的次数比以前少，或者信念比以前少。
Patrick：当我们第一次见面，大约是15年前，马克·扎克伯格在技术行业中处于领先地位，那时他还在20多岁。不久之前，马丁·斯瑞森在该行业处于领先地位，那时他也还在20多岁。再往前，比尔·盖茨和史蒂夫·乔布斯等人也是如此。总的来说，在软件行业的历史上，20多岁的年轻人一直都是行业的顶尖人物之一。
然而，现在似乎并非如此。当然，20多岁的人中有很多优秀的人……
Sam：但我不确定这个问题是否真的很严重。是的，情况不好，这是一个真正出了问题的地方。关于这个问题，有很多讨论，但是，20多岁的优秀创始人都去哪儿了？
这并不是那么明显。当然，有一些人，我希望我们能看到更多。我希望这只是历史上的一个奇怪巧合。但也许我们的教育体系、社会或者我们对公司以及人们的期望发生了重大变化。我认为这是一个值得关注和研究的问题。
Patrick：我想我们已经到了时间。非常感谢你接受这次采访，也感谢各位，以及Graham的主持。
Sam：谢谢