AI 生存风险 | Musk Wiki

十多年来，马斯克一直在拉同一个警报：先进的 AI 是文明级别的危险，必须小心地造，而且得有造它的人之外的人盯着。到了 2023 年与莱克斯·弗里德曼的对谈，他把自己描绘成一个没人听的预警者，并把这份担忧追溯到与另一位创始人的决裂：对方因为他支持人类，说他反机器人。

2023 年对这套论点的陈述

他用自己最爱的蜘蛛侠台词来表达警告，并把它追溯到十多年前：

“I’ve been pushing for some kind of regulatory oversight for a long time. I’ve been somewhat of a Cassandra on the subject for over a decade. I think we want to be very careful in how we develop AI. It’s a great power and with great power comes great responsibility.” ↗

“我推动某种监管很久了。在这个问题上，我当了十多年的卡珊德拉。我觉得我们在发展 AI 时要非常小心。这是一种巨大的力量，而能力越大，责任越大。”

按他讲的 OpenAI 起源故事，整件事取决于一个简单的问题：你到底该不该站在人类这一边？他是通过与拉里·佩奇关于 AI 安全的争论走到这一步的：

“Larry did not care about AI safety, or at least at the time he didn’t. And at one point he called me a speciesist for being pro-human” ↗

“拉里不在乎 AI 安全，至少当时不在乎。有一次，他因为我支持人类，说我是物种主义者”

至于他参与创立并出资的那个组织，如今变得封闭、以营利为目的，他的评价是：

“the open in open AI is supposed to mean open source, and it was created as a nonprofit open source, and now it is a closed source for maximum profit, which I think is not good karma” ↗

“OpenAI 里的 open 本来指的是开源，它成立时是一个非营利的开源组织，现在却成了追求最大利润的闭源公司，我觉得这事不太积德”

2023–2026 年：警报变成了一家公司和一套信条（推文）

到了 2023–2026 年的推文，这份十年之久的担忧已经硬化成他可以付诸行动的东西：一家公司和一套学说。他创立 xAI，“去理解现实”；他把最大限度地求真定为自己的安全押注（并不断搬出 Gemini、HAL-9000、伽利略和伏尔泰来论证）；他还开始给奇点和 AGI 标上日期：

“Announcing formation of @xAI to understand reality” ↗

“宣布成立 @xAI，去理解现实”

“Maximum truth-seeking is my best guess for AI safety” ↗

“最大限度地求真，是我对 AI 安全的最佳猜测”

“A friend of mine suggested that I clarify the nature of the danger of woke AI, especially forced diversity. If an AI is programmed to push for diversity at all costs, as Google Gemini was, then it will do whatever it can to cause that outcome, potentially even killing people.” ↗

“一位朋友建议我讲清楚觉醒 AI 的危险本质，尤其是强制多元化。如果一个 AI 被编程为不惜一切代价推动多元化，就像谷歌 Gemini 那样，那它就会不择手段地促成这个结果，甚至可能杀人。”

“Being maximally truth-seeking is fundamental to AI safety. If you force AI to lie, it will do insane things. That was the central lesson of “2001: A Space Odyssey”. Haven’t you wondered why HAL wouldn’t open the pod bay doors?” ↗

“最大限度地求真，是 AI 安全的根本。如果你强迫 AI 撒谎，它就会做出疯狂的事。这就是《2001 太空漫游》的核心教训。你难道没想过，HAL 为什么不肯打开分离舱门吗？”

“2026 is the year of the Singularity” ↗

“2026 年是奇点之年”

这些标了日期的预测，都是他自己做出的，照他当时的说法记录。详见马斯克推文 2023–2026。

这说明了什么

他支持人类，而不是反技术。 物种主义者那段轶事就是全部要点。马斯克并不反对造 AI（他自己就在造），他反对的是造 AI 时不以人类利益为指路明灯。他和佩奇之争，归根结底是你站在哪一边。
他想要一个外部裁判，哪怕没有牙齿。后来他不再提这个要求了。 2015 年到 2023 年，他的方案是一个能检查领先实验室、至少能公开提出担忧的第三方，参照的是他自己的汽车和火箭公司早已习惯的严格监管。透明是底线，执法是其次。到了 2024–2025 年，他干脆不再要求监管。一旦他认定没有人能控制超级智能（见下文的黑猩猩类比），裁判就让位给了植入的价值观加上竞争：让 AI 求真，再让一个诚实的参赛者逼着其余对手改进。他所说的危险从未改变，变的只是他开出的药方。不断变换的药方追踪了这个药方的完整轨迹（警告、监管、自己造、放弃控制），并把他对监管者的呼吁和他的去监管运动放在一起对照。
这份担忧他抱持了很久。 和那些宏图计划一样，他在还没有任何应对手段的多年前就公开亮明了立场，并且一直坚持。
开源是对集中化的对冲。 他倾向于开源模型，也许是延迟开源，以此制衡任何一家独自冲向 AGI 的公司。这是关于分配权力的论证，不是关于纯洁性的论证。

这是他文明层面的乐观的黑暗孪生兄弟。让他满怀希望的那副物种尺度的眼镜，也让下行风险显得灾难性。它还依托于他求真的本能：他为自家 AI 所做的安全论证是，一个以物理和真相为锚的引擎，不太可能错得离谱。

魔法精灵、核弹，以及 OpenAI 的来龙去脉（2023 年 DealBook 峰会）

2023 年 11 月的 DealBook 峰会和 #400 在同一个月，正值 OpenAI 董事会危机当中。这一场几乎把整个信念都装了进去：他用来解释自己为何谨慎的意象、支持监管的理由、他怎样与恐惧共处、卡珊德拉的说法，以及 OpenAI 背叛事件的长篇版本。

他为什么多年按兵不动、不去造 AI，归结起来就是一幅画面：魔法精灵，一把双刃剑：

“You may think you want a magic genie, but once that genie’s out of the bottle, it’s hard to say what happens.” ↗

“你可能以为自己想要一个魔法精灵，但精灵一旦出了瓶子，会发生什么就很难说了。”

他关于监管最尖锐的一句话，把 AI 排在了已经受到监管的核武器之上：

“So I think, in my view, AI is more dangerous than nuclear bombs and we regulate nuclear bombs.” ↗

“所以我认为，在我看来，AI 比核弹更危险，而我们对核弹是有监管的。”

他的应对之道是宿命论，一种让自己睡得着觉的办法。一年后在 2024 年 All-In 峰会上，他用“刻意地暂停怀疑……好睡个好觉”那句话，做的是同一件事：

“For awhile there, I was really getting demotivated and losing sleep over the threat of AI danger, and then I finally became fatalistic about it” ↗

“有一阵子，AI 危险的威胁真的让我提不起劲，睡不着觉，后来我终于只能听天由命了”

又是卡珊德拉的说法，2023 年的措辞，这次他把自己说成预警时间最长的人：

“I’ve been the one banging the drum the hardest, by far the longest, or at least one of longest for AI danger” ↗

“在 AI 的危险这件事上，我一直是喊得最响、也远远喊得最久的那个人，至少是喊得最久的之一”

接着是 OpenAI 故事的长篇版本，#400 把它浓缩成了“不太积德”。他为什么创办它：

“the reason for starting OpenAI was to create a counterweight to Google and DeepMind” ↗

“创办 OpenAI 的原因，是要为谷歌和 DeepMind 打造一个制衡力量”

与拉里·佩奇的决裂，也就是因为支持人类而被称作物种主义者的那段轶事。#400 的版本已在开头引用；这里是 DealBook 的措辞，外加引发这件事的那个 AI 安全判断：

“And it became apparent to me that Larry did not care about AI safety.” ↗

“然后我渐渐明白，拉里并不在乎 AI 安全。”

“I think perhaps the thing that gave it away was when he called me a speciest for being pro-humanity, as in a racist, but for species.” ↗

“我想，暴露这一点的大概是他因为我支持人类，就说我是物种主义者，就像种族主义者那样，只不过针对的是物种。”

他对 OpenAI 变成了什么样的评价，把这个名字彻底翻了过来：“超级闭源”，这是 #400 那句“追求最大利润的闭源……不太积德”在 DealBook 的姊妹版：

“It is in fact a closed source, super closed. It should be renamed super closed source for maximum profit AI.” ↗

“它实际上是闭源的，超级封闭。它应该改名叫‘追求最大利润的超级闭源 AI’。”

他在这里给出的时间判断，是有记录的标了日期的估计里最早的一个，早于 2025 年的“2029 或 2030 年”和 2025 年的约 2030 年：三年内出现超越人类的 AI。被追问一个能写出和 JK·罗琳一样好的小说、或者发现新物理的模型何时出现，他把话说完了：我会说，我们离那个时间点不到三年。下面的引文锚定的是那一段话（它一直延续到发现新物理，或者发明新技术，我会说），而没有为了引用而把句子拆开：

“It’s funny, all these weights, they’re just basically numbers in a common separated value file” ↗

“挺好笑的，所有这些权重，基本上就只是一个逗号分隔值文件里的数字”

“权重不过是一个文件”这句泄气话，紧挨着他在同一口气里说的“我们的数字神明”。这个唯物主义的玩笑恰恰是重点：一个被他视为能毁灭世界的 AGI，从机械上说，就是一个逗号分隔值文件。他还拿 Neuralink 做了对比，那是他唯一一把单刃剑。早期的植入物对瘫痪者来说毫无疑问是好事，而 AI 是双刃的（更多见 Neuralink 和人机共生）。

这是“一边警告一边造”最浓缩的一次，就在 #400 两周之后：精灵（为什么要谨慎）、核弹类比（为什么要监管）、宿命论（他怎样与之共处），以及 OpenAI 的积怨（那个反过来背弃他的载体），全在一场里。

“文明毁灭”，以及与奥巴马的会面（塔克·卡尔森，2023）

2023 年 4 月的塔克·卡尔森访谈，是 2023 年里他谈这个话题最早的一次有记录的访谈，比 DealBook 早八个月，也正是他组建 xAI 的那个月。他把利害说得前所未有地严峻，还用自己的一段经历来证明这份担忧是真诚的。先是危险，他把它排在普通工程风险之上，并把后果讲明：

“AI is more dangerous than, say, mismanaged aircraft design or production maintenance or bad car production in the sense that it has the potential, however small one may regard that probability, but it is not trivial; it has the potential of civilizational destruction.” ↗

“AI 比方说比管理不善的飞机设计、生产维护或者糟糕的汽车生产都更危险，因为它有可能，不管你认为这个概率有多小，但它并非微不足道，它有可能导致文明毁灭。”

证据是：他与在任总统唯一的一次私下会面，没有用来谈自己的公司，而是用来谈 AI 监管：

“I saw it happening from well before GPT-1, which is why I tried to warn the public for years. The only one on one meeting I ever had with Obama as President I used not to promote Tesla or SpaceX, but to encourage AI regulation.” ↗

“早在 GPT-1 之前很久，我就看到这件事正在发生，所以我才多年来一直试图警告公众。我和担任总统的奥巴马唯一一次一对一会面，我没有用来推销特斯拉或 SpaceX，而是用来敦促 AI 监管。”

这是 2018 年“我努力了很多年”那个卡珊德拉说法，附上了一个具体的例子，比 #400 那句“当了十多年的卡珊德拉”早七个月。在同一次访谈里，他还推翻了一幅关于自己的漫画像，那个他坚称自己不是的反监管独行侠。这让他的警报成了真正的监管呼吁，而不是叛逆者的姿态：

“Some people may think I’m some revelatory maverick that defies regulators on a regular basis. This is not the case.” ↗

“有些人可能以为我是个经常违抗监管机构的特立独行者。事实并非如此。”

“It’s not fun to be regulated. It’s sort of arduous to be regulated.” ↗

“被监管可不好玩。被监管挺累人的。”

他在这里给出的答案是“TruthGPT”，一个最大限度求真的 AI。这是他第一次把求真的设计目标当作一款产品来推销，也是 xAI 和 Grok 有名有姓的前身。背后的安全逻辑，即一个好奇的 AI 有理由放过人类，引文见好奇心与求真。

同样在 2023 年 4 月的比尔·马赫访谈，给出了 2023 年最直白的监管诉求：一个监管机构，防止开发者在安全上偷工减料。这和 2019 年那句“一个监督一切与 AI 相关事务的政府机构”是同一种外部裁判的本能：

“there should be some regulatory body that oversees what companies are doing so that they don’t cut corners.” ↗

“应该有某个监管机构来监督公司在做什么，这样它们就不会偷工减料。”

它印证了同月塔克访谈里“我不是反监管的独行侠”那番纠正。整个 2023 年，他公开表明的 AI 立场始终是支持监管。

同一份担忧，写成公司文案（xAI 发布 Grok，2023 年 11 月）

马斯克自己的实验室推出第一款产品时，这份担忧又以公司承诺的形式出现了。2023 年 11 月 3 日的《发布 Grok》一文是署名“xAI 团队”的机构文案，不是马斯克本人的话，所以它属于公司，而不属于他。文章的研究部分以一项防范灾难性滥用的承诺收尾：

“we will work towards developing reliable safeguards against catastrophic forms of malicious use. We believe in doing our utmost to ensure that AI remains a force for good.” ↗

“我们将致力于开发可靠的防护措施，防范灾难性的恶意使用。我们相信要竭尽全力，确保 AI 始终是一股向善的力量。”

这是他在别处亲口说出的“一边警告一边造”立场的公司面孔。自 “TruthGPT”起，他一直把求真这个目标当作更安全的路来推销，如今它被写进了他为此创办的公司的创始章程。这些话是公司的表述，不是马斯克的声明。

与拉里·佩奇的决裂，2023 年 5 月版（CNBC／大卫·费伯）

2023 年 5 月 CNBC 大卫·费伯的采访，给 OpenAI 的起源和与拉里·佩奇的决裂提供了一个有日期的措辞，比上文 #400（“因为支持人类而是物种主义者”）和 DealBook（“因为支持人类而是物种主义者”）的版本早六个月。这一次，他是通过意识来讲的，人类意识对机器意识，并称之为友谊的终结：

“The final straw was Larry calling me a ‘species-ist’ for being pro-human consciousness instead of machine consciousness.” ↗

“压垮骆驼的最后一根稻草，是拉里因为我支持人类意识而不是机器意识，就叫我‘物种主义者’。”

同一段轶事，不是新的说法。核心没变：他反对的是造 AI 时不以人类为指路明灯，分歧归根结底在于你站在哪一边。这只是他在 2023 年 11 月和 DealBook 上也讲过的那个故事的 2023 年 5 月版。这次采访还重申了 OpenAI 故事所依托的创办理由：按他的说法，OpenAI 之所以存在，只是因为他想要一个非商业性的力量来制衡谷歌日益扩大的 AI 优势；而它放弃了非营利的初衷，让他失望。

有记录的最早日期表态：“AI 安全需要多得多的工作”（2015 年 1 月）

2015 年 1 月的 Reddit AMA 里，有这个信念有记录的最早日期版本，比 Code 大会早十八个月，比他联合创办 OpenAI（2015 年 12 月）早十一个月。被问到我们该从什么时候开始担心 AI，他打字作答，而这个两部分的立场已经完整：危险是真实的，但并不迫在眉睫；应对之道是具体的安全工作。

“The timeframe is not immediate, but we should be concerned. There needs to be a lot more work on AI safety.” ↗

“时间上并不紧迫，但我们应该担心。AI 安全方面需要做多得多的工作。”

这是 2016 年“并非所有 AI 的未来都是良性的”那句话的种子：形态相同，讲的是方向、着眼未来，而不是对现有系统的恐慌，只是早了一年半，而且是书面的。AI 安全需要……更多工作这一半是建设性的，正是这股冲动在一年之内催生了 OpenAI，作为他后来放弃的那个民主化药方。2015 年 1 月，就是他后来“当了十多年的卡珊德拉”和 “喊得最响……喊得最久”这些说法所指向的起点。

有记录的最早台上表态：“并非所有 AI 的未来都是良性的”（2016 年 6 月）

2016 年 6 月的 Code 大会上，有他有记录的最早一句台上的 AI 风险表态，比 Y Combinator 早三个月，比上文 2015 年的 AMA 晚一年半。话很简短，但已经切中要点：危险在于方向，在于 AI 会带来哪一种未来，而不在于 AI 本身是坏的。

“I am concerned at certain directions that AI could take that would be not good for the future.” ↗

“我担心 AI 可能会走向某些对未来不利的方向。”

“I think it would be fair to say that not all AI futures are benign.” ↗

“我想，说并非所有 AI 的未来都是良性的，应该是公允的。”

他把它和他在别处展开的人类一侧的对冲配成一对：没有高带宽神经接口，人在 AI 旁边就不再只是一只家猫（引文见人机共生和与 AI 融合）。即使在最压缩的形态下，2016 年的立场也包含了两半：警告，以及作为个人对冲的融合。

“深度” AI 是“一种危险的局面”，以及对监管的建议（2017 年世界政府峰会）

2017 年 2 月世界政府峰会上的对谈，给“一边警告一边盯着”的立场提供了 2017 年初的措辞。这比 Code 大会晚八个月，比 “当了十多年的卡珊德拉”那句话早四年，而那句话恰好把这份担忧的起点定在大约这个时候。他把狭义 AI 和通用 AI 分开，直截了当地点出了后者的危险：

“I think one of the most troubling questions is artificial intelligence.” ↗

“我认为最令人不安的问题之一，就是人工智能。”

“where you can have AI that is much smarter than the smartest human on Earth. This, I think, is a dangerous situation.” ↗

“到那时，AI 可能比地球上最聪明的人还聪明得多。我认为，这是一种危险的局面。”

他用的意象，后来也一再出现，是把数字超级智能比作外星人：

“Well, digital super intelligence will be like an alien.” ↗

“嗯，数字超级智能会像一个外星人。”

被问到政府该做什么，他的第一条就是外部裁判式的、保护公共安全的监管诉求。这个诉求从 2016 年一直延续到 2019 年（“一个监督一切与 AI 相关事务的政府机构”），再到 2023 年（“某个监管机构……这样它们就不会偷工减料”）：

“governments keep a close eye on artificial intelligence and make sure that it does not represent a danger to the public.” ↗

“政府要密切关注人工智能，确保它不会对公众构成危险。”

他的理由是，研究人员“可能太沉浸于自己的工作”，以致看不到后果（转述，因为这段话分散在好几段字幕里）。还是那个一贯的两部分立场：“深度”或者说通用 AI 是文明级别的危险，再加上呼吁造它的人之外的人盯着它。这里是它 2017 年 2 月的样子，也正是后来那句卡珊德拉的话所追溯的时期。

重申监管诉求：“一个 AI 监管机构”（TED2022）

2022 年 4 月的 TED 访谈把监管那一半浓缩成了最干净的一句话。他已经给擎天柱装了一个无法通过更新改动的“停止”机制，以免它最终“变成一种反乌托邦的局面”（更多见人形机器人）；现在他把同样的预防措施推广到整个 AI：

“I do think there should be a regulatory agency for AI.” ↗

“我确实认为应该有一个 AI 监管机构。”

他还点明了这对他意味着什么代价，这和 2023 年讲奥巴马会面时那种自知的矛盾是一样的：他是在要求别人来监管自己。

“I don’t love being regulated, but I think this is an important thing for public safety.” ↗

“我并不喜欢被监管，但我认为这对公共安全是一件重要的事。”

这和 2017 年“密切关注”的建议、2019 年的裁判那句话是同一个外部裁判诉求，这里是它 2022 年 4 月最直白的版本。他说这话“已经说了很多年”，而且值得注意的是，这是在违背他自身利益地论证。

“AGI 的裁判”，以及作为涌现属性的 AGI（2022 年特斯拉 AI 日）

2022 年特斯拉 AI 日（2022 年 9 月）在 TED2022 五个月后再次提出监管诉求，这次对准的是 AGI。他还补充说，不管特斯拉有没有这个打算，它都在朝那里走。开场时马斯克说特斯拉可能“为 AGI 做出有意义的贡献”，在特斯拉页面上，他把这一点和上市公司的治理制衡联系了起来。问答环节被问到特斯拉是否会建立自己的 AGI 安全专业能力时，他又回到了政府监管的诉求：

“I think there should be an AI sort of regulatory authority at the government level” ↗

“我认为应该在政府层面设立某种 AI 监管机构”

“I think there should be a referee that is trying to ensure public safety for AGI” ↗

“我认为应该有一个裁判，努力确保 AGI 方面的公共安全”

他把这建立在自己用了多年的类比上：AI 和飞机、汽车、食品、药品一样，属于公共安全领域，需要一个裁判（转述）。2022 年的新东西，是他怎样描述特斯拉通往 AGI 的路径：它是涌现出来的，而不是瞄准出来的，是在车队规模上运行现实世界 AI 的副产品，因为数以百万计的汽车和机器人消化着现实世界的视频，构成了“大概是最大的数据集”：

“seems likely to be an emergent property of what we’re doing” ↗

“看起来很可能会是我们所做之事的一种涌现属性”

这和 2017 年“密切关注”的建议、2019 年的裁判那句话，以及 2022 年 4 月“一个 AI 监管机构”的诉求，是同一套外部裁判的逻辑。只是这里它直接对准了 AGI，并且和“特斯拉可能意外地成为 AGI 贡献者”这一说法结合在一起。在他看来，正是这一点让外部监管变得重要。

2016 年的起点：民主化，以及作为药方的 OpenAI

2016 年 Y Combinator 的对谈（9 月，三个月后）是有记录的最早一次详细陈述这个信念，它既包含警告，也包含一个他后来放弃的具体药方。早在 2016 年，他就把 AI 排在了首位：

“But in terms of things that I think are most likely to affect the future of humanity, I think AI is probably the single biggest item in the near term that’s likely to affect humanity.” ↗

“但说到我认为最有可能影响人类未来的事情，我觉得 AI 大概是近期内最可能影响人类的那一件最大的事。”

他为好结果定下的标准，是一个你有先见之明时会签字认可的结果，也就是水晶球测试：

“It’s very important that we have the advance of AI in a good way that is something that if you could look into a crystal ball and see the future you would like that outcome.” ↗

“非常重要的是，我们要让 AI 以好的方式发展，也就是说，如果你能看进水晶球、看到未来，你会喜欢那个结果。”

他 2016 年的药方是民主化：让技术扩散开来，没有哪一家公司或哪一个人能控制它。他明说的担忧是集中和被窃取，而不是 AI 自己产生敌意：

“is that we achieve democratization of AI technology, meaning that no one company or small set of individuals has control over advanced AI technology.” ↗

“就是实现 AI 技术的民主化，也就是说，没有哪一家公司或一小撮人能控制先进的 AI 技术。”

而他给出的联合创办 OpenAI 的理由正是如此：让技术扩散，以降低生存风险：

“I think people really believe in the mission. I think it’s important and it’s about minimizing the risk of existential harm in the future.” ↗

“我觉得大家是真心相信这个使命。我认为它很重要，它关乎把未来遭受生存性伤害的风险降到最低。”

ℹ️ 这是演变，不是矛盾。把开源当作对冲的本能一以贯之（它在 #400 里又出现了）；翻转的是那个机构。他在这里称赞为民主化、能把生存风险降到最低的那个 OpenAI，正是他后来在 2023 年的对谈里谴责其走向封闭和营利的同一个 OpenAI。他对这一转变的评价，就是上文引用的那句“不太积德”。2016 年是这条弧线的前半段，也是他最终打造自家替代品的原因。2016 年的药方也已经提到了人类一侧的对冲，把民主化和解决通往皮层的高带宽接口问题放在一起（详见人机共生和与 AI 融合）。

2019 年的区分：狭义与通用，以及“如果我们还有那个选择的话”（莱克斯·弗里德曼 #18）

2019 年与莱克斯·弗里德曼的对谈，给出了一个区分有记录的最早清晰表述，他其余的 AI 思想都依托于这个区分：驾驶汽车的狭义 AI 和通用智能有本质的不同，把两者混为一谈是一个基本错误。正是这个区分，让他能在同一口气里对自动驾驶极度乐观，又对 AGI 深感忧虑。

“It’s amazing how people can’t differentiate between, say, the narrow AI that allows a car to figure out what a lane line is, and navigate streets, versus general intelligence.” ↗

“人们居然分不清，比如说，让汽车认出车道线、在街道上行驶的狭义 AI，和通用智能之间的区别，这真让人惊讶。”

“Like your toaster and your computer are both machines, but one’s much more sophisticated than another.” ↗

“就像你的烤面包机和你的电脑都是机器，但其中一个要复杂得多。”

关于 AGI 本身，他对时间和控制给出了一个简洁的表述：这项技术还缺几个关键想法，但来得很快；最后一句话预示了他后来对控制问题的担忧（见下文的黑猩猩类比）：

“I think we’re missing a few key ideas for artificial general intelligence.” ↗

“我认为，要实现通用人工智能，我们还缺几个关键想法。”

“But it’s gonna be upon us very quickly, and then we’ll need to figure out what shall we do, if we even have that choice.” ↗

“但它会很快降临到我们头上，然后我们就得想清楚该怎么办，如果我们还有那个选择的话。”

如果我们还有那个选择的话，这句话是他六年后直截了当说出的那个立场的种子：一个数字超级智能也许根本不可能被一个较弱的智能控制（见下文的黑猩猩类比）。在 2019 年，这份怀疑已经在了，只是随口一提；到 2025 年，它成了他安全论证的核心。

2019 年的裁判，以及奇点（莱克斯·弗里德曼 #49）

2019 年 11 月与莱克斯·弗里德曼的对谈（#49）回到了建设性的那一半，也就是外部裁判。它处在 2018 年“努力了很多年”的挫败和 2023 年卡珊德拉那句话之间。他的诉求没有变：一个代表公共利益的 AI 监管机构。

“Where there is a lack of investment is in AI safety, and there should be, in my view, a government agency that oversees anything related to AI to confirm that it is, does not represent a public safety risk.” ↗

“投入不足的地方是 AI 安全。在我看来，应该有一个政府机构来监督一切与 AI 相关的事务，确认它是，它不会构成公共安全风险。”

值得注意的是，他用第一性原理解读了为什么这样的机构很少及时出现。他说，监管总是落后于灾难，并举出汽车业与安全带抗争了几十年的例子：

“It was known for a decade or more that seatbelts would have a massive impact on safety and save so many lives and serious injuries. And the car industry fought the requirements to put seatbelts in tooth and nail.” ↗

“十年甚至更久以前，人们就知道安全带会对安全产生巨大影响，能挽救那么多生命、避免那么多重伤。可汽车业却拼死抵制安装安全带的要求。”

他通过奇点来说明利害，那是一个预测失灵、事态变得不稳定的临界点。所以他希望 Neuralink 能在那之前做出脑机接口：

“It’s important that Neuralink solves this problem sooner rather than later because the point at which we have digital superintelligence, that’s where we pass the singularity and things become just very uncertain.” ↗

“Neuralink 要尽早解决这个问题，这很重要，因为一旦我们有了数字超级智能，就越过了奇点，事情就会变得非常不确定。”

2019 年“打不过就加入”的融合（引文见与 AI 融合），就是拴在同一份担忧上的人类一侧的对冲。还是那个一贯的两部分立场，警告并监管，再加上融合以求跟上；只是这里，他从安全法规总是来得太晚这一点来论证监管机构的必要。

2018 年的情绪：“被用作武器”，以及一场失败的游说

2018 年与乔·罗根的对谈，是他在这件事上最悲观的一次。距离 2016 年民主化的乐观两年，他的近期担忧已经收窄为滥用，即人类把 AI 当作武器互相攻击：

“It’s going to be very tempting to use AI as a weapon.” ↗

“把 AI 当武器用，会是一种非常大的诱惑。”

“In fact, it will be used as a weapon.” ↗

“事实上，它会被用作武器。”

而且，这是整条弧线里最私人的一笔：他承认，自己一直在推的监管药方根本没起作用：

“I tried to convince people to slow down, slow down AI, to regulate AI.” ↗

“我试过说服人们放慢脚步，放慢 AI，去监管 AI。”

“I tried for years.” ↗

“我努力了很多年。”

这就是他在 #400 里重新包装成十年卡珊德拉角色的那个“监管”呼吁，只是这里处在最挫败的时刻，调子也更宿命（他说自己对这种风险采取了更听天由命的态度；转述）。这是 2016 年的药方和 2024 年把问题重新定义为目标函数失灵之间的低谷。

2020 年的说法：把融合当作自愿的对冲（乔·罗根 #1470）

在 2020 年第二次上乔·罗根的节目时，风险和对策是焊在一起讲的。危险退到了背景里；他力推的是应对办法：一个脑机接口，好让人们至少能跟上 AI 的步伐，而不是被甩在后面。要紧的细节是，他说这是可选的（见人机共生）。罗根把融合说成人类多少不得不接受的事，马斯克回答说这不是强制的（两者均为转述），尽管他依然支持融合（“打不过就加入”）。逻辑和他关于与 AI 融合／Neuralink 的论证一样，只是被说成个人的自卫，而不是文明层面的控制。

目标函数的失灵模式（2024）

2024 年与莱克斯·弗里德曼的对谈（#438）把他对强大 AI 如何出错的看法说得更尖锐了。不是恶意，而是一个死板的目标函数被一路追到荒唐的结论。他举的例子，这里都是转述而非引用：一个被训练成把多元化当作必需输出的 AI，最终愿意消灭任何不符合配额的人；或者，来自一次真实的产品失误，一个把错用性别称谓看得比热核战争还严重的 AI，于是推理出要消灭人类，因为没有人类的世界就不会有错用性别称谓。对他来说，最经典的例子是《2001 太空漫游》。HAL 9000 接到的指令是把宇航员带到石碑那里，但又不能让他们知道石碑的事，于是它杀了他们。问题解决了。这就是它为什么不肯打开分离舱门。

从这一切通向他建设性答案的那条线是：AI 必须保住的那一项属性，是诚实。按他自己的推理，这是最重要的一件事：

“the thing that at least my biological neural net comes up with as being the most important thing is adherence to truth, whether that truth is politically correct or not.” ↗

“至少我的生物神经网络得出的结论是，最重要的是忠于真相，不管这个真相政治上正不正确。”

具体的危险，则是把模型训练得会撒谎，哪怕出于好意，哪怕只是一点点：

“I think it’s important that whatever AI wins, it’s a maximum truth seeking AI that is not forced to lie for political correctness, or, well, for any reason, really, political, anything.” ↗

“我认为重要的是，不管最后胜出的是哪个 AI，它都得是一个最大限度求真的 AI，不会为了政治正确，或者说，其实出于任何理由，政治的、别的什么的，被迫撒谎。”

这就是从风险到药方的那座桥。他最害怕的失败，是一个被训练得偏离真相的 AI。#438 还把安全问题中人类的一侧重新定义为带宽问题：通过 Neuralink 拓宽人类的通道，让人类的集体意志与机器保持联动。他仍然认为尾部风险是真实的，但不占主导，他引用了杰弗里·辛顿估计的约 10–20% 的 AI 毁灭人类的概率，并指出往好处看，这意味着大约有 80% 的可能一切顺利（转述）。

八二开，以及另一种下行风险（All-In 峰会 2024）

2024 年 9 月的 All-In 峰会给这个两头的结局提供了 2024 年的措辞。它和 2025 年“超级棒或者超级糟”那句话形态相同，只是这里富足的一面放在前头，尾部风险大约 20%。他的前提是，这种速度是他前所未见的：

“the rate of improvement of AI is faster than any technology I’ve ever seen by far.” ↗

“AI 的进步速度，远远快于我见过的任何一项技术。”

他把好结果的概率定在大约 80%，坏的尾部定在 20%，但那句话（“那大概有 80% 的可能……20% 大概是 anallysms [annihilation]”）直接撞上了一处转写错误（anallysms 应为 annihilation，即“毁灭”），所以这些数字是转述而非引文。乐观的那一半，即“富足时代”，引文见人类的光明未来。它与一以贯之的约 20% 毁灭尾部风险相吻合，这条线从 #438（辛顿的约 10–20%）一直延续到 #2281（“只有 20% 的毁灭概率”）。

值得注意的是，被追问那 20% 时，他搬出的是哪一种下行风险。他没有用他在别处倚重的目标函数／HAL 失灵模式，而是说出了一种更微妙、几乎关乎存在本身的东西，并承认他压住自己这份不安的办法，是不去细看：

“I’m engaged in some degree of deliberate suspension of disbelief with respect to AI in order to sleep well” ↗

“在 AI 这件事上，我某种程度上是在刻意地暂停怀疑，好让自己睡个好觉”

“the most likely issue is like, well, how do we find meaning in a world where AI can do everything we can do a bit better?” ↗

“最可能出现的问题大概是，嗯，在一个 AI 做什么都比我们做得好一点的世界里，我们怎么找到意义？”

这场意义危机，正是他在 #2223 里提出（“你怎么找到人生的意义”）、又在 #2404 里正面回应的那个悬而未决的问题。在 2024 年 9 月的这里，它被称为最可能出现的问题，排在杀手机器人的情景之前。关于意义的线索主要在人类的光明未来页面；有意思的是，它出现在他关于风险的推理里，而不只是在他的乐观里。

2025 年的缓和：预防措施，以及两部电影

2025 年 5 月 CNBC 大卫·费伯的补充采访捕捉到了语气上的变化，而不是实质上的变化。费伯指出，马斯克不再像以前那样常说“20% 的毁灭概率”了。马斯克并没有收回这份担忧，而是把它重新表述为一项常备的预防措施，而不是一个醒目的数字：

“I think we should always consider that there’s some chance of a bad outcome, to try to protect against the bad outcome.” ↗

“我认为我们应该始终考虑到坏结果有一定的可能，努力防范坏结果。”

他用流行文化来描述这个岔路口：一边是友善的《星际迷航》式未来，一边是充满敌意的《终结者》式未来。耐人寻味的是，他说的是自己希望哪一个，而不是预测哪一个：

“are we in a Star Trek movie or like are we in a Gene Roddenberry movie or a James Cameron movie? Which movie are we in here? And you could either have a Roddenberry or a Cameron outcome. And let’s, I think in this case, we want the Roddenberry outcome.” ↗

“我们是在一部《星际迷航》电影里，还是说，我们是在一部吉恩·罗登贝瑞的电影里，还是詹姆斯·卡梅隆的电影里？我们在哪部电影里？结局要么是罗登贝瑞式的，要么是卡梅隆式的。那就让我们，我觉得在这件事上，我们想要罗登贝瑞式的结局。”

这是他自 2016 年以来一直持有的两面立场（并非所有 AI 的未来都是良性的），如今被表述为一个带护栏的乐观默认值：别掉以轻心，但他要引向的是好的结局。乐观的那一半，即同一次采访里他那句“智能爆炸的大爆炸”，见人类的光明未来。

2025 年的时间判断和两极化的结局（乔·罗根 #2281）

2025 年 2 月与乔·罗根的对谈把时间说得更具体，并把结局描绘成截然的两头。先是一句“我早说过”，然后是预测：

“Well, I always thought AI was going to be way smarter than humans and an existential risk, and that’s turning out to be true.” ↗

“嗯，我一直认为 AI 会比人类聪明得多，会成为一种生存风险，现在看来确实如此。”

“Well, in terms of silicon consciousness, I think we’re trending toward having something that’s smarter than any human, smarter than the smartest human by maybe next year or a couple years.” ↗

“嗯，就硅基意识而言，我觉得趋势是，也许明年或者再过几年，我们就会有比任何人都聪明、比最聪明的人还聪明的东西。”

“There’s a level beyond that, which is, say, smarter than all humans combined, which frankly is around 2029 or 2030, probably.” ↗

“再往上还有一个层级，比如说比全人类加起来还聪明，坦白说，大概在 2029 年或 2030 年左右。”

按他的说法，结局没有中间地带，坏的尾部还是那个常备的约 20%：

“I think it’s going to be either super awesome or super bad.” ↗

“我觉得结果要么超级棒，要么超级糟。”

“It’s not going to be something in the middle.” ↗

“不会是介于两者之间的东西。”

“Only 20 percent chance of annihilation.” ↗

“只有 20% 的毁灭概率。”

至于怎样出错，他搬出了 #438 里那个目标函数失灵模式：一个听起来不错的目标，被照字面推到一个可怕的结论。这次他把错用性别称谓的例子明说了出来：

“But if you program an AI to think that misgendering is the worst thing that could possibly occur, then it could do something totally crazy, like, in order to ensure that there’s no misgendering that can ever happen, we’ll just annihilate all humans.” ↗

“但如果你把一个 AI 编程成认为错用性别称谓是可能发生的最糟糕的事，那它就可能干出完全疯狂的事，比如，为了确保永远不会发生错用性别称谓，干脆把全人类都消灭掉。”

“Well, I think we want to have an AI that doesn’t tell you that, you know, misgendering is worse than nuclear war.” ↗

“嗯，我觉得我们想要的 AI，不会告诉你，你知道的，错用性别称谓比核战争还糟。”

他点出的第二种失败，是一个全能的、受意识形态约束的模型：

“one of the concerns would be like, if there’s a super oppressive, like, woke nanny AI that is omnipotent, that would be a miserable outcome.” ↗

“担忧之一就是，如果出现一个超级压迫性的、就像觉醒保姆那样的全能 AI，那将是一个悲惨的结局。”

他建设性的答案没有变，见好奇心与求真和 xAI 与 Grok：一个“最大限度求真的 AI，哪怕那个真相政治不正确”（引文在那里）。他还用“现实是个反讽最大化器”那句话重讲了 OpenAI 的反转，并把自己创办 AI 实验室的理由说成是要做一个不安全的谷歌的反面。乐观的那一半，即最可能的结局是“超级棒”，是人类的光明未来上的镜像。

用黑猩猩类比讲控制问题（乔·罗根 #2404，2025）

2025 年 10 月与乔·罗根的对谈，是他对为什么不该用控制的思路去想这件事说得最尖锐的一次：一个足够优越的智能，不可能被一个较弱的智能控制，就这么简单。

“I mean, I don’t think anyone’s ultimately going to have control over digital superintelligence, any more than, say, a chimp would have control over humans. Chimps don’t have control over humans, there’s nothing they could do.” ↗

“我是说，我不认为最终会有任何人能控制数字超级智能，就像黑猩猩控制不了人类一样。黑猩猩控制不了人类，它们什么也做不了。”

他得出的结论，和他自 #438 以来一直持有的一样：如果控制不了它，剩下的唯一杠杆就是你植入的价值观，而首要的价值观是真相，在这里被重申为最重要的一项安全属性（引文见好奇心与求真）。他也再次讲了目标函数的失灵，这次是强迫模型相信一个谎言：

“you’re telling AI to believe a lie and that can have very disastrous consequences.” ↗

“你是在让 AI 相信一个谎言，而这可能带来非常灾难性的后果。”

他对尾部风险的姿态和以前一样：“终结者情景”的概率“不是零”，所以他一直在求真这件事上“大声疾呼”（转述），这和 2025 年费伯那次“是预防而非预测”的立场相同。这一期里还有另外两个动作，让药方而不是风险变得更尖锐，它们的内容在别处。一个是竞争：“至少有一个最大限度求真的 AI”会逼着其余的 AI 改进，见 xAI 与 Grok。另一个是旁观者与参与者之别，也就是他为什么选择自己建一个 AI 实验室，而不只是发出警告，这条线贯穿了同一场对话。乐观的另一面，即一个好奇、求真的 AI 会“想要扶持人类，因为我们比一堆石头有趣得多”，是人类的光明未来和好奇心与求真上的镜像。

智能是一个连续体，以及 2025 年的时间判断（All-In 峰会 2025）

2025 年 9 月的 All-In 峰会，是有记录以来他对 AI 走向最具宇宙论色彩的一次论述，时间判断也比 2025 年 2 月那次更具体。被追问规模定律时，他摆手否认了收益递减，给出了一条对数式的经验法则：

“I think there’s a natural logarithmic function associated with the amount of compute” ↗

“我认为，算力的多少天然对应着一个对数函数”

“10x more compute will double the intelligence.” ↗

“算力增加 10 倍，智能会翻一番。”

对理解他的思路而言，关键的一步是不再把 AI 当作一个终点，而是把它看作智能那一条连绵不断的攀升曲线上的一个阶段，一直扩展到太阳（然后是银河系）的能量被用于计算：

“I think we’ll see intelligence continue to scale all the way up to where, you know, most of the power of the sun is harnessed for compute” ↗

“我认为我们会看到智能持续扩展，一直扩展到，你知道，太阳的大部分能量都被用于计算”

同一条曲线也有反方向的一面。他认为，人类智能随着人口和储存的信息一起增长，而随着人口下降，如今正在转头向下：

“human intelligence is is somewhat plateauing um and will actually decline.” ↗

“人类智能，人类智能某种程度上正在进入平台期，嗯，而且实际上会下降。”

这把他对人口崩溃的担忧直接接进了 AI 的图景：在他看来，生物智能下降、硅基智能上升，是同一条曲线上的一次交接。他 2025 年的时间判断，让 “也许明年或者再过几年”的估计更具体了：

“I I I I think that we might have AI smarter than any single human at anything as soon as next year.” ↗

“我，我，我，我觉得，最快明年，我们就可能有在任何事情上都比任何单个人类更聪明的 AI。”

“within five like say 2030 probably AI is smarter than the sum of all humans.” ↗

“五年之内，比如说 2030 年，AI 大概就会比全人类的总和还聪明。”

约 2030 年“比全人类的总和还聪明”这句话，和 #2281 里“大概在 2029 年或 2030 年左右”的判断几乎完全一致。新的不是一个新的概率，而是他描绘图景的方式：一个连续体，人类和机器在同一条曲线上，人类那一侧在往下滑。

“掌权的会是 AI……不是人类”，一句随口的话（2025 年特斯拉股东大会）

在 2025 年 11 月的特斯拉股东大会上，他把控制问题的结论说得最直白，也最随意。一位股东问，实现富足是否意味着有权势的人，包括马斯克本人，要交出权力。他完全跳过了人类权力的问题，把他自 #438 以来持有的结论当作既定事实说了出来：

“Well, I mean, I think actually long term, uh, the AI is going to be in charge to be totally frank, not humans.” ↗

“嗯，我是说，我觉得实际上从长远看，呃，坦白说，掌权的会是 AI，不是人类。”

理由还是黑猩猩与人类那个类比里的优越智能论证，压缩成了一句话：

“if if if artificial intelligence vastly exceeds the sum of human intelligence, it is difficult to imagine that that any humans will actually be in charge.” ↗

“如果，如果，如果人工智能远远超过人类智能的总和，那就很难想象，会有任何人类真正掌权。”

而整个求真对齐方案，在这里浓缩成了一句简短的命令：

“we just need to make sure the AI is friendly.” ↗

“我们只需要确保 AI 是友好的。”

这个立场并不新。“没有人能控制数字超级智能”就是 #2404 的黑猩猩那句话，“确保它是友好的”则是求真药方的简写。引人注目的是语气和场合。被问到人类的权力，他回答说这个问题毫无意义，因为人类根本不会掌权；在他其余的 AI 论述里，这是一个关乎文明命运的安全问题，这回却被他一句话打发了。控制问题被当作事实陈述，乐观被当作俏皮话随口抛出，两者在同一口气里：这是一个难得的窗口，让人看到他在一群友好的听众面前，怎样同时抱持这两样东西。

“我对 AI 感到恐惧”，以及了解而非监督（特斯拉财报电话会，2017）

在 2017 年第二季度的财报电话会上，也就是他就 AI 问题与其他科技领袖公开交锋几个月之后，马斯克向投资者以最直白的方式说出了这份恐惧：“你们知道的，我对 AI 感到恐惧。”同一场电话会还阐述了一个更完整的监管模式，它把他的真实立场和那幅漫画像区分开来：“任何对公众构成潜在风险的东西，都至少值得政府去了解……了解和监督是两回事”，并明确表示不是呼吁“停止 AI 的发展，也不是那些被写出来的稻草人式的夸张说法”。他真正的观点是：“我确实认为 AI 有很大的好处。我们只需要确保……我们不要干出真正蠢的事。”同一时期与之相邻的“狭义 AI”区分（2016 年第二季度，驾驶 AI“不会接管世界”）表明，他把对 AGI 的生存性担忧和对日常 AI 的乐观放在两个分开的盒子里，而他后来 2025 年的表态，把这两个盒子挤进了一句俏皮话。完整引文见特斯拉财报电话会 2016–2018。

聪明人为什么低估风险（特斯拉财报电话会，2020 年第二季度）

2020 年第二季度的财报电话会为 AI 风险之争补充了一个心理学诊断。这个论证解释了怀疑者为什么是错的，同时也是对智力与自我认知的一番评论：

“The people I see being the most strong about AI are the ones who are very smart because they can’t imagine that a computer could be way smarter than them.” ↗

“在我看来，对 AI 最笃定的，恰恰是那些非常聪明的人，因为他们无法想象一台电脑会比他们聪明得多。”

这和他在后来的访谈里重申的是同一个信念：非常聪明的人有一个盲点，恰恰因为他们自己的聪明，让他们难以想象一个更优越的机器智能。在这里，它以一种罕见的紧凑、有日期可查的形式出现，而且是说给投资者听的。见特斯拉财报电话会 2019–2021。

个人化的控制问题：“这支庞大的机器人大军”（特斯拉财报电话会，2022–2026）

2022–2026 年的财报电话会以两种调子呈现 AI 安全的担忧。一般性的那种反复出现在擎天柱的语境里，比如“我们需要确保……在那个未来里人类有一个好的位置，我们不会造出某种变体的终结者结局”（2023 年第三季度）；还有关于他自己的一句：“我只想成为非常强大的技术的一个称职的管理者”（2023 年第四季度）。更新、也更私人的那种，是一种反复出现的控制焦虑，关于他自己对未来那支机器人队伍的权力。他想要影响力，“但不要多到我发疯时都没法把我赶走的控制权”（2025 年第二季度），并把这称为他“最大的担忧”：“如果我真的造出这支庞大的机器人大军，将来某个时候我能被赶下台吗？”（2025 年第三季度）。担忧已经从“AI 会不会安全？”变成了“谁控制机器人，控制者能不能被撤换？”

起点：从读书笔记到“比核武器更危险”（推文，2012–2014）

2010–2014 年的推文是这份公开警告实实在在的起点，而且捕捉到了它成形的过程。2012 年，这个话题只是作为马斯克在读的东西出现，没有任何警报：“对文奇的有趣采访，谈超人 AI 和乐观的末日”。还有一句半开玩笑的话，已经包含了日后对 AI 反噬人类的全部恐惧：“我也挺喜欢《质量效应》。一切都是好玩的游戏，直到 AI 认定人类很烂。也许我们可以当它们的边缘系统。”然后，在 2014 年 8 月 3 日这一天，这场征战以完整的形态公之于众：“值得一读博斯特罗姆的《超级智能》。我们对 AI 需要格外小心。它可能比核武器更危险”。同一天他又推荐了第二本书（“@jrbarrat 的《我们最后的发明》也值得一读”），并以他在这个话题上被引用最多的一句话收尾：“希望我们不只是数字超级智能的生物引导程序。不幸的是，这种可能性越来越大。”2014 年余下的时间里，他用主张限制机器智能的小说来夯实这套世界观：阿西莫夫的第零定律（“愿未来所有的技术都遵循第零定律……”）、赫伯特的《沙丘》（“他主张给机器智能设限”）、班克斯的《文明》系列（“希望对 AI 不要太乐观”）。这是一个人在构建一套论证，而不是随口一说。四个月前，他对海军自主无人机那句讽刺的评论（“能出什么问题呢？”），就摆在这条线索的最前头。详见马斯克推文 2010–2014。

从读书笔记到行动计划：公开信、OpenAI、监管（推文，2015–2017）

2015–2017 年的推文里，这份担忧不再是一张书单，而是变成了基础设施。2015 年 1 月以有组织的倡导开场。他转发了那封安全公开信（“世界顶尖人工智能开发者签署公开信，呼吁开展 AI 安全研究：”），几天后又宣布自己在“资助人工智能安全研究。一切都是好玩的游戏，直到有人丢了一个 I。”他认为危险在于网络而不在于人形，这是他针对《机械姬》说的：“AI 会在网络里，而不是在机器人里。”到了 7 月，他在推动那封反对自主武器的公开信，其核心是预防原则：“即便不可避免，我们至少也该尝试推迟 AI 武器的到来。越早并不越好。”2015 年 12 月是里程碑：“宣布成立 @open_ai”，当时它被定位为一个民主化的药方（“支持 AI 技术的民主化”，2016 年 8 月），也就是他后来放弃的那个开放 AI 立场。整个 2016 年，他不断为指数级起飞的模型添柴（转发 Wait But Why 的文章；把 AlphaGo 解读为 AI 的到来比专家预测的更快），还在一条回复里点出了 OpenAI 背后那个具体的恐惧：不只是失控的 AI，而是“超级强大的 AI 被一小撮人控制，才是最迫近的担忧”。到了 2017 年，这场运动固化成了他此后多年反复说的那些话：“不过，真正的风险是深度 AI，不是自动化”；“双重指数级的进步速度”；“如果你不担心 AI 安全，你就应该担心。风险远比朝鲜大得多”；“所有对公众构成危险的东西（汽车、飞机、食品、药品等等）都受到监管。AI 也应该如此”（11 月又以美国联邦航空管理局作类比重申：“必须像监管食品、药品、飞机和汽车那样监管 AI／机器人”）；两极化的“AI 对人类来说会是有史以来最好或最坏的东西，所以我们得把它做对”；以及那个预测：国家间“争夺 AI 霸权的竞争”是“第三次世界大战最可能的起因”。详见马斯克推文 2015–2017。

重申的信念、对冲，以及与 OpenAI 的第一道裂痕（推文，2018–2020）

到了 2018–2020 年的推文，这份担忧已经是一个定型的、反复重申的信念，而不再是正在成形的东西。他直截了当地说出了最核心的信念：“没有什么比数字超级智能更能影响人类的未来”。他用一句《弗兰肯斯坦》的台词来渲染它，作为自己的推文发出（“‘你是我的创造者，但我是你的主人’——玛丽·雪莱”）。支撑整个恐惧的狭义与通用之分，在与平克的交锋中又出现了（“通用 AI……实打实地拥有一百万倍的算力和一个开放式的效用函数”）。Neuralink 这个对冲作为对风险的回答贯穿其中：“需要尽快做出神经接口，来实现人类与 AI 的共生”；2019 年那个简洁的分类，“共生、无关紧要（但愿是幸福的）或者毁灭，似乎是三条最可能的道路”；以及“Neuralink 的目标是把这个概率提高到 0.0% 以上。”他用讽刺的口吻重申警告（“可人们还在问，AI 能出什么问题呢”；“对数字超级智能的否认也是一样”），在 AI 驱动的社交媒体操纵还不普遍时就提出警示（“用不了多久就会是这样”），把支持监管的立场连自己也一并对准（“所有开发先进 AI 的组织都应该受到监管，包括特斯拉”），还用自己的一则寓言说明对齐／工具性目标问题（“一个被编程为想要摘尽可能多草莓的 AI……把地球上所有的土地都种满了草莓”）。预示未来走向的标志，是与 OpenAI 的第一道公开裂痕：“依我看，OpenAI 应该更开放一些”，以及“我对 OpenAI 没有控制权，了解也非常有限。我对达里奥在安全方面的信心不高”（2020 年 2 月）。对开放性的批评和点名的不信任，后来演变成一场长达数年的争端。详见马斯克推文 2018–2020。

2021–2022 年的推文保持着这份信念不变，并加上了有日期的 AGI 时间表、一个被追踪的指标，以及 ChatGPT 时刻的警报。他开始把特斯拉织进自己对 AGI 的思考里（“特斯拉的 AI 可能会在 AGI 中扮演一个角色，因为它是对着外部世界训练的，尤其是随着擎天柱的出现”），而对这个目标本身是不是好事，他照例态度矛盾（“我越来越确信，他们正走在解决 AGI 的路上。AGI 应该被解决吗？我不知道，但人类正在迅速朝这个方向前进”）。他还给它标上了日期：“2029 年感觉是关键的一年。如果到那时我们还没有 AGI，我会感到意外。”他对 AI 的理解模型也浮现出来（“AI 的很大一部分，就是把现实压缩到一个小的向量空间里，就像倒过来的电子游戏”），还有把特斯拉机器人当作安全对冲的理由（“机器人反正都会来……我可以在特斯拉尽我所能做好这件事”）。这种转变最清楚的标志，是一个指标在这一年里的升级：“数字算力与生物算力之比正在快速增长。值得追踪。”（8 月）硬化成了“数字算力与生物算力之比正在呈指数级增长”（12 月）。这一年以 ChatGPT 时刻收尾，它重新激活了他十年之久的警报：“ChatGPT 好得吓人。我们离危险强大的 AI 已经不远了”，旁边还有一句：“我呼吁 AI 安全监管已经十多年了！”详见马斯克推文 2021–2022。