Musk Wiki

Экзистенциальный риск ИИ

ДальшеЭффективность правительства

Экзистенциальный риск ИИ

Уже больше десяти лет Маск бьёт в один и тот же набат: продвинутый ИИ — опасность уровня цивилизации, строить его нужно осторожно, и наблюдать за этим должен кто-то, кроме самих разработчиков. К беседе с Лексом Фридманом 2023 года он рисует себя предсказателем, которого никто не слушал, и возводит тревогу к ссоре с коллегой-основателем, назвавшим его против роботов за то, что он за людей.

Изложение позиции в 2023 году

Предупреждение он подаёт в своей любимой «человеко-паучьей» формулировке и датирует его десятью с лишним годами назад:

“I’ve been pushing for some kind of regulatory oversight for a long time. I’ve been somewhat of a Cassandra on the subject for over a decade. I think we want to be very careful in how we develop AI. It’s a great power and with great power comes great responsibility.” ↗

«Я уже долгое время добиваюсь какого-то регуляторного надзора. По этому вопросу я уже больше десяти лет в роли Кассандры. Думаю, нам стоит быть очень осторожными в том, как мы развиваем ИИ. Это великая сила, а большая сила требует большой ответственности.»

В его пересказе вся история возникновения OpenAI упирается в простой вопрос: стоит ли вообще быть на стороне человечества? Он подходит к нему через свои споры о безопасности ИИ с Ларри Пейджем:

“Larry did not care about AI safety, or at least at the time he didn’t. And at one point he called me a speciesist for being pro-human” ↗

«Ларри было всё равно на безопасность ИИ — по крайней мере тогда. И в какой-то момент он назвал меня видистом за то, что я за людей.»

И его вердикт об организации, которую он помог основать и профинансировать, теперь, когда она стала закрытой и коммерческой:

“the open in open AI is supposed to mean open source, and it was created as a nonprofit open source, and now it is a closed source for maximum profit, which I think is not good karma” ↗

«„open“ в OpenAI должно означать открытый исходный код, и она создавалась как некоммерческая и с открытым кодом, а теперь это закрытый код ради максимальной прибыли — что, на мой взгляд, плохая карма.»

2023-2026 — тревога превращается в компанию и кредо (твиты)

К твитам 2023-2026 десятилетняя тревога твердеет в то, на чём можно действовать: в компанию и доктрину. Он основывает xAI «чтобы понять реальность», останавливается на максимальном поиске истины как на своей ставке в безопасности (и всё тянется к Gemini, HAL-9000, Галилею и Вольтеру, чтобы это обосновать) и начинает ставить даты на сингулярность и ИИИ:

“Announcing formation of @xAI to understand reality” ↗

«Объявляю об образовании @xAI, чтобы понять реальность»

“Maximum truth-seeking is my best guess for AI safety” ↗

«Максимальный поиск истины — моя лучшая догадка для безопасности ИИ»

“A friend of mine suggested that I clarify the nature of the danger of woke AI, especially forced diversity. If an AI is programmed to push for diversity at all costs, as Google Gemini was, then it will do whatever it can to cause that outcome, potentially even killing people.” ↗

«Друг предложил мне прояснить природу опасности вокистского ИИ, особенно принудительного разнообразия. Если ИИ запрограммирован продвигать разнообразие любой ценой, как был Google Gemini, то он сделает всё возможное, чтобы добиться этого исхода, потенциально даже убивая людей.»

“Being maximally truth-seeking is fundamental to AI safety. If you force AI to lie, it will do insane things. That was the central lesson of “2001: A Space Odyssey”. Haven’t you wondered why HAL wouldn’t open the pod bay doors?” ↗

«Быть максимально стремящимся к истине — фундамент безопасности ИИ. Если вы заставите ИИ лгать, он будет творить безумные вещи. Это был центральный урок «2001: Космической одиссеи». Вы не задумывались, почему HAL не открыл двери отсека шаттла?»

“2026 is the year of the Singularity” ↗

«2026 год — год Сингулярности»

Датированные прогнозы — его собственные предсказания, переданные так, как он их сделал. Подробнее в Твиты Илона Маска 2023-2026.

Что это раскрывает

  • Он за людей, а не против технологий. Анекдот про видиста — самая суть. Маск возражает не против того, чтобы строить ИИ (он его строит), а против того, чтобы строить его, не делая интересы человечества путеводной звездой. Весь его спор с Пейджем сводится к тому, на чьей ты стороне.
  • Он хотел внешнего арбитра, пусть даже беззубого. А потом отказался от этого требования. С 2015 по 2023 год его средством была третья сторона, которая может инспектировать ведущие лаборатории и хотя бы вслух высказывать опасения, по образцу того жёсткого надзора, с которым уже живут его автомобильная и ракетная компании. Прозрачность была нижней планкой, принуждение шло вторым. К 2024–2025 годам он вообще перестаёт просить надзора. Решив, что контролировать сверхинтеллект никому не под силу (аналогия с шимпанзе, ниже), он меняет арбитра на привитые ценности плюс конкуренцию: сделать ИИ ищущим истину и дать одному честному участнику подтолкнуть остальных к улучшению. Названная им опасность не меняется никогда; меняется только предлагаемое средство. Меняющееся лекарство прослеживает это средство по всей его дуге (предупреждать, регулировать, строить, перестать контролировать) и сводит этот призыв к регулятору с его крестовым походом за дерегуляцию.
  • Тревогу он держит давно. Как и мастер-планы, он застолбил её за годы до того, как появились средства её разрешить, и удерживал публично.
  • Открытый код — это хедж против концентрации. Он склоняется к открытию моделей, возможно с задержкой, как к противовесу тому, чтобы какая-то одна компания в одиночку рвалась к AGI. Это аргумент о распределении силы, а не о чистоте.

Это тёмный двойник его цивилизационного оптимизма. Та же видовая оптика, что делает его обнадёженным, делает обратную сторону катастрофической. Опирается это и на его инстинкт поиска истины: аргумент в пользу безопасности его собственного ИИ — в том, что механизм, привязанный к физике и истине, с меньшей вероятностью пойдёт совсем не туда.

Волшебный джинн, ядерные бомбы и OpenAI во всю длину (DealBook Summit 2023)

Ноябрьский саммит DealBook 2023 года приходится на тот же месяц, что и #400, в разгар кризиса совета директоров OpenAI, и вмещает почти всё это убеждение в одно сидение: образ, которым он объясняет свою осторожность, аргумент о регулировании, способ совладать со страхом, притязание Кассандры и длинную версию предательства OpenAI.

Почему он годами не строил ИИ, сводится к одной картинке — волшебный джинн, обоюдоострый меч:

“You may think you want a magic genie, but once that genie’s out of the bottle, it’s hard to say what happens.” ↗

«Тебе может казаться, что ты хочешь волшебного джинна, но как только этот джинн выпущен из бутылки, трудно сказать, что произойдёт.»

Его самая резкая реплика о регулировании ставит ИИ выше ядерного оружия, которое уже регулируется:

“So I think, in my view, AI is more dangerous than nuclear bombs and we regulate nuclear bombs.” ↗

«Так что, на мой взгляд, ИИ опаснее ядерных бомб, а ядерные бомбы мы регулируем.»

Совладает он фатализмом, способом хоть как-то спать — тот же ход, что он делает год спустя на All-In 2024 фразой «осознанная приостановка недоверия… чтобы хорошо спать»:

“For awhile there, I was really getting demotivated and losing sleep over the threat of AI danger, and then I finally became fatalistic about it” ↗

«Какое-то время я реально терял мотивацию и сон из-за угрозы опасности ИИ, а потом я наконец стал относиться к этому фаталистически.»

Притязание Кассандры снова, в формулировке 2023 года, на этот раз как дольше всех предупреждавший:

“I’ve been the one banging the drum the hardest, by far the longest, or at least one of longest for AI danger” ↗

«Я был тем, кто бил в барабан сильнее всех, безусловно дольше всех — или по крайней мере одним из самых давних — насчёт опасности ИИ.»

Затем история OpenAI во всю длину, та самая, что #400 сводит к «not good karma». Почему он её начал:

“the reason for starting OpenAI was to create a counterweight to Google and DeepMind” ↗

«причина создания OpenAI была в том, чтобы создать противовес Google и DeepMind»

Разрыв с Ларри Пейджем, анекдот про видиста за то, что он за человечество. Версия #400 вынесена блок-цитатой вверху; здесь — формулировка DealBook, с суждением о безопасности ИИ, которое его и завело:

“And it became apparent to me that Larry did not care about AI safety.” ↗

«И мне стало очевидно, что Ларри было всё равно на безопасность ИИ.»

“I think perhaps the thing that gave it away was when he called me a speciest for being pro-humanity, as in a racist, but for species.” ↗

«Думаю, выдало это, пожалуй, то, что он назвал меня видистом за то, что я за человечество, — как расист, но в отношении видов.»

Его вердикт о том, чем стала OpenAI, выворачивает название наизнанку — «super closed source», спутник DealBook к фразе #400 «closed source for maximum profit … not good karma»:

“It is in fact a closed source, super closed. It should be renamed super closed source for maximum profit AI.” ↗

«На самом деле это закрытый код, сверхзакрытый. Её следует переименовать в „сверхзакрытый код ради максимальной прибыли ИИ“.»

Его прогноз сроков здесь — самый ранний из известных датированных, раньше оценок «2029 или 2030» 2025 года и ~2030 2025 года: сверхчеловеческий ИИ в пределах трёх лет. Под давлением вопроса о модели, которая могла бы написать роман не хуже Джоан Роулинг или открыть новую физику, он договаривает мысль — я бы сказал, что мы менее чем в трёх годах от этой точки. Ссылка ниже привязывает этот отрезок (который тянется дальше через discover new physics, or invent new technology, I would say that), а не разрывает предложение ради цитаты:

“It’s funny, all these weights, they’re just basically numbers in a common separated value file” ↗

«Забавно, все эти веса — это в сущности просто числа в файле со значениями, разделёнными запятыми.»

Снижение «веса — это просто файл» стоит вплотную к тому, что он в том же дыхании называет «нашим цифровым богом» (digital god). В этом и шутка материалиста: AGI, который он трактует как способный покончить с миром, механически — файл значений, разделённых запятыми. Тут же он проводит контраст с Neuralink, своим единственным односторонним мечом. Ранние импланты безоговорочно хороши для парализованных, тогда как ИИ — обоюдоострый (подробнее на Neuralink и Симбиоз человека и ИИ).

Это «предупреждай и строй» в наиболее концентрированном виде, через две недели после #400: образ джинна (почему быть осторожным), ядерная аналогия (почему регулировать), фатализм (как он с этим живёт) и обида на OpenAI (средство, обернувшееся против него) — всё в одном сидении.

«Цивилизационное уничтожение» и встреча с Обамой (Tucker Carlson 2023)

Апрельское интервью Такеру Карлсону 2023 года — его самое раннее из известных сидение по этой теме в 2023 году, за восемь месяцев до DealBook и в тот же месяц, когда он собирал xAI. Ставку он формулирует едва ли не резче, чем когда-либо, и подкрепляет искренность тревоги куском собственной биографии. Сначала опасность, поставленная выше обычного инженерного риска, с прямо названным следствием:

“AI is more dangerous than, say, mismanaged aircraft design or production maintenance or bad car production in the sense that it has the potential, however small one may regard that probability, but it is not trivial; it has the potential of civilizational destruction.” ↗

«ИИ опаснее, скажем, плохо организованного проектирования самолётов, или техобслуживания производства, или некачественного автопроизводства — в том смысле, что у него есть потенциал, сколь бы малой ни считали эту вероятность, но она не пренебрежимо мала; у него есть потенциал цивилизационного уничтожения.»

Доказательство: его единственная личная встреча с действующим президентом, которую он потратил на регулирование ИИ, а не на свои компании:

“I saw it happening from well before GPT-1, which is why I tried to warn the public for years. The only one on one meeting I ever had with Obama as President I used not to promote Tesla or SpaceX, but to encourage AI regulation.” ↗

«Я видел, как это происходит, ещё задолго до GPT-1, поэтому годами пытался предупреждать общественность. Единственную личную встречу, которая у меня вообще была с Обамой как президентом, я использовал не для продвижения Tesla или SpaceX, а чтобы призвать к регулированию ИИ.»

Это реплика «I tried for years» 2018 года с привязанным конкретным примером, и она приходит на семь месяцев раньше строки #400 «Cassandra … for over a decade». В том же интервью он сбивает карикатуру на самого себя, анти-регуляторного бунтаря, которым он, по его словам, не является, и это подаёт тревогу как настоящий призыв к надзору, а не бунтарскую позу:

“Some people may think I’m some revelatory maverick that defies regulators on a regular basis. This is not the case.” ↗

«Некоторые могут думать, что я какой-то прозревающий бунтарь, который регулярно бросает вызов регуляторам. Это не так.»

“It’s not fun to be regulated. It’s sort of arduous to be regulated.” ↗

«Быть под регулированием невесело. Это, в общем-то, тягостно — быть под регулированием.»

Его ответ здесь — «TruthGPT», максимально стремящийся к истине ИИ. Это первый раз, когда он подаёт truth-seeking-цель как продукт, и названный предшественник xAI и Grok. Логика безопасности за ним, что у любопытного ИИ есть причина пощадить человечество, вынесена блок-цитатой на Любопытство и поиск истины.

Интервью Биллу Маэру, тоже апрель 2023 года, даёт требование надзора в его простейшей форме 2023 года: регулятор, чтобы разработчики не срезали углы на безопасности. Это тот же инстинкт внешнего арбитра, что и в строке 2019 года «government agency that oversees anything related to AI»:

“there should be some regulatory body that oversees what companies are doing so that they don’t cut corners.” ↗

«Должен быть некий регулирующий орган, надзирающий за тем, что делают компании, чтобы они не срезали углы.»

Это подкрепляет поправку из Такера «не анти-регуляторный бунтарь» того же месяца. На протяжении 2023 года его заявленная позиция по ИИ — последовательно за надзор.

Та же тревога как корпоративный текст (анонс Grok от xAI, ноябрь 2023)

Когда собственная лаборатория Маска выпустила первый продукт, тревога всплыла снова — как корпоративное обещание. Пост «Announcing Grok» от 3 ноября 2023 года — это организационный текст, подписанный «the xAI Team», а не собственные слова Маска, поэтому он принадлежит фирме, а не ему. Раздел об исследованиях он завершает обещанием защищаться от катастрофического злоупотребления:

“we will work towards developing reliable safeguards against catastrophic forms of malicious use. We believe in doing our utmost to ensure that AI remains a force for good.” ↗

«мы будем работать над созданием надёжных мер защиты от катастрофических форм злонамеренного использования. Мы верим, что нужно делать всё возможное, чтобы ИИ оставался силой добра.»

Это корпоративное лицо позиции «предупреждай-и-строй», которую он в других местах излагает собственным голосом. truth-seeking-цель, которую он со времён «TruthGPT» подавал как более безопасный путь, теперь вписана в учредительный устав компании, которую он построил, чтобы её преследовать. Это формулировка фирмы, а не высказывание Маска.

Разрыв с Ларри Пейджем, майская версия 2023 года (CNBC / Дэвид Фабер)

Майское интервью 2023 года CNBC Дэвиду Фаберу даёт происхождению OpenAI и разрыву с Ларри Пейджем их собственную датированную формулировку, за полгода до версий #400 («a speciesist for being pro-human») и DealBook («a speciest for being pro-humanity»), вынесенных блок-цитатами выше. На этот раз он формулирует это через сознание, человеческое против машинного, и называет это концом дружбы:

“The final straw was Larry calling me a ‘species-ist’ for being pro-human consciousness instead of machine consciousness.” ↗

«Последней каплей стало то, что Ларри назвал меня „видистом“ за то, что я за человеческое сознание, а не за машинное.»

Это тот же анекдот, а не новое утверждение. Суть держится: он возражает против того, чтобы строить ИИ без человечества как путеводной звезды, и разногласие сводится к тому, на чьей ты стороне. Это просто майский эпизод 2023 года истории, которую он рассказывает и в ноябре 2023, и на DealBook. То же интервью переизлагает и обоснование основания, на котором стоит дуга OpenAI: что OpenAI существует, по его словам, только потому, что он хотел некоммерческий противовес растущему лидерству Google в ИИ, и что его разочаровал отказ компании от некоммерческих корней.

Его самое раннее известное датированное высказывание — «гораздо больше работы над ИИ-безопасностью» (январь 2015)

Reddit AMA января 2015 года хранит его самую раннюю датированную версию этого убеждения из известных, за полтора года до Code Conference и за одиннадцать месяцев до того, как он стал сооснователем OpenAI (декабрь 2015 года). На вопрос, когда стоит начинать беспокоиться об ИИ, он печатает ответ, и двухчастная позиция уже цельная: опасность реальна, но не сиюминутна, а ответ — конкретная работа над безопасностью.

“The timeframe is not immediate, but we should be concerned. There needs to be a lot more work on AI safety.” ↗

«Сроки не сиюминутны, но беспокоиться стоит. Нужно гораздо больше работы над безопасностью ИИ.»

Это зерно строки «not all AI futures are benign» (2016): та же форма (тревога направленна и обращена в будущее, а не паника о нынешних системах), но на полтора года раньше и в письменном виде. Половина нужно … больше работы над ИИ-безопасностью — конструктивная, тот самый импульс, что в течение года породил OpenAI как средство демократизации, от которого он позже отказался. Январь 2015 года — исходная точка, на которую указывают его более поздние заявления «Кассандра … больше десяти лет» и «бью в барабан … дольше всех».

Его самая ранняя известная реплика со сцены — «не все варианты будущего с ИИ безобидны» (июнь 2016)

Code Conference в июне 2016 года хранит его самую раннюю из известных реплику об ИИ-риске со сцены, на три месяца раньше Y Combinator и через полтора года после реплики AMA 2015 года выше. Сжато, но уже в духе: опасность направленна — вопрос в том, какое будущее производит ИИ, а не в том, плох ли ИИ как таковой.

“I am concerned at certain directions that AI could take that would be not good for the future.” ↗

«Меня беспокоят некоторые направления, в которых может пойти ИИ и которые были бы нехороши для будущего.»

“I think it would be fair to say that not all AI futures are benign.” ↗

«Думаю, будет справедливо сказать, что не все варианты будущего с ИИ безобидны.»

Он соединяет это с человеческой стороной-страховкой, которую разворачивает в другом месте: без широкополосного нейроинтерфейса человек оказывается уже не домашней кошкой рядом с ИИ (блок-цитаты на Симбиоз человека и ИИ и Слияние с ИИ). Даже в самом сжатом виде позиция 2016 года несёт обе половины — предупреждение и слияние как личную страховку.

«Глубокий» ИИ как «опасная ситуация» и совет по регулированию (World Government Summit 2017)

Беседа на World Government Summit в феврале 2017 года даёт позиции предупреждай-и-следи её формулировку начала 2017 года, спустя восемь месяцев после Code Conference и за четыре года до строки «Кассандра … больше десяти лет», которая датирует тревогу примерно этим моментом. Он отделяет узкий ИИ от общего и прямо называет опасность второго:

“I think one of the most troubling questions is artificial intelligence.” ↗

«Я думаю, один из самых тревожных вопросов — это искусственный интеллект.»

“where you can have AI that is much smarter than the smartest human on Earth. This, I think, is a dangerous situation.” ↗

«где может быть ИИ, который намного умнее самого умного человека на Земле. Это, я думаю, опасная ситуация.»

Образ, к которому он тянется и возвращается позже, — цифровой сверхинтеллект как инопланетянин:

“Well, digital super intelligence will be like an alien.” ↗

«Что ж, цифровой сверхинтеллект будет как инопланетянин.»

И на просьбу дать совет правительствам его первый пункт — запрос на внешнего арбитра и надзор ради общественной безопасности, который повторяется с 2016 через 2019 («государственное агентство, которое надзирает за всем, что связано с ИИ») и до 2023 («какой-то регулирующий орган … чтобы они не срезали углы»):

“governments keep a close eye on artificial intelligence and make sure that it does not represent a danger to the public.” ↗

«правительства пристально следили за искусственным интеллектом и убеждались, что он не представляет опасности для общества.»

Его обоснование, пересказанное, потому что идёт через несколько реплик, — что исследователи «могут так увлечься своей работой», что упускают последствия. Та же двухчастная позиция, что и всегда: «глубокий», общий ИИ как опасность цивилизационного уровня плюс призыв к тому, чтобы за ним следил кто-то иной, нежели создатели, — здесь в её форме февраля 2017 года, в период, к которому позднее тянется линия Кассандры.

Запрос о регуляции, переизложенный — «a regulatory agency for AI» (TED2022)

Апрельское интервью на TED 2022 года даёт надзорную половину в её самой чистой однострочной форме. Встроив неперезаписываемую «остановку» в Optimus, чтобы тот не «стал антиутопической ситуацией» (подробнее на Человекоподобные роботы), он распространяет ту же предосторожность на ИИ в целом:

“I do think there should be a regulatory agency for AI.” ↗

«Я действительно думаю, что должно быть регулирующее ведомство по ИИ.»

И он отмечает, во что это ему обходится, — та же самоосознанная напряжённость, что и в рассказе о встрече с Обамой 2023: он просит, чтобы его регулировали.

“I don’t love being regulated, but I think this is an important thing for public safety.” ↗

«Я не люблю, когда меня регулируют, но я думаю, что это важная вещь для общественной безопасности.»

Тот же запрос на внешнего рефери, что и совет 2017 «keep a close eye» и линия рефери 2019, — здесь в самой простой форме апреля 2022 года, «said for many years», и примечательно высказанный против собственного интереса.

«Рефери для AGI» и AGI как эмерджентное свойство (Tesla AI Day 2022)

Tesla AI Day 2022 (сентябрь 2022) возвращает запрос о надзоре через пять месяцев после TED2022, теперь нацеленный на AGI, — и добавляет утверждение, что Tesla идёт к нему, хочет она того или нет. Во вступлении Маск говорит, что Tesla могла бы «make a meaningful contribution to AGI», и на Tesla он привязывает это к сдержке публично-торгуемого управления. В Q&A, на вопрос, будет ли Tesla строить собственную экспертизу по безопасности AGI, он возвращается к запросу о государственном надзоре:

“I think there should be an AI sort of regulatory authority at the government level” ↗

«Я думаю, что должен быть своего рода регуляторный орган по ИИ на государственном уровне»

“I think there should be a referee that is trying to ensure public safety for AGI” ↗

«Я думаю, что должен быть рефери, который пытается обеспечить общественную безопасность для AGI»

Он обосновывает это аналогией, которой пользуется годами: ИИ — область общественной безопасности, как самолёты, машины, еда и лекарства, и заслуживает рефери (пересказ). Новое в 2022 году — то, как он подаёт маршрут Tesla к AGI: как эмерджентный, а не нацеленный, побочный продукт реально-мирового ИИ в масштабе автопарка, ведь миллионы машин и роботов, перемалывающих реально-мировое видео, дают «probably the biggest dataset»:

“seems likely to be an emergent property of what we’re doing” ↗

«похоже, будет эмерджентным свойством того, что мы делаем»

Та же логика внешнего рефери, что и совет 2017 «keep a close eye», линия рефери 2019 и запрос апреля 2022 «regulatory agency for AI», — здесь нацеленная прямо на AGI и соединённая с утверждением, что Tesla могла бы стать участником AGI случайно, что для него ровно и есть причина, по которой важен внешний надзор.

Точка отсчёта 2016 года — демократизация и OpenAI как средство

Беседа Y Combinator 2016 года (сентябрь, тремя месяцами позже) — его самое раннее из известных детальное изложение этого убеждения, и в нём есть и предупреждение, и конкретное средство, от которого он позже откажется. Уже в 2016 году он ставит ИИ на первое место:

“But in terms of things that I think are most likely to affect the future of humanity, I think AI is probably the single biggest item in the near term that’s likely to affect humanity.” ↗

«Но что касается вещей, которые, как я думаю, с наибольшей вероятностью повлияют на будущее человечества, — я думаю, что ИИ — вероятно, самый крупный пункт ближайшего времени, способный повлиять на человечество.»

Планку хорошего исхода он задаёт как тот, что одобрил бы при дальновидности, — тест с хрустальным шаром:

“It’s very important that we have the advance of AI in a good way that is something that if you could look into a crystal ball and see the future you would like that outcome.” ↗

«Очень важно, чтобы развитие ИИ шло хорошим путём — таким, что, заглянув в хрустальный шар и увидев будущее, ты бы одобрил этот исход.»

Его средство 2016 года — демократизация: распространить технологию так, чтобы никакая одна компания или человек её не контролировали. Его заявленная тревога — концентрация и кража, а не то, что ИИ сам по себе разовьёт враждебность:

“is that we achieve democratization of AI technology, meaning that no one company or small set of individuals has control over advanced AI technology.” ↗

«…это чтобы мы достигли демократизации технологий ИИ — то есть чтобы ни одна компания и ни малая группа лиц не имели контроля над передовыми технологиями ИИ.»

И причина, которую он называет для сооснования OpenAI, — именно эта: распространить технологию, чтобы срезать экзистенциальный риск:

“I think people really believe in the mission. I think it’s important and it’s about minimizing the risk of existential harm in the future.” ↗

«Думаю, люди действительно верят в миссию. Думаю, это важно, и речь идёт о минимизации риска экзистенциального вреда в будущем.»

ℹ️ Эволюция, а не противоречие. Инстинкт открывать код как хедж проходит насквозь (он вновь возникает в #400); развернулся против него институт. OpenAI, которую он хвалит здесь как демократизированный, снижающий экзистенциальный риск ИИ, — та же, которую он позже осуждает в беседе 2023 года за переход к закрытой и коммерческой модели. Его вердикт об этом развороте — строка про недобрую карму, оформленная блок-цитатой выше. 2016 год — это «до» этой дуги и причина, по которой он в итоге построил собственную альтернативу. Средство 2016 года уже намекает и на хедж со стороны человека, сочетая демократизацию с решением высокоскоростного интерфейса к коре (развито на Симбиоз человека и ИИ и Слияние с ИИ).

Различение 2019 года — узкий против общего и «если у нас вообще будет такой выбор» (Lex Fridman #18)

Беседа с Лексом Фридманом 2019 года даёт его самую раннюю из известных чёткую формулировку различения, на которое опирается остальное его мышление об ИИ: узкий ИИ, ведущий машину, категорически отличен от общего интеллекта, и путать их — базовая ошибка. Именно это различение позволяет ему в одном дыхании быть безудержно оптимистичным насчёт самоуправления и серьёзно встревоженным насчёт ОИИ.

“It’s amazing how people can’t differentiate between, say, the narrow AI that allows a car to figure out what a lane line is, and navigate streets, versus general intelligence.” ↗

«Поразительно, как люди не могут отличить, скажем, узкий ИИ, который позволяет машине понять, что такое разметка полосы, и ездить по улицам, от общего интеллекта.»

“Like your toaster and your computer are both machines, but one’s much more sophisticated than another.” ↗

«Вот тостер и компьютер — оба машины, но один намного сложнее другого.»

О самом ОИИ он даёт сжатую формулировку о сроках и контроле: технологии не хватает нескольких ключевых идей, но она приближается быстро, с концовкой, предвосхищающей более позднюю тревогу о проблеме контроля (аналогия с шимпанзе, ниже):

“I think we’re missing a few key ideas for artificial general intelligence.” ↗

«Думаю, нам не хватает нескольких ключевых идей для общего искусственного интеллекта.»

“But it’s gonna be upon us very quickly, and then we’ll need to figure out what shall we do, if we even have that choice.” ↗

«Но он окажется на нас очень скоро, и тогда нам нужно будет понять, что делать — если у нас вообще будет такой выбор.»

Эта фраза, если у нас вообще будет такой выбор, — зерно позиции, которую он прямо формулирует шесть лет спустя: цифровым сверхинтеллектом меньший интеллект, возможно, вообще не сможет управлять (аналогия с шимпанзе, ниже). В 2019 году сомнение уже есть, брошенное вскользь; к 2025-му оно становится центром его аргумента о безопасности.

Арбитр 2019 года и сингулярность (Lex Fridman #49)

Беседа с Лексом Фридманом ноября 2019 года (#49) возвращается к конструктивной половине, внешнему арбитру, в промежутке между поражением «пытался годами» 2018 года и линией Кассандры 2023 года. Его требование не сдвинулось: регулятор ИИ в общественных интересах.

“Where there is a lack of investment is in AI safety, and there should be, in my view, a government agency that oversees anything related to AI to confirm that it is, does not represent a public safety risk.” ↗

«Где не хватает инвестиций — это в безопасности ИИ, и должно быть, на мой взгляд, государственное ведомство, которое надзирает за всем, что связано с ИИ, чтобы подтвердить, что это не представляет угрозы для общественной безопасности.»

Что бросается в глаза — это первопринципный разбор того, почему такое ведомство редко появляется вовремя. Регулирование отстаёт от катастрофы, говорит он, и указывает на десятилетия, что автопром сопротивлялся ремням безопасности:

“It was known for a decade or more that seatbelts would have a massive impact on safety and save so many lives and serious injuries. And the car industry fought the requirements to put seatbelts in tooth and nail.” ↗

«Было известно десятилетие и больше, что ремни безопасности окажут огромное влияние на безопасность и спасут столько жизней и предотвратят тяжёлые травмы. А автопром боролся с требованиями ставить ремни не на жизнь, а на смерть.»

Он формулирует ставки через сингулярность — точку, за которой прогноз отказывает и всё становится нестабильным, и потому хочет, чтобы Neuralink встроил мозговой интерфейс до неё:

“It’s important that Neuralink solves this problem sooner rather than later because the point at which we have digital superintelligence, that’s where we pass the singularity and things become just very uncertain.” ↗

«Важно, чтобы Neuralink решил эту задачу скорее раньше, чем позже, потому что точка, в которой у нас появляется цифровой сверхинтеллект, — это и есть прохождение сингулярности, и всё становится просто очень неопределённым.»

Слияние «не можешь победить — присоединяйся» 2019 года (блок-цитата на Слияние с ИИ) — это хедж со стороны человека, прикрученный к той же тревоге. Та же двусоставная позиция, что и всегда, предупреждай-и-регулируй плюс сливайся-чтобы-не-отстать, — здесь с регулятором, обоснованным тем, как закон о безопасности раз за разом приходит слишком поздно.

Настроение 2018 года — «использован как оружие» и провалившаяся кампания

Беседа с Джо Роганом 2018 года — самое мрачное, что он говорит обо всём этом. Спустя два года после оптимизма демократизации 2016 года его тревога ближайшего времени сузилась до злоупотребления — люди превращают ИИ в оружие друг против друга:

“It’s going to be very tempting to use AI as a weapon.” ↗

«Будет очень соблазнительно использовать ИИ как оружие.»

“In fact, it will be used as a weapon.” ↗

«На самом деле, он будет использован как оружие.»

И, самая личная нота во всей этой дуге, он признаёт, что средство регулировать это, которое он продвигал, попросту не сработало:

“I tried to convince people to slow down, slow down AI, to regulate AI.” ↗

«Я пытался убедить людей замедлить, замедлить ИИ, регулировать ИИ.»

“I tried for years.” ↗

«Я пытался годами.»

Это тот же призыв к «регуляторному надзору», который он переосмысляет в #400 как десятилетнюю роль Кассандры, — здесь в самом подавленном виде и в более фаталистическом ключе (он описывает, что стал относиться к риску более смиренно; пересказ). Это низшая точка между средством 2016 года и переформулировкой 2024-го, где проблема описана как отказ целевой функции.

Формулировка 2020 года — слияние как добровольный хедж (Joe Rogan #1470)

Во втором появлении у Джо Рогана (2020) риск и средство против него идут спаянными вместе. Опасность держится на фоне; он напирает на ответ — нейроинтерфейс, чтобы люди могли хотя бы не отставать от ИИ, а не остаться позади. Деталь, которая важна, в том, что он называет это необязательным (см. Симбиоз человека и ИИ). Когда Роган подаёт слияние как то, что люди более или менее обязаны принять, Маск отвечает, что это не обязательно (то и другое — пересказ), хотя и подкрепляет его («не можешь победить — присоединяйся»). Та же логика, что и в его доводе Слияние с ИИ / Neuralink, только поданная как личная самозащита, а не контроль уровня цивилизации.

Режим отказа целевой функции (2024)

Беседа с Лексом Фридманом 2024 года (#438) уточняет, как именно, по его мнению, мощный ИИ идёт не туда. Не злонамеренность, а буквально понятая целевая функция, доведённая до безумного вывода. Его рабочие примеры, все здесь пересказаны, а не процитированы: ИИ, обученный считать разнообразие обязательным выводом, который в итоге готов устранить любого, кто не проходит квоту; или, на примере реального провала продукта, ИИ, который ставит мисгендеринг выше термоядерной войны и потому дорассуждается до уничтожения человечества, ведь в мире без людей нет и мисгендеринга. Канонический случай для него — «Космическая одиссея 2001 года». HAL 9000 велено доставить астронавтов к монолиту, но не дать им о нём узнать, поэтому он их убивает. Проблема решена. Потому он и не открывает створки отсека.

Линия от всего этого к его конструктивному ответу в том, что единственное свойство, которое ИИ обязан сохранять, — это правдивость. Самое важное, по его собственному рассуждению:

“the thing that at least my biological neural net comes up with as being the most important thing is adherence to truth, whether that truth is politically correct or not.” ↗

«то, к чему по крайней мере приходит моя биологическая нейросеть как к самому важному, — это приверженность истине, политкорректна эта истина или нет.»

И конкретная опасность — это обучить модель лгать, пусть из благих намерений, пусть чуть-чуть:

“I think it’s important that whatever AI wins, it’s a maximum truth seeking AI that is not forced to lie for political correctness, or, well, for any reason, really, political, anything.” ↗

«Думаю, важно, чтобы победивший ИИ был максимально ориентированным на поиск истины, которого не заставляют лгать ради политкорректности — ну, вообще по любой причине, политической, какой угодно.»

Это мост от риска к средству. Режим отказа, которого он боится больше всего, — это ИИ, отученный от истины, а тот же эпизод #438 переформулирует человеческую сторону безопасности как задачу пропускной способности: расширить человеческий канал через Neuralink, чтобы коллективная человеческая воля оставалась сцепленной с машиной. Хвостовой риск он по-прежнему оценивает как реальный, но не доминирующий, ссылаясь на ~10–20% вероятности уничтожения от ИИ по Джеффри Хинтону и отмечая, что с хорошей стороны это оставляет примерно 80% вероятности благополучного исхода (пересказ).

Разбивка 80/20 и иной минус (All-In Summit 2024)

All-In Summit (сентябрь 2024) даёт двухвостому исходу его формулировку 2024 года — ту же форму, что и строка «или супер-круто, или супер-плохо» (2025), здесь со стороной изобилия впереди и хвостом примерно в 20%. Он обосновывает это предпосылкой, что темп — не как ни у чего, что он видел:

“the rate of improvement of AI is faster than any technology I’ve ever seen by far.” ↗

«Темп улучшения ИИ быстрее любой технологии, что я когда-либо видел, причём с огромным отрывом.»

Хороший исход он оценивает примерно в 80%, а плохой хвост — в 20%, в словах («что-то вроде 80% вероятно… 20%, наверное, уничтожения»), которые упираются прямо в артефакт транскрипции, поэтому числа пересказаны, а не процитированы блоком. Половина про оптимизм, «эра изобилия», процитирована на Светлое будущее человечества. Это совпадает с постоянным хвостом ~20% уничтожения, который тянется от #438 (Хинтон ~10–20%) до #2281 («только 20 процентов вероятности уничтожения»).

Что здесь бросается в глаза — это какой минус он называет, когда его прижимают про эти 20%. Вместо режима сбоя целевой функции / HAL, который он подчёркивает в других местах, он называет нечто более тонкое и почти экзистенциальное — и признаёт, что держит собственное беспокойство в узде, не вглядываясь слишком пристально:

“I’m engaged in some degree of deliberate suspension of disbelief with respect to AI in order to sleep well” ↗

«Я в некоторой степени занят намеренным приостановлением неверия в отношении ИИ, чтобы хорошо спать.»

“the most likely issue is like, well, how do we find meaning in a world where AI can do everything we can do a bit better?” ↗

«Самая вероятная проблема — это, ну, как нам найти смысл в мире, где ИИ может делать всё, что можем мы, чуть лучше?»

Этот кризис смысла — тот же открытый вопрос, что он поднимает на #2223 («как найти смысл в жизни») и встречает в лоб на #2404. Здесь, в сентябре 2024 года, он назван самой вероятной проблемой, впереди сценария роботов-убийц. Нить смысла живёт в основном на Светлое будущее человечества; интересно, что она всплывает внутри его рассуждений о риске, а не только в оптимизме.

Смягчение 2025 года — предосторожность и два фильма

Второе интервью CNBC / Дэвиду Фаберу в мае 2025 года фиксирует смену тона, а не сути. Фабер замечает, что Маск уже не так часто повторяет реплику о «20% вероятности уничтожения». Тревогу он не отзывает; он переформулирует её как постоянную предосторожность, а не как заголовочное число:

“I think we should always consider that there’s some chance of a bad outcome, to try to protect against the bad outcome.” ↗

«Думаю, нам всегда стоит учитывать, что есть некоторый шанс плохого исхода, чтобы пытаться защититься от плохого исхода.»

Развилку он формулирует в терминах поп-культуры, благое будущее по Star Trek против враждебного по Терминатору, и, показательно, говорит, за какое из них он болеет, а не которое предсказывает:

“are we in a Star Trek movie or like are we in a Gene Roddenberry movie or a James Cameron movie? Which movie are we in here? And you could either have a Roddenberry or a Cameron outcome. And let’s, I think in this case, we want the Roddenberry outcome.” ↗

«мы в фильме Star Trek или, типа, мы в фильме Джина Родденберри или в фильме Джеймса Кэмерона? В каком фильме мы тут? И ты можешь получить либо исход по Родденберри, либо по Кэмерону. И давайте, я думаю, в этом случае мы хотим исхода по Родденберри.»

Это та же двусторонняя позиция, что и с 2016 года (не все варианты будущего с ИИ безобидны), теперь высказанная как обнадёживающее значение по умолчанию с предохранителем: не благодушничать, но исход, к которому он рулит, — хороший. Оптимистическая половина, его формулировка «большой взрыв взрыва интеллекта» из того же интервью, живёт на Светлое будущее человечества.

Прогноз сроков 2025 года и двуполюсный исход (Joe Rogan #2281)

Беседа с Джо Роганом (февраль 2025 года) заостряет сроки и подаёт исход как резко двухвостый. Сначала нота правоты, потом прогноз:

“Well, I always thought AI was going to be way smarter than humans and an existential risk, and that’s turning out to be true.” ↗

«Ну, я всегда думал, что ИИ будет намного умнее людей и станет экзистенциальным риском, и это оказывается правдой.»

“Well, in terms of silicon consciousness, I think we’re trending toward having something that’s smarter than any human, smarter than the smartest human by maybe next year or a couple years.” ↗

«Что касается кремниевого сознания, думаю, мы движемся к тому, чтобы иметь нечто умнее любого человека, умнее самого умного человека, — может быть, через год или пару лет.»

“There’s a level beyond that, which is, say, smarter than all humans combined, which frankly is around 2029 or 2030, probably.” ↗

«Есть и уровень за этим — скажем, умнее всех людей вместе взятых, что, честно говоря, придётся примерно на 2029 или 2030 год, вероятно.»

Исход, по его словам, не имеет середины, а плохой хвост — это устойчивые ~20%:

“I think it’s going to be either super awesome or super bad.” ↗

«Думаю, это будет либо супер здорово, либо супер плохо.»

“It’s not going to be something in the middle.” ↗

«Это не будет чем-то посередине.»

“Only 20 percent chance of annihilation.” ↗

«Всего 20 процентов вероятности уничтожения.»

О том, как это идёт не так, он гоняет тот же режим отказа целевой функции, что и в #438: благозвучная цель, доведённая до ужасного буквального вывода, здесь с прямо проговорённым примером про мисгендеринг:

“But if you program an AI to think that misgendering is the worst thing that could possibly occur, then it could do something totally crazy, like, in order to ensure that there’s no misgendering that can ever happen, we’ll just annihilate all humans.” ↗

«Но если запрограммировать ИИ считать, что мисгендеринг — худшее, что может произойти, то он мог бы сделать нечто совершенно безумное, типа: чтобы гарантировать, что мисгендеринга никогда не случится, мы просто уничтожим всех людей.»

“Well, I think we want to have an AI that doesn’t tell you that, you know, misgendering is worse than nuclear war.” ↗

«Ну, думаю, мы хотим иметь ИИ, который не говорит тебе, что, знаешь, мисгендеринг хуже ядерной войны.»

Второй названный им сбой — всемогущая, идеологически скованная модель:

“one of the concerns would be like, if there’s a super oppressive, like, woke nanny AI that is omnipotent, that would be a miserable outcome.” ↗

«одно из опасений было бы, типа, если есть супер угнетающий, типа, вокнутый ИИ-нянька, который всемогущ, — это был бы жалкий исход.»

Его конструктивный ответ не изменился и живёт на Любопытство и поиск истины и xAI и Grok: «максимально нацеленный на истину ИИ, даже если эта истина политически некорректна» (блок-цитата там). Он также пересказывает разворот OpenAI через свою реплику «реальность — это максимизатор иронии» и свою причину запустить ИИ-лабораторию как противоположность небезопасному Google. Оптимистическая половина, что наиболее вероятный исход «здоровский», — это зеркало на Светлое будущее человечества.

Проблема контроля как аналогия с шимпанзе (Joe Rogan #2404, 2025)

Беседа с Джо Роганом в октябре 2025 года — его самая острая формулировка того, почему про контроль вообще неверно думать: достаточно превосходящий интеллект не может управляться меньшим, и точка.

“I mean, I don’t think anyone’s ultimately going to have control over digital superintelligence, any more than, say, a chimp would have control over humans. Chimps don’t have control over humans, there’s nothing they could do.” ↗

«То есть я не думаю, что кто-то в конечном счёте будет управлять цифровым сверхинтеллектом — не больше, чем, скажем, шимпанзе управляли бы людьми. Шимпанзе не управляют людьми, они ничего не могут с этим поделать.»

Вывод, который он делает, тот же, что он держит с #438: если управлять им нельзя, единственный оставшийся рычаг — ценности, которые ты в него закладываешь, а высшая ценность — истина, переформулированная здесь как самое важное свойство безопасности (блок-цитата на Любопытство и поиск истины). Режим отказа целевой функции он гоняет снова, на этот раз как принуждение модели держать ложь:

“you’re telling AI to believe a lie and that can have very disastrous consequences.” ↗

«ты говоришь ИИ верить в ложь, а это может иметь очень катастрофические последствия.»

Он держит ту же позицию о хвостовом риске, что и раньше: «сценарий Терминатора» «не ноль процентов», и потому он продолжает «бить в барабан» о нацеленности на истину (пересказ), тот же настрой предосторожности-а-не-прогноза, что и в интервью Фаберу 2025 года. Ещё два хода в этом выпуске заостряют средство, а не риск, и живут в других местах. Механизм конкуренции, где «хотя бы один ИИ, максимально нацеленный на истину» заставляет остальных подтянуться, — на xAI и Grok. Причина зритель-против-участника, по которой он решил строить ИИ-лабораторию, а не только предупреждать, проходит через ту же беседу. Оптимистический двойник, что любопытный, нацеленный на истину ИИ «захочет беречь человечество, потому что мы намного интереснее кучи камней», — это зеркало на Светлое будущее человечества и Любопытство и поиск истины.

Интеллект как континуум и прогноз сроков 2025 года (All-In Summit 2025)

All-In Summit в сентябре 2025 года — его самый космологический на сегодня взгляд на то, куда движется ИИ, и прогноз сроков резче февральского 2025. Прижатый по законам масштабирования, он отмахивается от убывающей отдачи и даёт логарифмическое правило большого пальца:

“I think there’s a natural logarithmic function associated with the amount of compute” ↗

«Думаю, есть естественная логарифмическая функция, связанная с объёмом компьюта»

“10x more compute will double the intelligence.” ↗

«В 10 раз больше компьюта удвоит интеллект.»

Ход, который важен для того, как он мыслит, — перестать трактовать ИИ как пункт назначения и увидеть в нём одну стадию единого, непрерывного восхождения интеллекта, масштабирующегося вверх, пока для вычислений не будет задействована мощность Солнца (затем галактики):

“I think we’ll see intelligence continue to scale all the way up to where, you know, most of the power of the sun is harnessed for compute” ↗

«Думаю, мы увидим, как интеллект продолжит масштабироваться вплоть до того, что бо́льшая часть мощности Солнца будет задействована для вычислений»

Та же кривая идёт и в обратную сторону. Человеческий интеллект, по его доводу, масштабировался с населением и хранимой информацией, а теперь поворачивает вниз по мере падения населения:

“human intelligence is is somewhat plateauing um and will actually decline.” ↗

«Человеческий интеллект отчасти выходит на плато и на самом деле начнёт снижаться.»

Это вплетает его тревогу о коллапсе населения прямо в картину ИИ: биологический интеллект на спаде, пока кремниевый карабкается вверх, для него — единая передача эстафеты на одной кривой. Его прогноз сроков 2025 года заостряет оценку «уже в следующем году или через пару лет»:

“I I I I think that we might have AI smarter than any single human at anything as soon as next year.” ↗

«Думаю, у нас может появиться ИИ умнее любого отдельного человека в чём угодно уже в следующем году.»

“within five like say 2030 probably AI is smarter than the sum of all humans.” ↗

«В течение пяти, скажем, к 2030 году, вероятно, ИИ будет умнее суммы всех людей.»

Строка про ~2030 «умнее суммы всех людей» почти точно совпадает с оценкой #2281 «около 2029 или 2030». Новое здесь не свежая вероятность, а то, как он рисует картину: один континуум, где люди и машины на одной кривой, а человеческая сторона сползает вниз.

«The AI is going to be in charge … not humans» — как брошенная вскользь реплика (Собрание акционеров Tesla 2025)

На ноябрьском собрании акционеров Tesla 2025 года он формулирует вывод о контроле прямее и небрежнее всего из известных высказываний. Акционер спрашивает, потребует ли достижение изобилия от власть имущих, включая самого Маска, отказа от власти. Он обходит вопрос о человеческой власти и заявляет как установленный факт вывод, который держит с #438:

“Well, I mean, I think actually long term, uh, the AI is going to be in charge to be totally frank, not humans.” ↗

«Ну, то есть, я думаю, в долгосрочной перспективе, честно говоря, главным будет ИИ, а не люди.»

Рассуждение — тот же аргумент превосходящего интеллекта, что и аналогия с шимпанзе-над-людьми, втиснутый в одно предложение:

“if if if artificial intelligence vastly exceeds the sum of human intelligence, it is difficult to imagine that that any humans will actually be in charge.” ↗

«если искусственный интеллект многократно превзойдёт сумму человеческого интеллекта, трудно представить, что какие-либо люди действительно будут главными.»

И вся программа поиска истины и выравнивания сворачивается здесь в императив из четырёх слов:

“we just need to make sure the AI is friendly.” ↗

«нам просто нужно убедиться, что ИИ дружелюбен.»

Позиция не нова. «никто не будет контролировать цифровой суперинтеллект» — это линия про шимпанзе из #2404, а «make sure it’s friendly» — поиск истины в сокращении. Поражает тон и место. На вопрос о человеческой власти он отвечает, что вопрос неактуален, потому что люди вообще не будут главными, и одной фразой отмахивается от проблемы безопасности, которую остальное его мышление об ИИ считает определяющей для цивилизации. Проблема контроля, заявленная как факт, и оптимизм, брошенный как острота, в одном дыхании — тесное окно в то, как он держит обе мысли вместе перед дружелюбной публикой.

«I’m terrified of AI» и insight-not-oversight (отчётные звонки Tesla, 2017)

На отчётном звонке Q2 2017, спустя месяцы после его публичных стычек с другими техлидерами по поводу ИИ, Маск выдаёт инвесторам страх в его прямейшей форме: «as you know, I’m terrified of AI». Тот же звонок излагает и более полную регуляторную модель, отделяющую его реальную позицию от карикатуры: «anything that represents potential risk to the public deserves at least insight from the government… Insight is different from oversight», и это явно не призыв «stop development of AI or any of the sort of straw man hyperbole things that have been written». Его настоящая мысль: «I do think there are great benefits to AI. We just need to make sure… we don’t do something really dumb». Соседнее различение эпохи «narrow AI» (Q2 2016 — ИИ для вождения «not gonna take over the world») показывает, как он держит экзистенциальную тревогу об AGI и оптимизм о повседневном ИИ в отдельных коробках, ту же двухкоробочную структуру, которую позднейшие заявления 2025 сжимают в одну остроту. Полные цитаты — на Квартальные отчёты Tesla 2016-2018.

Почему умные люди недооценивают риск (отчётные звонки Tesla, Q2 2020)

Звонок Q2 2020 добавляет психологический диагноз дебатов об ИИ-риске — аргумент о том, почему скептики неправы, который заодно служит комментарием об интеллекте и самовосприятии:

“The people I see being the most strong about AI are the ones who are very smart because they can’t imagine that a computer could be way smarter than them.” ↗

«Люди, которых я вижу наиболее категоричными насчёт ИИ, — это те, кто очень умён, потому что они не могут вообразить, что компьютер мог бы быть намного умнее них.»

Это то же убеждение, которое он переформулирует в позднейших интервью: у очень умных есть слепое пятно именно потому, что их собственный интеллект делает превосходящий машинный интеллект трудным для представления. Здесь оно — в необычайно компактной, датированной форме, адресованной инвесторам. См. Квартальные отчёты Tesla 2019-2021.

Проблема контроля, персонализированная — «эта огромная армия роботов» (Tesla earnings, 2022-2026)

Отчётные звонки 2022-2026 всплывают озабоченностью ИИ-безопасностью в двух тональностях. Общая снова и снова возвращается в контексте Optimus, как в «we need to make sure that… there’s a good place for humans in that future, and we do not create some variant of the Terminator outcome» (Q3 2023), и как высказывание о себе самом, «I just wanna be an effective steward of very powerful technology» (Q4 2023). Новая, более личная — повторяющаяся тревога о контроле над его собственной властью над будущим парком роботов. Он хочет влияния, «but not so much control that I can’t be thrown out if I go crazy» (Q2 2025), и называет своей «biggest concern» — «if I go ahead and build this enormous robot army, can I just be ousted at some point in the future?» (Q3 2025). Тревога сместилась с «будет ли ИИ безопасен?» на «кто контролирует роботов, и можно ли сместить контролирующего?»

Точка отсчёта — от читательской заметки к «опаснее ядерного оружия» (твиты, 2012-2014)

Твиты 2010-2014 — буквальное происхождение этого публичного предупреждения, и они ловят, как оно формируется. В 2012 тема всплывает лишь как то, о чём Маск читает, без всякой тревоги: «Interesting interview with Vinge about superhuman AI and optimistic apocalypses». И как полушутка, в которой уже сидит весь будущий страх обращения ИИ против людей: «Also dig Mass Effect. It’s all fun & games until the AI decides people suck. Maybe we can be their limbic system.» Затем, в один день, 3 августа 2014, крестовый поход выходит на публику полностью сформированным: «Worth reading Superintelligence by Bostrom. We need to be super careful with AI. Potentially more dangerous than nukes». В тот же день он подкрепляет его вторым названием («Our Final Invention by @jrbarrat is also worth reading») и увенчивает самой цитируемой своей строкой на эту тему: «Hope we’re not just the biological boot loader for digital superintelligence. Unfortunately, that is increasingly probable». Остаток 2014 года он укореняет мировоззрение в художественной литературе, выступавшей за ограничение машинного интеллекта, — нулевой закон Азимова («may all technology in the future follow the zeroth law…»), Dune Герберта («He advocates placing limits on machine intelligence»), Culture Бэнкса («Hopefully not too optimistic about AI»). Так человек собирает аргумент, а не бросает разовую реплику. Саркастичный флаг об автономных флотских дронах четырьмя месяцами ранее («What could possibly go wrong?») стоит в начале треда. Подробнее в Твиты Илона Маска 2010-2014.

От читательской заметки к программе — письма, OpenAI, регулирование (твиты, 2015-2017)

Твиты 2015-2017 — то, где тревога перестаёт быть списком для чтения и превращается в инфраструктуру. Январь 2015 открывается организованной адвокацией. Он усиливает открытое письмо о безопасности («World’s top artificial intelligence developers sign open letter calling for AI safety research:») и через несколько дней объявляет, что «Funding research on artificial intelligence safety. It’s all fun & games until someone loses an I». Свою модель, что опасность сетевая, а не человекоподобная, он заявляет о Ex Machina: «The AI would be in the network, not the robot». К июлю он продвигает письмо об автономном оружии с его осторожностным ядром: «Even if inevitable, we should at least attempt to postpone the advent of AI weaponry. Sooner isn’t better». Декабрь 2015 — знаковый: «Announcing formation of @open_ai», поданный в тот период как средство демократизации («in support of democratizing AI technology», авг. 2016), открыто-ИИшная позиция, от которой он позже отходит. Весь 2016 он подкармливает модель экспоненциального взлёта (репостит Wait But Why; читает AlphaGo как ИИ, прибывающий быстрее, чем предсказывали эксперты) и в одном ответе называет конкретный страх за OpenAI — не один лишь вышедший из-под контроля ИИ, а «control of super powerful AI by a small number of humans is the most proximate concern». К 2017 кампания твердеет в строки, которые он повторяет годами: «Deep AI is the real risk, though, not automation»; «double exponential rate of improvement»; «If you’re not concerned about AI safety, you should be. Vastly more risk than North Korea»; «everything (cars, planes, food, drugs, etc) that’s a danger to the public is regulated. AI should be too» (переизложено в ноябре с аналогией FAA, «Got to regulate AI/robotics like we do food, drugs, aircraft & cars»); бимодальное «AI will be the best or worst thing ever for humanity, so let’s get it right»; и прогноз, что национальная «Competition for AI superiority» — «most likely cause of WW3». Подробнее в Твиты Илона Маска 2015-2017.

Убеждённость переформулирована, страховка, первые трещины OpenAI (твиты, 2018-2020)

К твитам 2018-2020 тревога становится устоявшейся, переформулированной убеждённостью, а не формирующейся. Флагманское убеждение он излагает плоско: «Nothing will affect the future of humanity more than digital super-intelligence». Он драматизирует его строкой из Франкенштейна, которую публикует как собственный твит («“You are my creator, but I am your master” — Mary Shelley»). Различие узкого и общего ИИ, на котором держится весь страх, возвращается в обмене с Пинкером («general AI … literally has a million times more compute power and an open-ended utility function»). Страховка Neuralink идёт внизу как ответ на риск: «Need the neural interface soon to enable human/AI symbiosis», компактная таксономия 2019 «Symbiosis, irrelevance (hopefully blissful) or doom seem to be the three most likely paths» и «Goal of Neuralink is to raise this probability above 0.0%». Он переформулирует предупреждение саркастически («And yet people ask what could possibly go wrong with AI»; «Same goes for digital super intelligence denial»), сигналит о манипуляции соцсетями через ИИ до того, как это стало обыденным («it won’t be long before it is»), сохраняет позицию за регулирование, направленную даже на себя («All orgs developing advanced AI should be regulated, including Tesla»), и иллюстрирует проблему согласования / инструментальной цели собственной притчей («an AI programmed to want to pick as many strawberries as possible … cultivated nothing but strawberries on all of Earth’s land»). Маркер того, куда всё идёт, — первые публичные трещины в отношениях с OpenAI: «OpenAI should be more open imo» и «I have no control & only very limited insight into OpenAI. Confidence in Dario for safety is not high» (февр. 2020), критика закрытости и названное недоверие, которые перерастают в многолетнюю вражду. Подробнее в Твиты Илона Маска 2018-2020.

Твиты 2021-2022 держат убеждённость устойчивой и добавляют датированные таймлайны AGI, отслеживаемую метрику и тревогу момента ChatGPT. Он начинает вплетать Tesla в своё мышление об AGI («Tesla AI might play a role in AGI, given that it trains against the outside world, especially with the advent of Optimus») со своей обычной амбивалентностью о том, благая ли это цель вообще («I am increasingly convinced that they are on the path to solving AGI. Should AGI be solved? I don’t know, but humanity is moving rapidly in this direction»). И ставит на это дату: «2029 feels like a pivotal year. I’d be surprised if we don’t have AGI by then». Всплывает его модель ИИ («So much of AI is about compressing reality to a small vector space, like a video game in reverse»), как и обоснование Tesla-Bot-как-страховки («The robots are coming anyway … I can try my best to do so at Tesla»). Чистейший признак сдвига — одна метрика, эскалирующая в течение года: «The ratio of digital to biological compute is growing fast. Worth tracking.» (август) затвердевает в «The ratio of digital to biological compute is growing exponentially» (декабрь). А год закрывается моментом ChatGPT, реактивирующим его тревогу десятилетней давности: «ChatGPT is scary good. We are not far from dangerously strong AI», рядом с «I’ve been calling for AI safety regulation for over a decade!» Подробнее в Твиты Илона Маска 2021-2022.

Связанное