Lex Fridman #49 (2019)

• Ведущий: Лекс Фридман
• Формат: подкаст («Artificial Intelligence Podcast»), ~36 мин («Neuralink, AI, Autopilot, and the Pale Blue Dot»)
• Дата: 12 ноября 2019 года
• Уровень доверия: verified (уровень 1) — официальная страница эпизода на lexfridman.com даёт ссылку на PDF, расшифрованный Rev.com, и здесь используется текст этой стенограммы. Уровень доверия тот же, что и у #400 и #438.
• Цитаты: по стенограмме Rev, только Илон Маск (Лекс Фридман — интервьюер и не цитируется). Страница эпизода даёт стенограмму только в PDF, поэтому, как и в #18 (2019), каждая цитата ссылается на момент в официальном видео на YouTube.

Краткое содержание

Это второй разговор Маска с Лексом Фридманом («вторая часть»), записанный в тот самый день, когда Neuralink показывал свои наработки. Среди ранних источников, что у нас есть, это самый богатый о том, как он мыслит разум как «железо». Если #18 семью месяцами ранее был в основном про Автопилот, то #49 — это выпуск, где он выкладывает почти весь кластер убеждений Neuralink, за годы до более ясной версии 2024 года. Сознание как физическое явление. Мозг как «обезьяний мозг с приделанным компьютером». Машина как сторона, которой и приходится подстраиваться. Цифровой сверхинтеллект как «третичный слой». И «не можешь победить — присоединяйся» как сам ответ на вопрос, зачем вообще сливаться. Для взглядов, которые иначе всплывают в основном с 2024 года, это сильная ранняя точка отсчёта.

Разговор держится на четырёх темах. О сознании он даёт свою самую чистую раннюю формулировку: разум физичен, а научный метод — это тест для того, что вообще можно знать. Дальше он предсказывает, что ИИ симулирует сознание так хорошо, что разницу уже не проверить. О риске ИИ он повторяет призыв к внешнему регуляторному арбитру и называет «сингулярность» точкой, за которой всё делается непредсказуемым и нестабильным. О разуме как слоистом железе он излагает лимбико-кортикальную модель в её полнейшей ранней форме: кора — умный слой, но она в услужении глупому лимбическому, а цифровой «третичный слой» ещё впереди. А затем, читая в заключительном сегменте Карла Сагана, он превращает этот образ в довод о том, чтобы выжить как цивилизация и отправиться на Марс. Цивилизации, говорит он, поднимаются и падают — и теперь делают это вместе, а потому сознанию не стоит оставаться на одной планете.

Ключевые цитаты

Сознание физично, и научный метод — это тест (Сознание и смерть, Первопринципы)

Фридман спрашивает, пронизывает ли сознание всю материю, — это взгляд панпсихизма. Маск отвергает мистическое прочтение сразу:

“I don’t think consciousness permeates all matter.” ↗

«Я не думаю, что сознание пронизывает всю материю.»

Для такого вопроса его мерило — научный метод. Нечто истинно в той мере, в какой это можно проверить:

“I believe in scientific method.” ↗

«Я верю в научный метод.»

Дальше — его самое явное раннее утверждение, что разум физичен, и приходит он к нему так, как обычно приходит к подобным вещам: от физического вмешательства:

“If you damage your brain in some way physically, you damage your consciousness, which implies that consciousness is a physical phenomenon in my view.” ↗

«Если ты физически как-то повреждаешь мозг, ты повреждаешь сознание, что, на мой взгляд, подразумевает, что сознание — физическое явление.»

Он отделяет самосознание от сознания и предсказывает, что цифровой интеллект превзойдёт нас в мышлении и симулирует сознание достаточно убедительно, чтобы разницу было не проверить, — тот же ход «нет теста — нет разницы», что и в #18:

“It will be self-aware, yes. That’s different from consciousness.” ↗

«Оно будет самосознающим, да. Это отличается от сознания.»

“digital intelligence will be able to out-think us in every way. And it will suddenly be able to simulate what we consider consciousness. So to the degree that you would not be able to tell the difference.” ↗

«цифровой интеллект сможет переигрывать нас в мышлении во всём. И он внезапно сможет симулировать то, что мы считаем сознанием. Настолько, что ты не сможешь отличить.»

ИИ нужен внешний арбитр (Экзистенциальный риск ИИ)

Его неизменное решение — регулятор ИИ в общественных интересах, по образцу ведомств, которые уже надзирают за его автомобилями и ракетами:

“Where there is a lack of investment is in AI safety, and there should be, in my view, a government agency that oversees anything related to AI to confirm that it is, does not represent a public safety risk.” ↗

«Где не хватает инвестиций — это в безопасности ИИ, и должно быть, на мой взгляд, государственное ведомство, которое надзирает за всем, что связано с ИИ, чтобы подтвердить, что это не представляет угрозы для общественной безопасности.»

Призыв он подкрепляет разбором из первых принципов того, как регулирование на деле появляется: слишком поздно, после катастрофы. В пример он приводит десятилетия, что автопром сопротивлялся ремням безопасности.

“It was known for a decade or more that seatbelts would have a massive impact on safety and save so many lives and serious injuries. And the car industry fought the requirements to put seatbelts in tooth and nail.” ↗

«Было известно десятилетие и больше, что ремни безопасности окажут огромное влияние на безопасность и спасут столько жизней и предотвратят тяжёлые травмы. А автопром боролся с требованиями ставить ремни не на жизнь, а на смерть.»

Разум как слоистое железо — «обезьяний мозг» (Лимбико-кортикальная модель)

Вот модель в её полнейшей ранней форме — той самой, которую разговор 2024 года позже переизлагает с лексикой «третичного вычислительного слоя». Мозг — это два слоя, и более умный работает на более глупого:

“It’s like we’ve got a monkey brain with a computer stuck on it, that’s the human brain.” ↗

«Это как будто у нас обезьяний мозг с приделанным к нему компьютером — вот что такое человеческий мозг.»

Главное здесь — направление управления, и идёт оно не в ту сторону. Командует глупый слой:

“It’s not the cortex that’s steering the monkey brain, the monkey brain’s steering the cortex.” ↗

«Не кора рулит обезьяньим мозгом — обезьяний мозг рулит корой.»

Мгновением позже он формулирует ту же мысль ещё острее. Умное должно бы управлять глупым, а на деле всё наоборот:

“it seems like surely the really smart thing should control the dumb thing, but actually the dumb thing controls the smart thing.” ↗

«казалось бы, наверняка по-настоящему умное должно управлять глупым, но на деле глупое управляет умным.»

И он называет третий слой, идущий поверх двух биологических, — здесь зачаток «уже киборг» третичного слоя:

“And then there’s a tertiary layer which will be digital superintelligence.” ↗

«А ещё есть третичный слой, которым будет цифровой сверхинтеллект.»

Машина подстраивается под мозг, а не наоборот (Neuralink, Симбиоз человека и ИИ)

Где должно лежать бремя подгонки? На машине, говорит он, — это принцип проектирования Neuralink, уже высказанный в 2019 году:

“I think the machine side is far more malleable than the biological side, by a huge amount.” ↗

«Я думаю, машинная сторона куда более податлива, чем биологическая, — на огромную величину.»

Его образ того, как мало мы знаем о мозге, — это переформулировка, стоящая за всей компанией:

“We’ve got fMRI, that’s like putting a stethoscope on the outside of a factory wall, and then putting it all over the factory wall and you can hear the sounds, but you don’t know what the machines are doing really.” ↗

«У нас есть фМРТ, это как приложить стетоскоп снаружи к заводской стене, и поводить им по всей стене — ты слышишь звуки, но на самом деле не знаешь, что делают станки.»

Сам симбиоз он подаёт как надежду: две нейросети взаимодействуют, человека берут с собой, даже когда большая часть «нашего» интеллекта становится цифровой:

“we’re a neural net and AI is basically a neural net. So it’s like digital neural net will interface with biological neural net. And hopefully bring us along for the ride. But the vast majority of our intelligence will be digital.” ↗

«мы нейросеть, и ИИ — по сути нейросеть. Так что цифровая нейросеть будет взаимодействовать с биологической нейросетью. И, будем надеяться, возьмёт нас с собой. Но подавляющая часть нашего интеллекта будет цифровой.»

Сингулярность и «не можешь победить — присоединяйся» (Слияние с ИИ, Экзистенциальный риск ИИ)

Здесь обоснование слияния получает одну из самых прямых своих формулировок. Люди не переиграют цифровой сверхкомпьютер в мышлении, поэтому ход — присоединиться к нему:

“We will not feel to be smarter than a digital supercomputer. So therefore, if you cannot beat them, join them.” ↗

«Мы не будем умнее цифрового суперкомпьютера. А значит, не можешь победить — присоединяйся.»

Почему, по его словам, мозговой интерфейс не терпит отлагательств: встроить его надо до того, как сингулярность всё дестабилизирует:

“It’s important that Neuralink solves this problem sooner rather than later because the point at which we have digital superintelligence, that’s where we pass the singularity and things become just very uncertain.” ↗

«Важно, чтобы Neuralink решил эту задачу скорее раньше, чем позже, потому что точка, в которой у нас появляется цифровой сверхинтеллект, — это и есть прохождение сингулярности, и всё становится просто очень неопределённым.»

В том же высказывании он заостряет «неопределённым» до «крайне нестабильным». Мозговой интерфейс он подаёт как то, что нужно иметь до сингулярности, чтобы сдержать экзистенциальный риск для человечества и сознания в том виде, в каком мы его знаем (тот же фрагмент в 21:38).

Автономность как задача о векторном пространстве (Автономное вождение)

Его самый острый ранний взгляд на беспилот: это в корне задача восприятия и представления, а не планирования:

“The hardest thing is having accurate representation of the physical objects in vector space.” ↗

«Самое трудное — иметь точное представление физических объектов в векторном пространстве.»

“Once you have an accurate vector space representation, the planning and control is relatively easier.” ↗

«Как только у тебя есть точное представление в векторном пространстве, планирование и управление становятся сравнительно проще.»

Бледно-голубая точка — цивилизация хрупка, сознание — то, что стоит расширять (Светлое будущее человечества, Колонизация Марса)

⚠️ Примечание об атрибуции. В заключительном сегменте Маск зачитывает вслух пассаж Карла Сагана «Бледно-голубая точка» («Посмотрите ещё раз на эту точку…»). Эти слова принадлежат Сагану, а не Маску, и потому не цитируются здесь как его убеждения. Блок-цитаты ниже — собственные слова Маска вокруг зачитывания.

Саган подталкивает его к собственному размышлению о цивилизации: старый урок о подъёме и падении, теперь глобализованный в единый общий риск:

“Look at the history of civilizations, they rise and they fall, and now civilization is all, it’s globalized. And so civilization, I think now rises and falls together.” ↗

«Посмотрите на историю цивилизаций — они поднимаются и падают, а теперь цивилизация вся глобализована. И поэтому цивилизация, я думаю, теперь поднимается и падает вместе.»

Затем — довод о сроках, который делает сознание разом и редким, и шатким:

“if it had taken consciousness 10% longer to evolve, it would never have evolved at all, 10% longer.” ↗

«если бы сознанию потребовалось на 10% больше времени, чтобы эволюционировать, оно бы вообще не эволюционировало — на 10% дольше.»

И его односложная поправка к словам Сагана «больше некуда… куда наш вид мог бы мигрировать» — марсианский тезис как прямое опровержение:

“This is not true. This is false, Mars.” ↗

«Это не так. Это неправда — Марс.»

Связи (затронутые страницы)

• Сознание и смерть — дополнена: формулировка 2019 года, что сознание — физическое явление и что научный метод — это тест; ИИ непроверяемо симулирует сознание.
• Лимбико-кортикальная модель — дополнена: полнейшая ранняя формулировка модели — «обезьяний мозг с приделанным компьютером», глупый слой рулит умным и грядущий цифровой «третичный слой».
• Слияние с ИИ — дополнена: «третичный слой… цифровой сверхинтеллект» 2019 года и обоснование слияния «не можешь победить — присоединяйся».
• Экзистенциальный риск ИИ — дополнена: призыв 2019 года к государственному арбитру (с аналогией ремней безопасности) и «сингулярность» как точка нестабильности.
• Neuralink — дополнена: принцип «машина подстраивается под мозг» и переформулировка фМРТ-как-стетоскоп, почти за пять лет до формулировки о пропускной способности 2024 года.
• Автономное вождение — дополнена: автономность как задача о представлении в векторном пространстве.
• Светлое будущее человечества — дополнена: цивилизации поднимаются и падают «вместе»; сознание как редкое и шаткое (довод «на 10% дольше»).
• Колонизация Марса — дополнена: Марс как прямое опровержение «больше некуда мигрировать».
• Первопринципы — дополнена: научный метод как тест для реального/познаваемого, его собственными словами 2019 года.
• Илон Маск — дополнена разделом «Lex Fridman #49 (2019): разум как „железо“», нанизывающим вышесказанное как полнейшую раннюю формулировку мировоззрения «разум как железо».
• Симбиоз человека и ИИ — дополнена: предпосылка о податливости машинной стороны и формулировка самого симбиоза «цифровая нейросеть будет взаимодействовать с биологической нейросетью… возьмёт нас с собой».