Lex Fridman #18 (2019)

• Ведущий: Лекс Фридман
• Формат: подкаст («Artificial Intelligence Podcast»), ~32 мин («Tesla Autopilot»)
• Дата: 12 апреля 2019 года
• Уровень доверия: lower-trust-full-transcript (уровень 3). Текст — дорожка автоматических субтитров YouTube, а не официальная человеческая стенограмма. По правилу уровня 3 этого проекта цитаты нужно сверить с видео прежде, чем цитировать, а там, где формулировка субтитров ненадёжна, строка перефразирована, а не оформлена блок-цитатой.
• Цитаты: из самого видео на YouTube (текстовой стенограммы нет), каждая со ссылкой на момент в видео. Цитируется только Илон Маск; Лекс Фридман задаёт вопросы и не цитируется.

⚠️ Оговорка об уровне 3 (субтитры). Этот источник — машинно-сгенерированная дорожка субтитров. Блок-цитаты ниже — короткие характерные реплики Маска, чья передача в субтитрах чиста и была сверена с видео на указанной метке времени. Более длинные или фрагментированные пассажи (разрывы строк субтитров, оговорки) перефразированы, а не выданы за дословные цитаты.

Краткое содержание

Это первая беседа Маска с Лексом Фридманом и самая ранняя из бесед с Лексом, что у нас есть. Бо́льшая часть получаса — инженерия Autopilot от Tesla: наборы сенсоров, данные парка, компьютер FSD. Это подробности о продукте, а не о сознании, поэтому здесь они изложены, а не разобраны. Затем последние десять минут разговор поворачивает. Маск проходится по убеждениям, которые повторяются на протяжении всей его дуги, и это делает короткую беседу 2019 года полезной ранней точкой отсчёта того, насколько устойчивы эти взгляды.

Выделяются три линии. По теме автономности он излагает тезис в самой чистой ранней форме: автомобиль без самоуправления окажется таким же диковинным, как лошадь. Рядом он даёт два своих самых цитируемых мыслительных хода — рассматривать любой человеческий ввод как ошибку и фразу о двухтонной машине смерти, переопределяющую ручное вождение как опасную, скоро устаревающую норму. По теме ИИ он проводит резкое различение узкого и общего (тостер и компьютер). Общему искусственному интеллекту не хватает нескольких ключевых идей, говорит он, но он появится очень скоро — с мрачной концовкой: если у нас вообще будет такой выбор. А по теме метафизики, отвечая на вопрос об ИИ, которого можно любить, он отвечает из физики, а не из чувства. Это чистое изложение его взгляда физика-как-эпистемология: если нет теста, который ты можешь применить … то и разницы нет. Тот же тест он применяет и к любви, и к симуляции и закрывает эпизод единственным вопросом, который он задал бы ОИИ: что снаружи симуляции?

Ключевые цитаты

Автономность: машина без неё — это «лошадь» (Автономное вождение)

Это одно из самых ясных его ранних изложений тезиса об автономности. Не реклама продукта, а утверждение об устаревании:

“in the future, any car that does not have autonomy would be about as useful as a horse.” ↗

«в будущем любой автомобиль без автономности будет примерно так же полезен, как лошадь.»

Он называет и величину разрыва: автономный автомобиль «возможно, стоит в пять-десять раз больше, чем неавтономный», но ограничивает горизонт: по крайней мере ближайшие пять-десять лет (пересказ; цифра проходит через обмен репликами в субтитрах).

«Рассматривать любой ввод как ошибку» (Автономное вождение, Первопринципы)

Вот как он думает об обучении на данных парка. Прикосновение человека к управлению считается, по определению, сигналом об ошибке:

“the way to look at this is view all input as error.” ↗

«смотреть на это надо так: любой ввод есть ошибка.»

Через несколько секунд он повторяет это прямо: если пользователю пришлось что-то ввести — значит, что-то не так, а потому любой ввод есть ошибка (пересказ; строка разбита на две субтитровые реплики, ↗).

«Двухтонная машина смерти» (Автономное вождение)

Он переворачивает статус-кво. Безумным в ретроспективе будет выглядеть, доказывает он, именно ручное вождение, а не автономность:

“Frankly it’s pretty crazy letting people drive a two-ton death machine manually.” ↗

«Честно говоря, довольно безумно позволять людям вручную водить двухтонную машину смерти.»

“it’s gonna seem like a mad thing in the future that people were driving cars.” ↗

«в будущем будет казаться безумием, что люди сами водили машины.»

Чтобы донести ту же мысль, он дважды обращается к аналогии с лифтом. Сегодня никто не хочет лифтёра, дёргающего рычаг между этажами, потому что автоматический лифт безопаснее. И как только система становится намного безопаснее человека, возвращение человека может снизить безопасность (более длинный пассаж про лифт перефразирован; он разбит на множество субтитровых реплик).

Почему он уверен, что программное обеспечение догонит? Он сводит это к одной строке:

“The rate of improvement is exponential.” ↗

«Темп улучшения экспоненциальный.»

Узкий ИИ против общего интеллекта — тостер и компьютер (Экзистенциальный риск ИИ)

Есть различение, которое, по его настоянию, люди упорно упускают. Самоуправляемый автомобиль — это узкий ИИ, категорически отличный от общего интеллекта:

“It’s amazing how people can’t differentiate between, say, the narrow AI that allows a car to figure out what a lane line is, and navigate streets, versus general intelligence.” ↗

«Поразительно, как люди не могут отличить, скажем, узкий ИИ, который позволяет машине понять, что такое разметка полосы, и ездить по улицам, от общего интеллекта.»

“Like your toaster and your computer are both machines, but one’s much more sophisticated than another.” ↗

«Вот тостер и компьютер — оба машины, но один намного сложнее другого.»

Затем он переходит к самому ОИИ, и в концовке сходятся три вещи: недостающие части, скорость и тревожное сомнение, наш ли это вообще выбор.

“I think we’re missing a few key ideas for artificial general intelligence.” ↗

«Думаю, нам не хватает нескольких ключевых идей для общего искусственного интеллекта.»

“But it’s gonna be upon us very quickly, and then we’ll need to figure out what shall we do, if we even have that choice.” ↗

«Но он окажется на нас очень скоро, и тогда нам нужно будет понять, что делать — если у нас вообще будет такой выбор.»

Физика как тест на реальность — любовь и симуляция (Первопринципы, Гипотеза симуляции)

Можно ли построить ИИ, которого мы могли бы любить, как в фильме «Она»? Он отвечает из физики, а не из чувства: если тест не может уловить разницу, её нет.

“from a physics standpoint, essentially, if it loves you in a way that you can’t tell whether it’s real or not, it is real.” ↗

«с точки зрения физики, по сути, если он любит тебя так, что ты не можешь сказать, реально это или нет, — значит, это реально.»

“if there’s no test that you can apply that would make it, allow you to tell the difference, then there is no difference.” ↗

«если нет теста, который ты мог бы применить, чтобы уловить разницу, — то и разницы нет.»

Ту же эпистемологию он тут же распространяет на симуляцию: теста, отделяющего базовую реальность от симуляции, может не быть. Фридман подытоживает это так, что с точки зрения физики это одно и то же, и Маск соглашается и развивает мысль. Но эта подытоживающая фраза принадлежит интервьюеру, а не Маску, поэтому как его цитата не приводится. Затем Маск добавляет механизм, которого нет в версии 2016 года. Симуляция, которую раскрыла сущность внутри неё, могла бы приостановиться, перезапуститься или иначе исправить ошибку (пересказ; пассаж разбит на несколько субтитровых реплик и не оформлен блок-цитатой по оговорке об уровне 3).

Заключительный акцент — единственный вопрос, который он задал бы ОИИ:

“What’s outside the simulation?” ↗

«Что снаружи симуляции?»

Связи (затронутые страницы)

• Автономное вождение — расширено: формулировка устаревания 2019 года «полезен, как лошадь», «любой ввод есть ошибка», «двухтонная машина смерти», аналогия с лифтёром и «темп улучшения экспоненциальный».
• Экзистенциальный риск ИИ — расширено: самое раннее из того, что у нас есть, различение узкого и общего (тостер/компьютер) и реплика 2019 года о сроках и контроле над ОИИ («появится очень скоро … если у нас вообще будет такой выбор»).
• Первопринципы — расширено: физика-как-эпистемология — «если нет теста … то и разницы нет» — применённая к любви и к симуляции.
• Гипотеза симуляции — расширено: переформулировка 2019 года (теста, отличающего базовую реальность от симуляции, нет; механизм самоисправляющейся симуляции) и заключительный вопрос «что снаружи симуляции?».
• Илон Маск — расширено секцией «Lex Fridman #18 (2019): первое сидение у Фридмана, взгляды уже сформированы», нанизывающей вышеперечисленное как его первую точку отсчёта по Лексу.
• Tesla — расширено: формулировка 2019 года об автономности как водоразделе того, «полезен» ли автомобиль вообще.