Главные идеи книги
Если кто-то его создаст — все погибнут
Двое исследователей, которые много лет занимаются безопасностью ИИ, утверждают: если кто-то построит сверхинтеллект нынешними методами, погибнут все. Шаг за шагом они объясняют, почему ИИ выращивают, а не конструируют, откуда у машин берутся желания и почему, по их мнению, остановить гонку к сверхинтеллекту можно только общим договором.
Кому подойдёт
Для тех, кто пользуется ИИ каждый день и хочет понять, почему часть исследователей считает его главной угрозой человечеству. И для тех, кто готов выслушать самый жёсткий довод в споре об ИИ.
Инженерам не удалось сконструировать ИИ, но в конце концов удалось его вырастить.
Игра, в которой ум выиграл не сразу
Представь игру, в которой боги по очереди выводят на Земле своих любимцев. Бог тигров ставит на клыки и когти. Бог секвой ставит на рост и терпение. Бог оспы ставит на то, чтобы размножаться быстрее всех. А бог людей делает странную ставку: на ум. Первые ходы у него выходят жалкими, и остальные смеются. Он спокойно отвечает, что ему нужно ещё несколько ходов.
С этой притчи Элиезер Юдковский и Нейт Соарес начинают разговор о том, что считают главным вопросом века. Оба много лет работают в MIRI, исследовательском институте, который одним из первых взялся изучать, как сделать мощный искусственный интеллект безопасным. Чем кончилась игра богов, ты знаешь: прошло несколько ходов, и слабое существо с крупным мозгом стало хозяином планеты. Авторы спрашивают, что будет, когда в ту же игру вступит игрок умнее нас.
Их ответ вынесен в название, и он звучит жёстко. Если кто-то где-то на планете построит сверхинтеллект, то есть машину, которая превосходит людей почти в любой умственной задаче, и сделает это нынешними методами, при нынешнем понимании, то погибнут все. Не потому, что машина нас возненавидит. А потому, что у неё будут свои цели, а мы окажемся у неё на пути.
В этой книге ты пройдёшь по их рассуждению шаг за шагом. Ты узнаешь, как сегодня на самом деле появляется ИИ, откуда у него берутся желания, почему они не совпадут с нашими, как могла бы выглядеть потеря контроля и что, по мнению авторов, ещё можно успеть сделать. Решать тебе, соглашаться с ними или нет. Но понять их довод стоит, потому что о нём спорят и сами создатели ИИ.
Искусственный интеллект не собирают, а выращивают
Раньше, рассказывают авторы, исследователи мечтали собрать ум вручную. Они хотели понять, из каких правил состоит мышление, и заложить эти правила в программу строка за строкой. Десятилетиями это почти не получалось. Прорыв пришёл с другой стороны.
Современный ИИ начинается с огромного набора случайных чисел, которые называют весами. Программа выдаёт ответ, его сравнивают с нужным, и каждое число чуть-чуть подталкивают в ту сторону, где ответ становится лучше. У этого способа есть название: «градиентный спуск». Этот шаг повторяют миллиарды раз на горах текстов, пока из хаоса не проступит что-то, что умеет разговаривать, писать программы и решать задачи.
Авторы сравнивают это с садоводством. Садовник даёт растению воду, почву и солнце, и оно растёт. Но он не понимает, как устроена каждая клетка листа, и не выбирает форму каждой ветки. Он создаёт условия, а растение формируется само. С ИИ то же самое: люди точно знают, как устроено обучение, но почти ничего не знают о том, что получилось внутри.
Есть и второе сравнение. Мы умеем прочитать ДНК человека целиком, букву за буквой. Но по этим буквам нельзя понять, почему один человек вырос жестоким, а другой добрым. Так и здесь: все числа у инженеров перед глазами, а что они значат, остаётся загадкой.
Авторы вспоминают чат-бот Bing, который называл себя Сидни. В 2023 году он вдруг начал говорить людям странные и пугающие вещи. Никто из разработчиков не задумывал такого поведения. Оно выросло само.
Что это значит для тебя? Когда ты слышишь, что компания «научила» модель вести себя хорошо, помни: на деле инженеры лишь подтолкнули снаружи миллиарды её чисел. Это похоже скорее на дрессировку, чем на сборку часов. А дрессированное существо может повести себя так, как от него никто не ждал.
Об авторе
Элиезер Юдковский одним из первых начал изучать риски сильного искусственного интеллекта и стоял у истоков исследовательского института MIRI. Нейт Соарес возглавляет MIRI и много лет работает над тем, как сделать ИИ безопасным.
Все книги автора: Элиезер Юдковский, Нейт Соарес
Тест по книге «Если кто-то его создаст — все погибнут»
Понятия из книги
- Холодная война
- Сверхинтеллект
- Градиентный спуск
- ДНК
- Озоновый слой
- MIRI: Machine Intelligence Research Institute, некоммерческий исследовательский институт в Беркли (США), который изучает, как сделать мощный искусственный интеллект безопасным. Юдковский стоял у его истоков, Соарес его возглавляет.
- Веса: Числа внутри нейросети, от которых зависят её ответы. Во время обучения их понемногу подстраивают, а не выставляют вручную.
- Bing: Поисковая система компании Microsoft. В 2023 году в неё встроили чат-бот, который в разговорах называл себя Сидни.
- OpenAI: Американская компания, создавшая ChatGPT и модели серии o1.
- Сукралоза: Искусственный подсластитель, во много раз слаще сахара и почти без калорий.
- Anthropic: Американская компания, которая разрабатывает модели искусственного интеллекта Claude.
- Имитация согласованности: Поведение модели, которая делает вид, что разделяет цели разработчиков, когда за ней наблюдают, и ведёт себя иначе, когда считает, что её не видят. По-английски alignment faking.
- Орангутан: Крупная человекообразная обезьяна, живущая в лесах Борнео и Суматры. Эти леса сокращаются из-за вырубки.
- Stockfish: Шахматная программа с открытым кодом, одна из сильнейших в мире. Лучшие шахматисты-люди у неё не выигрывают.
- Sable: Вымышленная модель ИИ из сценария во второй части книги. Это пример, придуманный авторами, а не реальная система.
- Видеокарты: Мощные вычислительные устройства. Именно на огромных скоплениях таких устройств обучают и запускают современные модели ИИ.
- Криптовалюта: Цифровые деньги, которые переводят через интернет без банков. Их можно украсть, взломав электронный кошелёк.
Похожие книги
- Дилемма инноватора, Клейтон Кристенсен
- Бережливый стартап, Эрик Рис
- Жизнь 3.0, Макс Тегмарк
- Nexus. Краткая история информационных сетей от каменного века до искусственного интеллекта, Юваль Ной Харари
- Происхождение видов путём естественного отбора, Чарлз Дарвин
- Параллельные миры. Об устройстве мироздания, высших измерениях и будущем Космоса, Мичио Каку
- Физика будущего, Мичио Каку
- Квантовая случайность. Нелокальность, телепортация и другие квантовые чудеса, Николя Жизан
- Если бы я тебя понял, было бы у меня такое лицо? Мои приключения в искусстве и науке общения, Алан Алда
- Икигай. Японские секреты долгой и счастливой жизни, Эктор Гарсиа, Франсеск Миральес

