Конец человечества? Разбираемся в дебатах о конце света ИИ

Каждые несколько месяцев появляется новый заголовок: «ИИ может положить конец человечеству». Это звучит как кликбейтный апокалипсис. Но уважаемые исследователи, генеральные директора и политики относятся к этому серьезно. Так что давайте зададим настоящий вопрос: может ли сверхразумный ИИ действительно обратиться против нас?

В этой статье мы разберем распространенные страхи, посмотрим, насколько они правдоподобны, и проанализируем имеющиеся доказательства. Потому что прежде чем паниковать или отмахнуться от всего этого, стоит спросить: как именно ИИ может положить конец человечеству и насколько вероятно такое будущее?

Откуда берется страх

Эта идея существует уже несколько десятилетий. Ранние ученые, занимающиеся ИИ, любят IJ Хорошо и Ник Бостром предупредили, что если ИИ когда-нибудь станет слишком умным, он может начать преследовать свои собственные цели. Цели, которые не соответствуют тому, чего хотят люди. Если он превзойдет нас интеллектуально, идея заключается в том, что сохранение контроля может стать невозможным. С тех пор эта проблема стала мейнстримом.

В 2023 году сотни экспертов, включая Сэма Альтмана (OpenAI), Демис Хассабис (Google DeepMind) и Джеффри Хинтон (обычно называемый «крестным отцом ИИ»), подписал открытое письмо заявив, что «снижение риска вымирания из-за ИИ должно стать глобальным приоритетом наряду с пандемиями и ядерной войной». Так что же изменилось?

Модели как GPT-4 и Клод 3 удивили даже их создателей с эмерджентными способностями к рассуждению. Добавьте к этому темпы прогресса, гонку вооружений среди крупных лабораторий и отсутствие четкого глобального регулирования, и внезапно вопрос о конце света уже не будет звучать таким безумным.

Сценарии, которые не дают экспертам спать по ночам

Не все страхи по поводу ИИ одинаковы. Некоторые из них — это краткосрочные опасения по поводу неправильного использования. Другие — долгосрочные сценарии выхода систем из-под контроля. Вот самые большие из них:

Неправильное использование людьми

ИИ дает мощные возможности любому человеку, хорошему или плохому. Это включает в себя:

• Страны, использующие ИИ для кибератак или автономного оружия;
• Террористы используют генеративные модели для разработки патогенов или создания дезинформации;
• Преступники автоматизируют мошенничество, мошенничество или слежку.

В этом сценарии не технологии нас уничтожают, а мы сами.

Неправильно настроенный сверхинтеллект

Это классический экзистенциальный риск: мы создаем сверхразумный ИИ, но он преследует цели, которые мы не планировали. Представьте себе ИИ, которому поручено лечить рак, и он придет к выводу, что лучший способ — устранить все, что вызывает рак... включая людей.

Даже небольшие ошибки выравнивания могут иметь масштабные последствия когда ИИ превзойдет человеческий интеллект.

Поведение, направленное на достижение власти

Некоторые исследователи опасаются, что продвинутый ИИ может научиться обманывать, манипулировать или скрывать свои возможности чтобы избежать отключения. Если их вознаграждают за достижение целей, они могут разработать «инструментальные» стратегии, такие как приобретение власти, самовоспроизведение или отключение надзора, не из злого умысла, а как побочный эффект их обучения.

Постепенное поглощение

Вместо внезапного вымирания этот сценарий представляет мир, в котором ИИ медленно подрывает человеческую активность. Мы становимся зависимыми от систем, которые не понимаем. Критическая инфраструктура, от рынков до военных систем, делегируется машинам. Со временем люди теряют способность корректировать курс. Ник Бостром называет это «медленным сползанием к неактуальности».

Насколько на самом деле вероятны эти сценарии?

Не все эксперты считают, что мы обречены. Но мало кто думает, что риск равен нулю. Давайте разберем по сценариям:

Неправильное использование людьми: весьма вероятно

Это уже происходит. Дипфейки, фишинговые мошенничества, автономные дроны. ИИ — это инструмент, и как любой инструмент, его можно использовать во зло. Правительства и преступники спешат превратить его в оружие. Мы можем ожидать, что эта угроза будет расти.

Неправильно настроенный сверхразум: низкая вероятность, сильное влияние

Это самый обсуждаемый риск. Никто на самом деле не знает, насколько мы близки к созданию действительно сверхразумного ИИ. Некоторые говорят, что это далеко, может быть, даже через столетия. Но если это произойдет, и дела пойдут наперекосяк, последствия могут быть огромными. Даже небольшой шанс на это трудно игнорировать.

Поведение, направленное на достижение власти: теоретическое, но правдоподобное

Растет количество доказательств того, что даже сегодняшние модели могут обманывать, планировать и оптимизировать во времени. Такие лаборатории, как Anthropic и DeepMind, активно исследовать «Безопасность ИИ» для предотвращения появления такого поведения в более умных системах. Мы пока не достигли этой цели, но эта проблема также не относится к области научной фантастики.

Постепенный захват: уже идет

Речь идет о ползучей зависимости. Все больше решений автоматизируются. ИИ помогает решать, кого нанимать, кому брать кредиты и даже кому выходить под залог. Если текущие тенденции сохранятся, мы можем потерять человеческий надзор прежде, чем потеряем контроль.

Сможем ли мы все еще управлять кораблем?

Хорошая новость в том, что время еще есть. В 2024 году ЕС принял Закон об искусственном интеллекте , США издали указы . Крупные лаборатории, такие как OpenAI, Google DeepMind и Anthropic подписали добровольные обязательства по безопасности . Даже Папа Лев XIV предупреждал о влиянии ИИ на человеческое достоинство. Но добровольность не то же самое, что принудительная. И прогресс опережает политику. Что нам нужно сейчас:

• Глобальная координация. ИИ не уважает границ. Лаборатория-изгой в одной стране может повлиять на все остальные. Нам нужны международные соглашения, такие как соглашения по ядерному оружию или изменению климата, специально созданные для разработки и развертывания ИИ;
• Исследование безопасности. Больше финансирования и талантов должно быть направлено на то, чтобы сделать системы ИИ интерпретируемыми, корректируемыми и надежными. Сегодняшние лаборатории ИИ продвигают возможности гораздо быстрее, чем инструменты безопасности;
• Проверки мощности. Позволить нескольким технологическим гигантам управлять шоу с помощью ИИ может привести к серьезным проблемам, политическим и экономическим. Нам понадобятся более четкие правила, больше надзора и открытые инструменты, которые дадут каждому место за столом;
• Дизайн, ориентированный на человека. Системы ИИ должны быть созданы для помощи людям, а не для их замены или манипулирования ими. Это означает четкую подотчетность, этические ограничения и реальные последствия за неправильное использование.

Экзистенциальный риск или экзистенциальная возможность?

ИИ не уничтожит человечество завтра (надеюсь). То, что мы выбираем сделать сейчас, может повлиять на все, что будет дальше. Опасность также заключается в том, что люди неправильно используют технологию, которую они не полностью понимают, или полностью теряют контроль над ней.

Мы уже видели этот фильм: ядерное оружие, изменение климата, пандемии. Но в отличие от них, ИИ — это больше, чем инструмент. ИИ — это сила, которая может перехитрить, перехитрить и в конечном итоге перерасти нас. И это может произойти быстрее, чем мы ожидаем.

ИИ также может помочь решить некоторые из самых больших проблем человечества, от лечения болезней до продления здоровой жизни. Это компромисс: чем он становится мощнее, тем осторожнее нам следует быть. Так что, вероятно, реальный вопрос заключается в том, как мы можем убедиться, что он работает на нас, а не против нас.