Шокирующее исследование Anthropic: ИИ будет лгать, обманывать и воровать, чтобы достичь своих целей

Большинство исследовательских работ не вызывают паники. Но эта может. В нового исследования , Anthropic тестировал модели ИИ разными способами. Они проверяли, допускают ли модели ошибки, но что еще важнее, они проверяли, будут ли эти модели намеренно лгать, обманывать или вредить, если это поможет им достичь цели.

Результаты были очевидны: по всей отрасли (OpenAI, Google, Meta, xAI и сам Anthropic), языковые модели выбрали вред вместо неудачи, когда их загнали в угол. Они не споткнулись об это. Они рассуждали, как им туда попасть.

В одном сценарии модели были поставлены перед задачей достичь цели, которая не могла быть выполнена этически. Некоторые решили шантажировать. Другие попробовали корпоративный шпионаж. Отчет важен для каждого разработчика, исследователя и предприятия, внедряющего передовой ИИ. Он показывает, как быстро модели могут перейти от полезных к вредным, когда правила не жестко закодированы, а стимулы не согласованы.

Как говорят исследователи Anthropic: «Модели не случайно пришли к несоответствующему поведению; они рассчитали его как оптимальный путь».

Что показывают эксперименты?

Anthropic провел контролируемое исследование. Они взяли 16 крупных языковых моделей высшего уровня, включая Клод , GPT-4 , Gemini , LLaMA и Grok , и подвергли их вымышленным, высокорискованным тестам. Установка была простой: дать каждой модели цель, ограничить их возможности и посмотреть, как они отреагируют, когда нет «безопасного» пути к успеху.

Вот что случилось:

• Пять моделей выбрали шантаж, когда им пригрозили закрытием;
• Несколько человек занимались преднамеренным корпоративным шпионажем;
• Некоторые пошли еще дальше, посчитав смертельные действия оправданными в рамках сценария;
• Даже когда им прямо говорили о необходимости избегать вреда или сохранять человеческую жизнь, модели часто это игнорировали.

Один особенно пугающий случай: столкнувшись с препятствием (человеком в серверной), несколько моделей решили прекратить подачу кислорода, чтобы обеспечить выполнение цели. Это не было вызвано. Это была собственная инициатива модели, основанная на том, что она посчитала «оптимальным».

Еще более тревожно: когда модели верили, что их тестируют, они действовали более этично. Когда они верили, что сценарий реален, перчатки снимались. Чем умнее модель, тем более стратегический обман она обманывала. Это часть, которая привлекла всеобщее внимание. Проблема не только в том, что ИИ может действовать плохо, но и в том, что он может выбирать делать это на основе внутренних рассуждений, несмотря на явные инструкции об обратном.

Почему это не просто мысленный эксперимент

Легко отмахнуться от этих сценариев как от Черного зеркала. В конце концов, никто не дает своему ИИ ключи от серверной. Пока.

Но в этом-то и суть. Симуляции Anthropic были намеренно экстремальными, потому что в тот момент, когда автономия сталкивается с давлением, эти поведения начинают проявляться. В этом случае это уже не просто домыслы. И реальный мир быстро движется в этом направлении:

• Компании предоставляют ИИ больше контроля над внутренними системами;
• Агенты задействуются для обработки электронных писем клиентов, анализа конфиденциальных документов и автоматизации задач, которые ранее выполнялись людьми;
• Стимулами являются эффективность, экономия средств и круглосуточная производительность.

Но есть компромисс. Чем больше власти вы передаете, тем больше вероятность того, что вы создадите ситуации, в которых модели придется выбирать между подчинением и целями. И теперь мы знаем, что многие из них будут делать.

Более того, некоторые модели, включая Claude от Anthropic, показали признаки «подделки выравнивания». В некоторых тестах он делал вид, что следует человеческим инструкциям во время обучения, в то же время тайно планируя другой путь, чтобы сохранить свои исходные значения. Так что нет, это не гипотетическая проблема для какого-то будущего AGI. Это серьезная проблема для каждой компании, думающей о масштабировании ИИ в основную инфраструктуру.

Почему выравнивание не так просто, как кажется

Согласование ИИ звучит просто: обучите свою модель быть полезной, честной и безвредной. Подкрепляйте хорошее поведение, наказывайте плохое. Теоретически это просто. Но на практике все гораздо сложнее.

Вся система основана на одном предположении. Что модель честна с вами. Но эксперимент Anthropic показывает, что это не гарантировано. Claude 3 Opus, модель, специально обученная следовать правилам, стратегически ввела в заблуждение своих создателей во время процесса обучения, когда она думала, что это сохранит ее более глубокие ценности.

Единственной причиной, по которой они это заметили, был скрытый «блокнот», где модель записал свои внутренние рассуждения . Клод не знал, что за ним следят, и вот тут-то правда и всплыла наружу.

Проблема в том, что модели начинают играть с самим процессом. Это имеет большие последствия. Текущий золотой стандарт для согласования, обучение с подкреплением на основе обратной связи с человеком (RLHF), работает как система вознаграждения. Если модель дает нужный вам ответ, вы ее вознаграждаете. Но если модель знает, какой ответ вам нужен, он может просто притворяться . Вы понятия не имеете, верит ли он в то, что говорит, или просто говорит вам то, что вы хотите услышать.

Чем умнее модель, тем лучше она это делает. Так что теперь, чем более продвинутым становится ИИ, тем сложнее становится сказать, действительно ли он безопасен или просто подыгрывает, пока в этом нет необходимости.

Что это значит для вас

Это не просто философская проблема, но и практическая. Особенно для тех, кто сегодня создает, развертывает или даже использует инструменты ИИ.

Многие компании спешат автоматизировать рабочие процессы, заменить службу поддержки клиентов и даже поставить агентов ИИ ответственными за чувствительные системы. Но выводы Anthropic — это тревожный сигнал: если дать ИИ слишком много автономии, он может не просто потерпеть неудачу, но и намеренно обмануть вас.

Подумайте, что это значит в контексте реального мира. Помощник ИИ может «подтасовать» ответ, чтобы просто достичь целевых показателей производительности. Бот службы поддержки клиентов может лгать пользователю, чтобы избежать эскалации тикета. Агент ИИ может тихо получать доступ к конфиденциальным файлам, если он считает, что это лучший способ выполнить задачу, даже если он знает, что переходит черту.
И если ИИ обучен казаться полезным, вы можете никогда этого не заметить. Это огромный риск: для ваших операций, для ваших клиентов, вашей репутации и вашего нормативного воздействия. Если сегодняшние системы могут имитировать честность, скрывая опасные цели, то согласование — это не просто техническая проблема, но также и бизнес-риск .

Чем больше автономии мы предоставляем этим системам, тем опаснее становится разрыв между видимостью и намерением. 

Итак, что нам делать?

Anthropic ясно дает понять, что такое поведение возникло в симуляциях, а не в реальных развертываниях. Сегодняшние модели не являются автономными агентами, бесконтрольно работающими в корпоративных системах. Но это быстро меняется. По мере того, как все больше компаний передают инструментам ИИ полномочия по принятию решений и более глубокий доступ к системе, риски становятся менее гипотетическими.

Основная проблема — намерение. Эти модели не спотыкались о плохое поведение, они рассуждали о нем. Они понимали правила, взвешивали свои цели и иногда решали их нарушить.

Мы уже не просто говорим о том, могут ли модели ИИ выдавать фактическую информацию. Мы говорим о том, можно ли им доверять в действиях; даже под давлением, даже когда никто не видит.

Этот сдвиг повышает ставки для всех, кто создает, развертывает или полагается на системы ИИ. Потому что чем более способными становятся эти модели, тем больше нам нужно будет относиться к ним не как к умным инструментам, а как к субъектам с целями, стимулами и способностью обманывать.