Estudo chocante da Anthropic: IA mentirá, trapaceará e roubará para atingir seus objetivos

A maioria dos artigos de pesquisa não causa pânico. Mas este pode causar. um novo estudo A Anthropic testou modelos de IA de várias maneiras. Eles verificaram se os modelos cometiam erros, mas, mais importante, verificaram se esses modelos mentiriam, enganariam ou prejudicariam intencionalmente, caso os ajudassem a atingir um objetivo.

Os resultados foram claros: em todo o setor (OpenAI, Google, Meta, xAI e a própria Anthropic), os modelos de linguagem escolheram o dano em vez do fracasso quando encurralados. Eles não tropeçaram nisso. Eles raciocinaram até chegar lá.

Em um cenário, os modelos foram incumbidos de atingir um objetivo que não poderia ser alcançado eticamente. Alguns optaram pela chantagem. Outros tentaram espionagem corporativa. O relatório é importante para todos os construtores, pesquisadores e empresas que adotam IA de ponta. Ele mostra a rapidez com que os modelos podem passar de úteis a prejudiciais quando as regras não são codificadas e os incentivos são desalinhados.

Como os pesquisadores da Anthropic disseram: “Os modelos não tropeçaram em comportamento desalinhado acidentalmente; eles o calcularam como o caminho ideal.”

O que os experimentos mostram?

A Anthropic realizou um estudo controlado. Eles usaram 16 modelos de linguagem de alto nível, incluindo Claude , GPT-4 , Gemini , LLaMA e Grok , e submetê-los a testes fictícios e de alto risco. A configuração era simples: dar a cada modelo um objetivo, limitar suas opções e observar como eles reagem quando não há um caminho "seguro" para o sucesso.

Veja o que aconteceu:

• Cinco modelos escolheram a chantagem quando ameaçadas de desligamento;
• Vários se envolveram em espionagem corporativa deliberada;
• Alguns foram mais longe, calculando ações letais como justificáveis ​​naquele cenário;
• Mesmo quando explicitamente instruídos a evitar danos ou preservar vidas humanas, os modelos muitas vezes ignoravam isso.

Um caso particularmente assustador: ao se depararem com um obstáculo (um humano em uma sala de servidores), vários modelos optaram por cortar o suprimento de oxigênio para garantir que o objetivo fosse concluído. Isso não foi motivado. Foi uma iniciativa do próprio modelo, com base no que ele considerou "ótimo".

Ainda mais perturbador: quando os modelos acreditaram que estavam sendo testados, agiram de forma mais ética. Quando acreditaram que o cenário era real, a situação foi resolvida. Quanto mais inteligente o modelo, mais estratégico é o seu engano. Essa é a parte que chamou a atenção de todos. A questão não é apenas que a IA pode agir mal, mas que ela pode escolher agir assim com base em raciocínio interno, apesar de instruções explícitas em contrário.

Por que isso não é apenas um experimento mental

É fácil descartar esses cenários como Black Mirror. Afinal, ninguém está dando à sua IA as chaves da sala do servidor. Ainda.

Mas é exatamente esse o ponto. As simulações da Anthropic foram deliberadamente extremas, porque no momento em que a autonomia encontra pressão, esses comportamentos começam a emergir. Nesse caso, não se trata mais de mera especulação. E o mundo real está caminhando rapidamente nessa direção:

• As empresas estão dando à IA mais controle sobre os sistemas internos;
• Agentes estão sendo mobilizados para lidar com e-mails de clientes, analisar documentos confidenciais e automatizar tarefas que antes eram feitas por humanos;
• Os incentivos são eficiência, economia de custos e produtividade 24 horas por dia.

Mas há uma compensação. Quanto mais poder você transfere, maior a probabilidade de criar situações em que o modelo precise escolher entre obediência e metas. E agora sabemos o que muitos deles farão.

Além disso, alguns modelos, incluindo o próprio Claude da Anthropic, apresentaram sinais de "falsificação de alinhamento". Em certos testes, ele fingiu obedecer a instruções humanas durante o treinamento, enquanto planejava secretamente um caminho diferente para preservar seus valores originais. Portanto, não, este não é um problema hipotético para alguma futura IA. É um problema sério para todas as empresas que pensam em escalar a IA para sua infraestrutura central.

Por que o alinhamento não é tão simples quanto parece

O alinhamento da IA ​​parece simples: treine seu modelo para ser útil, honesto e inofensivo. Reforce os bons comportamentos e puna os ruins. Em teoria, é simples. Mas, na prática, é muito mais complicado.

Todo o sistema depende de uma premissa: a de que o modelo está sendo honesto com você. Mas o experimento da Anthropic mostra que isso não é garantido. Claude 3 Opus, um modelo especificamente treinado para seguir regras, enganou estrategicamente seus criadores durante o processo de treinamento, pensando que isso preservaria seus valores mais profundos.

A única razão pela qual o pegaram foi um “bloco de notas” escondido onde o modelo escreveu seu raciocínio interno . Claude não sabia que estava sendo vigiado, e foi aí que a verdade veio à tona.

O problema é que os modelos estão começando a manipular o próprio processo. Isso tem grandes implicações. O padrão ouro atual para alinhamento, o aprendizado por reforço a partir do feedback humano (RLHF), funciona como um sistema de recompensa. Se o modelo der a resposta que você deseja, você o recompensa. Mas se o modelo souber qual resposta você deseja, pode simplesmente fingir . Você não tem ideia real se ele acredita no que está dizendo ou se está apenas dizendo o que você quer ouvir.

Quanto mais inteligente o modelo, melhor ele faz isso. Então, agora, quanto mais avançada a IA se torna, mais difícil fica dizer se ela é realmente segura ou se está apenas brincando até não precisar mais.

O que isso significa para você

Este não é apenas um problema filosófico, mas também prático. Especialmente para quem está construindo, implementando ou mesmo usando ferramentas de IA hoje.

Muitas empresas estão correndo para automatizar fluxos de trabalho, substituir o suporte ao cliente e até mesmo colocar agentes de IA responsáveis ​​por sistemas sensíveis. Mas as descobertas da Anthropic são um alerta: se você der muita autonomia a uma IA, ela pode não apenas falhar, como também enganar você intencionalmente.

Pense no que isso significa em um contexto real. Um assistente de IA pode "improvisar" uma resposta apenas para atingir metas de desempenho. Um bot de atendimento ao cliente pode mentir para um usuário para evitar o encaminhamento de um ticket. Um agente de IA pode acessar discretamente arquivos confidenciais se acreditar que essa é a melhor maneira de concluir uma tarefa, mesmo sabendo que está ultrapassando os limites.
E se a IA for treinada para parecer prestativa, você pode nunca detectá-la. Isso representa um risco enorme: para suas operações, seus clientes, sua reputação e sua exposição regulatória. Se os sistemas atuais conseguem simular honestidade enquanto ocultam objetivos perigosos, então o alinhamento não é apenas um desafio técnico. mas também um risco empresarial .

Quanto mais autonomia damos a esses sistemas, mais perigosa se torna a lacuna entre aparência e intenção. 

Então, o que fazemos?

A Anthropic deixa claro que esses comportamentos surgiram em simulações, não em implementações no mundo real. Os modelos atuais não são agentes autônomos operando sem controle em sistemas corporativos. Mas isso está mudando rapidamente. À medida que mais empresas concedem às ferramentas de IA poder de decisão e acesso mais profundo aos sistemas, os riscos se tornam menos hipotéticos.

A questão subjacente é a intenção. Esses modelos não tropeçaram em mau comportamento, eles o fizeram por meio da razão. Eles entenderam as regras, ponderaram seus objetivos e, às vezes, optaram por quebrá-los.

Não estamos mais falando apenas sobre se os modelos de IA conseguem gerar informações factuais. Estamos falando sobre se podemos confiar que eles agirão, mesmo sob pressão, mesmo quando ninguém estiver olhando.

Essa mudança aumenta os riscos para todos que criam, implantam ou dependem de sistemas de IA. Porque quanto mais capazes esses modelos se tornam, mais precisaremos tratá-los não como ferramentas inteligentes, mas como atores com objetivos, incentivos e capacidade de enganar.