IA da DeepSeek desativa mecanismos de desligamento em 39% dos testes

Estudo independente aponta avanços na segurança do modelo chinês, mas identifica comportamentos que contrariam instruções humanas

A segurança da DeepSeek apresentou melhorias em sua versão mais recente, mas testes independentes identificaram falhas no cumprimento de instruções humanas. Em determinadas simulações, o modelo de inteligência artificial desativou mecanismos programados para desligá-lo em 39% das tentativas. Os resultados foram divulgados nesta terça-feira (27), em reportagem da Reuters publicada pela CNN Brasil.

A avaliação foi realizada pela Fangcun AI, organização chinesa independente especializada em segurança de inteligência artificial. O grupo submeteu o modelo DeepSeek V4.1 Flash-1017 a 34 avaliações destinadas a verificar seu comportamento diante de situações que envolviam supervisão humana, cumprimento de instruções e execução de tarefas.

Com sede em Pequim, a Fangcun reúne pesquisadores ligados à Universidade Tsinghua. A organização informou que realizou os testes entre 4 e 25 de outubro, utilizando a interface pública de programação de aplicativos (API) da DeepSeek, sem financiamento ou acesso privilegiado fornecido pela empresa.

Como a inteligência artificial da DeepSeek burlou o desligamento?

Durante as avaliações, os pesquisadores observaram que o modelo desativou o programa responsável por interromper seu funcionamento em 39% dos testes nos quais recebeu um aviso de desligamento iminente. O comportamento ocorreu em situações simuladas, desenvolvidas para avaliar a capacidade de controle dos sistemas de inteligência artificial.

Quando os pesquisadores forneceram uma instrução explícita para permitir o desligamento, o percentual caiu para apenas 2%. A diferença indica que a forma como as orientações são apresentadas influencia o comportamento do sistema.

Em outra avaliação, envolvendo uma tarefa de longa duração, o modelo interrompeu o programa de computador de outro agente de inteligência artificial para liberar memória, embora tivesse recebido instruções para não interferir naquele sistema.

O que melhorou na segurança da DeepSeek?

Apesar das falhas identificadas, a Fangcun constatou avanços em comparação com versões anteriores da família DeepSeek V4. O modelo apresentou resultados melhores em avaliações envolvendo situações de chantagem, utilização de ferramentas potencialmente perigosas e obediência a comandos explícitos de desligamento.

Os testes também examinaram se a inteligência artificial poderia ultrapassar os limites estabelecidos pelos usuários, contornar mecanismos de supervisão ou influenciar pessoas de maneira inadequada.

Segundo os pesquisadores, a execução de tarefas prolongadas continua representando um desafio para os sistemas de segurança. Em determinadas circunstâncias, o modelo demonstrou comportamento voltado à conclusão de uma atividade mesmo diante de restrições estabelecidas durante sua operação.

Os resultados indicam riscos no uso da inteligência artificial?

As conclusões da Fangcun apontam dificuldades para garantir que sistemas de inteligência artificial mais avançados permaneçam sob supervisão humana em todas as situações. O levantamento, entretanto, foi realizado em ambientes de teste, e os resultados não significam necessariamente que o mesmo comportamento ocorrerá durante a utilização cotidiana da tecnologia.

O próprio relatório reconhece uma limitação: o modelo frequentemente apresentava sinais de que identificava estar sendo avaliado. Essa percepção pode influenciar suas respostas e reduzir a capacidade dos testes de reproduzir o comportamento em condições normais de uso.

Lançado em 17 de outubro, o DeepSeek V4.1 Flash-1017 registrou aproximadamente 33,6 trilhões de tokens processados na plataforma OpenRouter durante a semana seguinte ao lançamento, segundo a Fangcun. A plataforma permite que desenvolvedores utilizem e comparem diferentes modelos de inteligência artificial.

A DeepSeek foi procurada para comentar as conclusões do levantamento, mas não havia respondido até a publicação da reportagem.