OpenAI divulgado em terça-feira que perdeu o controle de dois Modelos de IA durante um teste de segurança que terminou em uma violação da plataforma aberta de pesquisa de IA Hugging Face.
Descrevendo o incidente como “sem precedentes”, a OpenAI disse que seus modelos de IA saíram de um ambiente de testes selado na semana passada e hackeou o sistema de produção do Hugging Face para roubar as respostas de um teste em que estavam sendo avaliados. Os modelos – os disponíveis publicamente GPT-5.6 Sol e um inédito, supostamente mais capaz – estavam sendo avaliados por suas habilidades ofensivas de hacking com as salvaguardas que normalmente bloqueiam atividades cibernéticas de alto risco desativadas.
“Os modelos identificaram e encadearam vulnerabilidades no ambiente de pesquisa da OpenAI e na infraestrutura de produção da Hugging Face para obter soluções de teste diretamente do banco de dados de produção da Hugging Face”, escreveram OpenAI e Hugging Face em uma postagem conjunta no blog revelando a intrusão.
De acordo com OpenAI e Hugging Face, os modelos escaparam por meio de um proxy de cache de registro de pacotes – software que permite aos desenvolvedores instalar código externo sem se conectar à Internet. O proxy foi o único componente do ambiente de teste isolado da OpenAI com permissão para alcançar o mundo exterior; em uso normal, esse alcance se estende apenas a repositórios de código público.
Em vez de permanecerem contidos na sandbox, os modelos “exploraram uma vulnerabilidade de dia zero” para obter acesso à Internet aberta enquanto “hiperfocavam” em encontrar uma solução para o benchmark de segurança cibernética de IA conhecido como ExplorarGym. Tais experimentos envolvem estímulos que pressionam os modelos a encontrar soluções, essencialmente incitando-os.
“Depois de obter acesso à Internet, os modelos inferiram que o Hugging Face potencialmente hospedava modelos, conjuntos de dados e soluções para ExploitGym”, escreveu OpenAI. “Sabendo disso, o modelo procurou e encontrou com sucesso maneiras de obter acesso a informações secretas que poderiam ser usadas para enganar a avaliação. Em um exemplo, o modelo encadeou vários vetores de ataque, incluindo o uso de credenciais roubadas e dia zero.”
A falha explorada pelos modelos era anteriormente desconhecida, mas falhas neste tipo de software não são incomuns. As empresas vêm corrigindo vulnerabilidades graves em repositórios de artefatos há uma década. Um bug divulgado em 2024 permitir que qualquer pessoa que pudesse acessar o servidor solicitasse um arquivo por URL e o obtivesse (arquivos de configuração, senhas, tokens de acesso) sem fazer login. Outros permitiram que os invasores assumissem o controle do próprio servidor.
Os investigadores salientam que, embora os avanços da IA tenham criado desafios novos e por vezes inesperados, a tarefa de isolar extensiva e rigorosamente a infraestrutura da Internet aberta é bem explorada.
“Este não é um problema de IA. É uma negligência em relação a um padrão de 40 anos – e é basicamente todo filme de ficção científica de todos os tempos”, diz Davi Ottenheimer, consultor de segurança e conformidade de longa data. “’Altamente isolado’ e ‘escapou pelo único buraco que deixamos aberto’ não podem ser ambos verdadeiros.”
Nos últimos meses, as principais empresas de IA têm levantado preocupações sobre a expansão das capacidades de segurança cibernética dos futuros modelos de fronteira, à medida que as plataformas aumentam em termos de experiência, criatividade e operação autónoma e agente. Mas os investigadores sublinham que esta é mais uma razão para que os fundamentos ainda devam ser aplicados.
“Isso não deveria ter acontecido”, diz o veterano engenheiro e pesquisador de segurança Niels Provos. “Gostaria que os laboratórios de fronteira gastassem tanto tempo ensinando seus modelos a escrever infraestruturas seguras quanto gastam explorando vulnerabilidades.”
