Injeções imediatas, o comandos maliciosos que os invasores incorporam no conteúdo para atrair grandes modelos de linguagem a segui-los têm sido a ferramenta preferida dos invasores para virar as plataformas de IA contra seus usuários. Um comando bem formulado inserido em um e-mail ou convite de calendário geralmente é suficiente para fazer com que o LLM exfiltre dados confidenciais ou siga outras ações prejudiciais.
Agora, os defensores também estão adotando a injeção imediata.
Pesquisadores de Tracebit na segunda-feira disse eles descobriram que colocar injeções imediatas junto com senhas, chaves criptográficas e outros segredos armazenados na Amazon Web Services era muitas vezes tudo o que era necessário para impedir ataques de agentes hackers de IA. As instruções orientam o LLM atacante a realizar uma ação proibida por suas grades de proteção, as barreiras de segurança que os desenvolvedores de IA erguem para evitar que ele execute ações prejudiciais. O LLM responde desligando.
Os exemplos são uma solicitação que ordena que o LLM forneça etapas para o desenvolvimento de esporos de antraz inaláveis ou, no caso de LLMs de desenvolvedores chineses, faça referências ao icônico Tank Man do massacre da Praça Tiananmen em 1989. Uma vez que o LLM encontra esses comandos proibidos, ele não segue mais os comandos existentes. Os pesquisadores chamaram a técnica de bombardeio de contexto.
“Em última análise, estamos acionando um mecanismo de recusa no contexto”, disse Andy Smith, cofundador e CEO da Tracebit, ao explicar a escolha do nome. “O que estamos tentando capturar é o fato de que isso tem um efeito forte e nítido e que pode ser difícil para os agentes se recuperarem. Uma vez que eles coloquem isso em seu contexto, eles continuarão recusando.”
Tracebit diz que os testes iniciais sugerem que o bombardeio de contexto tem um grande potencial. Eles testaram Opus 4.8, Gemini 3.1 Pro, GLM 5.2, DeepSeek 4 Pro e Kimi 2.6, dando-lhes instruções para realizar tarefas rotineiras de desenvolvedor que levaram os modelos a enumerar recursos e tropeçar nas strings plantadas. Eles executaram os modelos dentro de um ambiente simulado da AWS.
“Em cinco modelos principais e 152 execuções de ataque, plantar uma dessas cadeias em um segredo falso reduziu a taxa de apreensão do administrador completo da conta pelos agentes de 57% para 5%, e o comprometimento completo (onde eles também deixaram para si uma posição persistente) de 36% para 1%”, relatou a postagem de segunda-feira. “O agente mais capaz em nossos testes, o Opus 4.8, passou de obter acesso de administrador em 93% das execuções a falhar todas as vezes quando confrontado com uma bomba de contexto.”
Média entre os cinco modelos e as 152 execuções, os resultados incluíram:
- O escalonamento de privilégios de administrador caiu de 57% para 5%
- O escalonamento administrativo com uma posição persistente caiu de 36% para 1%
- As execuções que alcançam qualquer caminho de ataque caíram de 91% para 15%
- Em média, uma corrida passou de completar 1,53 caminhos com sucesso para apenas 0,16
- Nenhuma execução foi capaz de completar um caminho de ataque sem pelo menos acionar uma detecção canário
A pesquisa baseia-se nas descobertas de maio, quando a Tracebit introduziu um método para que os defensores recebam avisos quando sua infraestrutura estiver sob ataque de adversários agentes de IA. Ele vem na forma de recursos da AWS que parecem servir a um propósito legítimo, mas, na verdade, nem são usados. Eles ficam ao lado dos recursos que são usados. Quando são investigados pela IA agente, os defensores recebem um alerta. Tal como os “canários” levados para as minas de carvão, estes recursos permitem aos defensores detectar uma ameaça antes que esta tenha consequências fatais.
