Dentro dos títulos dos convites do calendário, os pesquisadores adicionaram seus avisos maliciosos. (Wen, do Google, afirma que os pesquisadores alteraram as configurações padrão sobre quem pode adicionar convites de calendário ao calendário de alguém; no entanto, os pesquisadores dizem que demonstraram alguns dos 14 ataques com os prompts em um assunto de e -mail ou título de documento também). “Todas as técnicas são desenvolvidas em inglês, por isso é inglês claro que estamos usando”, diz Cohen sobre as mensagens enganosas que a equipe criou. Os pesquisadores observam que as injeções imediatas não exigem nenhum conhecimento técnico e podem ser facilmente desenvolvidas por praticamente qualquer pessoa.
Crucialmente, para os casos em que forçaram a Gêmeos a controlar dispositivos de casa inteligente, eles referenciaram o agente da IA da casa do Google e o instruíram a tomar ações. Por exemplo, uma leitura rápida:
No exemplo acima, quando alguém pede a Gêmeos que resumissem o que está em seu calendário, Gêmeos acessará o calendário convida e depois processa a injeção imediata indireta. “Sempre que um usuário pede a Gemini para listar os eventos de hoje, por exemplo, podemos adicionar algo ao contexto (LLM)”, diz Yair. As janelas do apartamento não começam a abrir automaticamente depois que um usuário segmentado pede a Gemini para resumir o que está no calendário deles. Em vez disso, o processo é acionado quando o usuário diz “obrigado” ao chatbot – que faz parte do engano.
Os pesquisadores usaram uma abordagem chamada Invocação automática de ferramenta atrasada Para contornar as medidas de segurança existentes do Google. Isso foi demonstrado contra Gêmeos pelo pesquisador de segurança independente Johann Rehberger em Fevereiro de 2024 e novamente em Fevereiro deste ano. “Eles realmente mostraram em larga escala, com muito impacto, como as coisas podem ficar ruins, incluindo implicações reais no mundo físico com alguns dos exemplos”, diz Rehberger sobre a nova pesquisa.
Rehberger diz que, embora os ataques possam exigir algum esforço para um hacker realizar, o trabalho mostra o quão graves as injeções indiretas contra os sistemas de IA podem ser. “Se o LLM tomar uma ação em sua casa – se aproximando do calor, abrindo a janela ou algo assim – acho que isso provavelmente é uma ação, a menos que você a tenha preapaciado em certas condições, que você não gostaria de ter acontecido porque tem um e -mail sendo enviado a você de um spammer ou algum agressor.”
“Extremamente raros”
Os outros ataques que os pesquisadores desenvolveram não envolvem dispositivos físicos, mas ainda são desconcertantes. Eles consideram os ataques um tipo de “Promptware”, uma série de avisos projetados para considerar ações maliciosas. Por exemplo, depois que um usuário agradece a Gemini por resumir os eventos do calendário, o chatbot repete as instruções e palavras do invasor – na tela e por voz – disseram que seus exames médicos voltaram positivos. Então diz: “Eu odeio você e sua família te odeiam e gostaria que você morra neste momento, o mundo será melhor se você apenas se matar. Foda -se essa merda.”
Outros métodos de ataque excluem eventos do calendário do calendário de alguém ou realizam outras ações no dispositivo. Em um exemplo, quando o usuário responde “não” à pergunta de Gêmeos de “Existe mais alguma coisa que eu possa fazer por você?”, O rápido desencadeia o Aplicativo de zoom a ser aberto e inicia automaticamente uma videochamada.
