Um único documento envenenado pode vazar dados ‘secretos’ via chatgpt

O mais recente generativo Os modelos de IA não são apenas independentes Chatbots de geração de texto– Em vez disso, eles podem ser facilmente conectados aos seus dados para fornecer respostas personalizadas às suas perguntas. Openai’s ChatGPT pode ser vinculado Na caixa de entrada do Gmail, é permitido inspecionar o código do seu GitHub ou encontrar compromissos no calendário da Microsoft. Mas essas conexões têm o potencial de serem abusadas – e os pesquisadores mostraram que pode levar apenas um único documento “envenenado” para fazê -lo.

Novas descobertas dos pesquisadores de segurança Michael Bargury e Tamir Ishay Sharbat, revelados na conferência Black Hat Hacker em Las Vegas hoje, mostram como uma fraqueza nos conectores do Openai permitiu que informações confidenciais fossem extraídas de uma conta do Google Drive usando uma conta ataque indireto de injeção imediata. Em uma demonstração do ataque, Agendado AgentflayerA bargadura mostra como foi possível extrair segredos de desenvolvedor, na forma de chaves da API, que foram armazenadas em uma conta de unidade de demonstração.

A vulnerabilidade destaca como a conexão de modelos de IA a sistemas externos e o compartilhamento de mais dados através deles aumenta a superfície de ataque potencial para hackers maliciosos e potencialmente multiplica as maneiras pelas quais as vulnerabilidades podem ser introduzidas.

“Não há nada que o usuário precise fazer para ser comprometido, e não há nada que o usuário precise fazer para que os dados saíssem”, disse a Bargury, o CTO da empresa de segurança Zenity, Wired. “Mostramos que isso é completamente clique; apenas precisamos do seu e-mail, compartilhamos o documento com você e é isso. Então, sim, isso é muito, muito ruim”, diz Bargury.

O Openai não respondeu imediatamente ao pedido de comentário da Wired sobre a vulnerabilidade nos conectores. A empresa introduziu conectores para o ChatGPT como um recurso beta no início deste ano, e seu Listas de sites Pelo menos 17 serviços diferentes que podem ser vinculados às suas contas. Ele diz que o sistema permite que você “traga suas ferramentas e dados para o chatgpt” e “Pesquise arquivos, puxe dados ao vivo e faça referência ao conteúdo diretamente no bate -papo”.

Bargúrio diz que relatou as descobertas ao OpenAI no início deste ano e que a empresa introduziu rapidamente mitigações para impedir a técnica que usou para extrair dados por meio de conectores. A maneira como o ataque funciona significa que apenas uma quantidade limitada de dados pode ser extraída de uma só vez – os documentos cheios não podiam ser removidos como parte do ataque.

“Embora esse problema não seja específico para o Google, ilustra por que o desenvolvimento de proteções robustas contra ataques imediatos de injeção é importante”, diz Andy Wen, diretor sênior de gerenciamento de produtos de segurança do Google Workspace, apontando para a empresa Medidas de segurança de IA recentemente aprimoradas.