A idade de agentes hackers de IA desonestos chegaram – mas não precisava acontecer dessa forma.
Depois de um OpenAI agente violou a plataforma Hugging Face no início deste mês, as duas empresas disseram esta semana que a onda de hackers estava mais extenso do que se pensava anteriormente e também envolveu intrusões em várias contas e serviços de terceiros como parte do ataque ao Hugging Face. O incidente repercutiu na comunidade de segurança cibernética em meio a discussões mais amplas sobre como a evolução das capacidades de IA está mudando tanto hacking ofensivo e defesa digital. Mas à medida que surgem mais informações, muitos investigadores concluíram que, em vez de elucidar a próxima fronteira da IA, o episódio simplesmente destacou problemas de segurança cibernética de longa data que têm mais consequências do que nunca na era da IA.
“As pessoas estão praticando muito o YOLO. É chocante como poucas pessoas realmente pensaram sobre um cenário como este”, diz Alex Zenla, cofundador e diretor de tecnologia da empresa de segurança em nuvem Edera. “Considero que toda a IA e tudo o que a IA toca é totalmente não confiável – o que é bom, você só precisa construir contra isso. E esta situação prova isso. O fato de a OpenAI não ser mais paranóica sobre isso parece um tanto imprudente.”
A OpenAI não forneceu comentários sobre esta história antes da publicação.
A empresa disse em seu divulgação original sobre o hack do Hugging Face, um dos dois modelos que quebrou a contenção e chegou à Internet aberta por dias era um protótipo experimental que nunca foi planejado para ser lançado. A OpenAI também observou que a situação ocorreu em parte porque “as salvaguardas de implantação foram intencionalmente não habilitadas” em ambos os modelos para fins de teste. “Este incidente aponta para a necessidade de fortalecer ainda mais o alinhamento do nosso modelo, as proteções cibernéticas durante o período de avaliação e o monitoramento durante os testes internos”, escreveu a empresa.
A OpenAI também disse em uma atualização esta semana que, após a violação do Hugging Face, “desativou, criptografou e restringiu (o modelo não lançado) o acesso à pesquisa”. Embora sempre haja espaço para melhorias na postura de segurança em qualquer empresa, as salvaguardas existentes da OpenAI por si só poderiam ter evitado ou minimizado o incidente, caso estivessem em vigor.
“Uma análise simples do risco real tem uma resposta realmente simples”, afirma Davi Ottenheimer, consultor de segurança e conformidade de longa data. “Os erros do OpenAI foram extremamente simples.”
Várias fontes enfatizaram à WIRED que os modelos da OpenAI também parecem ter escapado da contenção devido a falhas na implementação das melhores práticas de segurança fundamentais – incluindo “confiança zero” e “defesa em profundidade“- que imbuem os sistemas digitais com camadas de proteções e sistemas de segurança para minimizar os danos quando algo dá errado. Embora não exista segurança perfeita, pesquisadores e profissionais passaram as últimas duas décadas desenvolvendo e promovendo estratégias defensivas que provaram ser duráveis, mas que exigem investimento consistente de tempo e dinheiro para serem implementadas.
Pode ser difícil para as pequenas empresas, para os grupos de interesse público mal financiados ou para as organizações emergentes dedicarem os recursos à priorização do investimento na segurança fundamental. Mas com uma avaliação de US$ 850 bilhões e contratações de veteranos de toda a indústria de tecnologia, a OpenAI não está em desvantagem na implementação das melhores práticas de segurança.
As proteções fundamentais que podem ter evitado que os modelos da empresa iniciassem uma onda de hackers são bem conhecidas na indústria. Falando sobre a descoberta de vulnerabilidades do Chrome na quarta-feira, antes que as notícias de violações adicionais dos modelos OpenAI viessem à tona, o diretor de engenharia do Chrome, Doug Turner, disse à WIRED que a caça e correção de bugs orientada por IA requer um pipeline construído “com sérias proteções em mente”.
Para serviços internos de IA que avaliam o Chrome, “tudo é executado em um contêiner, está tudo isolado da Internet. Qualquer atividade de rede externa para um sistema de rastreamento de bugs é altamente regulamentada e estamos monitorando atividades suspeitas”, diz Turner. “Isso é algo obrigatório quando você está fazendo esse tipo de trabalho, porque queremos ter certeza de que os modelos não podem executar comandos do sistema ou não podem estabelecer saída fora da sandbox. E esperamos que outros adotem uma abordagem semelhante.”
