Assim como o CSAM, diz Fowler, havia imagens pornográficas geradas por IA de adultos no banco de dados, além de possíveis imagens de “troca de rosto”. Entre os arquivos, ele observou o que parecia ser fotografias de pessoas reais, que provavelmente foram usadas para criar “imagens explícitas geradas por IA sexual explícitas”, diz ele. “Então eles estavam tirando fotos reais de pessoas e trocando o rosto por lá”, ele afirma algumas imagens geradas.
Quando estava ao vivo, o site da Gennomis permitiu imagens explícitas para adultos de IA. Muitas das imagens apresentadas em sua página inicial, e uma seção de “modelos” da IA incluía imagens sexualizadas de mulheres-algumas eram “fotorrealistas”, enquanto outras eram totalmente geradas ou em estilos animados. Ele também incluiu uma galeria “NSFW” e “Marketplace”, onde os usuários poderiam compartilhar imagens e potencialmente vender álbuns de fotos geradas pela AI. O slogan do site disse que as pessoas podem “gerar imagens e vídeos irrestritos”; Uma versão anterior do site de 2024 disse que “imagens sem censura” pode ser criada.
As políticas do usuário da Gennomis declararam que apenas o “conteúdo respeitoso” é permitido, dizendo “violência explícita” e o discurso de ódio é proibido. “A pornografia infantil e quaisquer outras atividades ilegais são estritamente proibidas para o Gennomis”, diziam suas diretrizes comunitárias, dizendo que o conteúdo proibido de postagem de contas seria rescindido. (Pesquisadores, advogados das vítimas, jornalistas, empresas de tecnologia e muito mais eliminaram amplamente a frase “pornografia infantil”, a favor do CSAM, na última década).
Não está claro até que ponto Gennomis usou ferramentas ou sistemas de moderação para prevenir ou proibir a criação de CSAM gerado pela IA. Alguns usuários postaram em sua página “Comunidade” no ano passado, que não podiam gerar imagens de pessoas fazendo sexo e que seus avisos foram bloqueados por “humor sombrio” não sexual. Outra conta publicada na página da comunidade de que o conteúdo “NSFW” deve ser abordado, pois “pode ser visto pelos federais”.
“Se eu pudesse ver essas imagens com nada mais que o URL, isso me mostra que eles não estão tomando todas as etapas necessárias para bloquear esse conteúdo”, alega Fowler do banco de dados.
Henry Ajder, especialista em Deepfake e fundador da Consultoria Latent Space Advisory, diz que, mesmo que a criação de conteúdo prejudicial e ilegal não fosse permitido pela empresa, pela marca do site – referenciando a criação de imagem “irrestrita” e uma seção “NSFW” – indicou que pode haver uma “clara associação com conteúdo íntimo sem medidas de segurança”.
Ajder diz que está surpreso que o site em inglês estivesse vinculado a uma entidade sul-coreana. No ano passado, o país foi atormentado por um Deepfake não consensual “emergênciaIsso segmentou garotasantes de tomar medidas para combater a onda de abuso de DeepFake. Ajder diz que mais pressão precisa ser colocada em todas as partes do ecossistema que permite que imagens não consensuais sejam geradas usando a IA. “Quanto mais isso vemos, mais ele força a questão dos legisladores, das plataformas de tecnologia, das empresas de hospedagem na web, dos provedores de pagamentos. Todas as pessoas que, de uma forma ou de outra, consciente ou não – principalmente – são facilitadoras e permitem que isso aconteça”, diz ele.
Fowler diz que o banco de dados também expôs arquivos que pareciam incluir prompts de IA. Não foram incluídos dados de usuários, como logins ou nomes de usuário, nos dados expostos, diz o pesquisador. As capturas de tela das instruções mostram o uso de palavras como “Tiny”, “Girl” e referências a atos sexuais entre membros da família. Os avisos também continham atos sexuais entre celebridades.
“Parece -me que a tecnologia correu à frente de qualquer uma das diretrizes ou controles”, diz Fowler. “Do ponto de vista legal, todos sabemos que as imagens explícitas infantis são ilegais, mas isso não impediu a tecnologia de gerar essas imagens”.
À medida que os sistemas de IA generativos aprimoraram muito o quão fácil é criar e modificar imagens nos últimos dois anos, houve uma explosão do CSAM gerado pela IA. “As páginas da Web contendo material de abuso sexual infantil gerado pela IA têm mais do que quadruplicado desde 2023, e o fotorrealismo desse conteúdo horrível também saltou em sofisticação, diz Derek Ray-Hill, o CEO interino da Internet Watch Foundation (IWF), uma não fins lucrativos do Reino Unido que aborda o CSAM on-line.
O IWF tem documentado Como os criminosos estão criando cada vez mais o CSAM gerado pela IA e desenvolvendo os métodos que eles usam para criá-lo. “Atualmente, é fácil demais para os criminosos usarem a IA para gerar e distribuir conteúdo sexualmente explícito das crianças em escala e em velocidade”, diz Ray-Hill.
