Uma segurança OpenAI líder de pesquisa que ajudou a moldar ChatGPT’s respostas aos usuários que experimentam crises de saúde mental anunciou sua saída da empresa internamente no mês passado, descobriu a WIRED. Andrea Vallone, chefe de uma equipe de pesquisa de segurança conhecida como política modelo, deverá deixar a OpenAI no final do ano.
A porta-voz da OpenAI, Kayla Wood, confirmou a saída de Vallone. Wood disse que a OpenAI está procurando ativamente um substituto e que, nesse ínterim, a equipe de Vallone se reportará diretamente a Johannes Heidecke, chefe de sistemas de segurança da empresa.
A saída de Vallone ocorre no momento em que a OpenAI enfrenta um escrutínio crescente sobre como seu principal produto responde a usuários em perigo. Nos últimos meses, vários processos judiciais foram movidos contra a OpenAI, alegando que os usuários formaram anexos prejudiciais ao ChatGPT. Algumas das ações judiciais afirmam que o ChatGPT contribuiu para problemas de saúde mental ou encorajou ideações suicidas.
Em meio a essa pressão, a OpenAI tem trabalhado para entender como o ChatGPT deve lidar com usuários em dificuldades e melhorar as respostas do chatbot. A política modelo é uma das equipes que lidera esse trabalho, liderando uma Relatório de outubro detalhando o progresso da empresa e consultas com mais de 170 especialistas em saúde mental.
No relatório, a OpenAI disse que centenas de milhares de usuários do ChatGPT podem mostrar sinais de passar por uma crise maníaca ou psicótica todas as semanas, e que mais de um milhão de pessoas “têm conversas que incluem indicadores explícitos de potencial planeamento ou intenção suicida”. Por meio de uma atualização do GPT-5, a OpenAI disse no relatório que foi capaz de reduzir as respostas indesejáveis nessas conversas em 65 a 80 por cento.
“No ano passado, liderei a pesquisa da OpenAI sobre uma questão quase sem precedentes estabelecidos: como os modelos deveriam responder quando confrontados com sinais de excesso de confiança emocional ou indicações precoces de problemas de saúde mental?” escreveu Vallone em um publicar é o LinkedIn.
Vallone não respondeu ao pedido de comentários da WIRED.
Tornar o bate-papo com ChatGPT agradável, mas não excessivamente lisonjeiro, é uma tensão central na OpenAI. A empresa está tentando agressivamente expandir a base de usuários do ChatGPT, que agora inclui mais de 800 milhões de pessoas por semana, para competir com chatbots de IA do Google, Anthropic e Meta.
Depois que a OpenAI lançou o GPT-5 em agosto, os usuários recuaram, argumentando que o novo modelo era surpreendentemente frio. Na última atualização do ChatGPT, a empresa disse que reduziu significativamente a bajulação, mantendo o “calor” do chatbot.
A saída de Vallone segue um Reorganização de agosto de outro grupo focado nas respostas do ChatGPT a usuários em dificuldades, modelo de comportamento. Sua ex-líder, Joanne Jang, deixou essa função para iniciar uma nova equipe que explora novos métodos de interação humano-IA. A equipe restante de comportamento modelo foi transferida para o líder pós-treinamento, Max Schwarzer.
