Esta ferramenta investiga modelos de IA da fronteira para lapsos em inteligência

Executivos em inteligência artificial As empresas podem gosto de nos dizer que Agi está quase aqui, mas os modelos mais recentes ainda precisam de algumas aulas adicionais para ajudá -los a serem o mais inteligentes possível.

A Scale AI, uma empresa que desempenhou um papel fundamental para ajudar as empresas de IA da Frontier a criar modelos avançados, desenvolveu uma plataforma que pode testar automaticamente um modelo em milhares de benchmarks e tarefas, identificar fraquezas e sinalizar dados de treinamento adicionais que devem ajudar a aprimorar suas habilidades. A escala, é claro, fornecerá os dados necessários.

A escala ganhou destaque para o fornecimento de trabalho humano para treinamento e teste de modelos avançados de IA. Grandes modelos de idiomas (LLMs) são treinados em grande quantidade de texto raspado de livros, web e outras fontes. Transformar esses modelos em chatbots úteis, coerentes e bem-educados requer “pós-treinamento” adicional na forma de humanos que fornecem feedback sobre a saída de um modelo.

A Escala fornece trabalhadores especializados em investigar modelos para problemas e limitações. A nova ferramenta, chamada de avaliação em escala, automatiza parte desse trabalho usando os algoritmos de aprendizado de máquina da Scale.

“Dentro dos grandes laboratórios, existem todas essas maneiras aleatórias de rastrear algumas das fraquezas do modelo”, diz Daniel Berrios, chefe de produto para avaliação em escala. A nova ferramenta “é uma maneira de (fabricantes de modelos) passarem por resultados e fatiar e detê -los para entender onde um modelo não está tendo um bom desempenho”, diz Berrios, “use -o para direcionar as campanhas de dados para melhorias”.

Berrios diz que várias empresas de modelos de IA de fronteira já estão usando a ferramenta. Ele diz que a maioria está usando para melhorar os recursos de raciocínio de seus melhores modelos. O raciocínio da IA ​​envolve um modelo tentando dividir um problema em partes constituintes, a fim de resolvê -lo de maneira mais eficaz. A abordagem depende muito do pós-treinamento dos usuários para determinar se o modelo resolveu um problema corretamente.

Em um exemplo, diz Berrios, a avaliação em escala revelou que as habilidades de raciocínio de um modelo caíram quando foram alimentadas com avisos não ingleses. “Enquanto as capacidades de raciocínio de propósito geral (do modelo) eram muito boas e tiveram um bom desempenho nos benchmarks, eles tendiam a degradar bastante quando as instruções não estavam em inglês”, diz ele. A evolução da escala destacou o problema e permitiu à empresa reunir dados de treinamento adicionais para resolvê -lo.

Nos últimos meses, a Scale contribuiu para o desenvolvimento de vários novos benchmarks projetados para empurrar os modelos de IA para se tornarem mais inteligentes e para examinar mais cuidadosamente como eles podem se comportar mal. Estes incluem EnigmaeeeevalAssim, MultichallengeAssim, MÁSCARAe Último exame da humanidade.

O Scale diz que está se tornando mais desafiador medir melhorias nos modelos de IA, no entanto, à medida que melhoram em atingir os testes existentes. A empresa diz que sua nova ferramenta oferece uma imagem mais abrangente, combinando muitos benchmarks diferentes e pode ser usada para criar testes personalizados das habilidades de um modelo, como investigar seu raciocínio em diferentes idiomas. A IA da Scale pode levar um determinado problema e gerar mais exemplos, permitindo um teste mais abrangente das habilidades de um modelo.

A nova ferramenta da empresa também pode informar os esforços para padronizar os modelos de IA de teste para o mau comportamento. Alguns pesquisadores dizem que a falta de padronização significa que Alguns modelos de jailbreaks não revelam.

Em fevereiro, o Instituto Nacional de Padrões e Tecnologias dos EUA anunciou que a escala ajudaria a desenvolver metodologias para testar modelos para garantir que eles sejam seguros e confiáveis.

Que tipos de erros você viu nas saídas de ferramentas generativas de IA? Quais são os maiores pontos cegos dos modelos? Informe -nos por e -mail hello@wired.com ou comentando abaixo.