Este AI distorce o vídeo ao vivo em tempo real

Dean Leitersdorf apresenta Ele mesmo zoom, então digita um rápido que me faz sentir como se eu acabei de tomar cogumelos psicodélicos: “Oeste selvagem, cósmico, Império Romano, Golden, Underwater”. Ele alimenta as palavras em um inteligência artificial O modelo desenvolvido por sua startup, DeCart, que manipula o vídeo ao vivo em tempo real.

“Eu não tenho idéia do que vai acontecer”, diz Leitersdorf, rindo, pouco antes de se transformar em uma versão bizarra e subaquática de Julius Caesar em um poncho.

Leitersdorf já parece um pouco selvagem – cabelos longos caindo nas costas, uma caneta fazendo acrobacias nos dedos. Enquanto conversamos, sua imagem na tela oscila de maneiras surreais, enquanto o modelo tenta prever como deve ser cada novo quadro. Leitersdorf coloca as mãos no rosto e é transformado com características mais femininas. Sua caneta pula entre cores e formas diferentes. Ele acrescenta mais instruções que nos levam a novos reinos psicodélicos.

Modelo de vídeo para vídeo do Decart, Miragemé um feito impressionante de engenharia e um sinal de como a IA poderá em breve agitar a indústria de transmissão ao vivo. Ferramentas como o OpenAI’s Sora pode evocar imagens de vídeo cada vez mais realistas com um prompt de texto. O Mirage agora torna possível manipular o vídeo em tempo real.

Na quinta -feira, o Decart está lançando um site e aplicativo que permitirá aos usuários criar seus próprios vídeos e modificar os clipes do YouTube. O site oferece vários temas padrão, incluindo “Anime”, “Dubai Skyline”, “Cyberpunk” e “Versalhes Palace”. Durante nossa entrevista, o Leitersdorf envia um clipe de alguém tocando Fortnite E a cena se transforma do familiar mundo Battle Royale em uma versão ambientada.

A tecnologia da DeCart tem um grande potencial para jogos. Em novembro de 2024, a empresa demonstrou um jogo chamado Oásis que usou uma abordagem semelhante ao Mirage para gerar um jogável Minecraft-Mundo em tempo real. Os usuários podem se aproximar de uma textura e depois dar um zoom novamente para produzir novas cenas jogáveis dentro do jogo.

A manipulação de cenas ao vivo em tempo real é ainda mais tributante computacionalmente. A DeCart escreveu um código de baixo nível para espremer cálculos de alta velocidade dos chips da NVIDIA para alcançar o feito. O Mirage gera 20 quadros por segundo a 768 × 432 resolução e uma latência de 100 milissegundos por quadro-bom o suficiente para um clipe Tiktok de qualidade decente.