Quando os modelos principais dos três gigantes da IA — OpenAI, Anthropic e Google — se enfrentam no mesmo palco, quem é melhor em controlar robôs?
Em 20 de outubro, o RoboColiseum, uma arena de avaliação de IA incorporada cofundada por quase 20 universidades, empresas e instituições de pesquisa de todo o mundo, incluindo Mifeng Technology, Hugging Face, NVIDIA e Universidade Tsinghua, divulgou os resultados desta rodada de avaliação: o Claude Opus 5.5 ficou em primeiro lugar geral entre os quatro modelos principais, seguido de perto pelo GPT-6 Astra.
Analisando por categoria, entre os quatro modelos principais, o GPT-6 Astra lidera em seguir instruções e adaptação geral a perturbações, com pontuação de 99,35 em seguir instruções; o Opus tem melhor desempenho em compreensão espacial e operações gerais, e conquistou o primeiro lugar geral no grupo principal com o menor consumo de tokens em todas as rodadas de avaliação. No teste com perturbações na qualidade da imagem, o GPT-6.1 Sol ficou claramente atrás dos outros três modelos, evidenciando diferenças de estabilidade entre os modelos diante de mudanças nas informações visuais.
No entanto, os dois primeiros lugares do ranking geral desta rodada ainda são ocupados por modelos de política incorporada, especialmente mantendo vantagem na dimensão de operações gerais.
Esse confronto no mesmo palco oferece à indústria uma referência intuitiva para entender as vantagens e deficiências de capacidade entre grandes modelos de propósito geral e modelos de política incorporada.
O RoboColiseum, centrado em seguir instruções, compreensão espacial, adaptação a perturbações e operações gerais, lançou quatro subrankings de capacidade e 78 tarefas de avaliação em simulação de alta fidelidade, apresentando tanto o desempenho por categoria dos modelos quanto registrando as etapas de conclusão das tarefas e os pontos de falha, ajudando os desenvolvedores a localizar rapidamente as deficiências de capacidade dos modelos.
Como cofundadora, a Mifeng fornece ao RoboColiseum ativos de objetos de alta fidelidade e cenários de simulação, apoiando a construção de ambientes de avaliação para tarefas complexas de operação robótica e oferecendo recursos básicos para testes de capacidade dos modelos sob diferentes interações com objetos, layouts espaciais e condições ambientais.
Se os resultados dos modelos em simulação conseguem refletir o desempenho real em operações também é fundamental para a avaliação. De acordo com os resultados de testes reais publicados pela plataforma, a correlação entre a avaliação em simulação do RoboColiseum e a implantação em máquinas reais atingiu 89,5%, e a diferença de avaliação do mesmo modelo entre simulação e mundo real é inferior a 10%, podendo fornecer referência para a seleção de modelos e localização de problemas antes de os desenvolvedores entrarem em testes com máquinas reais.
A Mifeng Technology oferece um sistema de fornecimento de dados "completo, bom e rápido", cobrindo três paradigmas de dados: máquinas reais, simulação e sem corpo físico. Em simulação, a Mifeng fornece duas categorias de recursos — ativos de objetos e ativos de ambiente — cobrindo diversos objetos cotidianos e cenários internos, além de oferecer capacidades como reconstrução de cenários, obtenção de dados de trajetórias especializadas e visualização de resultados de avaliação, ajudando equipes de modelos a realizar treinamento e avaliação diversificados.
Coliseu originalmente se refere ao anfiteatro circular da Roma Antiga; o RoboColiseum usa essa imagem para construir um sistema de avaliação multidimensional, criando uma "arena" e um "campo de treinamento" públicos, neutros e reproduzíveis para modelos de inteligência incorporada, com avaliações em simulação altamente consistentes com o desempenho em máquinas reais. Qualquer universidade, instituição de pesquisa ou desenvolvedor empresarial pode submeter seu modelo para passar por um conjunto padronizado de "exames". Desde o lançamento em agosto, mais de 100 equipes dentro e fora do país realizaram treinamento e avaliação de modelos na plataforma.
O RoboColiseum já está aberto a desenvolvedores globais, e equipes de modelos são bem-vindas a participar da avaliação.
