Conheça o TRUEBench, a aposta da Samsung para medir produtividade de inteligências artificiais

A Samsung Electronics anunciou nesta quinta-feira, 25, o lançamento do TRUEBench (Trustworthy Real-world Usage Evaluation Benchmark), uma ferramenta proprietária desenvolvida pela Samsung Research para avaliar a produtividade de modelos de linguagem (LLMs) em cenários reais de trabalho. A novidade chega em um momento em que cresce a demanda por métricas mais precisas para medir como as inteligências artificiais realmente contribuem para tarefas corporativas.

Benchmark inspirado em cenários reais e multilíngues

Diferente de benchmarks tradicionais, que focam em desempenho geral ou em testes limitados a diálogos simples em inglês, o TRUEBench foi desenvolvido para refletir as condições reais de uso em empresas. Ele cobre 10 categorias e 46 subcategorias, com foco em atividades comuns como geração de conteúdo, análise de dados, tradução e sumarização de textos. Além disso, contempla um total de 2.485 conjuntos de testes em 12 idiomas, incluindo cenários multilíngues e de tradução cruzada.

Tarefas variadas e mais próximas do dia a dia

Para garantir realismo, a Samsung desenhou o benchmark com tarefas que vão desde solicitações curtas de 8 caracteres até documentos longos com mais de 20 mil caracteres. Isso permite avaliar desde comandos simples até atividades complexas de análise e resumo de grandes volumes de informação. Segundo a empresa, esse nível de detalhamento ajuda a entender o que os modelos conseguem de fato resolver em situações de trabalho.

Critérios de avaliação mais rigorosos

Um dos diferenciais do TRUEBench é o método de avaliação. A Samsung criou um processo colaborativo entre humanos e inteligência artificial. Primeiro, anotadores humanos estabelecem os critérios de avaliação. Depois, a IA revisa esses critérios para detectar erros, contradições ou restrições desnecessárias. Em seguida, os humanos refinam novamente os parâmetros até atingir um padrão mais preciso. Esse ciclo é repetido até a validação final. Com base nesses critérios, a avaliação automática garante consistência e minimiza vieses subjetivos. Outro ponto importante é que, para cada teste, o modelo só passa se atender a todas as condições estabelecidas, o que permite uma pontuação mais detalhada e rigorosa.

Disponibilidade e transparência no Hugging Face

A Samsung também anunciou que os dados amostrais e os rankings de desempenho (leaderboards) do TRUEBench estão disponíveis na plataforma global Hugging Face. Isso permite comparar até cinco modelos simultaneamente, oferecendo uma visão clara sobre a performance e também sobre a eficiência das respostas, incluindo métricas como o comprimento médio dos resultados. Dessa forma, pesquisadores, empresas e desenvolvedores, segundo a empresa, podem acompanhar de forma transparente o desempenho de diferentes IAs.

Assine os nossos canais no WhatsApp e Telegram