Novo benchmark de IA testa a velocidade de respostas às consultas dos usuários

Os dois novos benchmarks adicionados pela MLCommons medem a velocidade com que os chips e sistemas de inteligência artificial podem gerar respostas a partir dos poderosos modelos de IA repletos de dados. Os resultados demonstram aproximadamente a rapidez com que um aplicativo de IA como o ChatGPT pode fornecer uma resposta a uma consulta do usuário.

Um dos novos benchmarks adicionou a capacidade de medir a rapidez de um cenário de perguntas e respostas para grandes modelos de linguagem. Chamado de Llama 2, inclui 70 bilhões de parâmetros e foi desenvolvido pela Meta Platforms.

Os funcionários da MLCommons também adicionaram um segundo gerador de texto para imagem ao conjunto de ferramentas de benchmarking, chamado MLPerf, baseado no modelo Stable Diffusion XL da Stability AI.

O desempenho bruto não é a única medida crítica na implantação de aplicativos de inteligência artificial. Os chips avançados de IA absorvem enormes quantidades de energia e um dos desafios mais significativos para as empresas que utilizam esta tecnologia é implantar chips que forneçam uma quantidade ideal de desempenho com uma quantidade mínima de energia. 

Leia também: