Inteligência Artificial

Nova estrutura de IA otimiza o uso de LLM; saiba mais

Publicado por
Isabella Caminoto

Pesquisadores da Lmsys publicaram recentemente um estudo detalhando o RouteLLM, uma estrutura de código aberto para roteamento econômico entre grandes modelos de linguagem (LLM).

O RouteLLM aprende a direcionar consultas entre um LLM mais poderoso e caro e um LLM mais fraco e barato, para otimizar custo e desempenho. O sistema funciona como um filtro, usando dados de preferência humana para determinar o roteamento correto de cada mensagem para o LLM mais adequado.

Em testes roteando consultas entre o GPT-4 e o Mixtral-8x7B, o RouteLLM alcançou economias significativas de custo, mantendo 95% do desempenho do GPT-4.

Por que isso importa

À medida que os LLMs se tornam mais poderosos, o roteamento inteligente pode ajudar a reduzir significativamente os custos, muitas vezes altos, mantendo a qualidade das saídas. No futuro, roteadores também podem ser usados para filtrar consultas de usuários para os LLMs mais capacitados ou especializados, aproveitando os pontos fortes e fracos de diferentes modelos.

Leia também:

Este post foi modificado pela última vez em 2 de julho de 2024 16:04

Isabella Caminoto

Advogada e mestranda em Direito Internacional, tenho a democracia e a liberdade como bandeiras irrenunciáveis. Sou apaixonada pelos animais e acredito que o bem-estar do nosso planeta deveria ser o destaque diário da pauta da nossa sociedade.

Posts recentes

Walt Disney forma unidade de negócios para coordenar o uso de IA e realidade aumentada

A Walt Disney está formando um novo grupo para coordenar o uso da empresa de…

1 de novembro de 2024

HOVER: Modelo de IA compacto domina o controle de humanoides

A Nvidia acaba de publicar uma nova pesquisa apresentando o HOVER, uma pequena rede neural…

1 de novembro de 2024

O ChatGPT agora é um mecanismo de busca com IA

O ChatGPT agora é oficialmente um mecanismo de busca com inteligência artificial (IA). A empresa…

31 de outubro de 2024

Ucrânia lança dezenas de sistemas de IA para ajudar seus drones a atingir alvos

A Ucrânia está usando dezenas de sistemas de inteligência artificial (IA) fabricados localmente para seus…

31 de outubro de 2024

Google Maps usará IA para responder suas perguntas; entenda

A Alphabet, dona do Google, anunciou na quinta-feira (31) um conjunto de recursos que incorporam…

31 de outubro de 2024

Mistério resolvido: líder em geração de imagens de IA revela sua identidade

A startup de design Recraft acaba de anunciar seu novo modelo de inteligência artificial (IA)…

31 de outubro de 2024