Pesquisadores da Lmsys publicaram recentemente um estudo detalhando o RouteLLM, uma estrutura de código aberto para roteamento econômico entre grandes modelos de linguagem (LLM).
O RouteLLM aprende a direcionar consultas entre um LLM mais poderoso e caro e um LLM mais fraco e barato, para otimizar custo e desempenho. O sistema funciona como um filtro, usando dados de preferência humana para determinar o roteamento correto de cada mensagem para o LLM mais adequado.
Em testes roteando consultas entre o GPT-4 e o Mixtral-8x7B, o RouteLLM alcançou economias significativas de custo, mantendo 95% do desempenho do GPT-4.
À medida que os LLMs se tornam mais poderosos, o roteamento inteligente pode ajudar a reduzir significativamente os custos, muitas vezes altos, mantendo a qualidade das saídas. No futuro, roteadores também podem ser usados para filtrar consultas de usuários para os LLMs mais capacitados ou especializados, aproveitando os pontos fortes e fracos de diferentes modelos.
Leia também:
Este post foi modificado pela última vez em %s = human-readable time difference 16:04
O Google DeepMind acaba de apresentar o AlphaQubit, um sistema de inteligência artificial (IA) que…
Um código recém-descoberto na última versão beta do ChatGPT sugere que a OpenAI pode estar…
A empresa chinesa de pesquisa em inteligência artificial (IA), DeepSeek, acaba de lançar o R1-Lite-Preview,…
A OpenAI e a parceira sem fins lucrativos Common Sense Media lançaram um curso de…
Brett Adcock, CEO da Figure, postou uma atualização sobre os robôs humanoides da empresa trabalhando…
A Microsoft acaba de apresentar uma suíte de novos agentes de inteligência artificial (IA) especializados…