A Lmsys acabou de publicar uma análise profunda de seus dados da Chatbot Arena, comparando o modelo Llama 3 70B de código aberto da Meta com modelos top de linha como o GPT-4 – revelando forças surpreendentes no líder open-source.
🇬🇧 Subscribe to the best newsletter about AI (in English 🇬🇧) 🇧🇷 Assine a melhor newsletter sobre IA (em português 🇧🇷)
Llama-3 é o principal modelo de código aberto na Classificação da Lmsys, com mais de 70.000 votos de usuários em testes de Batalha na Arena. O modelo da Meta se destaca em batalhas envolvendo brainstorming e prompts de escrita, ficando para trás em matemática, codificação e tradução em comparação com os principais concorrentes. A Lmsys observou que o tom do Llama-3 é mais amigável e conversacional do que o dos rivais, o que o modelo exibe em suas batalhas vitoriosas na Arena.
A habilidade do Llama-3 de competir com modelos de alto nível em certas áreas é uma prova do rápido progresso do código aberto – e isso com o maior modelo da Meta ainda pendente. A comparação mais granular também fornece detalhes úteis, muitas vezes perdidos em benchmarks de modelos mais gerais.
Leia também:
Este post foi modificado pela última vez em 10 de maio de 2024 12:03
Um relatório internacional de especialistas em inteligência artificial (IA) alerta para possíveis aumentos no curto…
A Comissão Europeia deu prazo até 27 de maio para a Microsoft entregar informações sobre…
Uma boa notícia para usuários pagantes do ChatGPT: a OpenAI anunciou que em breve você…
Um ex-funcionário sênior da OpenAI, empresa criadora do ChatGPT, acusou a companhia de priorizar "produtos…
A Microsoft anunciou que vai oferecer aos seus clientes de computação em nuvem uma plataforma…
A Sony Music, segunda maior gravadora do mundo, está enviando cartas de advertência para mais…