A Lmsys acabou de publicar uma análise profunda de seus dados da Chatbot Arena, comparando o modelo Llama 3 70B de código aberto da Meta com modelos top de linha como o GPT-4 – revelando forças surpreendentes no líder open-source.
PUBLICIDADE
🇬🇧 Subscribe to the best newsletter about AI (in English 🇬🇧) 🇧🇷 Assine a melhor newsletter sobre IA (em português 🇧🇷)
Os detalhes
Llama-3 é o principal modelo de código aberto na Classificação da Lmsys, com mais de 70.000 votos de usuários em testes de Batalha na Arena. O modelo da Meta se destaca em batalhas envolvendo brainstorming e prompts de escrita, ficando para trás em matemática, codificação e tradução em comparação com os principais concorrentes. A Lmsys observou que o tom do Llama-3 é mais amigável e conversacional do que o dos rivais, o que o modelo exibe em suas batalhas vitoriosas na Arena.
Porque isso importa
A habilidade do Llama-3 de competir com modelos de alto nível em certas áreas é uma prova do rápido progresso do código aberto – e isso com o maior modelo da Meta ainda pendente. A comparação mais granular também fornece detalhes úteis, muitas vezes perdidos em benchmarks de modelos mais gerais.
Leia também:
