A Lmsys acabou de publicar uma análise profunda de seus dados da Chatbot Arena, comparando o modelo Llama 3 70B de código aberto da Meta com modelos top de linha como o GPT-4 – revelando forças surpreendentes no líder open-source.
🇬🇧 Subscribe to the best newsletter about AI (in English 🇬🇧) 🇧🇷 Assine a melhor newsletter sobre IA (em português 🇧🇷)
Llama-3 é o principal modelo de código aberto na Classificação da Lmsys, com mais de 70.000 votos de usuários em testes de Batalha na Arena. O modelo da Meta se destaca em batalhas envolvendo brainstorming e prompts de escrita, ficando para trás em matemática, codificação e tradução em comparação com os principais concorrentes. A Lmsys observou que o tom do Llama-3 é mais amigável e conversacional do que o dos rivais, o que o modelo exibe em suas batalhas vitoriosas na Arena.
A habilidade do Llama-3 de competir com modelos de alto nível em certas áreas é uma prova do rápido progresso do código aberto – e isso com o maior modelo da Meta ainda pendente. A comparação mais granular também fornece detalhes úteis, muitas vezes perdidos em benchmarks de modelos mais gerais.
Leia também:
Este post foi modificado pela última vez em %s = human-readable time difference 12:03
O Google DeepMind acaba de anunciar uma parceria estratégica com a Apptronik, uma empresa de…
Uma equipe de pesquisadores de 20 laboratórios diferentes acaba de apresentar o Genesis, um motor…
O Google acabou de lançar o que está chamando de um novo modelo de inteligência…
A GitHub, de propriedade da Microsoft, acaba de anunciar um nível gratuito de seu Copilot…
A OpenAI acaba de lançar uma nova maneira surpreendente de acessar o ChatGPT - através…
O Google DeepMind acaba de lançar o FACTS Grounding, um novo benchmark projetado para avaliar…