Lmsys nettopp publisert en dyp analyse av Chatbot Arena-dataene dine, sammenlignet med åpen kildekode Llama 3 70B-modellen fra Meta med toppmodeller som GPT-4 – som avslører overraskende styrker i åpen kildekode-lederen.
REKLAME
???????? Abonnere på best newsletter om AI (på engelsk 🇬🇧) 🇧🇷 Signer det den beste newsletter om AI (på portugisisk 🇧🇷)
Detaljene
Lama-3 er den øverste åpen kildekode-modellen i Lmsys Rankings, med over 70.000 3 brukerstemmer i Arena Battle-testing. Metas modell utmerker seg i kamper som involverer idédugnad og skriving av meldinger, og faller bak i matematikk, koding og oversettelse sammenlignet med hovedkonkurrentene. Lmsys bemerket at Llama-XNUMXs tone er mer vennlig og konverserende enn rivalene, som modellen viser i sine seirende Arena-kamper.
Hvorfor det betyr noe
Llama-3s evne til å konkurrere med avanserte modeller på visse områder er et vitnesbyrd om den raske fremgangen til åpen kildekode – og det er med Metas største modell som fortsatt er under behandling. Den mer granulære sammenligningen gir også nyttige detaljer som ofte går tapt i mer generelle modellreferanser.
Les også:
