GPT-4 mostra diminuição na precisão em tarefa de matemática, aponta estudo de Stanford

Um estudo da Universidade de Stanford descobriu que o GPT-4, da OpenAI, mostra resultados mistos em uma variedade de tarefas. O estudo, que foi publicado na revista Nature, descobriu que o GPT-4 se saiu melhor do que o ChatGPT, outro modelo de linguagem grande, em tarefas de matemática, programação e raciocínio visual. No entanto, o GPT-4 também mostrou uma diminuição na precisão em uma tarefa de matemática, o que pode ser atribuível a mudanças no comportamento do modelo em vez de um declínio na qualidade.

Os pesquisadores do estudo disseram que o GPT-4 é um modelo de linguagem poderoso que pode ser usado para uma variedade de tarefas. No entanto, eles também disseram que é importante estar ciente de suas limitações e incorporá-lo em práticas de teste adequadas.

PUBLICIDADE

O estudo de Stanford, intitulado “Como o comportamento do ChatGPT está mudando com o tempo?”, é o mais recente de uma série de estudos que avaliam o desempenho dos modelos de linguagem grandes. Esses estudos mostraram que os modelos de linguagem grandes podem ser usados para uma variedade de tarefas, mas também mostraram que eles têm limitações. É importante estar ciente dessas limitações ao usar modelos de linguagem grandes.

O estudo da Universidade de Stanford completo pode ser conferido neste link

Veja também:

Rolar para cima