Inteligência Artificial

Apple afirma que LLMs não possuem “evidências de raciocínio formal”

Publicado por
Isabella Caminoto

Pesquisadores da Apple publicaram recentemente um novo estudo revelando limitações significativas nas capacidades de raciocínio dos LLMs, incluindo os de principais laboratórios de inteligência artificial (IA) como os modelos 4o e o1 da OpenAI.

Detalhes

Cientistas da Apple desenvolveram um novo benchmark chamado GSM-Symbolic para avaliar as habilidades de raciocínio matemático dos LLMs. O estudo descobriu que pequenas alterações na redação das perguntas ou a adição de informações irrelevantes alteraram drasticamente os resultados do modelo, com a precisão caindo em até 65%.

Os pesquisadores observaram maior variabilidade de desempenho e precisão reduzida à medida que a complexidade das perguntas aumentava. A equipe concluiu que não havia “evidências de raciocínio formal” nos modelos testados, sugerindo que o comportamento é mais provavelmente uma correspondência de padrões sofisticada.

Por que isso importa

Embora pareça haver opiniões conflitantes sobre se os LLMs podem realmente raciocinar, arquiva esta nova pesquisa na categoria ‘não’. Se essas limitações se mantiverem, elas expõem algumas questões significativas sobre a confiabilidade e os riscos de implantar modelos em aplicações cada vez mais complexas.

Leia também:

Este post foi modificado pela última vez em %s = human-readable time difference 14:12

Isabella Caminoto

Advogada e mestranda em Direito Internacional, tenho a democracia e a liberdade como bandeiras irrenunciáveis. Sou apaixonada pelos animais e acredito que o bem-estar do nosso planeta deveria ser o destaque diário da pauta da nossa sociedade.

Posts recentes

Gemini recupera o primeiro lugar no ranking de LLM

O mais recente modelo experimental Gemini da Google (1121) acabou de recuperar o primeiro lugar…

22 de novembro de 2024

OpenAI mira no Chrome com planos de desenvolver seu próprio navegador

A OpenAI está considerando desenvolver um navegador web que se integraria ao ChatGPT e aos…

22 de novembro de 2024

DeepMind dá um salto gigante na computação quântica com o AlphaQubit

O Google DeepMind acaba de apresentar o AlphaQubit, um sistema de inteligência artificial (IA) que…

21 de novembro de 2024

ChatGPT está mais perto de lançar sua IA visual

Um código recém-descoberto na última versão beta do ChatGPT sugere que a OpenAI pode estar…

21 de novembro de 2024

DeepSeek revela poderosa IA de raciocínio; veja

A empresa chinesa de pesquisa em inteligência artificial (IA), DeepSeek, acaba de lançar o R1-Lite-Preview,…

21 de novembro de 2024

OpenAI lança curso gratuito de IA para professores

A OpenAI e a parceira sem fins lucrativos Common Sense Media lançaram um curso de…

20 de novembro de 2024