Apple afirma que LLMs não possuem "evidências de raciocínio formal"
Pesquisadores da Apple publicaram recentemente um novo estudo revelando limitações significativas nas capacidades de raciocínio dos LLMs, incluindo os de principais laboratórios de inteligência artificial (IA) como os modelos 4o e o1 da OpenAI.
Cientistas da Apple desenvolveram um novo benchmark chamado GSM-Symbolic para avaliar as habilidades de raciocínio matemático dos LLMs. O estudo descobriu que pequenas alterações na redação das perguntas ou a adição de informações irrelevantes alteraram drasticamente os resultados do modelo, com a precisão caindo em até 65%.
Os pesquisadores observaram maior variabilidade de desempenho e precisão reduzida à medida que a complexidade das perguntas aumentava. A equipe concluiu que não havia “evidências de raciocínio formal” nos modelos testados, sugerindo que o comportamento é mais provavelmente uma correspondência de padrões sofisticada.
Embora pareça haver opiniões conflitantes sobre se os LLMs podem realmente raciocinar, arquiva esta nova pesquisa na categoria ‘não’. Se essas limitações se mantiverem, elas expõem algumas questões significativas sobre a confiabilidade e os riscos de implantar modelos em aplicações cada vez mais complexas.
Leia também:
Este post foi modificado pela última vez em 14 de outubro de 2024 14:12
Um dos maiores desafios da medicina moderna está nos chamados "casos sem resposta": pacientes que…
A Argentina deu um passo inédito na corrida global pela inteligência artificial (IA). O governo…
A corrida global pela inteligência artificial (IA) acaba de ganhar uma nova fronteira: o espaço.…
A inteligência artificial (IA) já deixou de ser uma promessa tecnológica distante para se tornar…
A inteligência artificial (IA) acaba de alcançar mais um marco simbólico na educação superior. Um…
A inteligência artificial (IA) está transformando setores inteiros da economia, impulsionando avanços em saúde, educação,…