Simplifique e economize: Instruções concisas reduzem custos de IA em 20%

Pesquisadores descobriram que adicionar uma simples instrução “seja conciso” a prompts de “cadeia de pensamento” pode reduzir a extensão das respostas de inteligência artificial (IA) em 50%, com impacto mínimo na precisão. Isso leva a uma economia de mais de 20% nos custos de chamadas de API.

Entenda o que é

O prompt “cadeia de pensamento” (CoT) faz com que a IA explique seu raciocínio passo a passo antes de fornecer uma resposta final, melhorando a precisão em problemas complexos.

Como funcionou a pesquisa

Os pesquisadores testaram o acréscimo de “seja conciso” a prompts CoT nos modelos GPT-3.5 e 4, usando 1.000 questões de múltipla escolha em 10 tópicos diferentes.

Os resultados

A instrução tornou as respostas cerca de 50% mais curtas, em média, em comparação com prompts CoT normais, sem impacto significativo na precisão.

A abordagem também reduziu os custos de API por consulta em mais de 20% para ambos os modelos, já que prompts mais concisos geram menos tokens.

Por que isso importa

Da próxima vez que seu chatbot de IA ficar prolixo, esse truque simples de prompt é tudo o que você precisa! Apesar das complexidades e incertezas em torno do funcionamento dos grandes modelos de linguagem (LLMs), às vezes essas peculiaridades aparentemente básicas fazem toda a diferença para obter resultados otimizados.

Leia também: