O esquecimento seletivo pode ajudar a IA a aprender melhor; entenda

• Modelos atuais de linguagem IA: Esses modelos baseiam-se em redes neurais artificiais que aprendem por meio de um processo complexo de ajuste do fluxo de informações entre os neurônios. Esse processo é exigente em recursos e inflexível para adicionar novos idiomas ou se adaptar a mudanças.
• Abordagem inovadora de aprendizagem: O novo método envolve treinar inicialmente uma rede neural em um idioma, em seguida, apagar a camada de incorporação que contém os blocos de construção das palavras (tokens) e retreiná-la com outro idioma. Isso permite que o modelo armazene informações abstratas sobre conceitos linguísticos, possibilitando um aprendizado mais eficaz de novos idiomas.
• Técnica de “esquecimento periódico”: Ao invés de uma eliminação e retreinamento únicos, os pesquisadores propõem zerar periodicamente a camada de incorporação durante a fase inicial de treinamento. Isso acostuma o modelo à redefinição, simplificando o processo de aprendizagem de idiomas adicionais posteriormente.

Por que isso importa

• Aprendizagem aprimorada de línguas: O modelo de “esquecimento periódico” mostrou-se mais eficiente na aquisição de novos idiomas, mantendo maior precisão com conjuntos de dados menores e sob restrições computacionais. Isso sugere uma compreensão mais profunda da linguagem além do mero significado das palavras.
• Flexibilidade e adaptação: A incorporação de processos semelhantes aos humanos na inteligência artificial pode levar a modelos de linguagem mais flexíveis e adaptáveis.
• Acessibilidade a mais idiomas: A flexibilidade oferecida por este novo modelo promete expandir as inovações em IA para idiomas menos comuns, como o basco.

Leia também: