O esquecimento seletivo pode ajudar a IA a aprender melhor; entenda

Uma equipe de cientistas da computação desenvolveu um modelo de aprendizado de máquina mais ágil e adaptável. A novidade: ele melhora sua capacidade de aprender novos idiomas ao "esquecer" periodicamente partes do que já sabe.

Publicado por

Isabella Caminoto

12 de março de 2024 10:00

Modelos atuais de linguagem IA: Esses modelos baseiam-se em redes neurais artificiais que aprendem por meio de um processo complexo de ajuste do fluxo de informações entre os neurônios. Esse processo é exigente em recursos e inflexível para adicionar novos idiomas ou se adaptar a mudanças.
Abordagem inovadora de aprendizagem: O novo método envolve treinar inicialmente uma rede neural em um idioma, em seguida, apagar a camada de incorporação que contém os blocos de construção das palavras (tokens) e retreiná-la com outro idioma. Isso permite que o modelo armazene informações abstratas sobre conceitos linguísticos, possibilitando um aprendizado mais eficaz de novos idiomas.
Técnica de “esquecimento periódico”: Ao invés de uma eliminação e retreinamento únicos, os pesquisadores propõem zerar periodicamente a camada de incorporação durante a fase inicial de treinamento. Isso acostuma o modelo à redefinição, simplificando o processo de aprendizagem de idiomas adicionais posteriormente.

IA pode te ajudar a aprender um novo idioma; saiba como

As ferramentas de inteligência artificial (IA) podem ajudar quem deseja aprender um novo idioma. Veja dicas de prompts e plataformas!

Por que isso importa

Aprendizagem aprimorada de línguas: O modelo de “esquecimento periódico” mostrou-se mais eficiente na aquisição de novos idiomas, mantendo maior precisão com conjuntos de dados menores e sob restrições computacionais. Isso sugere uma compreensão mais profunda da linguagem além do mero significado das palavras.
Flexibilidade e adaptação: A incorporação de processos semelhantes aos humanos na inteligência artificial pode levar a modelos de linguagem mais flexíveis e adaptáveis.
Acessibilidade a mais idiomas: A flexibilidade oferecida por este novo modelo promete expandir as inovações em IA para idiomas menos comuns, como o basco.

Leia também:

Nvidia é processada por usar obras protegidas por direitos autorais

A Nvidia foi processada por três autores que afirmam que a empresa usou seus livros – protegidos por direitos autorais – sem permissão para treinar sua plataforma de inteligência artificial (IA) NeMo.

Este post foi modificado pela última vez em 11 de março de 2024 17:04

Isabella Caminoto

Advogada e mestranda em Direito Internacional, tenho a democracia e a liberdade como bandeiras irrenunciáveis. Sou apaixonada pelos animais e acredito que o bem-estar do nosso planeta deveria ser o destaque diário da pauta da nossa sociedade.