“Grandes modelos de hoje serão pequenos modelos em apenas alguns anos”, prevê pesquisador da OpenAI

O pesquisador de inteligência artificial (IA) Hyung Won Chung, membro da equipe OpenAI e ex-funcionário do Google Brain, entregou um discurso de 45 minutos falando sobre o mundo dos grandes modelos de linguagem em 2023.

Publicado por
Uesley Durães

Chung, conhecido por ser o primeiro autor do artigo do Google intitulado “Modelos de linguagem com instruções de dimensionamento,” apresentou uma visão detalhada do estado atual e futuro da pesquisa em IA e modelos de linguagem.

Em seu discurso, Chung enfatizou a natureza dinâmica do mundo dos modelos de linguagem extensiva. Ao contrário de campos tradicionais, onde as suposições fundamentais permanecem estáveis, Chung argumentou que o campo de modelos de linguagem está em constante evolução. 

“Grandes modelos de hoje serão pequenos modelos em apenas alguns anos”, comentou. 

Ele enfatizou a importância de abordar as reivindicações sobre as capacidades dos modelos de linguagem com a expressão “for now,” reconhecendo que o que é considerado impossível hoje pode se tornar possível no futuro.

Uma das principais mensagens do discurso foi que os grandes modelos de hoje logo serão considerados pequenos, à medida que a tecnologia continua avançando. 

Chung também dedicou uma parte de sua palestra para elucidar as complexidades dos dados e do paralelismo de modelos, fornecendo informações valiosas sobre o funcionamento interno dessas técnicas.

No discurso, Chung destacou um ponto crítico relacionado à função objetivo usada no pré-treinamento de LLMs, chamada Máxima Verossimilhança. Ele argumentou que essa função poderia representar um obstáculo quando se deseja criar modelos em uma escala muito maior do que o GPT-4, como modelos 10.000 vezes maiores. Para superar esse desafio, Chung sugeriu que o próximo passo no desenvolvimento da IA envolveria o uso de funções de aprendizagem baseadas em algoritmos distintos.

Embora essa abordagem esteja em seus estágios iniciais, Chung destacou esforços contínuos, como o Aprendizado por Reforço com Feedback Humano (RLHF) com Modelagem de Regras, como passos promissores na direção da escalabilidade além das restrições atuais.

Veja também:

Este post foi modificado pela última vez em %s = human-readable time difference 14:10

Uesley Durães

Posts recentes

Google se associa à Apptronik para desenvolver robôs humanoides

O Google DeepMind acaba de anunciar uma parceria estratégica com a Apptronik, uma empresa de…

20 de dezembro de 2024

Genesis: Um novo patamar para simulações físicas em IA

Uma equipe de pesquisadores de 20 laboratórios diferentes acaba de apresentar o Genesis, um motor…

20 de dezembro de 2024

Google lança seu próprio modelo de IA de “raciocínio”

O Google acabou de lançar o que está chamando de um novo modelo de inteligência…

19 de dezembro de 2024

GitHub Copilot agora é gratuito

A GitHub, de propriedade da Microsoft, acaba de anunciar um nível gratuito de seu Copilot…

19 de dezembro de 2024

ChatGPT ganha um novo número de telefone; veja

A OpenAI acaba de lançar uma nova maneira surpreendente de acessar o ChatGPT - através…

19 de dezembro de 2024

Google lança novo benchmark para testar a factualidade de LLMs

O Google DeepMind acaba de lançar o FACTS Grounding, um novo benchmark projetado para avaliar…

18 de dezembro de 2024