O Google está usando a IA Gemini para treinar seus robôs, tornando-os melhores em navegação e execução de tarefas. Em um novo artigo de pesquisa, a equipe de robótica da DeepMind explicou como a ampla janela de contexto do Gemini 1.5 Pro (que define a quantidade de informação que o modelo de IA pode processar) permite que usuários interajam mais facilmente com os robôs RT-2 por meio de instruções em linguagem natural.
Funciona assim: os pesquisadores filmam um tour em vídeo de uma área designada, como uma casa ou escritório, e usam o Gemini 1.5 Pro para fazer o robô “assistir” ao vídeo e aprender sobre o ambiente. O robô então pode executar comandos baseados no que observou, respondendo com voz e/ou imagens. Por exemplo, ao ver um celular e ouvir a pergunta “onde posso carregar isso?”, o robô pode guiar o usuário até a tomada. O DeepMind afirma que seu robô com a tecnologia Gemini teve uma taxa de sucesso de 90% em mais de 50 instruções fornecidas pelos usuários em uma área de operação de mais de 800 metros quadrados.
Os pesquisadores também encontraram “evidências preliminares” de que o Gemini 1.5 Pro permite que seus robôs planejem como cumprir instruções que vão além da navegação. Por exemplo, se um usuário com muitas latas de Coca-Cola na mesa pergunta ao robô se sua bebida favorita está disponível, a equipe diz que o Gemini “sabe que o robô deve ir até a geladeira, verificar se há Coca-Cola e depois retornar ao usuário para informar o resultado”. O DeepMind planeja investigar esses resultados mais a fundo.
Embora os vídeos de demonstração do Google sejam impressionantes, o artigo de pesquisa revela cortes que ocultam o tempo de processamento das instruções, que varia entre 10 e 30 segundos. Pode levar algum tempo até que tenhamos robôs de mapeamento ambiental mais avançados em nossas casas, mas pelo menos esses já podem nos ajudar a encontrar chaves ou carteiras perdidas.
Leia também:
Este post foi modificado pela última vez em %s = human-readable time difference 13:57
O Google DeepMind acaba de anunciar uma parceria estratégica com a Apptronik, uma empresa de…
Uma equipe de pesquisadores de 20 laboratórios diferentes acaba de apresentar o Genesis, um motor…
O Google acabou de lançar o que está chamando de um novo modelo de inteligência…
A GitHub, de propriedade da Microsoft, acaba de anunciar um nível gratuito de seu Copilot…
A OpenAI acaba de lançar uma nova maneira surpreendente de acessar o ChatGPT - através…
O Google DeepMind acaba de lançar o FACTS Grounding, um novo benchmark projetado para avaliar…