Pesquisadores da Brown University, nos Estados Unidos, desenvolveram um sistema que permite a robôs localizar objetos em cenários complexos usando não apenas comandos em linguagem natural, mas também gestos humanos, como apontar, e a direção do olhar.

O projeto parte do reconhecimento de que a comunicação humana combina fala, gestos e contexto compartilhado para reduzir ambiguidades. Para robôs, situações do mundo real — com muitos objetos semelhantes, itens parcialmente ocultos e movimento — aumentam a incerteza e dificultam buscas precisas.

Quem fez e onde foi apresentado

A equipe inclui estudantes e pesquisadores da Brown, com Ivy He como autora principal. O trabalho foi apresentado na International Conference on Human-Robot Interaction. A pesquisa também se apoiou em estudos do Brown Dog Lab, liderado pela cientista cognitiva Daphna Buchsbaum, que inspiraram a modelagem dos gestos.

O que o sistema faz e como

O sistema integra linguagem, gestos de apontamento e direção do olhar em um único processo de decisão baseado em probabilidades. Para lidar com informações incompletas, os pesquisadores utilizaram um modelo de planejamento conhecido como processo de decisão de Markov parcialmente observável (POMDP). Nesse modelo, o robô mantém uma estimativa probabilística — ou “crença” — sobre quais objetos são mais prováveis, atualizando essa estimativa conforme coleta evidências adicionais do ambiente.

Em vez de interpretar um dedo apontando como uma direção exata, o algoritmo traduz o gesto em um cone de probabilidade, ou seja, uma área onde o alvo provavelmente está. O sistema também considera o alinhamento entre o olhar e o braço para refinar a indicação de intenção.

Além dos sinais gestuais, o sistema incorpora um modelo de visão e linguagem (VLM), capaz de analisar imagens e correspondê-las a descrições em linguagem natural, permitindo comandos como “pegue a garrafa azul” enquanto o robô avalia a cena ao seu redor.

Imagem: Divulgação

Resultados dos testes

Em experimentos de laboratório realizados com um robô quadrúpede em um ambiente com objetos espalhados, a combinação de linguagem e gestos elevou as taxas de acerto para cerca de 90%. Em testes específicos reportados pelos pesquisadores, o sistema identificou corretamente o objeto almejado em 89% das tentativas, superando abordagens que usam apenas linguagem ou apenas gestos.

Os autores apontam que a integração multimodal permite que robôs atuem melhor como assistentes domésticos ou profissionais, recuperando objetos e operando em contexto onde instruções perfeitas não são fornecidas.

O trabalho mostra como unir ciência cognitiva e ciência da computação para aproximar a interação humano-máquina do modo como pessoas e até animais, como cães, interpretam sinais sociais.

Com informações de Olhardigital