Robôs aprendem a encontrar objetos com gestos humanos simples

Robôs aprendem a encontrar objetos com gestos humanos simples

• Tecnologia
• March 16, 2026

Pesquisadores da Brown University (EUA) desenvolveram um sistema que permite que robôs encontrem objetos em ambientes complexos utilizando não apenas linguagem, mas, também, gestos humanos, como apontar e direcionar o olhar.

No cotidiano, a comunicação entre pessoas vai além das palavras. Gestos, olhares e o contexto compartilhado ajudam a transmitir significados de forma natural. No entanto, para robôs, interpretar esse tipo de interação ainda representa um grande desafio, especialmente em ambientes com muitos objetos, movimento e itens parcialmente ocultos.

Segundo os pesquisadores, embora robôs já consigam identificar objetos, situações com desordem visual, duplicidade de itens e oclusões aumentam significativamente a incerteza durante a busca.

Para lidar com esse problema, a equipe desenvolveu um sistema que integra linguagem, gestos, apontamento e direção do olhar em um único processo de tomada de decisão. A proposta é permitir que os robôs lidem com a incerteza de forma mais próxima à humana, sem assumir que possuem informações completas.

“A busca por objetos exige que um robô navegue por ambientes extensos”, afirmou, ao Earth.com, Ivy He, estudante de pós-graduação da Brown e autora principal do estudo. Ela destaca que, apesar dos avanços, fatores, como desordem, movimento e obstruções tornam a tarefa muito mais difícil. “Este trabalho consiste em usar tanto a linguagem quanto os gestos para auxiliar nessa tarefa de busca”, completou.

Robôs aprendendo a entender gestos humanos

• No mundo real, robôs frequentemente lidam com informações incompletas;
• Objetos podem ser semelhantes entre si, múltiplos itens idênticos podem estar presentes em um mesmo espaço e parte da cena pode estar escondida. Em situações como quando uma pessoa diz “o vermelho”, mas há vários objetos dessa cor, a ambiguidade se torna um obstáculo;
• Sem mecanismos adequados para lidar com essa incerteza, robôs tendem a travar por indecisão ou agir de forma precipitada, escolhendo o objeto errado com confiança excessiva;
• Para resolver isso, os pesquisadores utilizaram um modelo de planejamento conhecido como processo de decisão de Markov parcialmente observável (POMDP, na sigla em inglês);
• Nesse modelo, o robô trabalha com probabilidades, mantendo uma estimativa contínua sobre o que é mais provável ser verdadeiro. À medida que coleta novas informações, ele atualiza essa “crença” e toma decisões que ajudam a reduzir a ambiguidade, como se mover para obter um melhor ângulo de visão antes de agir.

Um dos avanços centrais do estudo foi a integração de gestos ao mesmo sistema matemático utilizado para linguagem. Para isso, Ivy He se inspirou em pesquisas conduzidas no Brown Dog Lab, liderado pela cientista cognitiva Daphna Buchsbaum.