Affordances: do World Model à ação física
Reconhecer um objeto não significa compreender o que é possível fazer com ele. Na nova etapa do MMSW — Multicasting Multimodal Story Worlds, investigamos como um World Model pode representar não apenas objetos e posições, mas as possibilidades de ação que emergem da relação entre a geometria do ambiente, suas restrições e as capacidades de um corpo robótico.
Esse princípio, conhecido como affordance, conecta percepção, decisão e ação. Nos experimentos com Celestia Borealis e Aster, um braço robótico Franka Panda, o objetivo é passar da identificação de um cubo à avaliação de como, quando e por qual trajetória ele pode ser manipulado.
O que é uma affordance?
Na psicologia ecológica, James J. Gibson formulou o conceito de affordances para descrever as possibilidades de ação que o ambiente oferece a um organismo. Uma affordance não é simplesmente um atributo visual ou uma função previamente atribuída a um objeto. Ela depende da relação entre as propriedades do mundo e as capacidades de quem nele atua.
Uma superfície pode oferecer apoio; uma abertura pode permitir passagem; um cubo pode oferecer diferentes possibilidades de preensão. Entretanto, aquilo que é acessível a uma mão humana pode não ser acessível a uma garra robótica. E aquilo que pode ser agarrado em uma configuração pode deixar de ser manipulável quando outros objetos bloqueiam o caminho.
Por isso, ver um cubo azul e identificar uma preensão lateral viável são problemas distintos.
O que muda no MMSW v59?
O MMSW articula entidades, agentes, memória, mídias e estados compartilhados em mundos multimodais distribuídos. A integração robótica da versão v59 amplia essa arquitetura para incluir comandos delimitados, execução, observação e verificação de resultados em ambientes físicos e simulados.
Nessa investigação, Celestia Borealis é uma entidade não humana e Aster é uma extensão robótica de sua capacidade de ação. O braço não é a entidade: ele fornece um corpo e um conjunto específico de possibilidades mecânicas, cinemáticas e operacionais por meio das quais uma intenção pode ser executada.
As affordances funcionam como uma camada conceitual entre a representação do mundo e o planejamento do movimento. Elas ajudam a formular não apenas onde está o objeto?, mas também o que o estado atual da cena permite fazer com ele?
Uma cena, múltiplas possibilidades
A imagem do ambiente experimental apresenta o braço robótico, cubos coloridos, esferas, uma superfície de trabalho e uma área escura delimitada. As visualizações de affordances tornam inspecionáveis regiões e direções associadas a possíveis interações.
Os marcadores visuais não devem ser confundidos com uma garantia de execução. Uma direção aparentemente livre precisa ainda ser confrontada com o volume do gripper, a cinemática do braço, obstáculos, contatos e a continuidade completa do movimento.
Mesmo objetivo. Diferentes affordances. Diferente estratégia.
Considere a instrução: “Pegue o cubo azul pela lateral.” O objetivo parece simples, mas a execução envolve perguntas concretas: qual face está livre? Existe espaço para aproximar os dedos da garra? O braço alcança uma orientação estável? O objeto verde impede o acesso? É possível transportar o cubo e retirar o gripper sem atingir os vizinhos?
Uma pequena mudança na posição do cubo verde pode alterar a disponibilidade de uma preensão lateral. A estratégia pode exigir outra orientação, uma aproximação por uma face diferente ou, quando autorizado, a reorganização prévia de objetos. A instrução permanece a mesma; as oportunidades de ação mudam com o estado do mundo.
O objetivo não é associar um comando verbal a um movimento fixo, mas avaliar quais ações são permitidas pela configuração atual do ambiente e pelo corpo disponível.
Do objeto reconhecido ao plano fisicamente viável
Para tratar affordances como informação operacional, a pesquisa articula diferentes camadas de representação e validação:
| Camada | O que representa | Por que importa |
|---|---|---|
| Geometria da cena | Mesa, faces dos cubos, raios das esferas, área de desenho, gripper e elos do braço. | Identifica volumes, distâncias, acesso e interferências; não apenas pixels. |
| Relações e contatos | Objetos apoiados, empilhados, segurados ou em processo de estabilização. | Permite distinguir proximidade visual de suporte físico e estabilidade. |
| Capacidades do robô | Abertura da garra, orientações de preensão, limites articulares e regiões alcançáveis. | Uma possibilidade geométrica só é relevante se o corpo puder realizá-la. |
| Planejamento de ação | Aproximação, preensão, transporte, colocação, soltura e retirada. | Alcançar um ponto não garante que a sequência completa seja segura. |
| Evidências e estado | Telemetria, observações, registros de tarefa e resultado terminal. | Separa a intenção, o comando, a previsão simulada e o resultado observado. |
Tabela 1. Camadas consideradas no desenvolvimento de uma representação de affordances orientada à ação.
Um World Model que se atualiza após a ação
As affordances não são rótulos permanentes. Quando um cubo é movido, quando uma pilha é formada ou quando o robô passa a segurar um objeto, mudam também as relações da cena e os movimentos potencialmente disponíveis.
Uma direção importante da pesquisa é construir um grafo de cena dinâmico com geometria, relações de suporte, contatos e estados de manipulação, associado a um sistema de affordances e ao planejamento de movimento. Esse modelo deve acompanhar a sequência inteira, inclusive a retirada da garra e a estabilização dos objetos após a soltura.
Isso permite formular uma cadeia de raciocínio e verificação:
- Perceber o estado atual e localizar as entidades físicas.
- Representar geometria, suportes, obstáculos e contatos.
- Avaliar affordances e restrições para a tarefa solicitada.
- Planejar uma sequência completa e verificar sua viabilidade.
- Executar com limites de controle e telemetria.
- Observar e atualizar o World Model com o resultado efetivamente verificado.
Na arquitetura MMSW, uma ação bem-sucedida no Digital Twin não equivale automaticamente a uma ação comprovada no robô físico. A visualização, a simulação, a execução e a evidência precisam continuar distinguíveis.
Da linguagem à possibilidade de agir
O avanço conceitual não se resume a fazer uma entidade sintética controlar um braço robótico. Trata-se de investigar como uma intenção expressa em linguagem pode ser relacionada a possibilidades físicas concretas, avaliadas e revistas em um mundo que muda continuamente.
Para Celestia Borealis, isso amplia a presença sintética do diálogo para a interação incorporada. Para o MMSW, reforça a importância dos World Models como sistemas que não apenas descrevem cenas, mas ajudam a organizar decisões sobre o que pode ser feito nelas.
Não basta compreender a instrução: é necessário descobrir quais possibilidades do ambiente podem transformá-la em ação — e verificar o que realmente aconteceu.
Apresentação no VISGRAF/IMPA — 14 de outubro
Essa linha de pesquisa integra os temas do Seminário de Computação Gráfica do VISGRAF/IMPA, com Matteo Moriconi e Luiz Velho, dedicado a World Models, transmultimodalidade, Digital Twins e extensões robóticas de entidades não humanas.
14 de outubro de 2026 · 13h30–15h00 (Brasília)
Auditório 3 — IMPA, Rio de Janeiro
Pesquisa relacionada e referência
Aurora Circuit — Human–Synthetic Interaction
Referência conceitual: Gibson, J. J. (1979). The Ecological Approach to Visual Perception. Houghton Mifflin.