Uma ação não é apenas um movimento

O experimento robótico do MMSW v59 investiga uma pergunta que atravessa a robótica, a cognição e a criação: o que acontece quando uma instrução em linguagem precisa se transformar em uma ação situada, observável e dotada de significado?

Para responder, aproximamos doze perspectivas teóricas de dois contextos concretos da pesquisa: a manipulação de objetos no Digital Twin do braço Franka Panda e a composição de movimentos em Aurora Circuit. Não se trata de afirmar que uma teoria explica integralmente o sistema, mas de usar cada referência como uma lente crítica para aquilo que já é possível examinar — e para aquilo que ainda precisa ser demonstrado.

Celestia, Aster e o circuito entre intenção e consequência

Celestia Borealis é uma entidade não humana operando no MMSW — Multicasting Multimodal Story Worlds. Aster é a extensão robótica por meio da qual ações podem ser planejadas, representadas e executadas dentro dos limites do ambiente experimental. O braço não é Celestia: fornece graus de liberdade, volume, alcance, contato e restrições que precisam ser considerados em cada tarefa.

Considere o comando “pegue o cubo pela lateral”. A frase identifica uma intenção, não uma trajetória. É preciso descobrir qual face oferece acesso, se há espaço para os dedos da garra, se uma aproximação pode evitar os objetos vizinhos e se o ciclo de preensão, transporte, soltura e retirada é viável. Se um obstáculo muda de posição, a mesma frase pode exigir outro plano.

No MMSW, passar da linguagem à robótica implica transformar uma intenção em possibilidades de ação, preservar as restrições do mundo e distinguir o resultado observado da ação apenas imaginada ou visualizada.

Parte I — Ação situada, cognição distribuída e validação

Seis referências ajudam a interpretar a passagem da instrução ao acontecimento físico. Gibson enfatiza a relação entre capacidades e ambiente; Suchman lembra que planos dependem da situação; Hutchins desloca a análise para a rede de participantes e instrumentos. McLuhan e Clark & Chalmers permitem examinar extensões e recursos externos, com os devidos limites. A credibilidade dos Digital Twins introduz a exigência de verificar o que o modelo efetivamente representa.

O que o robô fez — e como sabemos?

Uma cena pode parecer convincente sem demonstrar que a tarefa foi concluída. O observer permite inspecionar o ambiente, mas a evidência precisa distinguir pelo menos quatro coisas: a intenção expressa, o plano aceito, o que a execução realmente produziu e o estado terminal registrado.

1. Interpretar o pedido e reconhecer as entidades relevantes.
2. Avaliar geometria, contatos, affordances e restrições do braço.
3. Planejar a sequência inteira, não apenas a pose de destino.
4. Executar e medir movimento, preensão, suporte e liberação.
5. Atualizar o World Model com o resultado verificado — inclusive quando a tarefa não foi concluída.

Esse cuidado é decisivo para tarefas de empilhamento, reposicionamento ou desenho. Um objeto próximo de outro não está necessariamente apoiado nele; segurar um cubo não significa transportar com segurança uma pilha inteira. Quando contatos e relações de suporte não são verificados, a resposta correta pode ser interromper a ação, reorganizar a cena ou solicitar uma nova estratégia.

Parte II — Quando o movimento passa a ser expressão

O segundo experimento desloca a questão do êxito mecânico para a forma e o significado. Em Aurora Circuit, Celestia organiza uma frase de nove ações: rotações articulares, apontamentos, uma passagem de dança e um aceno final. Cada gesto pode ser descrito como um operador motor, mas a composição nasce das relações entre os gestos.

O operador wave_hello, por exemplo, não tem o mesmo papel em todos os contextos. Na posição final da sequência, funciona como fechamento. O nome “Aurora Circuit” oferece uma referência compartilhada no diálogo, enquanto o desenho em espiral e circuito propõe uma nova descrição visual da mesma ideia. Nenhum desses elementos substitui o registro executável dos movimentos.

O que essas comparações permitem afirmar?

Elas tornam o experimento analisável em várias escalas: a viabilidade de uma preensão, a coordenação entre entidade, operador, robô e Digital Twin, a persistência de registros e a transformação de movimentos em uma composição reconhecível. Também tornam explícitos os limites do vocabulário empregado.

• Uma affordance não é uma ordem: é uma possibilidade relacional que ainda precisa passar por planejamento e verificação.
• Uma simulação não é uma medição do robô físico: fidelidade exige calibração e validação próprias.
• Uma referência simbólica não é a execução: um nome, uma imagem ou uma narração não preserva automaticamente as trajetórias completas.
• Embodiment não é equivalência biológica: restrições sensório-motoras simuladas não demonstram cognição orgânica nem uma mente humana.

Do gesto à continuidade do mundo

O ponto mais importante não é apenas fazer um robô responder a um comando. É construir um ciclo de interpretação, ação, consequência e memória em que o mundo continua depois do movimento. Objetos são deslocados; contatos mudam; registros persistem; sequências ganham nomes; uma nova interação deve encontrar o ambiente como ele ficou, não como foi imaginado antes.

Essa é a fronteira explorada pelo MMSW: ligar World Models, transmultimodalidade, Digital Twins e robótica sem confundir representação com realidade ou linguagem com movimento. A ação precisa ser fisicamente admissível; seu significado se constrói no contexto; seu resultado precisa ser verificável.

Apresentação no VISGRAF/IMPA

A pesquisa será discutida no Seminário de Computação Gráfica do VISGRAF/IMPA, com Matteo Moriconi e Luiz Velho, em 14 de outubro de 2026.

Pesquisa relacionada e referências

Digital Twins — Franka Panda · Aurora Circuit — Human–Synthetic Interaction

Referências conceituais: Gibson (1979); Suchman (1987); Hutchins (1995); McLuhan (1964); Clark & Chalmers (1998); Shao, Hightower & Schindel (2023); Wittgenstein (1953); Lacan (2006); Laban (1966); Goodman (1976); Boden (2004); Varela, Thompson & Rosch (1991). As comparações apresentadas são leituras analíticas da pesquisa MMSW, não atribuições diretas desses autores ao projeto.