MMSW v59: da arquitetura multimodal à robótica
O MMSW — Multicasting Multimodal Story Worlds — alcança um novo marco arquitetural com a versão v59, incorporando sistemas robóticos a uma infraestrutura distribuída que conecta entidades, agentes, memória, mídias e estados compartilhados.
A novidade não está simplesmente em conectar um braço robótico à inteligência artificial, mas em estabelecer uma arquitetura capaz de transformar intenções em ações delimitadas, observáveis e verificáveis.
Esse avanço amplia o papel dos World Models e Digital Twins na relação entre percepção, decisão e ação física.
Dos Story Worlds à ação física
Nas versões anteriores do MMSW, a arquitetura permitia coordenar agentes, comunicação, memória, mídias e ferramentas em ambientes multimodais distribuídos. A incorporação da robótica introduz novas responsabilidades relacionadas à execução de ações no mundo físico.
Com a versão v59, a robótica passa a participar explicitamente do grafo do sistema. Protocolos específicos, adaptadores, controle de acesso, filas de execução, registros de tarefas e mecanismos de verificação permitem distinguir a intenção comunicada, o comando emitido e o resultado observado.
O sistema também passa a explorar diferentes formas de transporte e integração, preservando WebSocket como mecanismo central e estabelecendo interfaces para HTTP, MQTT opcional, pontes seriais e ROS 2.
Essa evolução não representa o abandono das capacidades multimodais anteriores, mas sua ampliação em direção à interação incorporada — embodied interaction — e à ação física mensurável.
O marco arquitetural do MMSW v59
A comparação a seguir apresenta oito dimensões da evolução do MMSW, desde o runtime multimodal anteriormente documentado até a arquitetura com capacidades robóticas da versão v59.
| Dimensão | MMSW anterior | MMSW v59 — Robótica |
|---|---|---|
| Papel principal do sistema | Runtime multimodal distribuído de Story Worlds, coordenando humanos, agentes, memória, mídias, ferramentas e estados compartilhados. | Runtime multimodal distribuído e incorporado, no qual a robótica se torna participante explícita do grafo do sistema. |
| Embodiment | Interfaces incorporadas e robótica integravam o horizonte conceitual e de implantação do sistema. | Protocolos robóticos explícitos, adaptadores, componentes, propriedade, leases de controle, filas, registros de tarefas, observação, verificação e recuperação. |
| Limites da ação | Ações de plugins e ferramentas permaneciam separadas da fala conversacional e eram confirmadas por registros de orquestração. | Intenções em linguagem natural são traduzidas em comandos robóticos delimitados. Execução, evidências, estado terminal e narrativa permanecem explicitamente separados. |
| Transporte de rede | Runtime multicast centrado em WebSocket, com serviços HTTP e interfaces de plugins. | WebSocket permanece como padrão, com compatibilidade HTTP, MQTT híbrido opcional, pontes seriais e interfaces de integração com ROS 2, permitindo a coexistência de dispositivos heterogêneos. |
| Mundo físico e simulado | Dispositivos externos e mídias incorporadas podiam ser conectados ao runtime dos Story Worlds. | Digital Twins tornam-se camadas de execução e validação para o Franka Panda e braços robóticos da classe Waveshare, mantendo resultados físicos distintos dos resultados simulados. |
| Percepção e evidências | Percepção multimodal e verificações de estado externo fundamentavam respostas de mídias e ferramentas. | Câmeras, estado da cena, telemetria, feedback de execução e registros terminais estabelecem um caminho de evidências entre ação incorporada e mundo compartilhado. |
| Relação com entidades de IA | Identidade persistente e expressão multimodal sustentavam a transição de bots para agentes e entidades. | Um subsistema robótico pode funcionar como extensão conectada da presença incorporada de uma entidade de IA, mantendo controle, observabilidade e verificabilidade independentes. |
| Escala do repositório* | 114 arquivos; 34.733 linhas brutas de código; aproximadamente 27.150 linhas de código-fonte; 44 rotas únicas; 158 funções assíncronas. | 339 arquivos-fonte medidos; 150.583 linhas brutas; 127 pares únicos de método e caminho HTTP/WebSocket; 458 funções Python assíncronas. O subsistema robótico representa 156 arquivos e 24.115 linhas brutas no escopo medido. |
Tabela 1. Evolução arquitetural do MMSW: do runtime multimodal documentado anteriormente ao marco robótico v59.
* Os valores correspondem a levantamentos específicos dos repositórios, com escopos de medição distintos. As métricas de código não constituem, isoladamente, indicadores de desempenho.
Celestia Borealis e a extensão robótica da presença
Uma das questões investigadas nessa etapa é como uma entidade sintética pode estender sua presença ao espaço físico sem que sua identidade seja confundida com o dispositivo por meio do qual atua.
Celestia Borealis é uma entidade não humana integrada ao MMSW. Aster, um braço robótico Franka Panda, funciona como extensão de sua capacidade de ação no ambiente físico e simulado.
Ao interpretar uma instrução como “pegue o cubo vermelho pela lateral”, Celestia precisa considerar a configuração espacial, os obstáculos e as possibilidades de ação disponíveis — as affordances — antes de estabelecer uma estratégia de execução.
O braço robótico executa movimentos por meio de interfaces específicas, enquanto a arquitetura mantém separados os processos de interpretação, planejamento, execução e verificação.
Digital Twins e evidências de execução
A utilização de Digital Twins permite explorar estratégias de movimento em ambientes simulados, observar mudanças de configuração e testar diferentes condições de operação.
Entretanto, uma ação bem-sucedida em simulação não constitui automaticamente uma comprovação de execução física. A distinção entre esses dois estados é uma parte importante da arquitetura.
A versão v59 introduz mecanismos para registrar observações, telemetria, feedback de execução e resultados terminais, permitindo relacionar os comandos emitidos com evidências observáveis.
Esse processo amplia a possibilidade de investigar sistemas nos quais a presença de entidades sintéticas se manifesta por meio de diferentes dispositivos, mantendo rastreabilidade e limites de controle.
Apresentação no VISGRAF/IMPA — 14 de outubro
Esses avanços serão discutidos no próximo Seminário de Computação Gráfica do VISGRAF/IMPA, no dia 14 de outubro de 2026.
Matteo Moriconi, cofundador do VFXRio e pesquisador colaborador do VISGRAF, apresenta o trabalho ao lado de Luiz Velho, pesquisador titular e professor do IMPA, pesquisador líder do VISGRAF e um dos pioneiros da Computação Gráfica no Brasil.
O seminário abordará World Models, transmultimodalidade, Digital Twins, affordances, interação humano-sintética e extensões robóticas de entidades não humanas, com exemplos do MMSW, Celestia Borealis e Aster.
14 de outubro de 2026
13h30–15h00 — horário de Brasília
Auditório 3 — IMPA, Rio de Janeiro
Um novo estágio de pesquisa
A integração robótica da versão v59 representa um marco na evolução do MMSW, ampliando o conceito de mundos multimodais compartilhados para sistemas nos quais a ação física também pode participar da arquitetura distribuída.
O desafio não é somente fazer uma entidade sintética controlar um robô, mas compreender como percepção, representação do mundo, intenção, ação e evidência podem permanecer conectadas de forma coerente e verificável.
Pesquisa relacionada: