LegoGPT transforma descrições em construções reais com peças de LEGO

Um time da Universidade Carnegie Mellon desenvolveu o LegoGPT, um sistema de inteligência artificial capaz de criar modelos de LEGO a partir de descrições em texto. As estruturas geradas não são apenas visuais — elas podem realmente ser montadas, seja por pessoas ou por robôs.

IA que prevê peça por peça

O LegoGPT é baseado em um modelo de linguagem autorregressivo, semelhante aos sistemas de texto como o GPT, mas adaptado para prever a próxima peça de LEGO em uma construção. Para isso, os pesquisadores utilizaram um conjunto de dados personalizado chamado StableText2Lego, com mais de 47 mil estruturas estáveis. As descrições associadas a cada montagem foram geradas por meio do GPT-4o, com base em renderizações 3D.

Física aplicada: estruturas que se sustentam

Ao gerar os modelos, o sistema realiza verificações físicas em tempo real. Ele identifica colisões, posições inválidas e instabilidades estruturais. Quando detecta um erro, aplica um recurso chamado “physics-aware rollback”, que retorna ao último estado estável. Além disso, o método de rejection sampling é utilizado para impedir que peças inválidas sejam incluídas.

A estabilidade é garantida por um modelo físico que considera todas as forças atuantes em cada peça, incluindo compressão, tração e cisalhamento. Somente os projetos que atingem o equilíbrio estático são aprovados.

Resultado superior a outras soluções

Em testes comparativos com outros sistemas de geração 3D, como LLaMA-Mesh, XCube e Hunyuan3D-2, o LegoGPT teve desempenho significativamente superior. Ele atingiu uma taxa de estabilidade de 98,8%, enquanto os métodos concorrentes frequentemente geram estruturas inviáveis ou instáveis.

Cores e texturas realistas

O sistema também vai além da estrutura física. Ele é capaz de aplicar cores e texturas às construções. Por exemplo, um sofá descrito como “tecido japonês Shibori” recebe uma superfície índigo com padrão estruturado. Já uma pintura “cyberpunk com chamas” ganha um visual neon violeta. Essa personalização visual é feita com a ajuda do FlashTex, uma tecnologia rápida de mapeamento de texturas em malhas 3D.

Além das texturas UV, o sistema também suporta cores sólidas oficiais da LEGO, o que torna possível montar os modelos tanto digitalmente quanto com peças reais.

Mais informações e construções de exemplo estão disponíveis na página oficial do projeto LegoGPT e na demonstração publicada no HuggingFace.