LegoGPT: L’IA Trasforma i Prompt di Testo in Creazioni Lego

I ricercatori della Carnegie Mellon University hanno presentato LegoGPT, un nuovo sistema di intelligenza artificiale che costruisce creazioni Lego del mondo reale a partire da descrizioni scritte.

È la prima IA del suo genere che non solo segue un prompt di testo, come “un vascello snello ed allungato”, ma garantisce anche che la struttura risultante sia fisicamente stabile e possa essere costruita, mattone dopo mattone.

“Per raggiungere questo obiettivo, abbiamo creato un dataset ampio e fisicamente stabile di progetti LEGO, insieme alle loro didascalie associate,” ha spiegato il team nel loro articolo di ricerca.

LegoGPT è stato addestrato utilizzando oltre 47.000 modelli Lego stabili, abbinati a dettagliate didascalie generate da GPT-4o. Questi sono stati costruiti a partire da forme 3D, trasformate in strutture Lego, e poi testate per la loro stabilità nel mondo reale utilizzando simulazioni fisiche.

Ogni struttura è stata descritta anche da 24 angolature diverse in modo che l’IA potesse apprendere come dovrebbero apparire vari disegni in parole.

Il team ha utilizzato una tecnica speciale chiamata “physics-aware rollback”, dove le parti instabili di un disegno vengono rimosse e ricostruite fino a quando l’intera struttura risulta solida. Questo ha migliorato il tasso di successo delle costruzioni dal 24% al 98,8%.

Il modello di intelligenza artificiale, basato sul LLaMA-3.2-Instruct di Meta, prevede quale mattoncino Lego posizionare successivamente – in modo simile a come ChatGPT prevede la parola successiva. Ogni mattoncino suggerito viene controllato per posizionamento, dimensione e potenziali collisioni prima di essere aggiunto al modello.

Le creazioni di LegoGPT possono essere costruite sia da esseri umani che da robot. “I nostri esperimenti dimostrano che LegoGPT produce design Lego stabili, diversi e esteticamente piacevoli che si allineano strettamente con i prompt di testo di input”, hanno scritto i ricercatori.

Per ora, LegoGPT utilizza solo otto tipi di mattoncini base e lavora all’interno di uno spazio 20×20×20, ma il team spera di espanderlo.

Il loro intero dataset, codice e modello sono liberamente accessibili, quindi altri possono continuare a sviluppare questa ricerca. In alternativa, puoi semplicemente divertirti con la loro demo.