From Sensing to Understanding: A Spatial Intelligence Paradigm for 3D Artificial Intelligence

I recenti progressi nell’intelligenza artificiale, nella visione artificiale e nella computer grafica hanno consentito ai sistemi artificiali di evolvere da una percezione visiva passiva verso una comprensione più profonda e strutturata degli ambienti tridimensionali. Questa evoluzione ha trasformato il concetto di intelligenza spaziale, spostandolo da una nozione radicata esclusivamente nel ragionamento umano al dominio computazionale. In questo contesto, l’intelligenza spaziale è definita come la capacità di un sistema artificiale di percepire, rappresentare, interpretare e agire all’interno di ambienti tridimensionali integrando informazioni visive, spaziali e semantiche lungo l’intera pipeline. Questo progresso è stato plasmato dalla convergenza di molteplici discipline, tra cui visione artificiale, computer grafica, robotica, agenti embodied e modelli generativi del mondo. Tuttavia, i sistemi attuali rimangono frammentati, eccellendo in compiti specifici ma privi di un paradigma coeso e centrato sull’uomo che colleghi acquisizione, modellazione e applicazione nei diversi domini. Partendo da queste considerazioni, questa tesi introduce un paradigma di intelligenza spaziale per l’intelligenza artificiale tridimensionale, fondato su tecnologie mature di IA e finalizzato a unificare acquisizione, sintesi neurale, modellazione generativa e interazione all’interno di un approccio coerente e orientato alle applicazioni. Dal punto di vista metodologico, la tesi è strutturata attorno a tre pilastri interconnessi: acquisizione multimodale, modellazione visione-linguaggio e generalizzazione nel mondo reale. Nell’ambito dell’acquisizione multimodale, il lavoro indaga come dati spaziali eterogenei, che spaziano da immagini multi-vista ad asset tridimensionali, possano essere trasformati in rappresentazioni 3D coerenti mediante approcci di rendering neurale e intelligenza artificiale generativa. Vengono presentati due casi di studio: un framework end-to-end di rendering neurale per il design della moda basato su Neural Radiance Fields e 3D Gaussian Splatting, e un framework comparativo per il patrimonio culturale che valuta i metodi generativi 3D sia in termini di qualità visiva bidimensionale sia di fedeltà strutturale tridimensionale. Il secondo pilastro, la modellazione visione-linguaggio, esplora come i modelli linguistici multimodali di grandi dimensioni e i generatori basati su diffusione possano fungere da ponte tra rappresentazioni linguistiche e spaziali. Questo aspetto viene dimostrato attraverso due sistemi: una piattaforma XR per la generazione di contenuti 3D contestualizzati guidata da modelli di diffusione e un nuovo framework per la ricostruzione visiva a partire dall’attività cerebrale EEG, che combina decodifica neurale e generazione multimodale introducendo inoltre una fase di ricostruzione potenziata per migliorare la qualità delle immagini. Entrambi i sistemi sono validati mediante metriche quantitative e valutazioni incentrate sull’utente. Infine, il pilastro della generalizzazione nel mondo reale affronta l’integrazione dei modelli di IA spaziale in ambienti interattivi con l’essere umano nel ciclo decisionale (human-in-the-loop). In particolare, viene proposto un sistema per la generazione da immagine singola a modello 3D che combina ragionamento multimodale, question answering multi-vista e raffinamento iterativo attraverso il feedback umano mediante un’interfaccia utente. Viene inoltre presentata una piattaforma di analisi immersiva per il settore della moda che integra interazione con prodotti tridimensionali, analisi visuale e visualizzazione delle tendenze all’interno di un ambiente XR. Nel complesso, questo lavoro presenta un paradigma unificato e operativo di intelligenza spaziale, dimostrando come i moderni sistemi di intelligenza artificiale possano essere integrati, dall’acquisizione e rappresentazione fino alla generazione e all’interazione, attraverso domini eterogenei quali il patrimonio culturale, la moda e le neuroscienze. Oltre ai contributi tecnici, la tesi sottolinea l’importanza della progettazione centrata sull’uomo, dell’interpretabilità e dell’interazione, posizionando l’intelligenza spaziale non soltanto come una capacità computazionale, ma come un’interfaccia collaborativa tra sistemi artificiali e creatività, cognizione e processi decisionali umani