Recursive Semantic Language Models: A Formal Framework for Recursive Inference over Semantic Manifolds

🇬🇧 Abstract This preprint introduces Recursive Semantic Language Models (RSLMs), a new class of language-model architectures designed to perform recursive reasoning directly over semantic structures rather than raw token sequences. Building on the recent development of Recursive Language Models (RLMs), RSLMs generalize the recursive paradigm by embedding prompts into a semantic manifold where meaning is represented through geometric, topological, or chromatic structures. This shift enables the model to operate on conceptual entities rather than surface text, allowing for more robust long-range reasoning and improved consistency across large contexts. The work formalizes RSLMs as a semantic transition system composed of five core components: a semantic space, an external environment, an encoder, a recursive policy, and a decoder. Through a Semantic REPL, the model can iteratively observe, transform, and verify semantic states, enabling recursive inference over high-dimensional conceptual structures. The paper also introduces Semantic OOLONG, a benchmark designed to evaluate the ability of RSLMs to perform high-order semantic reasoning, including tasks involving invariances, cross-modal consistency, and logical structure preservation. Overall, this framework aims to establish a foundation for meaning-centered AI systems capable of scaling beyond the limitations of token-based architectures. By shifting recursion to the semantic domain, RSLMs open new directions for research in cognitive architectures, information geometry, and long-context reasoning. 🇮🇹 Abstract Questo preprint presenta i Recursive Semantic Language Models (RSLM), una nuova classe di architetture per modelli linguistici progettate per eseguire ragionamento ricorsivo direttamente su strutture semantiche, anziché su sequenze di token. Basandosi sugli sviluppi recenti dei Recursive Language Models (RLM), gli RSLM generalizzano il paradigma ricorsivo incorporando il prompt in un manifold semantico in cui il significato è rappresentato tramite strutture geometriche, topologiche o cromatiche. Questo cambiamento consente al modello di operare su entità concettuali anziché sul testo superficiale, migliorando la capacità di ragionamento a lungo raggio e la coerenza su contesti estesi. Il lavoro formalizza gli RSLM come un sistema di transizione semantica composto da cinque elementi fondamentali: uno spazio semantico, un ambiente esterno, un codificatore, una politica ricorsiva e un decodificatore. Attraverso un Semantic REPL, il modello può osservare, trasformare e verificare iterativamente stati semantici, abilitando un’inferenza ricorsiva su strutture concettuali ad alta dimensionalità. Il paper introduce inoltre Semantic OOLONG, un benchmark progettato per valutare la capacità degli RSLM di eseguire ragionamento semantico di ordine superiore, includendo compiti che richiedono invarianti, coerenza cross-modale e preservazione di strutture logiche. Nel complesso, questo framework mira a gettare le basi per sistemi di intelligenza artificiale centrati sul significato e capaci di superare i limiti delle architetture basate sui token. Spostando la ricorsione nel dominio semantico, gli RSLM aprono nuove direzioni di ricerca nelle architetture cognitive, nella geometria dell’informazione e nel ragionamento su contesti molto estesi.