SFP-Study Stage 1: System Frame Persistence (Formal Evaluation)

Read full text Summarise with VIRAT
Authors: Juliane Schubert
Cited by: 0

Summary

No summary yet. VIRAT can read this paper and write a plain-language summary of its aim, methods, key findings and limitations.

Summarise with VIRAT Free to try with your Science Catalogs account.

Abstract

Diese Studie untersucht, ob große Sprachmodelle (LLMs) in der Lage sind, explizite formale Regeln über sequentielle Interaktionen hinweg aufrechtzuerhalten. Mithilfe des System Frame Persistency (SFP)-Frameworks wurden zwei Testbedingungen angewendet: eine strikte formale Beschränkung (progressive Wortzählung) und eine reduzierte Strukturvariante. In acht Modellen, jeweils fünf Durchläufen und insgesamt 320 Antworten konnte keines der Modelle unter formalen Bedingungen die vollständige Regelpersistenz aufrechterhalten. Die Fehler traten systematisch innerhalb der ersten zwei bis drei Schritte auf, was darauf hindeutet, dass formale Beschränkungen während der fortlaufenden Generierung nicht zuverlässig erhalten bleiben. Im Gegensatz dazu zeigten vereinfachte Regelstrukturen eine deutlich höhere Stabilität. Die Ergebnisse deuten darauf hin, dass LLMs zwar Regeln erkennen können, diese aber unter sequenzieller Belastung nicht konsistent anwenden. Dies spricht eher für eine strukturelle Einschränkung bei der Aufrechterhaltung formaler Invarianten als für ein mangelndes Regelverständnis.

Fields of Study & Subjects

Natural Language Processing Techniques Topic Modeling Speech and dialogue systems

Publication details

Journal / source
Zenodo (CERN European Organization for Nuclear Research)
Publication date
21 March 2026
Language
DE
Document type
Dataset