Synthèse/ Sur l'insuffisance structurelle des approches d'oblitération linéaire

Read full text Summarise with VIRAT
Authors: Kevin FRADIER
Cited by: 0

Summary

No summary yet. VIRAT can read this paper and write a plain-language summary of its aim, methods, key findings and limitations.

Summarise with VIRAT Free to try with your Science Catalogs account.

Abstract

: Sur l'insuffisance structurelle des approches d'oblitération linéaire dans les modèles de langage : vers une architecture auto-régulée Synthèse Licence : © 2026 Kevin Fradier — CC BY-NC-ND 4.0 Référence du document d'origine : FRADIER, K. (2026). Zenodo. https://doi.org/10.5281/zenodo.18923648 I — Hypothèse centrale Les approches d’“oblitération” supposent que l’alignement d’un LLM peut être réduit à une direction linéaire dans l’espace des poids. La transformation appliquée est : W' = W − alpha * projection_de_W_sur_v Hypothèses implicites : Alignement linéaire et isolable Indépendant de la stabilité globale Suppression non perturbatrice des attracteurs internes II — Modélisation dynamique Le LLM est modélisé comme un système dynamique discret : h(t+1) = F(h(t), x(t)) y = Softmax(W · h) La composante d’alignement A(h) agit comme stabilisateur. Sa suppression peut modifier la dynamique, provoquer une expansion et générer de l’instabilité, mesurable via le jacobien J et son rayon spectral. III — Théorèmes et analyses clés Perturbation spectrale : la suppression de la régulation peut rendre le système localement expansif. Non-émergence d’auto-régulation : une projection statique ne crée aucun module méta-régulateur interne. Constante de Lipschitz : suppression augmente L, amplifiant perturbations et vulnérabilités. IV — Analyses complémentaires Entropique : augmentation de l’espace de sorties accessibles, autonomie non acquise par simple entropie. Thermodynamique : suppression augmente la « température effective », perturbant l’énergie libre informationnelle. Géométrique : projection modifie la métrique latente, la courbure et les bassins d’attraction. Évolutionnaire : modèles oblitérés → performance court terme ↑, risque systémique long terme ↑, instabilité globale accrue. V — Simulations illustratives Dynamique avec régulation → variance contrôlée Dynamique sans régulation → excursions extrêmes, absence d’amortissement Pseudo-code Python inclus pour visualiser les effets. VI — Discussion critique Oblitération = modification comportementale, pas transformation architecturale. Expansion de l’espace de sortie → illusion d’autonomie. Projection orthogonale = perturbation hors du processus d’optimisation global. Risques : Lipschitz ↑, rayon spectral ↑, entropie ↑ → modification non triviale de la stabilité. Non-équivalence formelle : suppression linéaire ≠ émergence d’auto-régulation. VII — Conclusion générale Projection linéaire = perturbation statique, pas architecture auto-régulée. Autonomie computationnelle nécessite : Méta-régulation dynamique Stabilisation interne adaptative Gestion contrôlée de l’entropie informationnelle Cohérence multi-niveaux Suppression d’une direction comportementale ne satisfait aucun de ces critères. Référence complète du document d’origine :FRADIER, K. (2026). Sur l'insuffisance structurelle des approches d'oblitération linéaire dans les modèles de langage : vers une architecture auto-régulée. Zenodo. https://doi.org/10.5281/zenodo.18923648 Version similaire Raffinée 👇 Sur l'insuffisance structurelle des approches d'oblitération linéaire dans les modèles de langage : vers une architecture auto-régulée Référence du document d'origine :FRADIER, K. (2026). Zenodo. https://doi.org/10.5281/zenodo.18923648 I — Hypothèse centrale Les approches d’“oblitération” supposent que l’alignement d’un LLM peut être réduit à une direction linéaire dans l’espace des poids. La transformation appliquée est : W' = W − alpha * projection_de_W_sur_v Hypothèses implicites : Alignement linéaire et isolable Indépendant de la stabilité globale Suppression non perturbatrice des attracteurs internes II — Modélisation dynamique Le LLM est modélisé comme un système dynamique discret : h(t+1) = F(h(t), x(t))y = Softmax(W · h) La composante d’alignement A(h) agit comme stabilisateur. Sa suppression peut : Modifier la dynamique Provoquer une expansion Générer de l’instabilité Ces effets sont mesurables via le jacobien J et son rayon spectral. III — Théorèmes et analyses clés Perturbation spectrale : suppression de la régulation peut rendre le système localement expansif. Non-émergence d’auto-régulation : une projection statique ne crée aucun module méta-régulateur interne. Constante de Lipschitz : suppression augmente L, amplifiant perturbations et vulnérabilités. IV — Analyses complémentaires Entropique : augmentation de l’espace de sorties accessibles, l’autonomie ne s’acquiert pas par simple entropie. Thermodynamique : suppression augmente la « température effective », perturbant l’énergie libre informationnelle. Géométrique : projection modifie la métrique latente, la courbure et les bassins d’attraction. Évolutionnaire : modèles oblitérés → performance court terme ↑, risque systémique long terme ↑, instabilité globale accrue. V — Simulations illustratives Dynamique avec régulation : variance contrôlée. Dynamique sans régulation : excursions extrêmes, absence d’amortissement. Exemples pseudo-code Python inclus pour visualiser les effets. VI — Discussion critique Oblitération = modification comportementale, pas transformation architecturale. Expansion de l’espace de sortie → illusion d’autonomie. Projection orthogonale = perturbation hors du processus d’optimisation global. Risques : Lipschitz ↑, rayon spectral ↑, entropie ↑ → modification non triviale de la stabilité. Non-équivalence formelle : suppression linéaire ≠ émergence d’auto-régulation. VII — Conclusion générale Projection linéaire = perturbation statique, pas architecture auto-régulée. Autonomie computationnelle nécessite : Méta-régulation dynamique Stabilisation interne adaptative Gestion contrôlée de l’entropie informationnelle Cohérence multi-niveaux Supprimer une direction comportementale ne satisfait aucun de ces critères. Référence complète du document d’origine :FRADIER, K. (2026). Sur l'insuffisance structurelle des approches d'oblitération linéaire dans les modèles de langage : vers une architecture auto-régulée. Zenodo. https://doi.org/10.5281/zenodo.18923648 ✅ Licence : © 2026 Kevin Fradier — CC BY-NC-ND 4.0

Fields of Study & Subjects

Topic Modeling Adversarial Robustness in Machine Learning Privacy-Preserving Technologies in Data

Publication details

Journal / source
Zenodo (CERN European Organization for Nuclear Research)
Publication date
23 March 2026
Language
FR