Mémoire temporelle de l'apprentissage et détection précoce de l'overfitting
Abstract
Ce travail propose un système de diagnostic dynamique de l’apprentissage basé sur trois capteurs : (1) données (gap train/validation), (2) gradients (norme et persistance), (3) mémoire des poids (EMA et dérive). En utilisant des métriques de corrélation temporelle (DFA, exposant β), nous montrons qu’un régime stable d’apprentissage se situe autour de β ≈ 1. Le système permet de détecter précocement l’overfitting, la rigidité ou l’instabilité chaotique, sans dépendre d’un modèle ou d’un jeu de données spécifique.
Fields of Study & Subjects
Neural Networks and Applications
Machine Learning and Data Classification
Stochastic Gradient Optimization Techniques
Publication details
- Journal / source
- Zenodo (CERN European Organization for Nuclear Research)
- Publication date
- 19 January 2026
- Document type
- Preprint