Mémoire temporelle de l'apprentissage et détection précoce de l'overfitting

Read full text
Authors: Benjamin Lenoir
Cited by: 0

Abstract

Ce travail propose un système de diagnostic dynamique de l’apprentissage basé sur trois capteurs : (1) données (gap train/validation), (2) gradients (norme et persistance), (3) mémoire des poids (EMA et dérive). En utilisant des métriques de corrélation temporelle (DFA, exposant β), nous montrons qu’un régime stable d’apprentissage se situe autour de β ≈ 1. Le système permet de détecter précocement l’overfitting, la rigidité ou l’instabilité chaotique, sans dépendre d’un modèle ou d’un jeu de données spécifique.

Fields of Study & Subjects

Neural Networks and Applications Machine Learning and Data Classification Stochastic Gradient Optimization Techniques

Publication details

Journal / source
Zenodo (CERN European Organization for Nuclear Research)
Publication date
19 January 2026
Document type
Preprint