Évaluation et généralisation
Progression
#Évaluation et généralisation
Une évaluation honnête sépare entraînement, validation et test. On choisit des métriques adaptées au problème: MSE/MAE en régression; accuracy, précision, rappel, F1, AUC en classification lorsque les coûts d’erreur diffèrent. La validation croisée mesure la stabilité du modèle et sert à régler les hyperparamètres sans « manger » le jeu de test final. La calibration vérifie que les probabilités prédites s’alignent avec les fréquences observées.
Le biais‑variance n’est pas une formule: c’est une boussole. Un modèle trop simple échoue à capturer la structure (biais élevé). Un modèle trop flexible s’ajuste au bruit (variance élevée). La bonne complexité généralise le mieux sur des données nouvelles. En production, les distributions évoluent; surveillez les dérives et planifiez le ré‑entraînement.
#Animation: pipeline d’évaluation sans fuite
Séparez vos données en trois ensembles. Le test reste scellé jusqu’à la fin; la validation sert aux itérations.
#Démonstration: holdout et validation croisée (synthétique)
Erreurs fréquentes: fuite de données lors d’une normalisation calculée sur l’ensemble complet, sélection d’hyperparamètres en regardant le test, mélange des observations dépendantes entre train/val (ex.: séries temporelles). Réfléchissez toujours à « qui a le droit de voir quoi » à chaque étape.