L'erreur de prédiction, donc la perte attendue sur des données futures, est la mesure standard pour la qualité des modèles d'apprentissage statistique. Quand la distribution des données est inconnue, cette erreur ne peut être calculée mais plusieurs méthodes de rééchantillonnage, comme la validation croisée, peuvent être utilisées pour obtenir un estimateur non-biaisé de l'erreur de prédiction. Cependant pour comparer des algorithmes d'apprentissage, il faut aussi estimer l'incertitude autour de cet estimateur d'erreur future, car cette incertitude peut être très grande. Cependant, les estimateurs ordinaires de variance d'une moyenne pour des échantillons indépendants ne peuvent être utilisés à cause du recoupement des ensembles d'apprentissage utilisés pour effectuer la validation croisée. Le résultat principal de cet article est qu'il n'existe pas d'estimateur non-biaisé universel (indépendant de la distribution) de la variance de la validation croisée, en se basant sur les mesures d'erreur faites durant la validation croisée. L'analyse fournit une meilleure compréhension de la difficulté d'estimer l'incertitude autour de la validation croisée. Ces résultats se généralisent à d'autres méthodes de rééchantillonnage pour lesquelles des données sont réutilisées pour l'apprentissage ou le test.

Voir le document

Dernières publications

2017RP-03 RP
La surqualification professionnelle chez les diplômés des collèges et des universités : État de la situation au Québec
Brahim Boudarbat et Claude Montmarquette
Voir le document

2017s-11 CS
The social cost of contestable benefits
Arye Hillman et Ngo Van Long
Voir le document

2017s-09 CS
Fiscal Surprises at the FOMC
Dean Croushore et Simon van Norden
Voir le document

2017MO-04 MO
Méthodes avancées d’évaluation d’investissements / Advanced Methods of Investment Evaluation - Tome 2
Marcel Boyer
Voir le document

2017MO-03 MO
Méthodes avancées d’évaluation d’investissements / Advanced Methods of Investment Evaluation - Tome 1
Marcel Boyer
Voir le document


Centre interuniversitaire de recherche en analyse des organisations
1130 rue Sherbrooke Ouest, suite 1400
Montréal, Québec (Canada) H3A 2M8
(514) 985-4000
(514) 985-4039
reception@cirano.qc.ca

© 2017 CIRANO. Tous droits réservés.



Partenaire de :