Évaluer les erreurs dans les modèles Machine Learning

L’une des plus grandes difficultés avec les pratiques de débogage de modèle actuelles est l’utilisation de métriques agrégées pour scorer des modèles sur un jeu de données de référence. La justesse des modèles risque de ne pas être uniforme pour les différents sous-groupes de données, et il risque d’y avoir des cohortes d’entrée pour lesquelles le modèle échoue plus souvent. Ces défaillances entraînent un manque de fiabilité et de sécurité, l’apparition de problèmes d’équité et une perte de confiance dans le Machine Learning.

Diagramme montrant un exemple de taux de justesse et de défaillances pour un modèle de référence et de machine learning.

L’analyse des erreurs s’éloigne des métriques de justesse agrégées. Elle expose la distribution des erreurs aux développeurs de manière transparente, et leur permet d’identifier et de diagnostiquer efficacement les erreurs.

Le composant Analyse des erreurs du tableau de bord IA responsable fournit aux utilisateurs du machine learning une compréhension plus approfondie de la distribution des défaillances de modèle, et les aide à identifier rapidement les cohortes de données erronées. Ce composant identifie les cohortes de données avec un taux d’erreur plus élevé par rapport au taux d’erreur global du benchmark. Il contribue à la phase d’identification du workflow de cycle de vie des modèles via :

  • Un arbre de décision qui révèle les cohortes avec des taux d’erreur élevés.
  • Carte thermique qui visualise la façon dont les caractéristiques d’entrée affectent le taux d’erreur parmi les cohortes.

Des écarts dans les erreurs peuvent se produire lorsque le système sous-performe pour des groupes démographiques spécifiques ou des cohortes d’entrée rarement observées dans les données d’entraînement.

Les fonctionnalités de ce composant proviennent du package Error Analysis, qui génère des profils d’erreur de modèle.

Utilisez l’analyse des erreurs lorsque vous devez :

  • Acquérir une compréhension approfondie de la manière dont les défaillances de modèle sont distribuées dans un jeu de données et dans plusieurs dimensions d’entrée et de caractéristique.
  • Décomposez les métriques de performances agrégées pour détecter automatiquement des cohortes erronées afin de pouvoir prendre des mesures d’atténuation ciblées.

Arborescence d’erreurs

Les modèles d’erreur sont souvent complexes et impliquent plusieurs ou deux fonctionnalités. Vous pouvez avoir des difficultés à explorer toutes les combinaisons possibles de fonctionnalités pour découvrir des poches de données masquées avec des défaillances critiques.

Pour alléger la charge, la visualisation de l’arborescence binaire partitionne automatiquement les données de référence en sous-groupes interprétables qui présentent des taux d’erreur étonnamment élevés ou bas. En d’autres termes, l’arborescence utilise les caractéristiques d’entrée pour séparer au maximum l’erreur du modèle de la réussite. Pour chaque nœud qui définit un sous-groupe de données, vous pouvez examiner les informations suivantes :

  • Taux d’erreur : partie des instances du nœud pour lesquelles le modèle est incorrect. La visualisation montre cette valeur à travers l’intensité de la couleur rouge.
  • Couverture des erreurs : partie de toutes les erreurs qui se trouvent dans le nœud. La visualisation montre cette valeur par le biais du taux de remplissage du nœud.
  • Représentation des données : Nombre d’instances dans chaque nœud de l’arborescence d’erreurs. La visualisation montre cette valeur à travers l’épaisseur du bord entrant au nœud, ainsi que le nombre total d’instances dans le nœud.

Capture d’écran d’une arborescence d’analyse des erreurs montrant des cohortes avec des taux d’erreur et une couverture supérieurs ou inférieurs.

Carte thermique des erreurs

Cette vue segmente les données en fonction d’une grille unidimensionnelle ou bidimensionnelle des caractéristiques d’entrée. Vous pouvez choisir les fonctionnalités d’entrée intéressantes pour l’analyse.

La carte thermique visualise les cellules présentant un taux d'erreur élevé à l’aide d’une couleur rouge plus foncée pour attirer votre attention sur ces régions. Cette fonctionnalité est particulièrement bénéfique lorsque les thèmes d’erreur diffèrent selon les partitions, ce qui se produit souvent en pratique. Dans cette vue d’identification des erreurs, vos connaissances ou hypothèses guident l’analyse et vous aident à comprendre quelles fonctionnalités peuvent être les plus importantes pour comprendre les échecs.

Capture d’écran d’une carte thermique d’une analyse des erreurs montrant les erreurs de modèle partitionnées par une ou deux caractéristiques.

Étapes suivantes

  • Last updated on