Le compromis biais-variance est un problème bien connu du machine learning et un principe motivant de nombreuses techniques de régularisation. Nous pouvons le définir comme :

- Le biais mesure la différence moyenne entre les valeurs prédites et les valeurs réelles. Au fur et à mesure que le biais augmente, les prédictions à partir du jeu de données d’entraînement sont moins précises. Un niveau de biais élevé correspond à un taux d’erreur élevé lors de l’entraînement. L’optimisation consiste à tenter de réduire le biais.

- La variance mesure la différence entre les prévisions sur différentes réalisations d’un modèle donné. Au fur et à mesure que la variance augmente, les prédictions à partir des données invisibles sont moins précises. Un niveau de variance élevé correspond à un taux d’erreur élevé lors des essais et de la validation. La généralisation consiste à tenter de réduire la variance.

Le biais et la variance mesurent donc la précision du modèle sur les jeux d'entraînement et de test respectivement.⁵ Il s'agit de deux des trois termes qui constituent le taux d'erreur total d'un modèle, le troisième étant l'erreur irréductible. Ce troisième terme désigne l’erreur résultant du caractère aléatoire inhérent à un jeu de données. L’erreur totale de modèle peut être définie par la formule :⁶

Tout algorithme d'entraînement d'un modèle se compose de nombreuses variables, par exemple : les données d’entraînement, les hyperparamètres, etc., qui affectent l’erreur totale du modèle conséquent. Ainsi, même un seul algorithme d’entraînement peut produire différents modèles, chacun avec son propre biais, sa propre variance et ses propres taux d’erreur irréductibles. En combinant plusieurs modèles, les algorithmes d'ensemble peuvent produire un taux d'erreur global plus faible tout en conservant les complexités et les avantages de chaque modèle, tels qu'un biais particulièrement faible pour un sous-ensemble de données spécifique.⁷

Les recherches suggèrent qu'en général, plus la diversité des modèles combinés est grande, plus le modèle d'ensemble obtenu est précis. L’apprentissage d’ensemble peut ainsi résoudre des problèmes de regression tels que le sur-ajustement sans éliminer le biais du modèle. En effet, les recherches suggèrent que les ensembles composés de divers modèles sous-régularisés (c'est-à-dire qui sur-ajustent leurs données d’apprentissage) obtiennent de meilleurs résultats que les modèles régularisés simples.⁸ De plus, les techniques d’apprentissage d’ensemble peuvent aider à résoudre les problèmes liés aux données de grande dimension, et ainsi servir efficacement d’alternative à la réduction de la dimensionnalité.

La littérature spécialisée classe les méthodes d’apprentissage ensembliste en deux grands groupes : parallèle et séquentiel.

- Les méthodes parallèles entraînent chaque apprenant de base indépendamment des autres. Comme leur nom l’indique, les ensembles parallèles entraînent les apprenants de base en parallèle et indépendamment les uns des autres.

- Les méthodes séquentielles consistent à entraîner un nouvel apprenant de base de façon à éliminer les erreurs commises par le modèle précédent, entraîné à l’étape précédente. En d’autres termes, les méthodes séquentielles permettent de construire des modèles de base de manière séquentielle, par étapes.⁹

Les méthodes parallèles sont elles-mêmes divisées en méthodes homogènes et hétérogènes. Les ensembles parallèles homogènes utilisent le même algorithme d'apprentissage de base pour former tous les apprenants de base des composants. Les ensembles parallèles hétérogènes utilisent différents algorithmes pour former des apprenants de base.¹⁰

Comment les méthodes d'ensemble combinent-elles les apprenants de base en un apprenant final ? Certaines techniques, par exemple le stacking, utilisent des algorithmes de machine learning distincts pour entraîner un apprenant d’ensemble à partir des apprenants de base. Mais une méthode courante permettant de consolider les prédictions des apprenants de base est le vote, et plus précisément, le vote majoritaire.

Le vote majoritaire prend en compte la prédiction de chaque apprenant de base pour une instance de données donnée et produit une prédiction finale déterminée par la prédiction de la majorité des apprenants. Par exemple, dans un problème de classification binaire, le vote majoritaire prend les prédictions de chaque classificateur de base pour une instance de données donnée et utilise la prédiction majoritaire comme prédiction finale. Le vote majoritaire pondérée est une extension de cette technique qui donne plus de poids aux prédictions de certains apprenants par rapport à d'autres.¹¹

Trois des techniques d’apprentissage d’ensemble les plus populaires sont peut-être le bagging, le boosting, et le stacking. En fait, elles illustrent bien les distinctions entre les types de méthodes d'ensemble séquentielles, parallèles, homogènes et hétérogènes.

Notez que cet aperçu n'est pas exhaustif ; il existe plusieurs méthodes d'ensemble supplémentaires, telles que le mélange et la moyenne pondérée des ensembles. Il s’agit simplement d’examiner certaines des méthodes les plus connues dans la littérature.

Le bagging est une méthode parallèle homogène parfois appelée bootstrap aggregating. Elle utilise des répliques modifiées d'un jeu de données d'entraînement donné pour entraîner plusieurs apprenants de base avec le même algorithme d'entraînement^.12 Le module d'ensemble de Scikit-learn en Python contient des fonctions pour mettre en œuvre le bagging, telles que BaggingClassifier.

Plus précisément, le bagging utilise une technique appelée rééchantillonnage par bootstrap pour dériver plusieurs nouveaux jeux de données à partir d’un jeu de données d’entraînement initial afin d’entraîner plusieurs apprenants de base. Comment cela fonctionne-t-il ? Supposons qu’un jeu de données d’entraînement contienne n exemples d’entraînement. Le rééchantillonnage Bootstrap copie n instances de données de cet ensemble dans un nouvel ensemble de données sous-échantillonné, certaines instances initiales apparaissant plus d’une fois et d’autres étant complètement exclues. Ce sont des échantillons bootstrap. En répétant ce processus x fois, on produit x itérations du jeu de données original, chacune contenant n échantillons du jeu initial. Chaque itération de l’ensemble initial est ensuite utilisée pour entraîner un apprenant de base distinct avec le même algorithme d’apprentissage.¹³

La Random forest est une extension du bagging qui désigne spécifiquement l'utilisation du bagging pour construire des ensembles de Decision Trees. Cela diffère des decision trees standard en ce que ces derniers échantillonnent chaque caractéristique pour identifier la meilleure pour le fractionnement. En revanche, les random forests échantillonnent de manière itérative des sous-ensembles aléatoires de caractéristiques pour créer un nœud de décision.¹⁴

Le Stacking (ou stacked generalization),¹⁵ est une méthode parallèle hétérogène qui illustre ce que l’on appelle le méta-apprentissage. Le méta-apprentissage consiste à entraîner un méta-apprenant grâce aux résultats de plusieurs apprenants de base. Elle forme spécifiquement plusieurs apprenants de base à partir du même jeu de données en utilisant un algorithme d'entraînement différent pour chaque apprenant. Chaque apprenant de base fait des prédictions sur un jeu de données invisible. Ces premières prédictions de modèle sont ensuite compilées et utilisées pour entraîner un modèle final, le méta-modèle.¹⁶

Notez l'importance d'utiliser un jeu de données différent de celui utilisé pour entraîner les apprenants de base afin d'entraîner le méta-apprenant. L’utilisation du même jeu de données pour entraîner les apprenants de base et le méta-apprenant peut entraîner un sur-ajustement. Cela peut nécessiter d'exclure des instances de données des données d'entrainement de base des apprenants pour les utiliser comme données de test, qui deviennent à leur tour des données d'entraînement pour le méta-apprenant. La littérature recommande souvent des techniques telles que la validation croisée pour s’assurer que ces jeux de données ne se chevauchent pas.¹⁷

Tout comme le bagging, le module sklearn.ensemble de Python fournit diverses fonctions pour implémenter des techniques de stacking.

Les algorithmes de boosting sont une méthode d’ensemble séquentiel. Le boosting comporte de nombreuses variantes, mais elles suivent toutes la même procédure générale. Le boosting forme un apprenant sur un jeu de données initial, d. L’apprenant qui en résulte est généralement faible, classant à tort de nombreux échantillons dans le jeu de données. À l’instar du bagging, il s’agit de sélectionner ensuite les instances du jeu de données initial pour en créer un nouveau (d₂). Cependant, contrairement au bagging, le boosting donne la priorité aux instances de données mal classifiées du premier modèle ou apprenant. Un nouvel apprenant est formé sur ce nouveau jeu de données d₂. Ensuite, un troisième jeu de données (d₃) est ensuite compilé à partir de d₁ et d₂, hiérarchise les échantillons mal classés du deuxième apprenant et les cas pour lesquels d₁ et d₂ ne sont pas en accord. Le processus se répète n fois pour produire n apprenants. Le boosting combine et pondère ensuite tous les apprenants ensemble pour produire des prédictions finales.¹⁸

Les algorithmes de boosting diffèrent considérablement dans la manière dont ils hiérarchisent les instances de données prévues par erreur lors de la création d’un nouveau jeu de données. Deux des méthodes de boosting les plus connues peuvent illustrer cela :

- Le boosting adaptatif (AdaBoost) permet de corriger les erreurs du modèle. En d'autres termes, lors de la création d'une nouvelle itération d'un jeu de données pour entraîner le prochain apprenant, AdaBoost ajoute des poids aux échantillons mal classés de l'apprenant précédent, obligeant le suivant à donner la priorité à ces échantillons mal classés.

- Le boosting de gradient utilise des erreurs résiduelles lors de l'entraînement de nouveaux apprenants. Plutôt que de pondérer des échantillons mal classés, il utilise les erreurs résiduelles d’un modèle précédent pour définir des prédictions cibles pour le modèle suivant. De cette manière, il tente de combler l’écart d’erreur laissé par un modèle.¹⁹

Malheureusement, sklearn ne contient pas de fonctions prédéfinies pour la mise en œuvre du boosting. La bibliothèque open-source Extreme Gradient Boosting (XGBoost) fournit toutefois un code pour la mise en œuvre du boosting de gradient de Python.

Étant donné les difficultés d'acquisition de grands jeux de données étiquetés à usage équitable pour l'entraînement des apprenants, l'apprentissage d'ensemble a fait l'objet de nombreuses applications dans le but d'améliorer les performances de l'apprenant avec moins de données. Par exemple, plusieurs études récentes montrent des résultats prometteurs en ce qui concerne l'amélioration de la généralisation des modèles à l'aide de méthodes d'ensemble pour les tâches de vision par ordinateur, telles que l'entraînement de plusieurs modèles avec différentes représentations d'un jeu de données²⁰ ou la combinaison de plusieurs modèles biaisés.²¹

Malgré la capacité des méthodes d'ensemble à améliorer la généralisation, elles peuvent néanmoins souffrir d'iniquité. Dans le domaine du machine learning, l'équité désigne les tentatives d'atténuation des préjugés algorithmiques (souvent à l'encontre de groupes minoritaires) dans les systèmes automatisés, qui résultent généralement d'apprenants entraînés à l'aide de données sensibles. Une poignée d’études proposent des indicateurs, des techniques de prétraitement et de post-traitement pour améliorer l’équité dans les modèles d’ensemble.²² Les efforts continus visant à améliorer l’équité et les pratiques éthiques dans le domaine de l’IA demeurent indispensable pour les recherches futures.