Qu'est-ce que l'apprentissage supervisé ?

Les jeux de données étiquetées sont constitués d’exemples accompagnés des sorties ou des réponses correctes. À mesure que les données d’entrée sont introduites dans l’algorithme de machine learning, celui-ci ajuste ses paramètres jusqu’à ce que le modèle soit correctement calibré. Les données d’entraînement étiquetées apportent une « vérité terrain » enseignant explicitement au modèle à identifier les relations entre les caractéristiques et les étiquettes de données.

Le machine learning supervisé aide les entreprises à résoudre divers problèmes réels à grande échelle, tels que la classification des spams ou la prévision des prix des actions. Il peut également être utilisé pour créer des modèles de machine learning de haute précision.

Les données de vérité terrain sont vérifiées par rapport aux résultats du monde réel, souvent par le biais d’annotations ou d’interventions humaines, et sont utilisées pour entraîner, valider et tester les modèles. Comme le nom l’indique, l’authenticité des données de vérité terrain est confirmée : elles reflètent les valeurs et les résultats du monde réel. La vérité terrain reflète les sorties idéales pour toutes les données d’entrée.

L’apprentissage supervisé s’appuie sur des données de vérité terrain pour enseigner à un modèle les relations entre les entrées et les sorties. Les jeux de données étiquetés utilisés dans l’apprentissage supervisé sont des données de vérité terrain. Les modèles entraînés appliquent leur compréhension de ces données pour formuler des prédictions basées sur de nouvelles données inédites.

Les techniques d’apprentissage supervisé utilisent un jeu de données d’entraînement étiqueté pour comprendre les relations entre les entrées et les données de sortie. Les data scientists créent manuellement des jeux de données de vérité terrain contenant des entrées ainsi que les étiquettes correspondantes. L’apprentissage supervisé entraîne le modèle à appliquer les sorties correctes aux données d’entrée inédites dans des cas d’utilisation réels. 

Au cours de l’entraînement, l’algorithme traite de grands jeux de données afin d’explorer les corrélations potentielles entre les entrées et les sorties. Ensuite, les performances du modèle sont évaluées à l’aide de données de test afin de déterminer si l’entraînement est concluant. La validation croisée consiste à tester un modèle à l’aide d’une autre partie du jeu de données. 

La famille des algorithmes de descente de gradient, notamment de descente de gradient stochastique (SGD), regroupe les algorithmes d’optimisation ou d’apprentissage les plus couramment utilisés pour l’entraînement des réseaux neuronaux et d’autres modèles de machine learning. Les algorithmes d’optimisation de modèles évaluent la précision à l’aide de la fonction de perte : une équation qui mesure l’écart entre les prédictions des modèles et les valeurs réelles. 

La fonction de perte mesure l’éloignement des prévisions par rapport aux valeurs réelles. Son gradient indique la direction dans laquelle les paramètres du modèle doivent être ajustés pour réduire l’erreur. Tout au long de l’entraînement, ils mettent à jour les paramètres des modèles (leurs règles de fonctionnement ou « paramètres ») afin de les optimiser.

Étant donné que les grands jeux de données contiennent généralement de nombreuses fonctionnalités, les data scientists peuvent simplifier cette complexité en réduisant la dimensionnalité. Cette technique de science des données réduit le nombre de caractéristiques à celles qui sont les plus cruciales pour prédire les étiquettes des données, ce qui préserve la précision tout en augmentant l’efficacité.

Prenons l’exemple d’un modèle de classification d’images créé pour reconnaître des images de véhicules et déterminer leur type. Un tel modèle peut alimenter les tests CAPTCHA utilisés par de nombreux sites Web pour détecter les spambots. 

Pour entraîner ce modèle, les data scientists préparent un jeu de données d’entraînement étiqueté contenant de nombreux exemples de véhicules ainsi que le type de véhicule correspondant : voiture, moto, camion, vélo, etc. L’algorithme tente d’identifier les schémas dans les données d’entraînement qui font qu’une entrée (les images de véhicules) reçoit une sortie désignée (le type de véhicule). 

Les suppositions du modèle sont comparées aux valeurs réelles des données dans un jeu de test afin de déterminer si ses prédictions sont exactes. Si ce n’est pas le cas, le cycle d’entraînement se poursuit jusqu’à ce que les performances du modèle atteignent un niveau de précision satisfaisant. Le principe de généralisation fait référence à la capacité d’un modèle entraîné à faire des prédictions appropriées sur de nouvelles données issues du même ensemble que ses données d’entraînement.

Les tâches d’apprentissage supervisé peuvent être divisées en deux grandes catégories, les problèmes de classification et les problèmes de régression :

Dans le machine learning, la classification consiste à utiliser un algorithme pour trier les données en catégories. L’algorithme reconnaît des entités spécifiques dans le jeu de données et tente de déterminer comment ces entités doivent être étiquetées ou définies. Parmi les algorithmes de classification les plus courants, on trouve les classificateurs linéaires, les machines à vecteurs de support (SVM), les arbres de décision, les k plus proches voisins, la régression logistique et les forêts d’arbres décisionnels.

Les réseaux neuronaux excellent dans le traitement de problèmes de classification complexes. Un réseau neuronal est une architecture d’apprentissage profond qui traite les données d’entraînement à l’aide de couches de nœuds imitant le cerveau humain. Chaque nœud est composé d’entrées, de poids, d’un biais (ou seuil) et d’une sortie. Si une valeur de sortie dépasse un seuil prédéfini, elle « déclenche » ou active le nœud, qui transmet les données à la couche suivante du réseau. 

La régression permet de comprendre la relation entre les variables dépendantes et indépendantes. Dans les problèmes de régression, la sortie est une valeur continue, et les modèles tentent de prédire la sortie cible. Les tâches de régression comprennent les projections du chiffre d’affaires ou la planification financière.

Les algorithmes de régression incluent la régression linéaire, la régression Lasso, la régression ridge et la régression polynomiale, trois exemples d’algorithmes de régression.

L’apprentissage d’ensemble est une méta-approche de l’apprentissage supervisé dans lequel plusieurs modèles sont entraînés sur la même tâche de classification ou de régression. Les résultats de tous les modèles de l’ensemble sont agrégés pour découvrir la meilleure approche globale permettant de résoudre le défi.

Les algorithmes individuels du modèle d’ensemble plus grand sont connus sous le nom d’apprenants faibles ou de modèles de base. Certains apprenants faibles ont un biais élevé, tandis que d’autres présentent une variance élevée. En théorie, les résultats atténuent le compromis biais-variance en associant les meilleures parties de chacun.

Les algorithmes d’optimisation tels que la descente de gradient entraînent un large éventail d’algorithmes de machine learning qui excellent dans les tâches d’apprentissage supervisé. 

• Naive Bayes : Naive Bayes est un algorithme de classification qui applique le principe de l'indépendance conditionnelle des classes du théorème de Bayes. Cela signifie que la présence d’une caractéristique n’affecte pas la présence d’une autre dans la probabilité d’un résultat donné, et que chaque prédicteur a un effet égal sur ce résultat.

  Les algorithmes de classification naïve bayésienne comprennent les classificateurs multinomiaux, bernoulliens et gaussiens. Cette technique est souvent utilisée dans les systèmes de classification de texte, d’identification du spam et de recommandations. 

• Régression linéaire : cette technique est utilisée pour identifier la relation entre une variable dépendante continue et une ou plusieurs variables indépendantes. Elle sert généralement à faire des prédictions sur des résultats futurs.

  La régression linéaire exprime la relation entre les variables sous la forme d’une ligne droite. On parle de régression linéaire simple lorsqu’il y a une seule variable indépendante et une seule variable dépendante. On parle de régression linéaire multiple lorsque le nombre de variables indépendantes augmente. 

• Régression non linéaire : il arrive qu’une sortie ne puisse pas être reproduite à partir d’entrées linéaires. Dans ce cas, les sorties doivent être modélisées à l’aide d’une fonction non linéaire. La régression non linéaire exprime une relation entre des variables à l’aide d’une ligne non linéaire, ou courbe. Les modèles non linéaires peuvent gérer des relations complexes comportant de nombreux paramètres. 

• Régression logistique : la régression logistique traite les variables dépendantes catégorielles, lorsqu’elles ont des sorties binaires, telles que vrai ou faux, positif ou négatif. Alors que les modèles de régression linéaire et logistique cherchent à comprendre les relations entre les données d’entrée, la régression logistique résout principalement des problèmes de classification binaire, tels que l’identification du spam. 

• Régression polynomiale : à l’instar des autres modèles de régression, ce type de régression modélise une relation entre des variables sur un graphique. Les fonctions utilisées expriment cette relation à travers un degré exponentiel. La régression polynomiale est un cas particulier de régression où les fonctions d’entrée sont élevées aux puissances, ce qui permet aux modèles linéaires de s’adapter à des modèles non linéaires. 

• Machine à vecteurs de support (SVM) : une machine à vecteurs de support sert à la fois à la classification des données et à la régression. Cela dit, on l’emploie généralement pour résoudre des problèmes de classification. En l’occurrence, la SVM sépare les classes de points de données à l’aide d’une limite de décision ou d’un hyperplan. L’objectif est de tracer l’hyperplan qui maximise la distance entre les groupes de points de données. 

• K plus proche voisin : K-plus proche voisin (KNN) est un algorithme non paramétrique qui classe les points de données en fonction de leur proximité et de leur association avec d’autres données disponibles. Cet algorithme suppose que des points de données similaires peuvent être trouvés à proximité les uns des autres lorsqu'ils sont représentés mathématiquement.

  Sa facilité d’utilisation et son faible temps de calcul le rendent efficace lorsqu’il est utilisé pour les moteurs de recommandation et la reconnaissance d’images. Cependant, à mesure que le jeu de données de test s’agrandit, le temps de traitement s’allonge, ce qui le rend moins intéressant pour les tâches de classification. 

• Forêt d’arbres décisionnels : la forêt d’arbres décisionnels est un algorithme d’apprentissage supervisé flexible utilisé à la fois à des fins de classification et de régression. Le terme « forêt » fait référence à un ensemble d’arbres de décision non corrélés qui sont fusionnés afin de réduire la variance et d’augmenter la précision. 

L’apprentissage supervisé n’est pas la seule méthode d’apprentissage permettant d’entraîner des modèles de machine learning. Il existe d’autres types de machine learning, notamment : 

• Apprentissage non supervisé

• Apprentissage semi-supervisé 

• Apprentissage auto-supervisé

• Apprentissage par renforcement 

La différence entre l’apprentissage supervisé et l’apprentissage non supervisé réside dans le fait que le machine learning non supervisé utilise des données non étiquetées sans aucune vérité terrain objective. Le modèle est seul pour découvrir des modèles et des relations dans les données. De nombreux modèles d’IA générative sont d’abord entraînés en suivant un apprentissage non supervisé puis supervisé afin d’améliorer leur expertise du domaine. 

L’apprentissage non supervisé permet de résoudre les problèmes de regroupement ou d’association liés à l’incertitude des propriétés communes au sein d’un jeu de données. Les algorithmes de regroupement courants sont les modèles hiérarchiques, k-means et de mélange gaussien.

• Analyse exploratoire : l’apprentissage non supervisé est utile lorsque l’on ne sait pas « ce qu’il faut rechercher ». Il est capable de trouver des structures cachées ou des anomalies dans les données que les humains ne pourraient pas anticiper.

• Pas d’étiquetage des données : la plupart des données du monde réel ne sont pas étiquetées, et l’étiquetage des données demande beaucoup de temps et d’efforts.

• Flexibilité : les modèles d’apprentissage non supervisés peuvent s’adapter rapidement aux nouvelles données grâce à leur capacité à traiter les données de manière autonome.

• Évolutivité : sans avoir besoin d’étiquettes de vérité terrain, les techniques d’apprentissage non supervisé s’adaptent facilement aux jeux de données de grande envergure.

• Résultats imprécis : sans vérité terrain, il est difficile de savoir immédiatement si un modèle d’apprentissage non supervisé a été correctement entraîné.

• Sensibilité : les jeux de données bruyants peuvent nuire aux résultats de l’entraînement. L’ingénierie des caractéristiques peut aider à normaliser les jeux de données pour un apprentissage non supervisé simplifié.

• Confiance dans la qualité des données : tout entraînement nécessite des données de qualité. Mais sans vérité terrain objective, biais ou autres erreurs dans les données peuvent donner lieu à des modèles qui renforcent ces malentendus.

L’apprentissage semi-supervisé implique l’entraînement d’un modèle sur une petite partie de données d’entrée étiquetées ainsi que sur une plus grande partie de données non étiquetées. Parce qu’il peut être long et coûteux de s’appuyer sur l’expertise du domaine pour étiqueter les données de manière appropriée dans le cadre de l’apprentissage supervisé, l’apprentissage semi-supervisé peut être une alternative intéressante.

• Moins dépendant de l’étiquetage : par rapport à l’apprentissage supervisé, l’apprentissage semi-supervisé nécessite moins d’étiquetage, ce qui réduit les obstacles pour l’entraînement des modèles.
   

• Découverte de modèles cachés : tout comme l’apprentissage non supervisé, l’utilisation de données non étiquetées dans le cadre d’un apprentissage semi-supervisé peut conduire à la découverte de modèles, de relations et d’anomalies qui pourraient autrement passer inaperçus.
   

• Plus de flexibilité : l’apprentissage semi-supervisé jette les bases grâce à des données de vérité terrain, puis les complète par des jeux de données non étiquetés pour rendre les modèles plus généralisables.

• Sensibilité au bruit : les jeux de données non étiquetés présentant des degrés élevés de bruit peuvent perturber les résultats de l’entraînement, affectant ainsi la performance du modèle.
   

• Sensibilité aux biais : si les jeux de données non étiquetés ne sont pas filtrés pour détecter les biais implicites, ces biais peuvent être transférés aux modèles entraînés.
   

• Plus de complexité : le regroupement de données étiquetées et non étiquetées dans un seul processus d’entraînement peut impliquer des techniques de traitement de données complexes ou nécessiter davantage de ressources de calcul.

On dit souvent que l’apprentissage auto-supervisé (SSL) relie l’apprentissage supervisé et l’apprentissage non supervisé. Plutôt que d’utiliser les étiquettes créées manuellement pour les jeux de données d’apprentissage supervisé, les tâches SSL sont configurées de manière à ce que le modèle puisse générer ses propres signaux de supervision, des étiquettes implicites ou des pseudo-étiquettes, afin de distinguer les données de vérité terrain des données non structurées. Ensuite, la fonction de perte utilise ces étiquettes à la place des étiquettes réelles pour évaluer les performances du modèle.

Le SSL est souvent utilisé avec l’apprentissage par transfert, un processus dans lequel un modèle préentraîné est appliqué à une tâche en aval. L’apprentissage auto-supervisé est largement utilisé dans les tâches de vision par ordinateur et de traitement automatique du langage naturel (TALN) qui nécessitent de grands jeux de données dont l’étiquetage est extrêmement coûteux et chronophage.

• Efficacité : au lieu de demander aux data scientists d’étiqueter des points de données, le SSL automatise le processus d’étiquetage en transférant la tâche vers le modèle.

• Évolutivité : la faible dépendance du SSL à l’égard de l’étiquetage manuel des données lui permet d’évoluer avec de plus grands pools de données non étiquetées.
   

• Faible dépendance à l’égard de l’étiquetage : lorsque les données de vérité terrain étiquetées se font rares, le SSL comble ce manque grâce à la compréhension générée par le modèle.
   

• Polyvalence : les modèles auto-supervisés apprennent des caractéristiques riches et transférables qui peuvent être adaptées à de nombreuses tâches multimodales et spécifiques à un domaine.

• Nombreuses ressources de calcul nécessaires : le traitement des jeux de données non étiquetés et la génération d’étiquettes consomment une grande puissance de calcul.
   

• Complexe : le processus de création de tâches prétexte pour l’apprentissage supervisé (la phase d’apprentissage initiale) nécessite une grande expertise.
   

• Potentiellement peu fiable : comme pour toute technique d’apprentissage sans supervision humaine, les résultats dépendent de l’absence de bruit excessif dans les données, de biais implicites et d’autres facteurs susceptibles d’affecter négativement la compréhension du modèle.

L’apprentissage par renforcement entraîne des agents autonomes, tels que des robots et des voitures autonomes, à prendre des décisions à travers des interactions avec leur environnement. Cette technique n’utilise pas de données étiquetées et diffère également de l’apprentissage non supervisé en ce qu’il enseigne par essais et erreurs et par récompenses, et non en identifiant des schémas sous-jacents dans des jeux de données.

• Résolution des tâches complexes : le processus d’entraînement par essais et erreurs peut conduire un modèle à déterminer comment relever des défis stratégiques complexes.
   

• Absence de dépendance à l’étiquetage : les modèles apprennent par expérience et non théoriquement en faisant correspondre les entrées avec les sorties.
   

• Auto-correcteur : les modèles affinent leur propre comportement au fur et à mesure qu’ils se trompent pendant l’entraînement.
   

• Adaptable : les modèles peuvent s’adapter à de nouvelles informations et à des conditions changeantes dans lesquelles les résultats ne sont pas prédéfinis.

• Sujet à des résultats incohérents : l’apprentissage par essais et erreurs peut sembler aléatoire et imprévisible, surtout au début de l’entraînement.
   

• Besoins en matière de données environnementales : l’apprentissage par renforcement exige que les modèles apprennent des conséquences de leurs actions, ce qui nécessite à son tour de grandes quantités de données environnementales. Cependant, les agents peuvent également apprendre dans des environnements simulés.
   

• Piratage des récompenses : les modèles peuvent exploiter les failles de l’algorithme de récompense pour générer des récompenses sans accomplir correctement leurs tâches.
   

• Spécifique aux tâches : l’apprentissage par renforcement excelle dans l’entraînement de modèles pour une fonction spécifique. Ces modèles peuvent avoir du mal à transférer ce qu’ils ont appris dans de nouvelles tâches.

Les modèles d’apprentissage supervisé permettent de créer et de perfectionner des applications, notamment : 

• Reconnaissance d’images et d’objets : les algorithmes d’apprentissage supervisé peuvent être utilisés pour localiser, isoler et classer des objets à partir de vidéos ou d’images, ce qui les rend utiles pour les tâches de vision par ordinateur et d’analyse d’images. 

• Analyse prédictive : les modèles d’apprentissage supervisé créent des systèmes d’analyse prédictive pour fournir des informations exploitables. Les entreprises peuvent ainsi anticiper les résultats en fonction d’une variable de sortie et prendre des décisions basées sur les données, ce qui aide les dirigeants à justifier leurs choix ou à s’adapter dans l’intérêt de l’organisation.

  La régression permet également aux professionnels de santé de prédire les résultats en fonction des critères et des données historiques des patients. Un modèle prédictif peut évaluer le risque d’un patient de développer une maladie ou un état pathologique spécifique en fonction de ses données biologiques et de son mode de vie. 

• Analyse des sentiments des clients : les organisations peuvent extraire et classer des informations importantes à partir de grands volumes de données, notamment le contexte, les émotions et les intentions, avec une intervention humaine minimale. L’analyse des sentiments permet de mieux comprendre les interactions avec les clients et peut être utilisée pour améliorer les efforts d’engagement envers la marque. 

• Segmentation de la clientèle : les modèles de régression prédisent le comportement des clients à partir de divers traits et tendances historiques. Les entreprises peuvent ainsi segmenter leur clientèle et créer des profils d’acheteurs afin d’améliorer leurs efforts de marketing et le développement de leurs produits. 

• Détection du spam : la détection du spam est un autre exemple de modèle d’apprentissage supervisé. À l’aide d’algorithmes de classification supervisés, les organisations peuvent entraîner des bases de données à reconnaître des schémas ou des anomalies dans les nouvelles données afin d’organiser efficacement les courriers indésirables ou non. 

• Prévisions : les modèles de régression excellent dans les prévisions basées sur les tendances historiques, ce qui les rend particulièrement adaptés au secteur financier. Les entreprises peuvent également utiliser la régression pour prévoir leurs besoins en stocks, estimer les salaires de leurs employés et éviter les éventuels problèmes dans la chaîne d’approvisionnement. 

• Moteurs de recommandation : grâce aux modèles d’apprentissage supervisé, les fournisseurs de contenu et les marketplaces peuvent analyser les choix, les préférences et les achats des clients et mettre en place des moteurs qui proposent des recommandations personnalisées plus susceptibles d’aboutir à une conversion.

Bien que l’apprentissage supervisé présente des avantages pour les entreprises, tels que la connaissance approfondie des données et l’amélioration de l’automatisation, il ne constitue pas nécessairement la meilleure solution pour toutes les situations. 

• Effectifs limités : les modèles d’apprentissage supervisé peuvent nécessiter un certain niveau d’expertise pour être structurés avec précision. 

• Implication humaine : les modèles d’apprentissage supervisé sont incapables d’apprendre seuls. Il incombe aux data scientists de valider les performances des modèles. 

• Temps requis : les jeux de données sont volumineux et doivent être étiquetés manuellement, ce qui rend le processus d'apprentissage supervisé fastidieux. 

• Inflexibilité : les modèles d’apprentissage supervisé ont du mal à étiqueter les données en dehors des limites de leurs jeux de données. Un modèle d'apprentissage non supervisé pourrait être plus apte à traiter de nouvelles données. 

• Biais : les jeux de données présentent un risque plus élevé d’erreurs humaines et de biais, ce qui peut entraîner un apprentissage incorrect des algorithmes. Des biais peuvent découler de jeux de données d’entraînement déséquilibrés, de mauvaises pratiques d’annotation ou d’inégalités historiques reflétées dans les données.

• Surajustement : l’apprentissage supervisé peut parfois entraîner un surajustement, c’est-à-dire qu’un modèle devient trop adapté à son jeu de données d’entraînement. Une grande précision lors de l’entraînement peut indiquer un surajustement plutôt qu’une performance généralement élevée. Pour éviter ce problème, il convient de tester les modèles avec des données différentes de celles utilisées pour l’entraînement.