L’apprentissage supervisé permet de traiter deux types de problèmes lors de l’exploration de données : la classification et la régression.

• La classification utilise un algorithme pour attribuer avec précision des données de test à des catégories particulières. Il reconnaît des entités spécifiques dans l’ensemble de données et tente de tirer des conclusions sur la façon dont ces entités doivent être étiquetées ou définies. Les algorithmes de classification courants sont les classificateurs linéaires, les machines à vecteurs de support (SVM), les arbres de décision, les K plus proches voisins et les forêts d’arbres décisionnels, qui sont décrits plus en détail ci-dessous.

• La régression permet de comprendre la relation entre les variables dépendantes et indépendantes. Elle est couramment utilisée pour établir des projections, telles que le chiffre d’affaires d’une entreprise donnée. La régression linéaire, la régression logistique et la régression polynomiale sont des algorithmes de régression populaires.

Différents algorithmes et techniques de calcul sont employés dans les processus de machine learning supervisés, souvent calculés à l’aide de programmes comme Python. Les algorithmes d’apprentissage supervisés comprennent les suivants :

• Optimisation de gradient ou optimisation adaptative⁷ : cette technique permet d’optimiser un algorithme de régression peu performant en le combinant avec des algorithmes plus faibles. Le but est d’en créer un plus fort afin de générer moins d’erreurs. L’optimisation combine la puissance de prévision de plusieurs estimateurs de base.

• Réseaux neuronaux artificiels ou ANN : les réseaux neuronaux ou réseaux neuronaux simulés (SNN) sont un sous-ensemble des techniques de machine learning et sont au cœur des algorithmes de deep learning. L’algorithme apprenant reconnaît des modèles dans les données d’entrée à l’aide de blocs de construction appelés neurones, proches des neurones du cerveau humain, qui sont entraînés et modifiés au fil du temps (cf. « réseaux neuronaux » pour plus d’information).

• Algorithmes d’arbre de décision : utilisés à la fois pour prédire des valeurs numériques (problèmes de régression) et classer les données en catégories, les arbres de décision utilisent une séquence ramifiée de décisions reliées qui peuvent être représentées par un diagramme arborescent. Les arbres de décision ont l’avantage d’être faciles à valider et à auditer, contrairement à la boîte noire des réseaux neuronaux.

• Réduction de la dimensionnalité : lorsqu’un ensemble de données sélectionné comporte un nombre élevé de caractéristiques,⁷ il présente une dimensionnalité élevée. La réduction de la dimensionnalité permet ensuite de diminuer le nombre de caractéristiques, en ne conservant que les informations les plus significatives. Un exemple est l’analyse en composantes principales.

• K plus proches voisins ou kNN : cet algorithme non paramétrique classifie les points de données en fonction de leur proximité et association avec d’autres données disponibles. Il suppose que des points de données similaires peuvent être trouvés à proximité les uns des autres. En conséquence, il cherche à calculer la distance entre les points de données, généralement au moyen de la distance euclidienne, puis attribue une catégorie en fonction de la moyenne ou de la catégorie la plus fréquente. 

• Régression linéaire : la régression linéaire permet d’identifier la relation entre une variable dépendante et une ou plusieurs variables indépendantes. Elle est généralement utilisée pour faire des prédictions sur les résultats futurs. Lorsqu’il n’y a qu’une seule variable indépendante et une seule variable dépendante, on parle de régression linéaire simple.

• Régression logistique : alors que la régression linéaire est utilisée lorsque les variables dépendantes sont continues, la régression logistique est choisie lorsque la variable dépendante est catégorique, c’est-à-dire que des résultats binaires sont présents, tels que « true » et « false » ou « yes » et « no ». Bien que les deux modèles de régression cherchent à comprendre les relations entre les entrées de données, la régression logistique est principalement utilisée pour résoudre les problèmes de classification binaire, par exemple l’identification du spam.

• Réseaux neuronaux : principalement utilisés pour les algorithmes de deep learning, les réseaux neuronaux traitent les données d’entraînement en entrée en imitant l’interconnectivité du cerveau humain au moyen de couches de nœuds. Chaque nœud est composé d’entrées, de poids, d’un biais (seuil) et d’une sortie. Si cette valeur de sortie dépasse un seuil donné, elle « déclenche » ou active le nœud, transmettant les données à la couche suivante du réseau. Les réseaux neuronaux apprennent des ajustements basés sur la fonction de perte grâce au processus de descente de gradient. Lorsque la fonction coût est égale ou proche de zéro, vous pouvez être sûr de la précision du modèle.

• Naïve Bayes : cette approche applique le principe de l’indépendance conditionnelle des classes du théorème de Bayes. Cela signifie que la présence d’une caractéristique n’affecte pas la présence d’une autre dans la probabilité d’un résultat donné, et que chaque prédicteur a un effet égal sur ce résultat. Il existe trois types de classificateurs Bayes naïfs : Naïve Bayes multinomial, Naïve Bayes de Bernoulli et Naïve Bayes gaussien. Cette technique est principalement utilisée dans les systèmes de classification de texte, d’identification du spam et de recommandations.

• Forêt d’arbres décisionnels : cet algorithme de machine learning prédit une valeur ou une catégorie en combinant les résultats d’un certain nombre d’arbres de décision. La « forêt » fait référence à des arbres de décision non corrélés, qui sont assemblés pour réduire les écarts et permettre des prévisions plus précises.

• Machines à vecteurs de support (SVM) : cet algorithme peut être utilisé à la fois pour la classification des données et la régression, mais plus généralement pour les problèmes de classification, en construisant un hyperplan où la distance entre deux catégories de points de données est maximale. Cet hyperplan est dénommé « limite de décision », séparant les catégories de points de données (comme les oranges par rapport aux pommes) de chaque côté du plan.

Contrairement à l’apprentissage supervisé, l’apprentissage non supervisé utilise des données non étiquetées. À partir de ces données, l’algorithme découvre des modèles qui aident à résoudre les problèmes de regroupement (clustering) ou d’association. Ceci est particulièrement utile lorsque les spécialistes du domaine ne sont pas sûrs des propriétés communes dans un ensemble de données. Les algorithmes de clustering courants sont un mélange de modèles hiérarchiques, en k moyennes, gaussiens et de méthodes de réduction de la dimensionnalité comme PCA et t-SNE.

• Clustering : ces algorithmes peuvent identifier des modèles dans les données afin de pouvoir les regrouper. Ils aident les data scientists à identifier les différences entre des éléments de données que les humains n’ont pas remarquées.

• Clustering hiérarchique : cette méthode regroupe les données dans une arborescence de clusters.⁸ Le clustering hiérarchique commence par traiter chaque point de données comme un cluster distinct. Ensuite, ces étapes sont répétées plusieurs fois : 1) identification des deux clusters les plus proches, 2) fusion des deux clusters les plus comparables. Ces étapes se poursuivent jusqu’à ce que tous les clusters soient fusionnés.

• Clustering en k moyenne : cette méthode identifie les groupes au sein des données sans étiquettes⁹ dans différents clusters en recherchant des groupes de données semblables les uns aux autres. L’expression « k moyennes » provient des centroïdes utilisés pour définir les clusters. Un point est attribué à un cluster particulier s’il est plus proche du centroïde de ce cluster qu’un autre centroïde.

Algorithmes d’apprentissage semi-supervisé

Dans ce cas, l’apprentissage intervient lorsque seule une partie des données d’entrée a été étiquetée, ce qui donne à l’algorithme une certaine « longueur d’avance ». Cette approche permet de combiner le meilleur des deux mondes :¹⁰ une précision améliorée associée au machine learning supervisé et la possibilité d’utiliser des données non étiquetées de manière rentable, comme dans le cas du machine learning non supervisé.

Algorithmes par renforcement

Dans ce cas, les algorithmes sont entraînés de la même manière que l’apprentissage humain, à l’aide de récompenses et de pénalités, qui sont mesurées et suivies par un agent d’apprentissage par renforcement.¹¹ Celui-ci a une compréhension générale de la probabilité de réussir à faire monter le score ou à le faire descendre. Par essais et erreurs, l’agent apprend à appliquer des mesures qui conduisent aux résultats les plus favorables au fil du temps. L’apprentissage par renforcement est souvent utilisé¹² dans la gestion des ressources, la robotique et les jeux vidéo.