Ces dernières années, le Machine Learning automatisé (AutoML) est devenu un sujet d'actualité dans l'industrie et la recherche universitaire sur l'intelligence artificielle (IA). L'AutoML est très prometteur en ce qui concerne les solutions d'IA dans les secteurs d'activité réglementés, car il fournit des résultats explicables et reproductibles. Il facilite l'accès au développement de l'IA pour ceux qui n'ont pas les connaissances théoriques actuellement requises pour jouer un rôle en science des données. 

Chaque étape du pipeline prototypique de science des données actuel, telle que le prétraitement des données, l'ingénierie des caractéristiques et l'optimisation des hyperparamètres, doit être réalisée manuellement par des experts en machine learning. En comparaison, l'AutoML simplifie le développement grâce auquel quelques lignes de code peuvent générer le code nécessaire pour commencer à développer un modèle de machine learning. 

Qu'il s'agisse de créer des classificateurs ou d'entraîner des régressions, AutoML s'apparente à un concept de recherche généralisé, avec des algorithmes de recherche spécialisés pour trouver les solutions optimales pour chaque élément du pipeline ML. En créant un système qui permet d'automatiser seulement trois éléments clés de l'automatisation – l'ingénierie des caractéristiques, l'optimisation des hyperparamètres et la recherche d'architecture de réseaux de neurones – AutoML ouvre la voie à la démocratisation du machine learning. 

Dans un pipeline de science des données, l'équipe de science des données doit passer par de nombreuses étapes pour créer un modèle prédictif. Même les équipes expérimentées de spécialistes de données et d'ingénieurs ML peuvent bénéficier de la rapidité et de la transparence accrues qu'offre AutoML. Un spécialiste des données doit partir d'une hypothèse, constituer le jeu de données approprié, essayer de visualiser les données, concevoir des fonctions supplémentaires pour exploiter tous les signaux disponibles, entraîner un modèle avec des hyperparamètres (lien externe à IBM) et, pour l'apprentissage en profondeur de pointe, concevoir l'architecture optimale pour un réseau de neurones profond, le cas échéant, sur une GPU.

Ingénierie automatisée des caractéristiques

Une caractéristique de données est une partie des données d'entrée d'un modèle de machine learning, et l'ingénierie des caractéristiques fait référence au processus de transformation par lequel un spécialiste des données obtient de nouvelles informations à partir de données existantes. L'ingénierie des caractéristiques est l'un des principaux processus à valeur ajoutée d'un flux de travail de machine learning. De bonnes caractéristiques font la différence entre un modèle acceptable et un modèle exceptionnel. Ces transformations mathématiques de données brutes sont lues dans le modèle et constituent le cœur du processus de machine learning. L'ingénierie automatisée des caractéristiques (PDF 1,7 Mo)(AFE) (lien externe à IBM) consiste à explorer l'espace des combinaisons viables de caractéristiques de manière mécaniste plutôt que manuelle.

L'ingénierie manuelle des caractéristiques est une alchimie moderne qui prend beaucoup de temps : la création d'une seule caractéristique peut souvent prendre des heures, et le nombre de caractéristiques nécessaires pour obtenir un score d'exactitude minimal, sans parler d'une ligne de référence d'exactitude au niveau de la production, peut être de plusieurs centaines. En automatisant l'exploration d'un espace de caractéristiques, AutoML réduit de quelques jours à quelques minutes le temps qu'une équipe de science des données consacre à cette phase.

La réduction des heures d'intervention manuelle par un spécialiste des données n'est pas le seul avantage de l'ingénierie automatisée des caractéristiques. Les caractéristiques générées sont souvent clairement interprétables. Dans les secteurs strictement réglementés, tels que les soins de santé ou la finance, cette explicabilité est importante, car elle réduit les obstacles à l'adoption de l'IA par le biais de l'interprétabilité. En outre, un spécialiste des données ou un analyste bénéficie de la clarté de ces caractéristiques, car elles rendent les modèles de haute qualité plus probants et exploitables. Les caractéristiques générées de manière automatisée peuvent également permettre de trouver de nouveaux KPI, qu'une organisation pourra surveiller et sur lesquels elle pourra agir. Une fois que le spécialiste des données a terminé l'ingénierie des caractéristiques, il doit optimiser ses modèles en procédant à une sélection stratégique des caractéristiques.

Optimisation automatisée des hyperparamètres

Les hyperparamètres font partie des algorithmes de machine learning et sont considérés, par analogie, comme des leviers permettant d'optimiser les performances du modèle, bien que des ajustements progressifs aient souvent un impact considérable. Dans la modélisation de la science des données à petite échelle, les hyperparamètres peuvent facilement être définis à la main et optimisés par essais et erreurs.

Pour les applications d'apprentissage en profondeur, le nombre d'hyperparamètres croît de manière exponentielle, ce qui rend leur optimisation impossible à réaliser manuellement et rapidement par une équipe de science des données. L'optimisation automatisée des hyperparamètres (HPO) (lien externe à IBM) décharge les équipes de la responsabilité d'explorer et d'optimiser tout l'espace d'événements pour les hyperparamètres et leur permet d'itérer et d'expérimenter sur les caractéristiques et les modèles.

Le fait que les spécialistes des données peuvent désormais se concentrer sur le pourquoi de la création de modèles plutôt que sur le comment, constitue un autre point fort de l'automatisation du machine learning.Compte tenu des très grandes quantités de données dont disposent de nombreuses entreprises et du nombre impressionnant de questions auxquelles ces données peuvent répondre, une équipe d'analyse peut s'attacher aux aspects du modèle qu'elle doit optimiser, comme le problème classique de la réduction des faux négatifs dans les tests médicaux.

Recherche d'architecture de réseaux de neurones (NAS)

Le processus le plus complexe et le plus chronophage de l'apprentissage en profondeur est la création de l'architecture de réseaux de neurones. Les équipes de science des données dédient un temps considérable à sélectionner les couches et les taux d'apprentissage appropriés qui, en fin de compte, ne concernent souvent que les poids du modèle, comme c'est le cas pour de nombreux modèles de langage. La recherche d'architecture de réseaux de neurones (NAS) (lien externe à IBM) est décrite comme « l'utilisation de réseaux de neurones pour concevoir des réseaux de neurones » ; elle est l'un des domaines les plus évidents de l'apprentissage en profondeur à bénéficier de l'automatisation.

La recherche NAS commence en choisissant les architectures à tester. Le résultat de NAS est déterminé par le critère d'évaluation de chaque architecture. Plusieurs algorithmes communs peuvent être utilisés dans une recherche d'architecture de réseaux de neurones. S'il existe un petit nombre d'architectures possibles, les choix de tests peuvent être faits de manière aléatoire. Les approches basées sur le gradient, qui transforment l'espace de recherche discret en représentation continue, se sont révélées très efficaces. Les équipes de science des données peuvent également essayer des algorithmes évolutionnaires dans lesquels les architectures sont évaluées de manière aléatoire et les changements sont appliqués lentement, propageant les architectures enfant les plus performantes tout en élaguant celles qui ne le sont pas.

Les recherches de réseaux de neurones constituent l'un des éléments clés d'AutoML qui promet de démocratiser l'IA. Cependant, ces recherches s'accompagnent généralement d'une très forte empreinte carbone. Ces compromis n'ont pas encore été examinés et l'optimisation du coût écologique est un domaine de recherche permanent dans les approches NAS.