Que sont les modèles de fondation ?

Share this post:

L’avenir de l’IA réside dans des modèles d’IA flexibles et réutilisables qui peuvent être appliqués à presque n’importe quel domaine ou tâche industrielle.

Au cours de la dernière décennie, nous avons assisté à une explosion des applications utilisant de l’intelligence artificielle. Au cours de cette période, nous avons vu l’IA passer d’un effort purement académique à une force qui alimente des actions dans une myriade d’industries et affecte la vie de millions de personnes chaque jour.

Ces dernières années, nous avons réussi à construire des systèmes d’IA capables d’apprendre à partir de milliers, voire de millions, d’exemples pour nous aider à mieux comprendre notre monde ou à trouver de nouvelles solutions à des problèmes difficiles. Ces modèles à grande échelle ont conduit à des systèmes capables de comprendre lorsque nous parlons ou écrivons, tels que les programmes de traitement et de compréhension du langage naturel que nous utilisons tous les jours, des assistants numériques aux programmes de conversion de la parole en texte. D’autres systèmes, entraînés sur des éléments tels que l’ensemble des œuvres d’artistes célèbres ou tous les manuels de chimie existants, nous ont permis de construire des modèles génératifs capables de créer de nouvelles œuvres d’art à partir de ces styles, ou de nouvelles idées de composés chimiques à partir de publications scientifiques dans le domaine.

Alors que de nombreux nouveaux systèmes d’IA aident à résoudre toutes sortes de problèmes du monde réel, la création et le déploiement de chaque nouveau système nécessitent souvent une quantité considérable de temps et de ressources. Pour chaque nouvelle application, vous devez vous assurer qu’il existe un grand ensemble de données bien étiquetées pour la tâche spécifique à laquelle vous voulez vous attaquer. Si un ensemble de données n’existait pas, il faudrait que des personnes passent des centaines ou des milliers d’heures à trouver et à étiqueter des images, du texte ou des graphiques appropriés pour l’ensemble de données. Ensuite, le modèle d’IA doit apprendre à reconnaître tout ce qui se trouve dans l’ensemble de données, puis il peut être appliqué au cas d’usage que vous avez, de la reconnaissance du langage à la génération de nouvelles molécules pour la découverte de médicaments. Enfin, la formation d’un grand modèle de traitement du langage naturel, par exemple, a à peu près la même empreinte carbone que le fonctionnement de cinq voitures pendant leur durée de vie.

Construire une fondation pour les modèles d’IA

La prochaine vague d’IA vise à remplacer les modèles spécifiques à une tâche qui ont dominé le paysage de l’IA jusqu’à présent. L’avenir est aux modèles entraînés sur un large ensemble de données non étiquetées qui peuvent être utilisées pour différentes tâches, avec un minimum d’ajustements. Ces modèles sont appelés modèles de fondation, un terme popularisé pour la première fois par le Stanford Institute for Human-Centered Artificial Intelligence. Nous avons vu les premières lueurs du potentiel des modèles de fondation dans les mondes de l’imagerie et du langage. Les premiers exemples de modèles, tels que GPT-3, BERT ou DALL-E 2, ont montré ce qu’il était possible de faire. Il suffit d’entrer une brève phrase pour que le système génère un essai complet ou une image complexe, sur la base de vos paramètres, même s’il n’a pas été spécifiquement entraîné à l’exécution de cet argument précis ou à la génération d’une image de cette manière.

Ce qui est nouveau dans ces modèles de fondation, c’est qu’ils peuvent, comme leur nom l’indique, servir de base à de nombreuses applications. Grâce à l’apprentissage auto-supervisé et à l’apprentissage par transfert, le modèle peut appliquer les informations qu’il a apprises d’un contexte à un autre. Bien que la quantité de données soit considérablement supérieure à ce dont une personne moyenne a besoin pour transférer sa compréhension d’une tâche à une autre, le résultat final est relativement similaire : vous apprenez à conduire une voiture, par exemple, et sans trop d’effort, vous pouvez conduire la plupart des autres voitures – ou même un camion ou un bus.

Nous avons vu ce qui ressemble presque à une créativité inhérente à certains des premiers modèles de fondation, avec des IA capables d’enchaîner des arguments cohérents ou de créer des œuvres d’art entièrement originales. Mais la valeur des modèles de fondation peut théoriquement s’étendre à n’importe quel domaine.

Chez IBM Research, nous étudions depuis des années la manière de rendre l’applicabilité de l’IA plus large et plus flexible, et depuis le premier article de Stanford sur le sujet en 2021, c’est quelque chose que nous essayons d’apporter au monde de l’industrie.

Prenons un exemple dans le monde du traitement du langage naturel, l’un des domaines où les modèles de fondation sont déjà bien établis. Avec la génération précédente de techniques d’IA, si vous vouliez construire un modèle d’IA capable de résumer des corps de texte pour vous, vous aviez besoin de dizaines de milliers d’exemples étiquetés uniquement pour le cas d’usage du résumé. Avec un modèle de fondation pré-entraîné, il est possible de réduire considérablement les besoins en données étiquetées. Tout d’abord, le corpus non étiqueté spécifique au domaine peut être affiné pour créer un modèle de fondation spécifique au domaine. Ensuite, en utilisant une quantité beaucoup plus faible de données étiquetées, potentiellement seulement un millier d’exemples étiquetés, il est possible d’entraîner un modèle de résumé. Le modèle de fondation spécifique au domaine peut être utilisé pour de nombreuses tâches, contrairement aux technologies précédentes qui nécessitaient de construire des modèles à partir de zéro dans chaque cas d’usage.

Nous avons commencé à semer les graines des modèles de fondation dans une grande partie de notre recherche en matière d’IA. Nous étudions comment CodeNet, notre gigantesque ensemble de données sur les langages de codage les plus populaires du passé et du présent, peut être exploité dans un modèle de fondation pour automatiser et moderniser d’innombrables processus commerciaux. Imaginez des systèmes existants capables d’utiliser les meilleurs éléments du web moderne, ou des programmes capables de se coder et de se mettre à jour eux-mêmes, avec un minimum de supervision humaine.

De même, à la fin de l’année dernière, nous avons lancé une version de notre outil CodeFlare open-source qui réduit considérablement le temps nécessaire pour configurer, exécuter et mettre à l’échelle les applications de machine learning pour les futurs modèles de fondation. C’est le genre de travail qui doit être fait pour s’assurer que nous avons les processus en place pour que nos partenaires puissent travailler avec nous, ou par eux-mêmes, pour créer des modèles de fondation qui résoudront une foule de problèmes auxquels ils sont confrontés. Par exemple, une société de services financiers pourrait personnaliser un modèle de fondation uniquement pour l’analyse des sentiments.

IBM a également constaté la valeur des modèles de fondation : nous avons déjà mis en œuvre des modèles de fondation dans l’ensemble de notre portefeuille Watson et nous avons constaté que leur précision dépasse largement celle des modèles de la génération précédente, tout en restant rentable. Grâce aux modèles de fondation pré-entraînés, Watson NLP peut entraîner à l’analyse des sentiments dans une nouvelle langue en utilisant seulement quelques milliers de phrases, soit 100 fois moins d’annotations requises qu’avec les modèles précédents. Au cours de ses sept premières années d’existence, Watson a couvert 12 langues. Grâce aux modèles de fondation, il est passé à 25 langues en un an environ.

Les cas d’usage ne manquent pas. Il est possible par exemple d’entrainer un modèle de fondation sur des documentations techniques (des manuels de machines, des catalogues de vente, des guide pratiques etc.) et utiliser ce modèle pour étiqueter un méli-mélo d’images via une IA réellement experte d’un domaine. Une collaboration avec la NASA montre l’importance de l’utilisation de ce type de modèle pour analyser des pétaoctets de texte (publications scientifiques, livres, etc.) et des données satellites afin de détecter des risques naturels, suivre les changements de la végétation et de l’habitat faunique pour la gestion des ressources naturelles. Cette approche permettra de répondre à des questions telles que : Comment les aérosols auront-ils un impact sur le changement climatique ? Quel est l’impact d’un feu de forêt sur la qualité de l’air ? Quel sera l’impact des fortes canicules de l’année dernière sur les rendements du maïs et du blé ?

Aujourd’hui, nous connaissons des structures détaillées pour seulement quelques millions de molécules sur les milliards potentiellement disponibles. Un modèle de fondation a montré sa capacité à déduire la structure des molécules à partir de représentations simples, ce qui permet de cribler plus rapidement et plus facilement des molécules pour de nouvelles applications ou de les créer à partir de zéro. Nous avons constaté qu’un modèle de fondation pouvait distinguer les molécules par leur saveur, par exemple, ou par leur perméabilité de la barrière hémato-encéphalique, même si nous n’avons jamais informé le modèle de l’une ou l’autre propriété.

Nous pensons que les modèles de fondation vont considérablement accélérer l’adoption de l’IA dans les entreprises. La réduction des exigences en matière d’étiquetage permettra aux entreprises de se lancer beaucoup plus facilement, et l’automatisation très précise et efficace de l’IA qu’ils permettent signifiera que beaucoup plus d’entreprises seront en mesure de déployer l’IA dans un éventail plus large de situations cruciales. Notre objectif est d’apporter la puissance des modèles de fondation à chaque entreprise dans un environnement Cloud hybride.

C’est une période passionnante pour la recherche sur l’intelligence artificielle. Pour en savoir plus sur le potentiel des modèles de fondation en entreprise, vous pouvez regarder cette vidéo réalisée par nos partenaires de Red Hat.

En savoir plus sur :

Les modèles de fondation : Nous assistons à une transition dans l’IA. Les systèmes qui exécutent des tâches spécifiques dans un seul domaine cèdent la place à une IA plus large qui apprend de manière plus générale et travaille sur plusieurs domaines et problèmes. Les modèles de fondation, entraînés sur de grands ensembles de données non étiquetées et adaptés à un large éventail d’applications, sont à l’origine de cette évolution.