Mettre l’IA au service de l’entreprise : à la découverte des modèles de fondation Granite, signés IBM

L'IA au service des entreprises traverse une période passionnante. Au fur et à mesure que nous appliquons la technologie à des domaines tels que le service client, les ressources humaines ou la modernisation du code, l'intelligence artificielle (IA) aide de plus en plus d'entre nous à travailler plus intelligemment, et non plus dur. Et comme nous n'en sommes qu'au début de la révolution de l'IA pour les entreprises, le potentiel d'amélioration de la productivité et de la créativité est immense.

Mais l'IA est aujourd'hui un domaine incroyablement dynamique, et les plateformes d'IA doivent refléter ce dynamisme, en intégrant les dernières avancées pour répondre aux exigences d'aujourd'hui et de demain. C’est pourquoi nous, chez IBM, continuons à ajouter de nouvelles capacités puissantes à IBM Watsonx, notre portefeuille de produits d’IA.

Nous annonçons aujourd’hui notre dernière nouveauté : une nouvelle famille de modèles de fondation construits par IBM, qui seront disponibles dans watsonx.ai, notre studio dédié à l’IA générative, aux modèles de fondation et au machine learning. Appelés collectivement « Granite », ces modèles de fondation de taille multiple appliquent l’IA générative à la fois au langage et au code. Et tout comme le granit est un matériau solide et polyvalent qui a de nombreuses utilisations dans la construction et la fabrication, nous pensons chez IBM que ces modèles Granite apporteront une valeur durable à votre entreprise.

Mais jetons maintenant un coup d’œil sous le capot et expliquons un peu comment nous les avons construits, et comment ils vous aideront à faire passer l’IA au niveau supérieur dans votre entreprise.

Développés par IBM Research, les modèles Granite — Granite.13b.instruct et Granite.13b.chat — utilisent une architecture de type « décodeur ». C’est ce qui permet aux grands modèles de langage d’aujourd’hui de prédire le mot suivant dans une séquence.

Avec 13 milliards de modèles de paramètres, les modèles Granite sont plus efficaces que les modèles plus grands et s'adaptent à un seul GPU V100-32GB. Ils peuvent également avoir un impact moindre sur l'environnement tout en étant performants dans les tâches spécialisées du domaine professionnel telles que le résumé, la réponse aux questions et la classification. Ils sont largement applicables dans tous les secteurs et prennent en charge d'autres tâches de traitement automatique du langage naturel telles que la génération de contenu, l'extraction d'informations et la génération augmentée par la recherche (un cadre permettant d'améliorer la qualité de la réponse en reliant le modèle à des sources de connaissances externes) et la reconnaissance d'entités nommées (identification et extraction d'informations clés dans un texte).

Chez IBM, nous nous concentrons sur la construction de modèles ciblés pour les entreprises. La famille de modèles Granite n'est pas différente, et nous les avons donc entraînés sur une variété de jeux de données — totalisant 7 To avant le prétraitement, 2,4 To après le prétraitement — pour produire 1 billion de tokens, la collection de caractères qui a une signification sémantique pour un modèle. Notre sélection de jeux de données a été ciblée sur les besoins des utilisateurs professionnels et comprend des données provenant des domaines suivants :

• Internet : données génériques de langage non structuré provenant de l’Internet public
• Universitaire : données linguistiques techniques non structurées, axées sur la science et la technologie
• Code : ensembles de données de code non structuré couvrant une variété de langages de codage
• Juridique : données linguistiques non structurées pertinentes pour l'entreprise, extraites d'avis juridiques et d'autres documents publics.
• Finance : données non structurées pertinentes pour l’entreprise provenant de documents et de rapports financiers publiés publiquement

En entraînant les modèles sur des jeux de données spécialisés pour les entreprises, nous aidons à garantir que nos modèles se familiarisent avec le langage spécialisé et le jargon de ces industries et prennent des décisions fondées sur des connaissances sectorielles pertinentes.

En affaires, la confiance est indispensable. « Faites-nous confiance » n’est pas un argument, surtout lorsqu’il s’agit d’IA. Étant l’une des premières entreprises à développer l’IA d’entreprise, IBM adopte une approche du développement de l’IA guidée par des principes fondamentaux fondés sur des engagements de confiance et de transparence. Les produits IBM watsonx vous permettent de ne plus vous contenter d’être utilisateur d’IA et de devenir créateur de valeur IA. Il dispose d’un processus de bout en bout pour la construction et le test des modèles de fondation et de l’IA générative, commençant par la collecte de données et se terminant par des points de contrôle pour le suivi des déploiements responsables des modèles et des applications, axé sur la gouvernance, l’évaluation des risques, l’atténuation des biais et la conformité.

Étant donné que les clients pourront adapter les modèles Granite à leur propre application, chaque jeu de données utilisé pour l’entraînement est soumis à un processus d’examen défini de gouvernance, de risque et de conformité (GRC). Nous avons mis au point des procédures de gouvernance pour l’intégration des données dans la pile de données IBM, qui sont conformes aux principes d’éthique de l’IA d’IBM. L’application des critères de GRC pour les données couvre l’intégralité du cycle de vie des données d’entraînement. Notre objectif est d’établir un lien auditable entre un modèle de fondation entraîné et la version spécifique du jeu de données sur laquelle le modèle a été entraîné.

Une grande partie de l’attention médiatique s’est (à juste titre) portée sur le risque que l’IA générative produise des résultats haineux ou diffamatoires. Chez IBM, nous savons que les entreprises ne peuvent pas se permettre de prendre de tels risques. C’est pourquoi nos modèles Granite sont entraînés sur des données examinées par notre propre « détecteur HAP », un modèle de langage entraîné par IBM pour détecter et éradiquer les contenus haineux et grossiers (d’où l’acronyme anglais « HAP » signifiant « Hateful And Profane »), qui est évalué par rapport à des modèles internes ainsi que publics. Après l’attribution d’une note à chaque phrase d’un document, des analyses sont effectuées sur les phrases et les notes afin de découvrir la distribution, qui détermine le pourcentage de phrases à filtrer.

En outre, nous appliquons un large éventail d'autres mesures de qualité. Nous recherchons et supprimons les doublons qui améliorent la qualité des résultats et utilisons des filtres de qualité des documents pour supprimer les documents de faible qualité qui ne conviennent pas à la formation. Nous déployons également des mesures de protection des données régulières et permanentes, notamment en surveillant les sites web connus pour le piratage de matériel ou la publication d'autres contenus offensants, et en évitant ces sites web. 

Et comme le paysage de l'IA générative est en constante évolution, notre processus de bout en bout évoluera et s’améliorera en permanence, offrant ainsi aux entreprises des Résultats auxquels elles peuvent faire confiance.

La notion d'autonomisation est au cœur de la vision d'IBM en matière d'IA pour les entreprises. Chaque Entreprise déploiera les modèles Granite pour atteindre ses propres objectifs, et chaque entreprise a ses propres règles à respecter, qu'elles proviennent de lois, de normes sociales, de standards de secteurs, de demandes du marché ou d'exigences architecturales. Nous pensons que les entreprises devraient être habilitées à personnaliser leurs modèles selon leurs propres valeurs (dans des limites), où que se trouvent leurs Workloads, en utilisant les outils watsonx® .

Mais ce n’est pas tout. Quoi que vous fassiez dans watsonx, vous conservez la propriété de vos données. Nous n’utilisons pas vos données pour entraîner nos modèles ; vous conservez le contrôle des modèles que vous construisez et vous pouvez les emporter n’importe où.

Les premiers modèles Granite ne sont qu’un début : d’autres sont prévus dans d’autres langues et d’autres modèles conçus par IBM sont également en préparation. En attendant, nous continuons à ajouter des modèles open source à Watsonx. Nous avons récemment annoncé qu’IBM propose désormais à certains clients en accès anticipé le modèle Llama 2-chat de Meta, avec 70 milliards de paramètres, et prévoit de le rendre disponible à tous plus tard en septembre. De plus, IBM hébergera StarCoder, un grand modèle de langage pour le code, incluant plus de 80 langages de programmation, des commits Git, des problèmes GitHub et des notebooks Jupyter.

Outre ces nouveaux modèles, IBM lance également de nouvelles fonctionnalités complémentaires dans le studio watsonx.ai. La première itération de notre Tuning Studio, prévue plus tard ce mois-ci, inclura l’optimisation des prompts, un moyen efficace et peu coûteux pour les clients d’adapter les modèles de fondation à leurs tâches finales uniques grâce à l’entraînement des modèles sur leurs propres données fiables. Nous lancerons également notre générateur de données synthétiques (Synthetic Data Generator), qui aidera les utilisateurs à créer des jeux de données tabulaires artificielles à partir de schémas de données personnalisés ou de jeux de données internes. Cette fonctionnalité permettra aux utilisateurs d’extraire des informations pour l’entraînement et le réglage fin des modèles d’IA ou les simulations de scénarios avec un risque réduit, augmentant ainsi la prise de décision et accélérant la mise sur le marché.

L'ajout des modèles de fondation Granite et d'autres capacités à watsonx ouvre de nouvelles possibilités intéressantes en matière d'IA pour les entreprises. Les nouveaux modèles et les nouveaux outils apportent de nouvelles idées et de nouvelles solutions. Et le meilleur de tout ça ? Nous ne faisons que commencer.