Publication : 23 janvier 2024
Contributeurs : Joel Barnard
Les plongements lexicaux représentent les mots sous forme de vecteurs dans un espace multidimensionnel, où la distance et la direction entre les vecteurs reflètent la similarité et les relations entre les mots correspondants.
L’utilisation des plongements pour représenter du texte a joué un rôle crucial dans le développement des applications de traitement automatique du langage naturel (NLP) et de machine learning (ML). Les plongements lexicaux font désormais partie intégrante de tâches telles que la classification de texte, l’analyse des sentiments, la traduction automatique, etc.
Dans les méthodes traditionnellement utilisées pour représenter les mots d’une manière compréhensible pour les machines, telles que l’encodage one-hot ou 1 parmi n, chaque mot est représenté sous la forme d’un vecteur creux dont la dimension est égale à la taille du vocabulaire. Ici, un seul élément du vecteur est « hot » (défini sur 1) pour indiquer la présence de ce mot. Malgré sa simplicité, cette approche souffre du fléau de la dimension, manque d’informations sémantiques et ne capture pas les relations entre les mots.
Les plongements lexicaux, quant à eux, sont des vecteurs denses avec des valeurs continues qui sont entraînés à l’aide de techniques de machine learning, souvent basées sur des réseaux neuronaux. L’idée est d’apprendre des représentations qui encodent la signification et les relations sémantiques entre les mots. Les plongements lexicaux sont entraînés en exposant un modèle à une grande quantité de données textuelles et en ajustant les représentations vectorielles en fonction du contexte dans lequel les mots apparaissent.
Word2Vec est une méthode populaire d’entraînement des plongements lexicaux. Elle utilise un réseau neuronal pour prédire les mots voisins d’un mot cible dans un contexte donné. Une autre approche largement utilisée est GloVe (Global Vectors for Word Representation), qui tire parti de statistiques globales pour créer des plongements.
Les plongements lexicaux se sont révélés inestimables dans les tâches de PL, car ils permettent aux algorithmes de machine learning de comprendre et de traiter les relations sémantiques entre les mots de manière plus nuancée que les méthodes traditionnelles.
Découvrez les obstacles à l’adoption de l’IA, en particulier le manque de solutions de gouvernance de l’IA et de gestion des risques.
Obtenir le guide sur les modèles de fondation
Les plongements lexicaux sont utilisés dans diverses tâches de NLP pour améliorer la représentation des mots et en capturer les relations sémantiques :
Les plongements lexicaux sont souvent utilisés comme caractéristiques dans les tâches de classification de texte, telles que l’analyse des sentiments, la détection des spams et la catégorisation des sujets.
Pour identifier et classer des entités avec précision (par exemple, des noms de personne, des organisations, des lieux) dans le texte, les plongements lexicaux permettent au modèle de comprendre le contexte et les relations entre les mots.
Dans les systèmes de traduction automatique, les plongements lexicaux représentent les mots d’une manière indépendante du langage, ce qui permet au modèle de mieux comprendre les relations sémantiques entre les mots dans les langues source et cible.
Dans les systèmes de recherche d’information, les plongements lexicaux permettent une mise en correspondance plus précise des requêtes des utilisateurs avec les documents pertinents, ce qui améliore l’efficacité des moteurs de recherche et des systèmes de recommandation.
Les plongements lexicaux contribuent à l’efficacité des systèmes de réponse aux questions en améliorant la compréhension du contexte dans lequel les questions sont posées et les réponses sont trouvées.
Les plongements lexicaux permettent de mesurer la similarité sémantique entre des mots ou des documents pour des tâches telles que le regroupement d’articles connexes, la recherche de documents similaires ou la recommandation d’éléments similaires en fonction de leur contenu textuel.
Dans les tâches de génération de texte, telles que la modélisation du langage et les auto-encodeurs, les plongements lexicaux sont souvent utilisés pour représenter le texte d’entrée et générer des séquences de sortie cohérentes et contextuellement pertinentes.
Les plongements lexicaux peuvent être utilisés pour effectuer des tâches de similarité de mots (trouver des mots similaires à un mot donné par exemple) et des tâches d’analogie de mots (par exemple, le mot « roi » est au mot « reine » ce que le mot « homme » est au mot « femme »).
Les plongements lexicaux préentraînés servent de base au préentraînement de modèles de représentation de langage plus avancés, tels que BERT (Bidirectionnelle Encoder Representations from Transformers) et GPT (Generative Pre-trained Transformer).
Dans les années 2000, les chercheurs commencent à explorer les modèles de langue neuronaux (NLM), qui utilisent des réseaux neuronaux pour modéliser les relations entre les mots dans un espace continu. Ces premiers modèles jettent les bases du développement à venir des plongements lexicaux.
Bengio et al. (2003) introduisent les réseaux neuronaux à propagation avant pour la modélisation du langage. Ces modèles sont capables de capturer des représentations distribuées de mots, mais leur capacité à gérer des vocabulaires de grande taille est limitée.
Des chercheurs, dont Mnih et Hinton (2009), explorent les modèles probabilistes pour l’apprentissage des représentations distribuées de mots. Ces modèles se concentrent sur la capture des relations sémantiques entre les mots et constituent une étape importante vers les plongements lexicaux.
Le modèle Word2Vec, introduit par Tomas Mikolov et ses collègues de Google en 2013, marque une avancée majeure. Word2Vec s’appuie sur deux modèles, le Continuous Bag of Words (CBOW) et le Continuous Skip-gram, qui apprennent efficacement les plongements lexicaux à partir de grands corpus, et qui bénéficient d’une large adoption de par leur simplicité et leur efficacité.
GloVe (Global Vectors for Word Representation), introduit par Pennington et al. en 2014, repose sur l’utilisation des statistiques globales (fréquences de cooccurrence des mots) pour l’apprentissage des représentations vectorielles des mots. Il est utilisé dans diverses applications de NLP et il est connu pour sa capacité à capturer les relations sémantiques.
Aujourd’hui, avec l’essor de l’apprentissage profond, les couches de plongements sont devenues des composantes standard des architectures de réseaux neuronaux pour les tâches de NLP. Les plongements sont désormais utilisés non seulement pour les mots, mais aussi pour les entités, les phrases et d’autres unités linguistiques. Dans une large mesure, les plongements lexicaux ont permis à des modèles de langage tels que les réseaux de neurones récurrents (RNN), les réseaux à longue mémoire à court terme (LSTM), Embeddings from Language Models (ELMo), BERT, ALBERT (a light BERT) et GPT d’évoluer à un rythme fulgurant.
L’objectif principal des plongements sémantiques est de représenter les mots de manière à capturer leurs relations sémantiques et leurs informations contextuelles. Ces vecteurs sont des représentations numériques dans un espace vectoriel continu, où les positions relatives des vecteurs reflètent les similarités et relations sémantiques entre les mots.
Si les vecteurs sont utilisés pour représenter les mots, c’est parce que la plupart des algorithmes de machine learning, y compris les réseaux neuronaux, sont incapables de traiter du texte brut dans sa forme brute. Ils ont besoin de chiffres comme entrées, quelle que soit la tâche.
La création de plongements lexicaux implique l’entraînement d’un modèle sur un grand corpus de texte (par exemple, Wikipédia ou Google News). Le corpus est prétraité en tokenisant le texte en mots, en supprimant les mots vides et la ponctuation et en effectuant d’autres tâches de nettoyage du texte.
Une fenêtre contextuelle glissante est appliquée au texte, et pour chaque mot cible, les mots voisins dans la fenêtre sont considérés comme des mots de contexte. Le modèle de plongement lexical est entraîné à prédire un mot cible en fonction de ses mots de contexte ou vice versa.
Cela permet aux modèles de capturer divers schémas linguistiques et d’attribuer à chaque mot un vecteur unique, qui représente la position de ce mot dans un espace vectoriel continu. Les mots ayant des significations similaires sont proches les uns des autres, et la distance et la direction entre les vecteurs encodent le degré de similarité.
Le processus d’entraînement consiste à ajuster les paramètres du modèle de plongement pour minimiser la différence entre les mots prédits et les mots réels dans le contexte.
Voici un exemple simplifié de plongements lexicaux pour un très petit corpus (6 mots), où chaque mot est représenté sous la forme d’un vecteur à 3 dimensions :
chat [0.2, -0.4, 0.7]
chien [0.6, 0.1, 0.5]
pomme [0.8, -0.2, -0.3]
orange [0.7, -0.1, -0.6]
content [-0.5, 0.9, 0.2]
triste [0.4, -0.7, -0.5]
Dans cet exemple, chaque mot (par exemple, « chat », « chien », « pomme ») est associé à un vecteur unique. Les valeurs du vecteur représentent la position du mot dans un espace vectoriel tridimensionnel continu. Les mots ayant des significations ou des contextes similaires sont censés avoir des représentations vectorielles similaires. Par exemple, les vecteurs « chat » et « chien » sont proches, ce qui reflète leur relation sémantique. De même, les vecteurs « content » et « triste » ont des directions opposées, indiquant leurs significations contraires.
L’exemple ci-dessus est simplifié à l’extrême pour illustrer notre propos. Les plongements lexicaux réels utilisent généralement des centaines de dimensions pour capturer des relations et des nuances de sens plus complexes.
Les plongements lexicaux sont devenus un outil fondamental de le NLP, fournissant une base permettant de comprendre et de représenter le langage en s’alignant à la sémantique sous-jacente des mots et des phrases.
Vous trouverez ci-dessous quelques-uns des concepts et développements clés ayant fait des plongements lexicaux une technique puissante qui a permis de faire avancer le traitement automatique du langage naturel.
L’hypothèse distributionnelle postule que les mots ayant une signification similaire ont tendance à apparaître dans des contextes similaires. Ce concept constitue la base de nombreux modèles de plongements lexicaux, car ils visent à capturer les relations sémantiques en analysant les schémas de cooccurrence des mots.
Contrairement à l’encodage one-hot traditionnel, les plongements lexicaux sont des vecteurs denses de dimension inférieure. Cela réduit la complexité des calculs et les besoins en mémoire, les rendant adaptés aux applications de NLP à grande échelle.
Les plongements lexicaux capturent les relations sémantiques entre les mots, permettant aux modèles de comprendre et de représenter les mots dans un espace vectoriel continu où les mots similaires sont proches les uns des autres. Cette représentation sémantique permet une compréhension plus nuancée du langage.
Les plongements lexicaux capturent les informations contextuelles en tenant compte des cooccurrences de mots dans un contexte donné. Les modèles peuvent ainsi comprendre la signification d’un mot en fonction de ses voisins, permettant une meilleure représentation des expressions et des phrases.
Les plongements lexicaux s’appliquent bien aux mots inconnus ou aux mots rares, car ils apprennent à représenter les mots en fonction de leur contexte. Cet aspect est particulièrement utile lorsque l’on travaille avec des vocabulaires diversifiés et évolutifs.
Les méthodes de plongement lexical basées sur la fréquence et sur la prédiction représentent deux grandes catégories d’approches en matière de plongements lexicaux. Ces méthodes diffèrent principalement par la manière dont elles génèrent les représentations vectorielles des mots.
Plongements basés sur la fréquence
Les plongements basés sur la fréquence désignent des représentations de mots dérivées de la fréquence d’apparition des mots dans un corpus. Ces plongements se basent sur l’idée que l’importance ou la signification d’un mot peut être déduite de la fréquence à laquelle il apparaît dans le texte.
Exemple de plongements basés sur la fréquence : Term Frequency-Inverse Document Frequency (TF-IDF). Le TF-IDF est conçu pour mettre en évidence les mots qui sont à la fois utilisés fréquemment dans un document spécifique et relativement rares dans l’ensemble du corpus, permettant d’identifier les termes significatifs pour un document particulier.
Le score TF-IDF d’un terme (mot) dans un document est calculé à l’aide de la formule suivante :
TF-IDF (t,d,D) = TF(t,d) x IDF(t, D)
Les applications du TF-IDF comprennent la recherche d’information, le classement de documents, le résumé de texte et la fouille de textes.
Malgré la simplicité des plongements lexicaux basés sur la fréquence, faciles à comprendre, ils n’ont pas la profondeur des informations sémantiques et la prise en compte du contexte offertes par les plongements lexicaux plus avancés basés sur la prédiction.
Plongements basés sur la prédiction
Les plongements basés sur la prédiction sont des représentations de mots dérivées de modèles entraînés à prédire certains aspects du contexte d’un mot ou ses mots voisins. Contrairement aux plongements lexicaux basés sur la fréquence, qui se concentrent sur les statistiques d’occurrence des mots, les plongements lexicaux basés sur la prédiction capturent les relations sémantiques et les informations contextuelles, fournissant ainsi des représentations plus riches de la signification des mots.
Les plongements basés sur la prédiction différencient les synonymes et gèrent la polysémie (les diverses significations d’un même mot) plus efficacement. Les propriétés de l’espace vectoriel des plongements basés sur la prédiction permettent d’effectuer des tâches telles que la mesure de la similarité des mots et la résolution des analogies. Les plongements basés sur la prédiction sont également capables d’une généralisation efficace face à des mots ou contextes inconnus, ce qui renforce leurs capacités à traiter les termes qui ne font pas partie du vocabulaire.
Les méthodes basées sur la prédiction, comme dans les modèles Word2Vec et GloVe (abordés ci-dessous), ont pris le dessus dans le domaine des plongements lexicaux en raison de leur capacité à capturer des significations sémantiques riches et à bien généraliser pour diverses tâches de NLP.
Développé par une équipe de chercheurs chez Google, dont Tomas Mikolov, en 2013, Word2Vec (Word to Vector) est devenu une technique fondamentale pour l’apprentissage des plongements lexicaux dans les modèles de traitement automatique du langage naturel (NLP) et de machine learning.
Word2Vec se compose de deux modèles principaux pour la génération des représentations vectorielles : Continuous Bag of Words (CBOW) et Continuous Skip-gram.
Dans le contexte de Word2Vec, le modèle Continuous Bag of Words (CBOW) vise à prédire un mot cible en fonction des mots de contexte voisins dans une fenêtre donnée. Il utilise les mots de contexte pour prédire le mot cible, et les plongements appris capturent les relations sémantiques entre les mots.
Le modèle Continuous Skip-gram, quant à lui, prend un mot cible en entrée et vise à prédire les mots de contexte voisins.
En considérant une séquence de mots dans une phrase donnée, le modèle CBOW prend un nombre fixe de mots de contexte (mots entourant le mot cible) comme entrée. Chaque mot de contexte est représenté sous la forme d’un plongement (vecteur) dans une couche de plongement partagée. Ces plongements sont appris pendant le processus d’entraînement.
Les plongements de mots de contexte individuels sont agrégés, généralement en les additionnant ou en calculant leur moyenne. Cette représentation agrégée sert d’entrée à la couche suivante.
La représentation agrégée est ensuite utilisée pour prédire le mot cible à l’aide d’une fonction d’activation softmax. Le modèle est entraîné pour minimiser la différence entre la distribution de probabilité prédite sur le vocabulaire et la distribution réelle (représentation par encodage one-hot) du mot cible.
Le modèle CBOW est entraîné en ajustant les poids de la couche de plongement en fonction de sa capacité à prédire le mot cible avec précision.
Le modèle Continuous Skip-gram utilise des données d’apprentissage pour prédire les mots de contexte en fonction du plongement lexical du mot cible. Plus précisément, il génère en sortie une distribution de probabilités sur le vocabulaire, indiquant la probabilité que chaque mot se trouve dans le contexte en considérant le mot cible donné.
L’objectif d’entraînement est de maximiser la probabilité d’apparition des mots de contexte réels compte tenu du mot cible. Cela implique l’ajustement des poids de la couche de plongement pour minimiser la différence entre les probabilités prédites et la distribution réelle des mots de contexte. Ce modèle permet également d’utiliser une taille de fenêtre contextuelle flexible. Celle-ci peut être ajustée en fonction des exigences spécifiques de la tâche, permettant aux utilisateurs de capturer les relations de contexte locales et globales.
Le modèle Skip-gram consiste essentiellement à « faire des sauts » à partir du mot cible pour prédire son contexte, ce qui le rend particulièrement efficace pour capturer les similarités et les relations sémantiques entre les mots.
Avantages et limites
Les deux modèles utilisés par Word2Vec ont leurs propres avantages et limites. Le modèle Skip-gram fonctionne bien pour gérer de grandes quantités de données textuelles et représente bien les mots rares. Le modèle CBOW, en revanche, est plus rapide et offre de meilleures représentations pour les mots plus fréquents.
Côté limites, Word2Vec ne gère pas toujours efficacement la polysémie (quand un même mot a plusieurs significations). Le modèle peut faire la moyenne ou combiner les représentations des différents sens d’un mot polysémique. Word2Vec traite également les mots comme des unités atomiques et ne capture pas les informations des sous-mots.
Ces limitations ont motivé le développement de modèles plus avancés, tels que FastText, GloVe et les modèles basés sur Transformer (abordés ci-dessous), qui visent à combler certaines des lacunes de Word2Vec.
GloVe (Global Vectors for Word Representation) est un modèle de plongement lexical conçu pour capturer des informations statistiques globales sur les schémas de cooccurrence des mots dans un corpus.
Introduit par Jeffrey Pennington, Richard Socher et Christopher D. Manning en 2014, le modèle GloVe diffère de Word2Vec en ce sens qu’il se concentre sur l’utilisation d’informations globales plutôt que sur le contexte local uniquement.
GloVe repose sur l’idée que les statistiques globales de cooccurrence des mots dans l’ensemble du corpus sont essentielles pour capturer la sémantique des mots. Il prend en compte la fréquence de cooccurrence des mots dans l’ensemble du jeu de données plutôt que dans le contexte local des mots individuels.
Ce modèle vise à minimiser la différence entre les probabilités de cooccurrence prédites et les probabilités réelles dérivées des statistiques du corpus.
GloVe est plus efficace que d’autres méthodes en matière de calcul, car il s’appuie sur des statistiques globales et utilise des techniques de factorisation de matrices pour apprendre les vecteurs de mots. Ce modèle peut être entraîné sur de grands corpus sans nécessiter de ressources de calcul importantes.
GloVe introduit des poids scalaires pour les paires de mots afin de contrôler l’influence des différentes paires sur le processus d’apprentissage. Ces pondérations permettent d’atténuer l’impact des paires de mots très fréquentes ou rares sur les plongements appris.
Mécanisme d’entraînement
Contrairement aux modèles Word2Vec (CBOW et Skip-gram), qui se concentrent sur la prédiction de mots de contexte en considérant un mot cible ou vice versa, GloVe utilise une approche différente qui consiste à optimiser les vecteurs de mots en fonction de leurs probabilités de cooccurrence. Ce processus d’entraînement est conçu pour faire apprendre au modèle des plongements qui capturent efficacement les relations sémantiques entre les mots.
La première étape consiste à construire une matrice de cooccurrence qui représente la fréquence à laquelle les mots apparaissent ensemble dans le corpus.
Il s’agit ensuite de formuler une fonction objective décrivant la relation entre les vecteurs de mots et leurs probabilités de cooccurrence.
La fonction objective est optimisée à l’aide d’un algorithme de descente de gradient ou d’autres algorithmes d’optimisation. L’objectif est d’ajuster les vecteurs de mots et les biais afin de minimiser la différence quadratique entre les probabilités de cooccurrence logarithmiques prédites et réelles.
Applications et cas d’utilisation
Les utilisateurs peuvent télécharger des plongements GloVe préentraînés et les affiner pour des applications spécifiques, ou les utiliser directement.
Les plongements GloVe sont largement utilisés dans les tâches de NLP, telles que la classification de texte, l’analyse des sentiments, la traduction automatique, etc.
GloVe excelle lorsque la capture des relations sémantiques globales, la compréhension du contexte global des mots et l’utilisation des statistiques de cooccurrence sont essentielles au succès des tâches de traitement automatique du langage naturel.
Le succès des modèles Word2Vec et GloVe a inspiré de nouvelles recherches sur des modèles de représentation linguistique plus sophistiqués, tels que FastText, BERT et GPT. Ces modèles s’appuient sur les plongements de sous-mots, les mécanismes d’attention et les transformers pour gérer efficacement les plongements de dimensions supérieures.
Plongements de sous-mots
Les plongements de sous-mots, tels que FastText, représentent les mots comme des combinaisons d’unités de sous-mots, ce qui offre une plus grande flexibilité et permet de traiter les mots rares ou hors du vocabulaire. Les plongements de sous-mots améliorent la robustesse et la couverture des plongements lexicaux.
Contrairement à GloVe, FastText traite chaque mot comme un élément composé de n-grammes de chaîne de caractères et non comme un mot entier. Cette caractéristique lui permet non seulement d’apprendre des mots rares, mais également des mots hors du vocabulaire.
Mécanismes d’attention et transformers
Les mécanismes d’attention et les modèles Transformer prennent en compte les informations contextuelles et les relations bidirectionnelles entre les mots, ce qui conduit à des représentations linguistiques plus avancées.
Des mécanismes d’attention ont été introduits pour améliorer la capacité des réseaux neuronaux à se concentrer sur des parties spécifiques de la séquence d’entrée lors des prédictions. Au lieu de traiter toutes les parties de l’entrée de la même manière, les mécanismes d’attention permettent au modèle de s’intéresser de manière sélective aux parties pertinentes de l’entrée.
Les transformers sont devenus le pilier de divers modèles de pointe dans le traitement automatique du langage naturel, notamment BERT, GPT et T5 (Text-to-Text Transfer Transformer), entre autres. Ils excellent dans des tâches telles que la modélisation linguistique, la traduction automatique, la génération de texte et la réponse aux questions.
Les transformers utilisent un mécanisme d’auto-attention pour capturer les relations entre les différents mots d’une séquence. Avec ce mécanisme, chaque mot fait attention à tous les autres mots de la séquence, permettant de capturer des dépendances à longue distance.
Les transformers permettent une plus grande parallélisation pendant l’entraînement par rapport aux RNN et sont plus efficaces en termes de calcul.
IBM Watson Natural Language Understanding utilise l’apprentissage profond pour extraire la signification et les métadonnées des données texte non structurées. L’analyse de texte permet d’extraire des catégories, des classifications, des entités, des mots-clés, des sentiments, des émotions, des relations et des syntaxes.
Décuplez la puissance de l’IA avec notre plateforme d’IA et de données nouvelle génération. IBM Watsonx est un portefeuille d’applications, de solutions et d’outils prêts à l’emploi conçus pour réduire les coûts et les obstacles liés à l’adoption de l’IA tout en optimisant les résultats de l’IA et en favorisant son utilisation responsable.
Rendez l’IA opérationnelle dans toute votre entreprise pour offrir des avantages de manière rapide et éthique. Notre vaste portefeuille de produits d’IA et de solutions d’analytique professionnels est conçu pour réduire les obstacles à l’adoption de l’IA et créer le bon socle de données, tout en optimisant les résultats et en favorisant une utilisation responsable.
Découvrez comment le ML exploite les données et les algorithmes et parcourez ses cas d’utilisation et les préoccupations qu’il soulève afin de favoriser une utilisation responsable et innovante de la technologie.
Bien que l’IA, le ML, l’apprentissage profond et les réseaux neuronaux soient des technologies connexes, ces termes sont souvent utilisés de manière interchangeable. Cet article de blog clarifiera certaines ambiguïtés.
Découvrez les différents types de grands modèles de langage (LLM) ainsi que leurs avantages, leurs risques et les cas d’utilisation métier des LLM open source pour l’IA générative. Ce guide vous présentera certains concepts de base qu’il est important de connaître pour commencer à utiliser ce langage de programmation simple.