Que sont les plongements lexicaux ?

L’utilisation des plongements pour représenter du texte a joué un rôle crucial dans le développement des applications de traitement automatique du langage naturel (NLP) et de machine learning (ML). Les plongements lexicaux font désormais partie intégrante de tâches telles que la classification de texte, l’analyse des sentiments, la traduction automatique, etc.

Dans les méthodes traditionnellement utilisées pour représenter les mots d’une manière compréhensible pour les machines, telles que l’encodage one-hot ou 1 parmi n, chaque mot est représenté sous la forme d’un vecteur creux dont la dimension est égale à la taille du vocabulaire. Ici, un seul élément du vecteur est « hot » (défini sur 1) pour indiquer la présence de ce mot. Malgré sa simplicité, cette approche souffre du fléau de la dimension, manque d’informations sémantiques et ne capture pas les relations entre les mots.

Les plongements lexicaux, quant à eux, sont des vecteurs denses avec des valeurs continues qui sont entraînés à l’aide de techniques de machine learning, souvent basées sur des réseaux neuronaux. L’idée est d’apprendre des représentations qui encodent la signification et les relations sémantiques entre les mots. Les plongements lexicaux sont entraînés en exposant un modèle à une grande quantité de données textuelles et en ajustant les représentations vectorielles en fonction du contexte dans lequel les mots apparaissent.

Word2Vec est une méthode populaire d’entraînement des plongements lexicaux. Elle utilise un réseau neuronal pour prédire les mots voisins d’un mot cible dans un contexte donné. Une autre approche largement utilisée est GloVe (Global Vectors for Word Representation), qui tire parti de statistiques globales pour créer des plongements.

Les plongements lexicaux se sont révélés inestimables dans les tâches de PL, car ils permettent aux algorithmes de machine learning de comprendre et de traiter les relations sémantiques entre les mots de manière plus nuancée que les méthodes traditionnelles.

Les plongements lexicaux sont utilisés dans diverses tâches de NLP pour améliorer la représentation des mots et en capturer les relations sémantiques :

Dans les années 2000, les chercheurs commencent à explorer les modèles de langue neuronaux (NLM), qui utilisent des réseaux neuronaux pour modéliser les relations entre les mots dans un espace continu. Ces premiers modèles jettent les bases du développement à venir des plongements lexicaux.

Bengio et al. (2003) introduisent les réseaux neuronaux à propagation avant pour la modélisation du langage. Ces modèles sont capables de capturer des représentations distribuées de mots, mais leur capacité à gérer des vocabulaires de grande taille est limitée.

Des chercheurs, dont Mnih et Hinton (2009), explorent les modèles probabilistes pour l’apprentissage des représentations distribuées de mots. Ces modèles se concentrent sur la capture des relations sémantiques entre les mots et constituent une étape importante vers les plongements lexicaux.

Le modèle Word2Vec, introduit par Tomas Mikolov et ses collègues de Google en 2013, marque une avancée majeure. Word2Vec s’appuie sur deux modèles, le Continuous Bag of Words (CBOW) et le Continuous Skip-gram, qui apprennent efficacement les plongements lexicaux à partir de grands corpus, et qui bénéficient d’une large adoption de par leur simplicité et leur efficacité.

GloVe (Global Vectors for Word Representation), introduit par Pennington et al. en 2014, repose sur l’utilisation des statistiques globales (fréquences de cooccurrence des mots) pour l’apprentissage des représentations vectorielles des mots. Il est utilisé dans diverses applications de NLP et il est connu pour sa capacité à capturer les relations sémantiques.

Aujourd’hui, avec l’essor de l’apprentissage profond, les couches de plongements sont devenues des composantes standard des architectures de réseaux neuronaux pour les tâches de NLP. Les plongements sont désormais utilisés non seulement pour les mots, mais aussi pour les entités, les phrases et d’autres unités linguistiques. Dans une large mesure, les plongements lexicaux ont permis à des modèles de langage tels que les réseaux de neurones récurrents (RNN), les réseaux de mémoire à long et court terme (LSTM), ELMo (Embeddings from Language Models), BERT, ALBERT (a light BERT) et GPT d’évoluer à un rythme fulgurant. 

L’objectif principal des plongements sémantiques est de représenter les mots de manière à capturer leurs relations sémantiques et leurs informations contextuelles. Ces vecteurs sont des représentations numériques dans un espace vectoriel continu, où les positions relatives des vecteurs reflètent les similarités et relations sémantiques entre les mots.

Si les vecteurs sont utilisés pour représenter les mots, c’est parce que la plupart des algorithmes de machine learning, y compris les réseaux neuronaux, sont incapables de traiter du texte brut dans sa forme brute. Ils ont besoin de chiffres comme entrées, quelle que soit la tâche.

La création de plongements lexicaux implique l’entraînement d’un modèle sur un grand corpus de texte (par exemple, Wikipédia ou Google News). Le corpus est prétraité en tokenisant le texte en mots, en supprimant les mots vides et la ponctuation et en effectuant d’autres tâches de nettoyage du texte.

Une fenêtre contextuelle glissante est appliquée au texte, et pour chaque mot cible, les mots voisins dans la fenêtre sont considérés comme des mots de contexte. Le modèle de plongement lexical est entraîné à prédire un mot cible en fonction de ses mots de contexte ou vice versa.

Cela permet aux modèles de capturer divers schémas linguistiques et d’attribuer à chaque mot un vecteur unique, qui représente la position de ce mot dans un espace vectoriel continu. Les mots ayant des significations similaires sont proches les uns des autres, et la distance et la direction entre les vecteurs encodent le degré de similarité.

Le processus d’entraînement consiste à ajuster les paramètres du modèle de plongement pour minimiser la différence entre les mots prédits et les mots réels dans le contexte.

Voici un exemple simplifié de plongements lexicaux pour un très petit corpus (6 mots), où chaque mot est représenté sous la forme d’un vecteur à 3 dimensions :

    chat          [0.2, -0.4, 0.7]
    chien         [0.6, 0.1, 0.5]
    pomme      [0.8, -0.2, -0.3]
    orange    [0.7, -0.1, -0.6]
    content     [-0.5, 0.9, 0.2]
    triste         [0.4, -0.7, -0.5]

Dans cet exemple, chaque mot (par exemple, « chat », « chien », « pomme ») est associé à un vecteur unique. Les valeurs du vecteur représentent la position du mot dans un espace vectoriel tridimensionnel continu. Les mots ayant des significations ou des contextes similaires sont censés avoir des représentations vectorielles similaires. Par exemple, les vecteurs « chat » et « chien » sont proches, ce qui reflète leur relation sémantique. De même, les vecteurs « content » et « triste » ont des directions opposées, indiquant leurs significations contraires.

L’exemple ci-dessus est simplifié à l’extrême pour illustrer notre propos. Les plongements lexicaux réels utilisent généralement des centaines de dimensions pour capturer des relations et des nuances de sens plus complexes.

Les plongements lexicaux sont devenus un outil fondamental de le NLP, fournissant une base permettant de comprendre et de représenter le langage en s’alignant à la sémantique sous-jacente des mots et des phrases.

Vous trouverez ci-dessous quelques-uns des concepts et développements clés ayant fait des plongements lexicaux une technique puissante qui a permis de faire avancer le traitement automatique du langage naturel.

Les méthodes de plongement lexical basées sur la fréquence et sur la prédiction représentent deux grandes catégories d’approches en matière de plongements lexicaux. Ces méthodes diffèrent principalement par la manière dont elles génèrent les représentations vectorielles des mots.

Les plongements basés sur la fréquence désignent des représentations de mots dérivées de la fréquence d’apparition des mots dans un corpus. Ces plongements se basent sur l’idée que l’importance ou la signification d’un mot peut être déduite de la fréquence à laquelle il apparaît dans le texte.

Exemple de plongements basés sur la fréquence : Term Frequency-Inverse Document Frequency (TF-IDF). Le TF-IDF est conçu pour mettre en évidence les mots qui sont à la fois utilisés fréquemment dans un document spécifique et relativement rares dans l’ensemble du corpus, permettant d’identifier les termes significatifs pour un document particulier.

Le score TF-IDF d’un terme (mot) dans un document est calculé à l’aide de la formule suivante :

 TF-IDF (t,d,D) = TF(t,d) x IDF(t, D)

Les applications du TF-IDF comprennent la recherche d’information, le classement de documents, le résumé de texte et la fouille de textes.

Malgré la simplicité des plongements lexicaux basés sur la fréquence, faciles à comprendre, ils n’ont pas la profondeur des informations sémantiques et la prise en compte du contexte offertes par les plongements lexicaux plus avancés basés sur la prédiction.

Les plongements basés sur la prédiction sont des représentations de mots dérivées de modèles entraînés à prédire certains aspects du contexte d’un mot ou ses mots voisins. Contrairement aux plongements lexicaux basés sur la fréquence, qui se concentrent sur les statistiques d’occurrence des mots, les plongements lexicaux basés sur la prédiction capturent les relations sémantiques et les informations contextuelles, fournissant ainsi des représentations plus riches de la signification des mots.

Les plongements basés sur la prédiction différencient les synonymes et gèrent la polysémie (les diverses significations d’un même mot) plus efficacement. Les propriétés de l’espace vectoriel des plongements basés sur la prédiction permettent d’effectuer des tâches telles que la mesure de la similarité des mots et la résolution des analogies. Les plongements basés sur la prédiction sont également capables d’une généralisation efficace face à des mots ou contextes inconnus, ce qui renforce leurs capacités à traiter les termes qui ne font pas partie du vocabulaire.

Les méthodes basées sur la prédiction, comme dans les modèles Word2Vec et GloVe (abordés ci-dessous), ont pris le dessus dans le domaine des plongements lexicaux en raison de leur capacité à capturer des significations sémantiques riches et à bien généraliser pour diverses tâches de NLP.

Développé par une équipe de chercheurs chez Google, dont Tomas Mikolov, en 2013, Word2Vec (Word to Vector) est devenu une technique fondamentale pour l’apprentissage des plongements lexicaux dans les modèles de traitement automatique du langage naturel (NLP) et de machine learning.

Word2Vec se compose de deux modèles principaux pour la génération des représentations vectorielles : Continuous Bag of Words (CBOW) et Continuous Skip-gram.

Dans le contexte de Word2Vec, le modèle Continuous Bag of Words (CBOW) vise à prédire un mot cible en fonction des mots de contexte voisins dans une fenêtre donnée. Il utilise les mots de contexte pour prédire le mot cible, et les plongements appris capturent les relations sémantiques entre les mots.

Le modèle Continuous Skip-gram, quant à lui, prend un mot cible en entrée et vise à prédire les mots de contexte voisins.

En considérant une séquence de mots dans une phrase donnée, le modèle CBOW prend un nombre fixe de mots de contexte (mots entourant le mot cible) comme entrée. Chaque mot de contexte est représenté sous la forme d’un plongement (vecteur) dans une couche de plongement partagée. Ces plongements sont appris pendant le processus d’entraînement.

Les plongements de mots de contexte individuels sont agrégés, généralement en les additionnant ou en calculant leur moyenne. Cette représentation agrégée sert d’entrée à la couche suivante.

La représentation agrégée est ensuite utilisée pour prédire le mot cible à l’aide d’une fonction d’activation softmax. Le modèle est entraîné pour minimiser la différence entre la distribution de probabilité prédite sur le vocabulaire et la distribution réelle (représentation par encodage one-hot) du mot cible.

Le modèle CBOW est entraîné en ajustant les poids de la couche de plongement en fonction de sa capacité à prédire le mot cible avec précision.

Le modèle Continuous Skip-gram utilise des données d’apprentissage pour prédire les mots de contexte en fonction du plongement lexical du mot cible. Plus précisément, il génère en sortie une distribution de probabilités sur le vocabulaire, indiquant la probabilité que chaque mot se trouve dans le contexte en considérant le mot cible donné.

L’objectif d’entraînement est de maximiser la probabilité d’apparition des mots de contexte réels compte tenu du mot cible. Cela implique l’ajustement des poids de la couche de plongement pour minimiser la différence entre les probabilités prédites et la distribution réelle des mots de contexte. Ce modèle permet également d’utiliser une taille de fenêtre contextuelle flexible. Celle-ci peut être ajustée en fonction des exigences spécifiques de la tâche, permettant aux utilisateurs de capturer les relations de contexte locales et globales.

Le modèle Skip-gram consiste essentiellement à « faire des sauts » à partir du mot cible pour prédire son contexte, ce qui le rend particulièrement efficace pour capturer les similarités et les relations sémantiques entre les mots.

Les deux modèles utilisés par Word2Vec ont leurs propres avantages et limites. Le modèle Skip-gram fonctionne bien pour gérer de grandes quantités de données textuelles et représente bien les mots rares. Le modèle CBOW, en revanche, est plus rapide et offre de meilleures représentations pour les mots plus fréquents.

Côté limites, Word2Vec ne gère pas toujours efficacement la polysémie (quand un même mot a plusieurs significations). Le modèle peut faire la moyenne ou combiner les représentations des différents sens d’un mot polysémique. Word2Vec traite également les mots comme des unités atomiques et ne capture pas les informations des sous-mots.

Ces limitations ont motivé le développement de modèles plus avancés, tels que FastText, GloVe et les modèles basés sur Transformer (abordés ci-dessous), qui visent à combler certaines des lacunes de Word2Vec.

GloVe (Global Vectors for Word Representation) est un modèle de plongement lexical conçu pour capturer des informations statistiques globales sur les schémas de cooccurrence des mots dans un corpus.

Introduit par Jeffrey Pennington, Richard Socher et Christopher D. Manning en 2014, le modèle GloVe diffère de Word2Vec en ce sens qu’il se concentre sur l’utilisation d’informations globales plutôt que sur le contexte local uniquement.

GloVe repose sur l’idée que les statistiques globales de cooccurrence des mots dans l’ensemble du corpus sont essentielles pour capturer la sémantique des mots. Il prend en compte la fréquence de cooccurrence des mots dans l’ensemble du jeu de données plutôt que dans le contexte local des mots individuels.

Ce modèle vise à minimiser la différence entre les probabilités de cooccurrence prédites et les probabilités réelles dérivées des statistiques du corpus.

GloVe est plus efficace que d’autres méthodes en matière de calcul, car il s’appuie sur des statistiques globales et utilise des techniques de factorisation de matrices pour apprendre les vecteurs de mots. Ce modèle peut être entraîné sur de grands corpus sans nécessiter de ressources de calcul importantes.

GloVe introduit des poids scalaires pour les paires de mots afin de contrôler l’influence des différentes paires sur le processus d’apprentissage. Ces pondérations permettent d’atténuer l’impact des paires de mots très fréquentes ou rares sur les plongements appris.

Contrairement aux modèles Word2Vec (CBOW et Skip-gram), qui se concentrent sur la prédiction de mots de contexte en considérant un mot cible ou vice versa, GloVe utilise une approche différente qui consiste à optimiser les vecteurs de mots en fonction de leurs probabilités de cooccurrence. Ce processus d’entraînement est conçu pour faire apprendre au modèle des plongements qui capturent efficacement les relations sémantiques entre les mots.

La première étape consiste à construire une matrice de cooccurrence qui représente la fréquence à laquelle les mots apparaissent ensemble dans le corpus.

Il s’agit ensuite de formuler une fonction objective décrivant la relation entre les vecteurs de mots et leurs probabilités de cooccurrence.

La fonction objective est optimisée à l’aide d’un algorithme de descente de gradient ou d’autres algorithmes d’optimisation. L’objectif est d’ajuster les vecteurs de mots et les biais afin de minimiser la différence quadratique entre les probabilités de cooccurrence logarithmiques prédites et réelles.

Les utilisateurs peuvent télécharger des plongements GloVe préentraînés et les affiner pour des applications spécifiques, ou les utiliser directement.

Les plongements GloVe sont largement utilisés dans les tâches de NLP, telles que la classification de texte, l’analyse des sentiments, la traduction automatique, etc.

GloVe excelle lorsque la capture des relations sémantiques globales, la compréhension du contexte global des mots et l’utilisation des statistiques de cooccurrence sont essentielles au succès des tâches de traitement automatique du langage naturel.

Le succès des modèles Word2Vec et GloVe a inspiré de nouvelles recherches sur des modèles de représentation linguistique plus sophistiqués, tels que FastText, BERT et GPT. Ces modèles s’appuient sur les plongements de sous-mots, les mécanismes d’attention et les transformers pour gérer efficacement les plongements de dimensions supérieures.

Les plongements de sous-mots, tels que FastText, représentent les mots comme des combinaisons d’unités de sous-mots, ce qui offre une plus grande flexibilité et permet de traiter les mots rares ou hors du vocabulaire. Les plongements de sous-mots améliorent la robustesse et la couverture des plongements lexicaux.

Contrairement à GloVe, FastText traite chaque mot comme un élément composé de n-grammes de chaîne de caractères et non comme un mot entier. Cette caractéristique lui permet non seulement d’apprendre des mots rares, mais également des mots hors du vocabulaire.

Les mécanismes d’attention et les modèles Transformer prennent en compte les informations contextuelles et les relations bidirectionnelles entre les mots, ce qui conduit à des représentations linguistiques plus avancées.

Des mécanismes d’attention ont été introduits pour améliorer la capacité des réseaux neuronaux à se concentrer sur des parties spécifiques de la séquence d’entrée lors des prédictions. Au lieu de traiter toutes les parties de l’entrée de la même manière, les mécanismes d’attention permettent au modèle de s’intéresser de manière sélective aux parties pertinentes de l’entrée.

Les transformeurs sont devenus le pilier de divers modèles de pointe dans le traitement automatique du langage naturel, notamment BERT, GPT et T5 (Text-to-Text Transfer Transformer), entre autres. Ils excellent dans des tâches telles que la modélisation linguistique, la traduction automatique, la génération de texte et la réponse aux questions.

Les transformers utilisent un mécanisme d’auto-attention pour capturer les relations entre les différents mots d’une séquence. Avec ce mécanisme, chaque mot fait attention à tous les autres mots de la séquence, permettant de capturer des dépendances à longue distance.

Les transformers permettent une plus grande parallélisation pendant l’entraînement par rapport aux RNN et sont plus efficaces en termes de calcul.