Les chercheurs se demandent si l’intelligence artificielle est capable de raisonner, et ce débat s’est étendu à la linguistique informatique. Les chatbots et les modèles d’apprentissage profond peuvent-ils uniquement traiter des formes linguistiques ou peuvent-ils comprendre la sémantique ?² Quoi que l’on pense à ce sujet, il n’en demeure pas moins que les modèles d’apprentissage automatique doivent être entraînés pour reconnaître différents mots comme des variantes morphologiques d’un mot de base. Et même traiter les mots en fonction de la morphologie et non de la sémantique. En réduisant les formes dérivatives à un seul mot racine, la racinisation et la lemmatisation aident les systèmes de recherche d’informations et les modèles d’apprentissage profond à assimiler les mots morphologiquement apparentés.

Pour de nombreuses tâches d’exploration de texte, notamment la classification de texte, le clustering, l’indexation, etc., la racinisation et la lemmatisation permettent d’améliorer la précision en réduisant la dimensionnalité des algorithmes de machine learning et en regroupant les mots morphologiquement liés. La réduction de la dimensionnalité des algorithmes peut, à son tour, améliorer l’exactitude et la précision des modèles statistiques dans le NLP, tels que les modèles thématiques et les modèles vecteurs de mots.³

La racinisation et la lemmatisation font partie d’une même étape des pipelines d’exploration de texte qui consiste à structurer les données textuelles brutes à des fins de traitement automatique. La racinisation et la lemmatisation suppriment toutes deux les affixes des formes dérivées des mots, ne laissant qu’une forme racine.⁴ Ces processus reviennent à supprimer des caractères au début et à la fin des mots. Les racines qui en résultent, ou mots de base, sont ensuite transmises pour poursuivre le traitement. Au-delà de cette similitude de base, la racinisation et la lemmatisation présentent des différences essentielles dans la manière dont elles réduisent les différentes formes d’un mot à une forme de base commune.

Les algorithmes de racinisation diffèrent considérablement, bien qu’ils partagent certains modes de fonctionnement généraux. Les algorithmes de racinisation, ou stemmers, éliminent les suffixes des mots en comparant les jetons de mots en entrée à une liste prédéfinie de suffixes courants. Le stemmer supprime ensuite toutes les chaînes de suffixes trouvées dans le mot, à condition que ce dernier ne contrevienne à aucune règle ou condition associée à ce suffixe. Certains stemmers (par exemple, le stemmer de Lovins) soumettent les fragments obtenus après la racinisation à un ensemble de règles supplémentaires pour corriger les racines mal formées.

L’algorithme le plus largement utilisé est l’algorithme de racinisation de Porter et sa version mise à jour, le stemmer Snowball. Pour mieux comprendre la racinisation, nous pouvons soumettre le passage suivant de l’œuvre Hamlet de Shakespeare au stemmer Snowball : « There is nothing either good or bad but thinking makes it so. »

La boîte à outils Python pour le langage naturel (NLTK) contient des fonctions intégrées pour les stemmers Snowball et Porter. Après avoir jetonisé la citation de Hamlet à l’aide de NLTK, nous pouvons passer le texte jetonisé par le stemmer Snowball à l’aide du code suivant :

from nltk.stem.snowball import SnowballStemmer
from nltk.tokenize import word_tokenize

stemmer = SnowballStemmer("english", True)
text = "There is nothing either good or bad but thinking makes it so."
words = word_tokenize(text)
stemmed_words = [stemmer.stem(word) for word in words]

print("Original:", text)
print("Tokenized:", words)
print("Stemmed:", stemmed_words)

Le code génère :

Original: There is nothing either good or bad but thinking makes it so.
Tokenized: [’There’, ’is’, ’nothing’, ’either’, ’good’, ’or’, ’bad’, ’but’, ’thinking’, ’makes’, ’it’, ’so’, ’.’]
Stemmed: [’there’, ’is’, ’noth’, ’either’, ’good’, ’or’, ’bad’, ’but’, ’think’, ’make’, ’it’, ’so’, ’.’]

Les algorithmes Snowball et Porter ont une méthode d’élimination des suffixes plus mathématique que les autres algorithmes. En résumé, le stemmer compare chaque jeton de mot à une liste de règles spécifiant des chaînes de suffixes à supprimer en fonction du nombre de groupes de voyelles et de consonances dans un jeton.⁵ Bien sûr, comme la langue anglaise suit des règles lexicales générales, mais pas absolues, le critère systématique de l’algorithme de racinisation renvoie des erreurs, telles que noth.

Le radical enlève -ing, qui est une terminaison courante indiquant le présent progressif. Dans la citation de Hamlet , cependant, la suppression de -ing produit de manière erronée la racine noth. Cela peut empêcher l’analyse linguistique ultérieure d’associer nothing à des mots similaires, tels que anything et something. De plus, le stemmer ne change rien au verbe irrégulier is. De même, le stemmer Snowball laisse d’autres conjugaisons de to be, telles que was et are, sans les raciniser. Cela peut empêcher les modèles d’associer correctement les conjugaisons irrégulières d’un verbe donné.

La littérature définit généralement la racinisation comme le processus de suppression des affixes des mots afin d’obtenir des chaînes de mots racines, et la lemmatisation comme l’entreprise plus large de réduction des variantes morphologiques à une forme de base du dictionnaire.⁶ La distinction pratique entre la racinisation et la lemmatisation est que, lorsque la racinisation supprime simplement les suffixes courants de la fin des jetons de mot, la lemmatisation garantit que le mot en sortie est une forme normalisée existante du mot (par exemple, lemme) que l’on peut trouver dans le dictionnaire.⁷

Comme la lemmatisation vise à produire des formes de base de dictionnaire, elle nécessite une analyse morphologique plus robuste que la racinisation. Le marquage des parties du discours (Part of speech, POS) est une étape cruciale de la lemmatisation. Il s’agit essentiellement d’attribuer à chaque mot un marqueur indiquant sa fonction syntaxique dans la phrase. Python NLTK comporte une fonction destinée à l’algorithme WordNet Lemmatizer permettant de lemmatiser le passage de Hamlet :

from nltk.stem import WordNetLemmatizer
from nltk.corpus import wordnet
from nltk import word_tokenize, pos_tag
 
def get_wordnet_pos(tag):
    if tag.startswith(’J’):
        return wordnet.ADJ
    elif tag.startswith(’V’):
        return wordnet.VERB
    elif tag.startswith(’N’):
        return wordnet.NOUN
    elif tag.startswith(’R’):
        return wordnet.ADV
    else:         
        return wordnet.NOUN
       
def lemmatize_passage(text):
    words = word_tokenize(text)
    pos_tags = pos_tag(words)
    lemmatizer = WordNetLemmatizer()
    lemmatized_words = [lemmatizer.lemmatize(word, get_wordnet_pos(tag)) for word, tag in pos_tags]
    lemmatized_sentence = ’ ’.join(lemmatized_words)
    return lemmatized_sentence
 
text = "There is nothing either good or bad but thinking makes it so."
result = lemmatize_passage(text)
 
print("Original:", text)
print("Tokenized:", word_tokenize(text))
print("Lemmatized:", result)

Le code renvoie :

Original: There is nothing either good or bad but thinking makes it so.
Tokenized: [’There’, ’is’, ’nothing’, ’either’, ’good’, ’or’, ’bad’, ’but’, ’thinking’, ’makes’, ’it’, ’so’, ’.’]
Lemmatized: There be nothing either good or bad but think make it so .

WordNet Lemmatizer, tout comme l’algorithme de racinisation Snowball, réduit les conjugaisons de verbes à des formes de base, par exemple thinking donnerait think et makes donnerait make. Cependant, contrairement à l’algorithme de dérivation Snowball, WordNet Lemmatizer identifie nothing comme un nom et laisse sa terminaison -ing inchangée tout en modifiant is pour retrouver sa forme de base be. De cette manière, WordNet Lemmatizer fusionne de manière plus appropriée les formes verbales irrégulières.

La racinisation et la lemmatisation permettent principalement de normaliser les données textuelles en langue anglaise. Ces deux techniques de normalisation de texte prennent également en charge plusieurs autres langues utilisant l’alphabet latin, telles que le français, l’allemand et l’espagnol. D’autres alphabets, comme le russe, sont également pris en charge par l’algorithme Snowball. Le développement d’algorithmes de racinisation et de lemmatisation pour d’autres langues, notamment l’arabe, est un domaine de recherche récent et en cours. L’arabe représente un défi particulier en raison de sa morphologie agglutinante, de ses variations orthographiques et de son ambiguïté lexicale, entre autres particularités.⁸ Dans l’ensemble, ces éléments posent problème à une méthode systématique d’identification des formes de mots de base parmi les variantes morphologiques, du moins par rapport aux mots anglais.

Au-delà de cette limitation générale, la racinisation et la lemmatisation présentent chacune des inconvénients. Comme l’illustre l’exemple de Hamlet, la racinisation est un processus relativement heuristique, basé sur des règles, de suppression de chaînes de caractères. La sur-racinisation et la sous-racinisation sont deux erreurs courantes. Dans le premier cas, deux mots sémantiquement distincts sont réduits à la même racine (par exemple, news à new) ; dans le second, deux mots sémantiquement apparentés ne sont pas réduits à la même racine (par exemple, knavish et knave qui donnent respectivement knavish et knave).⁹ En outre, la racinisation ne supprime que les suffixes des mots et ne peut donc pas prendre en compte les formes verbales irrégulières ou les préfixes comme le fait la lemmatisation. Bien sûr, la racinisation est relativement simple et directe à mettre en œuvre, tandis que la lemmatisation peut être plus coûteuse et plus chronophage en termes de calculs selon la taille des données traitées.