L'elaborazione del linguaggio naturale, o NLP (Natural Language Processing), combina la linguistica computazionale – modellazione del linguaggio umano basata su regole – con modelli statistici e di machine learning per consentire a computer e dispositivi digitali di riconoscere, comprendere e generare testo e parlato.
Come branca dell'intelligenza artificiale (AI), l'NLP è al centro delle applicazioni e dei dispositivi che possono
- tradurre il testo da una lingua a un'altra
- rispondere ai comandi digitati o parlati
- riconoscere o autenticare gli utenti in base alla voce
- riepilogare grandi volumi di testo
- valutare l'intenzione o il sentimento del testo o del parlato
- generare testo o grafica o altri contenuti su richiesta
spesso in tempo reale. Oggi, la maggior parte delle persone ha interagito con l'NLP sotto forma di sistemi GPS operativi a voce, assistenti digitali, software di dettatura Speech to Text, customer service chatbot e altre comodità dei consumatori. Ma l'NLP svolge anche un ruolo crescente nelle soluzioni aziendali che aiutano a semplificare e automatizzare le operazioni aziendali, aumentare la produttività dei dipendenti e semplificare i processi aziendali mission-critical.
Utilizza questo framework di selezione del modello per scegliere il modello più appropriato bilanciando i requisiti di prestazioni con costi, rischi ed esigenze di implementazione.
Registrati per il white paper sulla governance dell'AI
Il linguaggio umano è pieno di ambiguità che rendono incredibilmente difficile scrivere software in grado di determinare con precisione il significato previsto del testo o dei dati vocali. Omonimi, omofoni, sarcasmo, espressioni idiomatiche, metafore, eccezioni grammaticali e d'uso, variazioni nella struttura delle frasi: queste sono solo alcune delle irregolarità del linguaggio umano che gli esseri umani impiegano anni per imparare, ma che i programmatori devono insegnare alle applicazioni basate sul linguaggio naturale a riconoscere e comprendere accuratamente fin dall'inizio, se vogliono che tali applicazioni siano utili.
Diverse attività NLP suddividono i dati di testo e vocali umani in modi che aiutano il computer a dare un senso a ciò che viene inserito. Alcune di queste attività includono quanto segue:
- Il riconoscimento vocale, chiamato anche Speech to Text, è il compito di convertire in modo affidabile i dati vocali in dati di testo. Il riconoscimento vocale è necessario per qualsiasi applicazione che segua i comandi vocali o risponda a domande parlate. Ciò che rende particolarmente impegnativo il riconoscimento vocale è il modo in cui le persone parlano: velocemente, biascicando le parole, con enfasi e intonazione diverse, con accenti diversi e spesso usando una grammatica scorretta.
- L'etichettatura delle parti del discorso, chiamata anche tagging grammaticale, è il processo di determinazione della parte del discorso di una particolare parola o pezzo di testo in base al suo uso e al contesto. Parte del discorso identifica "accusa" come verbo in "Lo accusa del crimine" e come sostantivo in "È un'accusa infondata".
- La disambiguazione del senso delle parole è la selezione del significato di una parola con significati multipli attraverso un processo di analisi semantica che determina la parola che ha più senso nel contesto dato. Ad esempio, la disambiguazione del senso della parola aiuta a distinguere il significato del verbo "sbarrare" in "sbarrare gli occhi" (aprire) rispetto a "sbarrare la porta" (chiudere).
- Il riconoscimento di entità denominate, o NEM (Named Entity Recognition), identifica parole o frasi come entità utili. Il NEM identifica "Kentucky" come posizione o "Fred" come nome di uomo.
- La risoluzione delle coreferenze consiste nell'identificare se e quando due parole si riferiscono alla stessa entità. L'esempio più comune è quello di determinare la persona o l'oggetto a cui si riferisce un determinato pronome (ad es. "lei" = "Mary"), ma può anche comportare l'identificazione di una metafora o di un modo di dire nel testo (ad es. un caso in cui l'orso non è un animale, ma una grande persona pelosa).
- L'analisi del sentiment tenta di estrarre qualità soggettive (atteggiamenti, emozioni, sarcasmo, confusione, sospetto) dal testo.
- La generazione del linguaggio naturale viene talvolta descritta come l'opposto del riconoscimento vocale o Speech to Text; si tratta di inserire informazioni strutturate nel linguaggio umano.
Consulta il post sul blog "NLP vs. NLU vs. NLG: le differenze tra tre concetti di elaborazione del linguaggio naturale" per uno sguardo più approfondito su come questi concetti si relazionano.
Il nuovissimo studio aziendale che riunisce il machine learning tradizionale e le nuove funzionalità di AI generativa basate su foundation model.
Python and il Natural Language Toolkit (NLTK)
Il linguaggio di programmazione Python offre una vasta gamma di strumenti e librerie per affrontare specifiche attività NLP. Molti di questi si trovano nel Natural Language Toolkit, o NLTK, una raccolta open source di librerie, programmi e risorse di formazione per la creazione di programmi NLP.
Il NLTK include librerie per molte delle attività NLP elencate sopra, oltre a librerie per attività secondarie, come l'analisi delle frasi, la segmentazione delle parole, lo stemming e la lemmatizzazione (metodi per ridurre le parole alle loro radici) e la tokenizzazione (per suddividere frasi, periodi, paragrafi e passaggi in token che aiutano il computer a comprendere meglio il testo). Include anche librerie per implementare funzionalità come il ragionamento semantico, la capacità di raggiungere conclusioni logiche basate su fatti estratti dal testo.
NLP statistico, machine learning e deep learning
Le prime applicazioni NLP erano sistemi codificati a mano, basati su regole, in grado di eseguire determinate attività NLP, ma non potevano facilmente scalare per adattarsi a un flusso apparentemente infinito di eccezioni o ai crescenti volumi di dati testuali e vocali.
Dopodiché è arrivato l'NLP statistico, che combina algoritmi informatici con il machine learning e modelli di deep learning per estrarre, classificare ed etichettare automaticamente elementi di testo e dati vocali, e quindi assegnare una probabilità statistica a ogni possibile significato di tali elementi. Oggi, i modelli di deep learning e le tecniche di apprendimento basati su reti neurali convoluzionali (CNN) e reti neurali ricorrenti (RNN) consentono ai sistemi NLP di "imparare" mentre funzionano ed estraggono significati sempre più accurati da enormi volumi di testo grezzo, non strutturato e non etichettato e da serie di dati vocali.
Per un'analisi più approfondita delle sfumature tra queste tecnologie e i loro approcci di apprendimento, vedi "Confronto tra AI, machine learning, deep learning e reti neurali: qual è la differenza?"
L'elaborazione del linguaggio naturale è la forza trainante dell'intelligenza artificiale in molte applicazioni moderne del mondo reale. Ecco alcuni esempi:
- Rilevamento dello spam: potresti non pensare al rilevamento dello spam come a una soluzione NLP, ma le migliori tecnologie di rilevamento dello spam utilizzano le funzionalità di classificazione del testo dell'NLP per scansionare le e-mail alla ricerca di una lingua che spesso indica spam o phishing. Questi indicatori possono includere un uso eccessivo di termini finanziari, una cattiva grammatica caratteristica, un linguaggio minaccioso, un'urgenza inappropriata, nomi di società errati e altro ancora. Il rilevamento dello spam è uno dei pochi problemi di NLP che gli esperti considerano "per lo più risolti" (anche se potresti obiettare che questo non corrisponde alla tua esperienza con le e-mail).
- Traduzione automatica: Google Translate è un esempio di tecnologia NLP ampiamente disponibile al lavoro. Una traduzione automatica veramente utile non si limita a sostituire le parole di una lingua con parole di un'altra. Una traduzione efficace deve acquisire con precisione il significato e il tono del linguaggio di input e tradurlo in testo con lo stesso significato e l'impatto desiderato nel linguaggio di output. Gli strumenti di traduzione automatica stanno facendo buoni progressi in termini di accuratezza. Un ottimo modo per testare qualsiasi strumento di traduzione automatica è tradurre il testo in una lingua e poi tornare all'originale. Un esempio classico spesso citato: non molto tempo fa, tradurre "Lo spirito è volenteroso ma la carne è debole" dall'inglese al russo e viceversa dava "La vodka è buona ma la carne è marcia". Oggi, il risultato è "Lo spirito desidera, ma la carne è debole", che non è perfetto, ma che ispira molta più fiducia nella traduzione dall'inglese al russo.
- Agenti virtuali e chatbot: agenti virtuali come Siri di Apple e Alexa di Amazon utilizzano il riconoscimento vocale per riconoscere gli schemi nei comandi vocali e la generazione di linguaggio naturale per rispondere con azioni adeguate o commenti utili. I chatbot eseguono la stessa magia in risposta alle voci di testo digitate. I migliori imparano anche a riconoscere gli indizi contestuali delle richieste umane e li utilizzano per fornire risposte o opzioni sempre migliori nel tempo. Il prossimo miglioramento di queste applicazioni è la risposta alle domande, la capacità di rispondere alle nostre domande, anticipate o meno, con risposte pertinenti e utili con parole proprie.
- Analisi del sentiment dei social media: l'NLP è diventato uno strumento aziendale essenziale per scoprire insight nascosti dai canali dei social media. L'analisi del sentiment può analizzare la lingua utilizzata nei post, nelle risposte, nelle recensioni e altro ancora sui social media per estrarre atteggiamenti ed emozioni in risposta a prodotti, promozioni ed eventi: informazioni che le aziende possono utilizzare nella progettazione di prodotti, campagne pubblicitarie e altro ancora.
- Riassunto del testo: il riassunto del testo utilizza tecniche di NLP per digerire enormi volumi di testo digitale e creare riassunti e sinossi per indici, database di ricerca o lettori impegnati che non hanno tempo per leggere il testo completo. Le migliori applicazioni di riassunto del testo utilizzano il ragionamento semantico e la generazione di linguaggio naturale (NLG) per aggiungere contesto e conclusioni utili ai riassunti.
Accelera il valore aziendale dell'intelligenza artificiale con un portfolio potente e flessibile di librerie, servizi e applicazioni.
Integra il potente linguaggio naturale AI nelle applicazioni commerciali con una libreria containerizzata progettata per offrire maggiore flessibilità ai partner IBM.
Impara i concetti fondamentali dell'AI e dell'AI generativa, tra cui il prompt engineering, i modelli linguistici di grandi dimensioni e i migliori progetti open source.
Scopri i diversi casi d'uso dell'NLP in questa guida sull'NLP.
Visita il sito web di IBM Developer per accedere a blog, articoli, newsletter e altro ancora. Diventa un partner IBM e integra l'AI incorporabile di IBM Watson nelle tue soluzioni commerciali oggi stesso. BM Watson NLP Library for Embed nelle tue soluzioni.
Guarda Rob Thomas, Data & AI GM di IBM, mentre ospita clienti ed esperti di NLP, mostrando come le tecnologie NLP stiano ottimizzando le aziende in tutti i settori.
Le considerazioni etiche sull'IA non sono mai state così fondamentali come oggi.
IBM ha lanciato un nuovo toolkit open source, PrimeQA, per stimolare i progressi nei sistemi di risposta alle domande multilingue e rendere più facile per chiunque trovare rapidamente informazioni sul web.