L'elaborazione del linguaggio naturale, o NLP (Natural Language Processing), combina la linguistica computazionale – modellazione del linguaggio umano basata su regole – con modelli statistici e di machine learning per consentire a computer e dispositivi digitali di riconoscere, comprendere e generare testo e parlato.
Come branca dell'intelligenza artificiale (AI), l'NLP è al centro delle applicazioni e dei dispositivi che possono
spesso in tempo reale. Oggi, la maggior parte delle persone ha interagito con l'NLP sotto forma di sistemi GPS operativi a voce, assistenti digitali, software di dettatura Speech to Text, customer service chatbot e altre comodità dei consumatori. Ma l'NLP svolge anche un ruolo crescente nelle soluzioni aziendali che aiutano a semplificare e automatizzare le operazioni aziendali, aumentare la produttività dei dipendenti e semplificare i processi aziendali mission-critical.
Utilizza questo framework di selezione del modello per scegliere il modello più appropriato bilanciando i requisiti di prestazioni con costi, rischi ed esigenze di implementazione.
Registrati per il white paper sulla governance dell'AI
Il linguaggio umano è pieno di ambiguità che rendono incredibilmente difficile scrivere software in grado di determinare con precisione il significato previsto del testo o dei dati vocali. Omonimi, omofoni, sarcasmo, espressioni idiomatiche, metafore, eccezioni grammaticali e d'uso, variazioni nella struttura delle frasi: queste sono solo alcune delle irregolarità del linguaggio umano che gli esseri umani impiegano anni per imparare, ma che i programmatori devono insegnare alle applicazioni basate sul linguaggio naturale a riconoscere e comprendere accuratamente fin dall'inizio, se vogliono che tali applicazioni siano utili.
Diverse attività NLP suddividono i dati di testo e vocali umani in modi che aiutano il computer a dare un senso a ciò che viene inserito. Alcune di queste attività includono quanto segue:
Consulta il post sul blog "NLP vs. NLU vs. NLG: le differenze tra tre concetti di elaborazione del linguaggio naturale" per uno sguardo più approfondito su come questi concetti si relazionano.
Il nuovissimo studio aziendale che riunisce il machine learning tradizionale e le nuove funzionalità di AI generativa basate su foundation model.
Il linguaggio di programmazione Python offre una vasta gamma di strumenti e librerie per affrontare specifiche attività NLP. Molti di questi si trovano nel Natural Language Toolkit, o NLTK, una raccolta open source di librerie, programmi e risorse di formazione per la creazione di programmi NLP.
Il NLTK include librerie per molte delle attività NLP elencate sopra, oltre a librerie per attività secondarie, come l'analisi delle frasi, la segmentazione delle parole, lo stemming e la lemmatizzazione (metodi per ridurre le parole alle loro radici) e la tokenizzazione (per suddividere frasi, periodi, paragrafi e passaggi in token che aiutano il computer a comprendere meglio il testo). Include anche librerie per implementare funzionalità come il ragionamento semantico, la capacità di raggiungere conclusioni logiche basate su fatti estratti dal testo.
Le prime applicazioni NLP erano sistemi codificati a mano, basati su regole, in grado di eseguire determinate attività NLP, ma non potevano facilmente scalare per adattarsi a un flusso apparentemente infinito di eccezioni o ai crescenti volumi di dati testuali e vocali.
Dopodiché è arrivato l'NLP statistico, che combina algoritmi informatici con il machine learning e modelli di deep learning per estrarre, classificare ed etichettare automaticamente elementi di testo e dati vocali, e quindi assegnare una probabilità statistica a ogni possibile significato di tali elementi. Oggi, i modelli di deep learning e le tecniche di apprendimento basati su reti neurali convoluzionali (CNN) e reti neurali ricorrenti (RNN) consentono ai sistemi NLP di "imparare" mentre funzionano ed estraggono significati sempre più accurati da enormi volumi di testo grezzo, non strutturato e non etichettato e da serie di dati vocali.
Per un'analisi più approfondita delle sfumature tra queste tecnologie e i loro approcci di apprendimento, vedi "Confronto tra AI, machine learning, deep learning e reti neurali: qual è la differenza?"
L'elaborazione del linguaggio naturale è la forza trainante dell'intelligenza artificiale in molte applicazioni moderne del mondo reale. Ecco alcuni esempi:
Accelera il valore aziendale dell'intelligenza artificiale con un portfolio potente e flessibile di librerie, servizi e applicazioni.
Integra il potente linguaggio naturale AI nelle applicazioni commerciali con una libreria containerizzata progettata per offrire maggiore flessibilità ai partner IBM.
Impara i concetti fondamentali dell'AI e dell'AI generativa, tra cui il prompt engineering, i modelli linguistici di grandi dimensioni e i migliori progetti open source.
Scopri i diversi casi d'uso dell'NLP in questa guida sull'NLP.
Visita il sito web di IBM Developer per accedere a blog, articoli, newsletter e altro ancora. Diventa un partner IBM e integra l'AI incorporabile di IBM Watson nelle tue soluzioni commerciali oggi stesso. BM Watson NLP Library for Embed nelle tue soluzioni.
Guarda Rob Thomas, Data & AI GM di IBM, mentre ospita clienti ed esperti di NLP, mostrando come le tecnologie NLP stiano ottimizzando le aziende in tutti i settori.
Le considerazioni etiche sull'IA non sono mai state così fondamentali come oggi.
IBM ha lanciato un nuovo toolkit open source, PrimeQA, per stimolare i progressi nei sistemi di risposta alle domande multilingue e rendere più facile per chiunque trovare rapidamente informazioni sul web.