Aktualisiert: 6. Juni 2024
Mitwirkender: Jim Holdsworth
Verarbeitung natürlicher Sprache (Natural Language Processing, NLP) ist ein Teilgebiet der Informatik und künstlichen Intelligenz (KI), das maschinelles Lernen nutzt, damit Computer die menschliche Sprache verstehen und mit ihr kommunizieren können.
NLP ermöglicht es Computern und digitalen Geräten, Text und Sprache zu erkennen, zu verstehen und zu generieren, indem Computerlinguistik – die regelbasierte Modellierung der menschlichen Sprache – mit statistischer Modellierung, maschinellem Lernen (ML) und Deep Learning kombiniert wird.
Die NLP-Forschung hat das Zeitalter der generativen KI ermöglicht, von den Kommunikationsfähigkeiten großer Sprachmodelle (Large Language Models, LLMs) bis hin zur Fähigkeit von Bildgenerierungsmodellen, Anfragen zu verstehen. NLP gehört für viele bereits zum Alltag. Es unterstützt Suchmaschinen und wird beim Prompting von Chatbots für den Kundenservice mit gesprochenen Befehlen verwendet, für sprachgesteuerte GPS-Systeme und digitale Assistenten auf Smartphones verwendet.
Auch in Unternehmenslösungen, die dabei helfen, Geschäftsabläufe zu rationalisieren und zu automatisieren, die Produktivität der Mitarbeiter zu steigern und unternehmenskritische Geschäftsprozesse zu vereinfachen, spielt NLP eine immer größere Rolle.
Nutzen Sie dieses Framework zur Modellauswahl, um das am besten geeignete Modell auszuwählen und dabei Ihre Leistungsanforderungen mit den Kosten, Risiken und Bereitstellungsanforderungen in Einklang zu bringen.
Registrieren Sie sich für das Whitepaper über KI-Governance
Ein System zur Verarbeitung natürlicher Sprache kann schnell und effizient arbeiten: Nachdem die NLP-Modelle ordnungsgemäß trainiert wurden, kann es administrative Aufgaben übernehmen, wodurch Mitarbeiter mehr Zeit für produktivere Arbeit haben. Folgende Vorteile sind möglich:
Schnellere Aufdeckung von Erkenntnissen: Unternehmen können verborgene Muster, Trends und Beziehungen zwischen verschiedenen Inhalten finden. Die Abfrage von Textdaten unterstützt umfassendere Erkenntnisse und Analysen, die eine fundiertere Entscheidungsfindung ermöglichen und neue Geschäftsideen zutage fördern.
Größere Budgeteinsparungen: Angesichts der enormen Menge an unstrukturierten Textdaten kann NLP verwendet werden, um die Erfassung, Verarbeitung und Organisation von Informationen mit weniger manuellem Aufwand zu automatisieren.
Schneller Zugriff auf Unternehmensdaten: Ein Unternehmen kann eine Wissensdatenbank mit betrieblichen Informationen aufbauen, die über die KI-Suche effizient abgerufen werden können. Vertriebsmitarbeitern kann NLP helfen, schnell relevante Informationen zu finden, um den Kundenservice zu verbessern und Verkäufe abzuschließen.
NLP-Modelle sind nicht perfekt und werden es wahrscheinlich auch nie sein, genauso wie die menschliche Sprache anfällig für Fehler ist. Risiken können Folgendes umfassen:
Verzerrtes Training: Wie bei jeder KI-Funktion führen verzerrte Daten, die beim Training verwendet werden, zu einer Verzerrung der Antworten. Je vielfältiger die Nutzer einer NLP-Funktion sind, desto bedeutender wird dieses Risiko, z. B. bei Regierungsdiensten, im Gesundheitswesen und bei Interaktionen im Personalwesen. Trainingsdatensätze aus dem Internet sind beispielsweise anfällig für Verzerrungen.
Fehlinterpretation: Wie bei der Programmierung besteht das Risiko von Garbage In, Garbage Out (GIGO, wörtlich übersetzt „Müll rein, Müll raus“), d. h. die Qualität der Eingabe bestimmt die Qualität der Ausgabe. NLP-Lösungen können verwirrt werden, wenn die gesprochene Eingabe in einem obskuren Dialekt, genuschelt, zu sehr mit Slang, Homonymen, falscher Grammatik, Idiomen, Fragmenten, falscher Aussprache, Kontraktionen oder mit zu viel Hintergrundgeräuschen aufgezeichnet wurde.
Neues Vokabular: Es werden ständig neue Wörter erfunden oder importiert. Die Konventionen der Grammatik können sich weiterentwickeln oder absichtlich missachtet werden. In diesen Fällen kann NLP entweder eine Vermutung anstellen oder zugeben, dass es unsicher ist – so oder so führt dies zu einer Komplikation.
Tonfall: Wenn Menschen sprechen, kann ihre verbale Ausdrucksweise oder sogar ihre Körpersprache eine ganz andere Bedeutung haben als die Worte allein. Übertreibungen für einen bestimmten Effekt, die Betonung von Wörtern zur Darstellung ihrer Bedeutung oder Sarkasmus können von NLP missverstanden werden, was die semantische Analyse erschwert und weniger zuverlässig macht.
Die menschliche Sprache ist voller Mehrdeutigkeiten, die es Programmierern unglaublich schwierig machen, Software zu schreiben, die die beabsichtigte Bedeutung von Text- oder Sprachdaten genau bestimmt. Es kann Jahre dauern, bis Menschen die menschliche Sprache lernen – und viele hören nie auf zu lernen. Aber dann müssen die Programmierer den auf natürlicher Sprache basierenden Anwendungen beibringen, Unregelmäßigkeiten zu erkennen und zu verstehen, damit ihre Anwendungen genau und sinnvoll eingesetzt werden können.
NLP kombiniert die Leistungsfähigkeit der Computerlinguistik mit Algorithmen des maschinellen Lernens und Deep Learning. Computerlinguistik ist ein Fachbereich der Linguistik, der Datenwissenschaft zur Analyse von Sprache und Gesprochenem einsetzt. Sie umfasst zwei Hauptarten der Analyse: die syntaktische Analyse und die semantische Analyse. Die syntaktische Analyse bestimmt die Bedeutung eines Wortes, einer Phrase oder eines Satzes, indem sie die Syntax der Wörter analysiert und die vorprogrammierten Regeln der Grammatik anwendet. Die semantische Analyse verwendet die syntaktische Ausgabe, um die Bedeutung der Wörter zu ermitteln und ihre Bedeutung innerhalb der Satzstruktur zu interpretieren.
Das Parsen von Wörtern kann auf zwei Arten erfolgen. Beim Dependency Parsing werden die Beziehungen zwischen den Wörtern untersucht, z. B. die Identifizierung von Substantiven und Verben, während beim Constituency Parsing ein Parse-Baum (oder Syntaxbaum) erstellt wird: eine verwurzelte und geordnete Darstellung der syntaktischen Struktur des Satzes oder der Wortfolge. Die daraus resultierenden Parse-Bäume bilden die Grundlage für die Funktionen von Language Translators und Spracherkennung. Im Idealfall macht diese Analyse die Ausgabe – entweder Text oder Sprache – sowohl für NLP-Modelle als auch für Menschen verständlich.
Insbesondere selbstüberwachtes Lernen (Self-supervised Learning, SSL) ist zur Unterstützung von NLP nützlich, da NLP große Mengen an gekennzeichneten Daten benötigt, um modernste Modelle der künstlichen Intelligenz (KI) zu trainieren. Da diese gekennzeichneten Datensätze eine zeitaufwändige Annotation erfordern – ein Prozess, der die manuelle Kennzeichnung durch Menschen beinhaltet – kann es äußerst schwierig sein, genügend Daten zu sammeln. Selbstüberwachte Ansätze können zeit- und kosteneffizienter sein, da sie das manuelle Kennzeichnen von Trainingsdaten teilweise oder vollständig ersetzen.
Zu den drei verschiedenen NLP-Ansätzen gehören:
Regelbasiertes NLP: Die ersten NLP-Anwendungen waren einfache Wenn-Dann-Decision-Trees, für die man vorprogrammierte Regeln benötigte. Sie sind nur in der Lage, Antworten auf bestimmte Prompts zu geben, wie zum Beispiel die Originalversion von Moviefone. Da es im regelbasierten NLP weder maschinelles Lernen noch KI-Fähigkeiten gibt, ist diese Funktion stark eingeschränkt und nicht skalierbar.
Statistisches NLP: Das später entwickelte statistische NLP extrahiert, klassifiziert und kennzeichnet automatisch Elemente von Text- und Sprachdaten und weist dann jeder möglichen Bedeutung dieser Elemente eine statistische Wahrscheinlichkeit zu. Dies beruht auf maschinellem Lernen und ermöglicht eine ausgeklügelte Aufschlüsselung der Linguistik, wie z. B. Part-of-Speech-Tagging.
Statistisches NLP führte die wesentliche Technik ein, Sprachelemente – wie Wörter und grammatikalische Regeln – auf einer Vektordarstellung abzubilden, sodass Sprache mithilfe mathematischer (statistischer) Methoden, einschließlich Regression oder Markov-Modellen, modelliert werden kann. Dies beeinflusste frühe NLP-Entwicklungen wie Rechtschreibprüfungen und T9-Textnachrichten (Text auf 9 Tasten, zur Verwendung auf Tonwahltelefonen).
Deep Learning NLP: In letzter Zeit haben sich Deep-Learning-Modelle zur vorherrschenden Methode des NLP entwickelt, indem sie riesige Mengen an unstrukturierten Rohdaten – sowohl Text als auch Sprache – nutzen, um immer genauer zu werden. Deep Learning kann als eine Weiterentwicklung des statistischen NLP betrachtet werden, mit dem Unterschied, dass es neuronale Netzmodelle verwendet. Es gibt mehrere Unterkategorien von Modellen:
Weitere Informationen zu den Nuancen zwischen verschiedenen Technologien und ihren Lernansätzen finden Sie unter „KI vs. maschinelles Lernen vs. Deep Learning vs. neuronale Netze: Was ist der Unterschied?“
Verschiedene NLP-Aufgaben helfen typischerweise dabei, menschliche Text- und Sprachdaten so zu verarbeiten, dass der Computer das, was er aufnimmt, verstehen kann. Einige dieser Aufgaben umfassen:
Linguistische Aufgaben
Benutzerunterstützende Aufgaben
Im Blogbeitrag „NLP vs. NLU vs. NLG: die Unterschiede zwischen drei Konzepten der Verarbeitung natürlicher Sprache“ erfahren Sie mehr über den Zusammenhang zwischen diesen Konzepten.
Das völlig neue Enterprise Studio verbindet traditionelles maschinelles Lernen mit neuen, auf Foundation Models basierenden generativen KI-Funktionen.
Unternehmen können NLP einsetzen, um Kommunikation zu verarbeiten, die E-Mail, SMS, Audio, Video, Newsfeeds und soziale Medien umfasst. NLP ist die treibende Kraft hinter KI in vielen modernen Anwendungen in der realen Welt. Hier sind einige Beispiele:
Die Programmiersprache Python bietet eine Vielzahl von Tools und Bibliotheken für die Durchführung von bestimmten NLP-Aufgaben. Viele davon befinden sich im Natural Language Toolkit (NLTK), einer Open-Source-Sammlung von Bibliotheken, Programmen und Bildungsressourcen zum Erstellen von NLP-Programmen.
Das NLTK enthält Bibliotheken für viele NLP-Aufgaben und -Teilaufgaben wie Satzparsing, Wortsegmentierung, Stemming und Lemmatisierung (Methoden zum Kürzen von Wörtern auf ihre Wurzeln) und Tokenisierung (zum Zerlegen von Phrasen, Sätzen, Absätzen und Passagen in Token, die dem Computer helfen, den Text besser zu verstehen). Außerdem enthält es Bibliotheken für die Implementierung von Funktionen wie semantisches Schlussfolgern (Semantic Reasoning), d. h. die Fähigkeit, logische Schlussfolgerungen auf der Grundlage von aus dem Text extrahierten Fakten zu ziehen.
Mit NLTK können Unternehmen das Ergebnis des Part-of-Speech-Tagging sehen. Das Taggen von Wörtern scheint nicht kompliziert zu sein, aber da Wörter, je nachdem, wo sie verwendet werden, unterschiedliche Bedeutungen haben können, ist der Prozess kompliziert.
Unternehmen können die Leistung von NLP in ihre digitalen Lösungen integrieren, indem sie benutzerfreundliche generative KI-Plattformen wie IBM Watson NLP Library for Embed nutzen, eine containerisierte Bibliothek, die IBM Partnern mehr KI-Fähigkeiten bietet. Entwickler können darauf zugreifen und sie in ihre Anwendungen in der Umgebung ihrer Wahl integrieren, um unternehmenstaugliche Lösungen mit robusten KI-Modellen, umfassender Sprachabdeckung und skalierbarer Container-Orchestrierung zu erstellen.
Zu den weiteren Optionen gehört das KI-Studio von IBM® watsonx.ai, das mehrere Optionen zur Erstellung von Modellkonfigurationen bietet, die eine Reihe von NLP-Aufgaben unterstützen, darunter die Beantwortung von Fragen, die Generierung und Zusammenfassung von Inhalten sowie die Klassifizierung und Extraktion von Text. Integrationen können auch weitere NLP-Funktionen ermöglichen. Mit watsonx und Hugging Face können KI-Entwickler zum Beispiel vortrainierte Modelle verwenden, um eine Reihe von NLP-Aufgaben zu unterstützen.
Steigern Sie den Geschäftswert der künstlichen Intelligenz mit einem leistungsstarken und flexiblen Portfolio aus Bibliotheken, Diensten und Anwendungen.
Nutzen Sie leistungsstarke KI für natürliche Sprache in kommerzielle Anwendungen mit einer Container-Bibliothek, die IBM Partner mit mehr Flexibilität unterstützt.
Granite ist die führende Serie der IBM LLM-Foundation-Models, die auf einer reinen Decoder-Transformer-Architektur basieren. Granite-Sprachmodelle werden anhand von vertrauenswürdigen Unternehmensdaten aus den Bereichen Internet, Wissenschaft, Coding, Recht und Finanzen trainiert.
Lernen Sie die grundlegenden Konzepte für KI und generative KI kennen, einschließlich Prompt Engineering, große Sprachmodelle und die besten Open-Source-Projekte.
Erfahren Sie in diesem NLP-Erklärvideo mehr über verschiedene NLP-Anwendungsfälle.
Besuchen Sie die Website von IBM Developer, um Zugang zu Blogs, Artikeln, Newslettern und mehr zu erhalten. Werden Sie IBM Partner und integrieren Sie die integrierbare KI von IBM Watson noch heute in Ihre kommerziellen Lösungen. Verwenden Sie IBM Watson NLP Library for Embed in Ihren Lösungen.
Erleben Sie, wie Rob Thomas, GM von IBM Data and AI, NLP-Experten und Kunden einlädt, um zu zeigen, wie NLP-Technologien das Geschäft in verschiedenen Branchen optimieren.
Erfahren Sie mehr über die Natural Language Understanding-API mit Beispielanfragen und Links zu weiteren Ressourcen.