Natural Language Processing (NLP) kombiniert Computerlinguistik – regelbasierte Modellierung der menschlichen Sprache – mit statistischen und maschinellen Lernmodellen, damit Computer und digitale Geräte Text und Sprache erkennen, verstehen und generieren können.
Als Teilbereich der künstlichen Intelligenz (KI) ist NLP das Herzstück von Anwendungen und Geräten, die
oft in Echtzeit. Die meisten Menschen haben heute mit NLP in Form von sprachgesteuerten GPS-Systemen, digitalen Assistenten, Speech-to-Text-Diktationssoftware, Chatbots für Kundenservice und anderen Verbraucherkomfort interagiert. Aber auch in Unternehmenslösungen, die dabei helfen, Geschäftsabläufe zu rationalisieren und zu automatisieren, die Produktivität der Mitarbeiter zu steigern und unternehmenskritische Geschäftsprozesse zu vereinfachen, spielt NLP eine immer größere Rolle.
Nutzen Sie dieses Framework zur Modellauswahl, um das am besten geeignete Modell auszuwählen und dabei Ihre Leistungsanforderungen mit den Kosten, Risiken und Bereitstellungsanforderungen in Einklang zu bringen.
Registrieren Sie sich für das Whitepaper über KI-Governance
Die menschliche Sprache ist voller Mehrdeutigkeiten, die es unglaublich schwierig machen, Software zu schreiben, die die beabsichtigte Bedeutung von Text- oder Sprachdaten genau bestimmt. Homonyme, Homophone, Sarkasmus, Idiome, Metaphern, Ausnahmen in der Grammatik und im Sprachgebrauch, Variationen in der Satzstruktur – dies sind nur einige der Unregelmäßigkeiten der menschlichen Sprache, für die Menschen Jahre brauchen, um sie zu erlernen. Programmierer müssen Anwendungen für die natürliche Sprachverarbeitung beibringen, diese Unregelmäßigkeiten von Anfang an akkurat zu erkennen und zu interpretieren, wenn diese Anwendungen sinnvoll eingesetzt werden sollen.
Mehrere NLP-Aufgaben zerlegen menschliche Text- und Sprachdaten auf eine Weise, die dem Computer hilft, das zu verstehen, was er aufnimmt. Diese Aufgaben umfassen unter anderem:
Im Blogbeitrag „NLP vs. NLU vs. NLG: die Unterschiede zwischen drei Konzepten der Verarbeitung natürlicher Sprache“ erfahren Sie mehr über den Zusammenhang zwischen diesen Konzepten.
Das völlig neue Enterprise Studio verbindet traditionelles maschinelles Lernen mit neuen, auf Foundation Models basierenden generativen KI-Funktionen.
Die Programmiersprache Python bietet eine Vielzahl von Tools und Bibliotheken für den Angriff auf bestimmte NLP-Aufgaben. Viele davon befinden sich im Natural Language Toolkit (NLTK), einer Open-Source-Sammlung von Bibliotheken, Programmen und Bildungsressourcen zum Erstellen von NLP-Programmen.
Das NLTK enthält Bibliotheken für viele der oben genannten NLP-Aufgaben sowie Bibliotheken für Teilaufgaben wie Satzparsing, Wortsegmentierung, Stemming und Lemmatisierung (Methoden zum Trimmen von Wörtern auf ihre Wurzeln) und Tokenisierung (zum Zerlegen von Phrasen, Sätzen, Absätzen und Passagen in Token, die dem Computer helfen, den Text besser zu verstehen). Außerdem enthält es Bibliotheken für die Implementierung von Funktionen wie semantisches Schlussfolgern (Semantic Reasoning), d. h. die Fähigkeit, logische Schlussfolgerungen auf der Grundlage von aus dem Text extrahierten Fakten zu ziehen.
Die frühesten NLP-Anwendungen waren handcodierte, regelbasierte Systeme, die bestimmte NLP-Aufgaben ausführen konnten, sich aber nicht einfach skalieren ließen, um einen scheinbar endlosen Strom von Ausnahmen oder die zunehmenden Mengen an Text- und Sprachdaten zu bewältigen.
Hier kommt statistisches NLP ins Spiel, das Computeralgorithmen mit maschinellem Lernen und Deep-Learning-Modellen kombiniert, um Elemente von Text- und Sprachdaten automatisch zu extrahieren, zu klassifizieren und zu kennzeichnen und dann jeder möglichen Bedeutung dieser Elemente eine statistische Wahrscheinlichkeit zuzuordnen. Heutzutage ermöglichen Deep-Learning-Modelle und Lerntechniken, die auf Convolutional Neural Networks (CNNs) und rekurrenten Neuronalen Netzen (RNNs) basieren, NLP-Systeme, die bei der Arbeit „lernen“ und immer präzisere Bedeutungen aus riesigen Mengen an rohen, unstrukturierten und unbeschrifteten Text- und Sprachdatensätzen extrahieren.
Einen tieferen Einblick in die Nuancen zwischen diesen Technologien und ihren Lernansätzen finden Sie unter „KI vs. maschinelles Lernen vs. Deep Learning vs. neuronale Netze: Was ist der Unterschied?“
Die Verarbeitung natürlicher Sprache ist die treibende Kraft hinter der maschinellen Intelligenz in vielen modernen realen Anwendungen. Hier folgen einige Beispiele:
Steigern Sie den Geschäftswert der künstlichen Intelligenz mit einem leistungsstarken und flexiblen Portfolio aus Bibliotheken, Diensten und Anwendungen.
Nutzen Sie leistungsstarke KI für natürliche Sprache in kommerzielle Anwendungen mit einer Container-Bibliothek, die IBM Partner mit mehr Flexibilität unterstützt.
Lernen Sie die grundlegenden Konzepte für KI und generative KI kennen, einschließlich Prompt Engineering, große Sprachmodelle und die besten Open-Source-Projekte.
Erfahren Sie in diesem NLP-Erklärvideo mehr über verschiedene NLP-Anwendungsfälle.
Besuchen Sie die Website von IBM Developer, um Zugang zu Blogs, Artikeln, Newslettern und mehr zu erhalten. Werden Sie IBM Partner und integrieren Sie die integrierbare KI von IBM Watson noch heute in Ihre kommerziellen Lösungen. Integrieren Sie IBM Watson NLP Library for Embed in Ihre Lösungen.
Erleben Sie, wie Rob Thomas, GM von IBM Data & AI, NLP-Experten und Kunden einlädt, um zu zeigen, wie NLP-Technologien das Geschäft in verschiedenen Branchen optimieren.
Ethische Überlegungen zur KI waren noch nie so kritisch wie heute.
IBM hat ein neues Open-Source-Toolkit namens PrimeQA auf den Markt gebracht, um den Fortschritt bei mehrsprachigen Frage-Antwort-Systemen voranzutreiben und es für jedermann einfacher zu machen, Informationen im Web schnell zu finden.