Was ist Natural Language Processing und wie funktioniert es?

Haben Sie sich jemals gefragt, wie virtuelle Assistenten wie Siri und Cortana funktionieren? Wie verstehen sie, was Sie sagen?

Nun, ein Teil der Antwort ist die Verarbeitung natürlicher Sprache . Dieses interessante Gebiet der künstlichen Intelligenz hat in den letzten Jahren zu einigen großen Durchbrüchen geführt, aber wie genau funktioniert es?

Lesen Sie weiter, um mehr über die Verarbeitung natürlicher Sprache zu erfahren, wie sie funktioniert und wie sie unser Leben angenehmer macht.

Was ist Natural Language Processing?

Natural Language Processing (NLP) ist, wie Computer menschliche Sprachen verstehen können. Wenn Sie beispielsweise mit sprachaktivierten virtuellen Assistenten wie Alexa oder Siri sprechen, hören diese zu, verstehen Ihre Sprache und führen basierend auf Ihren Worten eine Aktion aus.

Traditionell konnten Menschen mit Computern nur über die Programmiersprache kommunizieren, in der sie über bestimmte Befehle codiert wurden. Code ist von Natur aus strukturiert und logisch, und dieselben Befehle erzeugen immer dieselbe Ausgabe.

Im Gegensatz dazu ist die menschliche Sprache unstrukturiert und viel komplexer. Das gleiche Wort oder der gleiche Satz kann je nach Beugung und Kontext mehrere Bedeutungen haben. Und es gibt viele verschiedene Sprachen.

Wie kann KI also verstehen, was wir sagen?

Wie funktioniert NLP?

NLP wird mit maschinellem Lernen trainiert. Machine Learning ist ein Zweig der künstlichen Intelligenz, der große Datenmengen in einen Algorithmus aufnimmt, der sich selbst trainiert, um genaue Vorhersagen zu treffen. Je mehr Daten und Zeit der Algorithmus hat, desto besser wird er. Deshalb sind NLP-Maschinen heute so viel besser als noch vor zehn Jahren.

NLP funktioniert, indem der Text vorverarbeitet und dann durch den maschinellen Lernalgorithmus ausgeführt wird.

Vorverarbeitungsschritte

Hier sind vier der üblichen Vorverarbeitungsschritte, die ein NLP-Gerät verwendet.

• Tokenisierung: Tokenisierung ist der Vorgang, bei dem Sprache oder Text in kleinere Einheiten (sogenannte Token) zerlegt werden. Dies sind entweder einzelne Wörter oder Klauseln. Die Tokenisierung ist wichtig, da sie es der Software ermöglicht, zu bestimmen, welche Wörter vorhanden sind, was zu den nächsten Stufen der NLP-Verarbeitung führt.
• Stemming und Lemmatisierung: Stemming und Lemmatisierung sind vereinfachende Prozesse, die jedes Wort auf sein Wurzelwort reduzieren. Zum Beispiel "laufen" in "laufen". Dadurch kann das NLP Text schneller verarbeiten.

Stemming ist ein einfacherer Prozess und beinhaltet das Entfernen von Affixen aus einem Wort. Affixe sind Zusätze am Anfang und Ende des Wortes, die ihm eine etwas andere Bedeutung verleihen. Die Wortstammbildung kann jedoch zu Fehlern führen, wenn ähnliche Wörter unterschiedliche Wurzeln haben. Betrachten Sie die Wörter „Kamel“ und „kam“. Stemming kann „Kamel“ auf „kam“ reduzieren, obwohl es völlig unterschiedliche Bedeutungen hat.

Die Lemmatisierung ist viel komplizierter und genauer. Es beinhaltet die Reduzierung eines Wortes auf sein Lemma, das die Grundform eines Wortes ist (wie es im Wörterbuch zu finden ist). Die Lemmatisierung berücksichtigt den Kontext und basiert auf der Wortschatz- und morphologischen Analyse von Wörtern. Ein gutes Beispiel ist „Fürsorge“. Stemming kann „Pflege“ auf „Auto“ reduzieren, während Lemmatisierung es genau auf „Pflege“ reduzieren wird.

Eine andere Technik funktioniert neben beiden Prozessen, die als Stop Word Removal bekannt ist. Dies ist das einfache Entfernen von Wörtern, die der Bedeutung der Rede keine relevanten Informationen hinzufügen, wie z. B. „at“ und „a“.

Aufgaben des Machine Learning-Algorithmus

Sobald der Text vorverarbeitet wurde, kann eine NLP-Maschine je nach Intention verschiedene Dinge tun.

• Stimmungsanalyse : Der Prozess der Klassifizierung der Stimmung des Textes. Zum Beispiel, ob eine Produktbewertung positiv, neutral oder negativ ist.
• Themenklassifikation: Hier wird das Hauptthema des Textes identifiziert. Eine NLP-Maschine kann Dokumente, Absätze und Sätze mit dem Thema versehen, das sie betreffen.
• Absichtserkennung: Dies ist der Prozess, um festzustellen, welche Absicht hinter einem bestimmten Text steckt. Beispielsweise kann es Unternehmen dabei helfen, festzustellen, ob Kunden sich abmelden möchten oder an einem Produkt interessiert sind.
• Part-of-Speech-Tagging: Nach der Tokenisierung markiert eine NLP-Maschine jedes Wort mit einer Kennung. Dazu gehören das Markieren von Wörtern als Substantive, Verben, Adjektive usw.
• Spracherkennung: Dies ist die Aufgabe der Umwandlung von Sprache in Text und ist aufgrund von Unterschieden in Akzent, Intonation, Grammatik und Flexion zwischen den Menschen eine besondere Herausforderung.
• Named-Entity-Erkennung: Der Prozess der Identifizierung nützlicher Namen wie „England“ oder „Google“. Dies wird mit einer Koreferenzauflösung kombiniert, die bestimmt, ob sich zwei Wörter auf dasselbe beziehen, wie z. B. „Alice“ und dann „sie“.
• Natural Language Generation: Dies ist das Gegenteil von Speech-to-Text und ist, wie NLP-Maschinen Sprache oder Text generieren können, um zurück zu kommunizieren.

Warum ist NLP so wichtig?

Natural Language Processing ist ein riesiges und ständig wachsendes Feld, das viele Funktionen umfasst. Einige der wichtigsten Anwendungen von NLP sind:

• Analysieren von Online-Informationen: Unternehmen und Forscher können NLP verwenden, um Teile textbasierter Daten in verwertbare Informationen zu analysieren. Zum Beispiel Kommentare in sozialen Medien, Rezensionen, Kundensupport-Tickets und sogar Artikel. NLP kann diese auf Trends und wertvolle Erkenntnisse für das Unternehmen analysieren.
• Sprachübersetzung : Apps wie Google Translate verwenden NLP-Maschinen, um eine Sprache in eine andere zu konvertieren.
• Rechtschreib- und Grammatikprüfung: Textverarbeitungsprogramme und Apps wie Grammarly überprüfen Ihren Text auf Rechtschreib- und Grammatikfehler, Lesbarkeit, passive Stimme usw., um Ihr Schreiben zu verbessern.
• Interactive Voice Response (IVR): Telefon-Bots ermöglichen es Menschen, mit einem computergesteuerten Telefonsystem zu kommunizieren, um Umleitungen und andere Aufgaben auszuführen.
• Virtuelle Assistenten: Persönliche Assistenten wie Siri, Cortana, Bixby, Google Assistant und Alexa verwenden NLP, um auf Ihre Anfragen zu hören und Antworten zu geben oder Aktionen basierend auf Ihren Aussagen auszuführen.
• Textvorhersage : Ihr Smartphone bietet automatisch vorhergesagte Wörter basierend auf einigen Buchstaben oder dem, was Sie bereits im Satz geschrieben haben. Das Smartphone lernt anhand von Sätzen, die Sie normalerweise eingeben, und bietet Wörter an, die Sie am wahrscheinlichsten verwenden. Tatsächlich wird Microsoft Word dies bald als Feature implementieren .
• Chat-Bots: Viele Websites haben jetzt virtuelle Kundenservice-Bots, die versuchen, Kunden zu helfen, bevor sie an einen menschlichen Operator weitergeleitet werden.

Roboter-Gespräche

Natural Language Processing verändert die Art und Weise, wie wir mit Robotern kommunizieren und wie sie mit uns kommunizieren. Bloomberg News verwendet ein KI-System namens Cyborg, um fast ein Drittel seiner Inhalte zu produzieren. In der Zwischenzeit verwenden Forbes, The Guardian und The Washington Post alle KI, um Nachrichtenartikel zu schreiben.

Und das alles ist nur dank NLP möglich!