Text und unstrukturierte Content Classification mit Natural Language Processing

Herausforderung

Die Textklassifikation ordnet Dokumente einer passenden Kategorie zu. Diese Kategorien stellen die Kunden-Sentiment oder Themenbereiche im Zusammenhang mit Kundenfragen und -wünschen dar. Die Eingabedaten können sehr vielfältig sein und verschiedene Formate wie PDF-Dokumente, Kunden-E-Mails oder Chatbot-Nachrichten umfassen. Scigility berücksichtigt bei der Ausführung von NLP-Use-Cases zur Textklassifizierung auf Basis unserer Frameworks folgende Punkte:

• Das Sammeln unstrukturierter Daten mit Textinhalt ist relativ einfach, aber die grösste Herausforderung besteht darin, die Datenelemente den richtigen Labels zuzuweisen und ein qualitativ hochwertiges Training-Sample zu erstellen.
• Reale Textdaten und gescannte Dokumente enthalten verschiedene unstrukturierte Elemente (Tabellen, Hyperlinks, Bilder usw.), die das Einrichten mehrerer Vorverarbeitungspipelines erfordern.
• Viele gängige ML-Sprachmodelle sind für ein grosses Anwendungsfeld vortrainiert, aber sie benötigen auch eine Feinabstimmung auf geschäfts- und domänenspezifischen Text, um eine gute Performance zu erreichen und aufrechtzuerhalten.

Lösung

Scigility legt besonderen Wert auf die Erstellung qualitativ hochwertiger Training-Samples für NLP-Use-Cases.

• Wir verwenden Lösungen wie Label Studio und Prodigy, mit denen die manuellen Labeling- und Tagging-Aufgaben automatisiert und durch Pre-Labeling effizienter gestaltet werden können.
• Wir arbeiten mit der beliebten BERT-NLP-Modellen und verwenden eine Vielzahl vortrainierter Modelle, die in Model Stores wie Hugging Face, spaCy oder fastText erhältlich sind.