Positive Wirkung auf Geschäftsprozesse durch korrektes Data Matching

Herausforderung

Data Matching und Deduplizierung erfordern sorgfältige Planung und ein gutes Geschäftsverständnis. Bei der Umsetzung dieser Use Cases berücksichtigen wir bei Scigility auf Basis unserer Frameworks folgende Punkte:

• Planen der Schritte im Data-Engineering-Prozess. Wie gross sind die Daten? Wie oft werden sie aktualisiert? Müssen die Daten bereinigt und vorverarbeitet werden?
• Verstehen, was der Businessbereich des Kunden als «Match» erachtet. Sind gelabelte Datensätze verfügbar? Wie hoch sind die Kosten für das Sammeln zuverlässig gelabelter Daten?
• Wie wird der Output der Use-Case-Anwendung verwendet? Ist es wichtiger, so viele Datensätze wie möglich abzugleichen oder sollen nur eindeutige Duplikate abgeglichen und Grenzfälle vermieden werden?

Data Matching und Deduplication haben erhebliche Auswirkungen auf viele Unternehmensbereiche. Es ist entscheidend, Stakeholder während des gesamten Entwicklungsprozesses einzubeziehen und eine Pipeline zu entwickeln, die skalierbar ist und zuverlässige Daten liefert.

Lösung

Scigility unterstützt und ermöglicht Data Science und Data Engineering durch:

• das Erstellen skalierbarer und verteilter Datenpipelines unter Anwendung von Lösungen wie Apache Spark oder Dask.
• einen datenzentrierten Ansatz zur Modellentwicklung, der den Geschäftsanforderungen entspricht. Das Labeln der Daten ist ein zeitaufwändiger, aber äusserst wichtiger Prozess. Unsere aktiven Lernansätze verkürzen die zum Erstellen neuer Labels benötigte Zeit und verbessern das ML-Modell erheblich.
• die Bereitstellung und den Betrieb des Modells (Überwachung, Versionierung, Validierung usw.) mit MLOps-Tools wie MLflow