Inhalt
- ETL erzeugt Engpässe für Analytics
- Rationalisierung der ETL mit maschinellem Lernen und KI
- Keine Bugs, kein Stress - Ihre schrittweise Anleitung zur Erstellung lebensverändernder Software, ohne Ihr Leben zu zerstören
Quelle: Pop Nukoonrat / Dreamstime.com
Wegbringen:
Daten sind für das Geschäft von entscheidender Bedeutung, aber damit sie nützlich sind, dürfen bei der Erfassung, Verarbeitung und Darstellung dieser Daten keine Fehler auftreten. Künstliche Intelligenz kann ETL-Prozesse überwachen, um sicherzustellen, dass sie fehlerfrei sind.
ETL (Extrahieren, Transformieren und Laden) ist einer der wichtigsten Prozesse in der Big Data-Analyse - und gleichzeitig kann es einer der größten Engpässe sein. (Weitere Informationen zu Big Data finden Sie in 5 hilfreichen Online-Kursen zu Big Data.)
Der Grund, warum ETL so wichtig ist, besteht darin, dass die meisten Daten, die ein Unternehmen sammelt, in ihrer Rohform nicht für die Digestion einer Analyselösung bereit sind. Damit eine Analyselösung Erkenntnisse liefert, müssen die Rohdaten aus der Anwendung, in der sie sich derzeit befinden, extrahiert, in ein von einem Analyseprogramm lesbares Format umgewandelt und dann in das Analyseprogramm selbst geladen werden.
Dieser Vorgang ist analog zum Kochen. Ihre Rohstoffe sind Ihre Rohdaten. Sie müssen extrahiert (in einem Geschäft gekauft), umgewandelt (gekocht) und dann geladen (plattiert) werden, bevor sie analysiert (verkostet) werden können. Die Schwierigkeit und die Kosten können unvorhersehbar ansteigen. Es ist einfach, Mac n'Case selbst zuzubereiten, aber es ist viel schwieriger, auf einer Dinnerparty ein Gourmetmenü für 40 Personen zu erstellen. Unnötig zu erwähnen, dass ein Fehler zu jedem Zeitpunkt Ihre Mahlzeit unverdaulich machen kann.
ETL erzeugt Engpässe für Analytics
ETL ist in gewisser Weise das Fundament des Analyseprozesses, hat jedoch auch einige Nachteile. Erstens ist es langsam und rechenintensiv. Dies bedeutet, dass Unternehmen häufig nur ihre wichtigsten Daten für die Analyse priorisieren und den Rest einfach speichern. Dies trägt dazu bei, dass bis zu 99% aller Geschäftsdaten nicht für Analysezwecke verwendet werden.
Außerdem ist der ETL-Prozess niemals sicher. Fehler innerhalb des ETL-Prozesses können Ihre Daten beschädigen. Beispielsweise kann ein kurzer Netzwerkfehler verhindern, dass Daten extrahiert werden. Wenn Ihre Quelldaten mehrere Dateitypen enthalten, werden sie möglicherweise falsch transformiert. Müll rein, Müll raus - Fehler während des ETL-Prozesses drücken sich mit ziemlicher Sicherheit in ungenauen Analysen aus.
Ein beschädigter ETL-Prozess kann schwerwiegende Folgen haben. Selbst im besten Fall müssen Sie die ETL wahrscheinlich erneut ausführen, was eine Verzögerung von Stunden bedeutet. In der Zwischenzeit sind Ihre Entscheidungsträger ungeduldig. Im schlimmsten Fall bemerken Sie die ungenaue Analyse erst, wenn Sie anfangen, Geld und Kunden zu verlieren.
Rationalisierung der ETL mit maschinellem Lernen und KI
Sie können - und wahrscheinlich auch - jemanden mit der Überwachung von ETL beauftragen, aber das ist ehrlich gesagt nicht so einfach. Fehlerhafte Daten können auf Prozessfehler zurückzuführen sein, die so schnell auftreten, dass sie nicht in Echtzeit bemerkt werden können. Die Ergebnisse eines beschädigten ETL-Prozesses unterscheiden sich häufig nicht von korrekt geladenen Daten. Selbst wenn Fehler offensichtlich sind, ist das Problem, das den Fehler verursacht hat, möglicherweise nicht so einfach nachzuvollziehen. (Weitere Informationen zum Analysieren von Daten finden Sie unter Jobrolle: Data Analyst.)
Die gute Nachricht ist, dass Maschinen fangen können, was Menschen nicht können. Dies sind nur einige Möglichkeiten, wie KI und maschinelles Lernen ETL-Fehler auffangen können, bevor sie zu ungenauen Analysen führen.
Keine Bugs, kein Stress - Ihre schrittweise Anleitung zur Erstellung lebensverändernder Software, ohne Ihr Leben zu zerstören
Sie können Ihre Programmierkenntnisse nicht verbessern, wenn sich niemand um die Softwarequalität kümmert.
1. Erkennen und Warnen über ETL-Metriken hinweg
Auch wenn Ihre Daten ein sich ständig bewegendes Bild sind, sollte der ETL-Prozess dennoch konsistente Werte mit einer konsistenten Geschwindigkeit erzeugen. Wenn sich diese Dinge ändern, ist dies Grund zur Besorgnis. Menschen können große Schwankungen in den Daten sehen und Fehler erkennen, aber maschinelles Lernen kann subtilere Fehler schneller erkennen. Ein maschinelles Lernsystem kann Anomalien in Echtzeit erkennen und die IT-Abteilung direkt benachrichtigen, sodass sie den Prozess anhalten und das Problem beheben können, ohne stundenlangen Rechenaufwand aufwenden zu müssen.
2. Feststellen spezifischer Engpässe
Selbst wenn Ihre Ergebnisse korrekt sind, werden sie möglicherweise zu langsam ausgegeben, um von Nutzen zu sein. Gartner sagt das 80% der Einsichten Aus Analysen gewonnene Erkenntnisse werden niemals genutzt, um einen monetären Wert zu schaffen. Dies liegt möglicherweise daran, dass ein Unternehmensleiter nicht rechtzeitig über die Einsichten verfügt, die er benötigt, um daraus Nutzen zu ziehen. Durch maschinelles Lernen können Sie feststellen, wo Ihr System langsamer wird, und Ihnen Antworten geben. So erhalten Sie schnell bessere Daten.
3. Quantifizieren Sie die Auswirkungen des Änderungsmanagements
Die Systeme, die Ihre Daten und Analysen erstellen, sind nicht statisch - sie erhalten ständig Patches und Upgrades. Manchmal beeinflussen diese die Art und Weise, wie Daten erstellt oder interpretiert werden - was zu ungenauen Ergebnissen führt. Beim maschinellen Lernen können geänderte Ergebnisse markiert und auf die jeweilige gepatchte Maschine oder Anwendung zurückgeführt werden.
4. Reduzieren Sie die Betriebskosten
Angehaltene Analysevorgänge bedeuten Geldverlust. Die Zeit, die Sie damit verbringen, herauszufinden, nicht nur wie Sie das Problem lösen, sondern auch Wer ist verantwortlich Um das Problem zu lösen, ist es an der Zeit, Wert aufzubauen. Maschinelles Lernen hilft dabei, die Angelegenheit auf den Punkt zu bringen, indem nur die Teams benachrichtigt werden, die möglicherweise für die Reaktion auf bestimmte Arten von Vorfällen verantwortlich sind. Der Rest der IT-Abteilung kann dann weiterhin wichtige Aufgaben ausführen. Darüber hinaus hilft maschinelles Lernen dabei, Fehlalarme zu eliminieren, indem die Gesamtzahl der Warnungen reduziert und gleichzeitig die Granularität der bereitgestellten Informationen erhöht wird. Müdigkeit bei Alarm ist sehr real, daher wird diese Änderung messbare Auswirkungen auf die Lebensqualität haben.
Wenn es darum geht, im Geschäft zu gewinnen, ist die Analytik entscheidend. Eine wegweisende Studie von Bain Capital zeigt, dass Unternehmen, die Analytics einsetzen, mit mehr als der doppelten Wahrscheinlichkeit eine überdurchschnittliche Wertentwicklung erzielen. ETL bildet die Grundlage für den Erfolg in diesem Bereich. Verzögerungen und Fehler können jedoch auch den Erfolg eines Analyseprogramms verhindern. Maschinelles Lernen wird daher zu einem unschätzbaren Werkzeug für den Erfolg jedes Analyseprogramms und trägt dazu bei, saubere Daten und genaue Ergebnisse zu gewährleisten.