Warum Ihre Daten nutzlos sind

Praktisch alle Unternehmen, mit denen ich arbeite, haben Terabytes oder sogar Petabytes an Daten in verschiedenen Datenbanken und Dateisystemen gespeichert. In den letzten Monaten ist mir jedoch ein sehr interessantes Muster aufgefallen. Einerseits sind die Daten, die erzeugt werden, fast immer für die menschliche Interpretation bestimmt. Daher gibt es in diesen Dateien und Datenbanken viele alphanumerische Daten, Kommentare und andere unstrukturierte Daten. Andererseits ist der Umfang der gespeicherten Daten so phänomenal groß, dass es für einen Menschen unmöglich ist, sich einen Reim darauf zu machen.

Das hat zur Folge, dass enorme Mengen an Zeit für die Vorverarbeitung der Daten benötigt werden, um sie für das Training von maschinellen Lernmodellen oder für Inferenzen mit bereits trainierten Modellen nutzbar zu machen. Datenwissenschaftler in einer Reihe von Unternehmen haben mir gesagt, dass sie und ihre Kollegen weit über 90 Prozent ihrer Zeit und Energie darauf verwenden.

Für die meisten Unternehmen besteht daher die einzige Möglichkeit, aus den riesigen Datenmengen, die auf ihren Servern gespeichert sind, irgendeinen Wert zu generieren, darin, jede Menge Personal dafür einzusetzen. Da der Business Case dafür oft unklar oder unzureichend ist, ist die einzige logische Schlussfolgerung, dass die meisten Daten, die in Unternehmen gespeichert sind, einfach nutzlos sind. Sie sind totes Gewicht und werden nie einen relevanten geschäftlichen Nutzen bringen. Auch wenn das Sprichwort lautet, dass „Daten das neue Öl sind“, so ist die Realität doch, dass die meisten dieser Daten nur Schlamm sind, der vorgibt, Öl zu sein.

Selbst wenn die Daten relevant sind, gibt es mehrere Herausforderungen bei der Verwendung dieser Daten für Analysen oder maschinelles Lernen. Die erste ist die Aktualität: Wenn Sie über einen Datensatz zum Beispiel zum Kundenverhalten verfügen, der 24, 12 oder sogar nur 6 Monate alt ist, ist es sehr wahrscheinlich, dass sich Ihr Kundenstamm weiterentwickelt hat und dass sich Präferenzen und Verhaltensweisen geändert haben, wodurch Ihr Datensatz ungültig wird.

Zweitens besteht insbesondere in Unternehmen, die häufig neue Software herausbringen, wie z.B. bei der Verwendung von DevOps, das Problem, dass sich mit jeder Softwareversion die Art und Weise der Datengenerierung geändert haben kann. Vor allem, wenn die Daten für den menschlichen Gebrauch generiert werden, z.B. für Ingenieure, die Systeme im Betrieb debuggen, ist es zeitaufwändig, Datensätze zusammenzuführen, die von verschiedenen Versionen der Software erzeugt wurden.

Drittens werden in vielen Unternehmen ständig mehrere Datensätze erzeugt, sogar von demselben System. Um die Informationen abzuleiten, die für das Unternehmen tatsächlich relevant sind, müssen häufig Daten aus verschiedenen Datensätzen kombiniert werden. Die Herausforderung besteht darin, dass verschiedene Datensätze möglicherweise nicht dieselbe Art der Zeitstempelung von Einträgen verwenden, Daten auf sehr unterschiedlichen Abstraktionsebenen und mit unterschiedlicher Häufigkeit speichern und sich auf sehr unvorhersehbare Weise entwickeln können. Das macht die Zusammenführung der Daten mühsam und jede Automatisierung, die zu diesem Zweck entwickelt wird, sehr brüchig und kann unvorhersehbar fehlschlagen.

Meine Hauptaussage ist, dass wir uns nicht auf die Vorverarbeitung von Daten konzentrieren sollten, sondern viel mehr Zeit und Aufmerksamkeit darauf verwenden müssen, wie die Daten überhaupt erzeugt werden. Das Ziel sollte sein, Daten so zu erzeugen, dass sie überhaupt keine Vorverarbeitung benötigen. Dies eröffnet eine Vielzahl von Anwendungsfällen und Möglichkeiten, die ich in zukünftigen Artikeln erörtern werde.

Abschließend lässt sich sagen, dass bei aller Konzentration auf Daten die meisten Daten in den meisten Unternehmen nutzlos sind oder nur mit unverhältnismäßig hohem Aufwand nutzbar gemacht werden können. Stattdessen sollten wir uns darauf konzentrieren, wie wir Daten überhaupt erzeugen. Das Ziel sollte sein, dies so zu tun, dass die Daten ohne jegliche Vorverarbeitung für Analysen und maschinelles Lernen verwendet werden können. Bereinigen Sie also das Chaos, werden Sie die nutzlosen Daten los und generieren Sie Daten auf eine Weise, die tatsächlich Sinn macht.