Waarom je gegevens nutteloos zijn

Vrijwel alle organisaties waar ik mee werk hebben terabytes of zelfs petabytes aan gegevens opgeslagen in verschillende databases en bestandssystemen. Er is echter een interessant patroon dat ik de afgelopen maanden ben gaan herkennen. Aan de ene kant zijn de gegevens die worden gegenereerd bijna altijd bedoeld voor menselijke interpretatie. Bijgevolg staan er veel alfanumerieke gegevens, opmerkingen en andere ongestructureerde gegevens in deze bestanden en databases. Aan de andere kant is de omvang van de opgeslagen gegevens zo fenomenaal groot dat een mens er onmogelijk kop of staart aan kan knopen.

Het gevolg is dat er enorme hoeveelheden tijd nodig zijn om de gegevens voor te bewerken om ze bruikbaar te maken voor het trainen van machine-learningmodellen of voor inferentie met behulp van al getrainde modellen. Datawetenschappers bij een aantal bedrijven hebben me verteld dat zij en hun collega’s hier meer dan 90 procent van hun tijd en energie aan besteden.

Voor de meeste organisaties is de enige manier om enige waarde te genereren uit de enorme hoeveelheden gegevens die zijn opgeslagen op hun servers, dan ook om er heel veel personeel tegenaan te gooien. Omdat de business case om dit te doen vaak onduidelijk of onvoldoende is, is de enige logische conclusie dat de overgrote meerderheid van de gegevens die bij bedrijven zijn opgeslagen gewoon nutteloos zijn. Het is dood gewicht en zal nooit enige relevante bedrijfswaarde genereren. Hoewel het gezegde luidt dat “gegevens de nieuwe olie zijn”, is de realiteit dat de meeste gegevens modder zijn die doet alsof het olie is.

Zelfs als de gegevens relevant zijn, zijn er verschillende uitdagingen verbonden aan het gebruik ervan in analytics of machine learning. De eerste is actualiteit: als je een dataset hebt van bijvoorbeeld klantgedrag die 24, 12 of zelfs maar 6 maanden oud is, is het zeer waarschijnlijk dat je klantenbestand geëvolueerd is en dat voorkeuren en gedrag veranderd zijn, waardoor je dataset ongeldig wordt.

Ten tweede, vooral in bedrijven die vaak nieuwe software uitbrengen, zoals bij het gebruik van DevOps, is het probleem dat bij elke softwareversie de manier waarop gegevens worden gegenereerd kan zijn veranderd. Vooral als de gegevens worden gegenereerd voor menselijk gebruik, bijvoorbeeld engineers die systemen in bedrijf debuggen, is het tijdrovend om datasets samen te voegen die door verschillende versies van de software zijn geproduceerd.

Ten derde worden in veel organisaties continu meerdere gegevenssets gegenereerd, zelfs door hetzelfde systeem. Om de informatie af te leiden die echt relevant is voor het bedrijf, moeten vaak gegevens uit verschillende sets worden gecombineerd. De uitdaging is dat verschillende gegevenssets mogelijk niet dezelfde manier van tijdstempelen gebruiken, gegevens op zeer verschillende abstractieniveaus en frequentie kunnen opslaan en op zeer onvoorspelbare manieren kunnen evolueren. Hierdoor kost het combineren van gegevens veel moeite en is automatisering die voor dit doel is ontwikkeld erg broos en zal waarschijnlijk onvoorspelbaar falen.

Mijn belangrijkste boodschap is dat we, in plaats van ons te richten op het voorbewerken van gegevens, veel meer tijd en aandacht moeten besteden aan hoe de gegevens in eerste instantie worden geproduceerd. Het doel moet zijn om gegevens zo te genereren dat ze helemaal geen voorbewerking nodig hebben. Dit opent een groot aantal gebruikssituaties en mogelijkheden die ik in toekomstige artikelen zal bespreken.

Concluderend: ondanks alle aandacht voor gegevens, is het een feit dat de meeste gegevens in de meeste bedrijven nutteloos zijn of onbetaalbare hoeveelheden menselijke inspanning vereisen om de waarde die ze bevatten te ontsluiten. In plaats daarvan moeten we ons richten op hoe we gegevens genereren. Het doel moet zijn om dat op zo’n manier te doen dat de gegevens zonder enige voorbewerking kunnen worden gebruikt voor analyses en machine learning. Ruim dus de rotzooi op, verwijder de nutteloze gegevens en genereer gegevens op manieren die echt zinvol zijn.