AI is GEEN analyse van grote gegevens

In het big data tijdperk was een van de belangrijkste uitgangspunten voor het succesvol realiseren van je big data strategie het creëren van een centraal datawarehouse of data lake waar alle gegevens werden opgeslagen. De data-analisten konden dan naar hartenlust hun analyses uitvoeren en relevante correlaties, uitschieters, voorspellende patronen en dergelijke vinden. In dit scenario draagt iedereen zijn gegevens bij aan het data lake, waarna een centrale data science-afdeling deze gebruikt om, meestal uitvoerende, ondersteuning te bieden bij het nemen van beslissingen (figuur 1).

Figuur 1: Iedereen draagt zijn gegevens bij aan het data lake, waarna een centrale data science-afdeling deze gegevens gebruikt om, meestal uitvoerende, ondersteuning te bieden bij het nemen van beslissingen.

Hoewel dit er in theorie geweldig uitziet, is de realiteit in veel bedrijven natuurlijk heel anders. We zien ten minste vier uitdagingen. Ten eerste vereist het analyseren van gegevens van producten en klanten in het veld vaak aanzienlijke domeinkennis die datawetenschappers op een centrale afdeling meestal ontberen. Dit leidt gemakkelijk tot onjuiste interpretaties van gegevens en dus tot onnauwkeurige resultaten.

Ten tweede doen verschillende afdelingen en groepen die gegevens verzamelen dit vaak op verschillende manieren, wat resulteert in gegevens die er ongeveer hetzelfde uitzien maar een verschillende semantiek hebben. Dit kunnen kleine verschillen zijn, zoals de frequentie waarmee gegevens worden gegenereerd, bijvoorbeeld seconden, minuten, uren of dagen, maar ook veel grotere verschillen, zoals gegevens over individuele producten in het veld versus vergelijkbare gegevens over een hele productfamilie in een specifieke categorie. Omdat datawetenschappers op een centrale afdeling vaak proberen om gegevens uit verschillende bronnen met elkaar in verband te brengen, kunnen er gemakkelijk onjuiste conclusies worden getrokken.

Ten derde, vooral door de toenemende toepassing van DevOps, zal zelfs dezelfde bron na verloop van tijd andere gegevens genereren. Als de software evolueert, verandert de manier waarop gegevens worden gegenereerd meestal mee, wat leidt tot soortgelijke uitdagingen als hierboven beschreven. Het resultaat is dat de belofte van het big data tijdperk niet altijd uitkomt bij bedrijven en bijna nooit in de volle omvang die werd verwacht bij de start van het project.

Tot slot, om waarde te halen uit big data analytics heb je een sterke data science skillset nodig en er zijn gewoon niet zoveel mensen die deze skillset hebben. Het is een hele uitdaging om je bestaande personeel te trainen in data science-vaardigheden en het is zeker moeilijker dan om engineers en ontwikkelaars te trainen in machine learning.

Velen in de sector zijn van mening dat toepassingen voor kunstmatige intelligentie, en in het bijzonder machine- en deep-learningmodellen, met dezelfde uitdagingen te kampen hebben. Maar hoewel zowel data analytics als ML/DL-modellen sterk gebaseerd zijn op gegevens, is het belangrijkste verschil dat er voor ML/DL geen gecentraliseerd datawarehouse hoeft te worden opgezet. In plaats daarvan kan elk team, bedrijfsonderdeel of productorganisatie aan de slag met AI zonder uitgebreide coördinatie met de rest van het bedrijf.

Elk bedrijfsonderdeel kan zijn eigen ML/DL-modellen bouwen en deze implementeren in het systeem of de oplossing waarvoor ze verantwoordelijk zijn (afbeelding 2). De gegevens kunnen afkomstig zijn van het data lake of van de lokale oplossingen voor gegevensopslag, dus je hoeft niet eens te hebben gekozen voor de aanpak van gecentraliseerde gegevensopslag voordat je begint met het gebruik van ML/DL.

Afbeelding 2: Elke business unit kan zijn eigen ML/DL-modellen bouwen en deze implementeren in het systeem of de oplossing waarvoor ze verantwoordelijk zijn.

Concluderend, AI is **niet** data analytics en vereist niet dezelfde randvoorwaarden. In plaats daarvan kun je vandaag al beginnen met de gegevens die je beschikbaar hebt, zelfs als jij en je team maar aan één functie of subsysteem werken. Kunstmatige intelligentie en vooral deep learning bieden geweldige mogelijkheden om kosten te verlagen en nieuwe zakelijke kansen te creëren. Het is de meest opwindende technologie die in misschien wel tientallen jaren tot wasdom is gekomen. In plaats van te wachten tot de rest van de wereld je inhaalt, kun je vandaag beginnen met het gebruik van AI en DL.