Zonder statistieken is het onwaarschijnlijk dat je je beste prestaties vindt en consistentie realiseert’.

Het is makkelijker dan ooit om complexe berekeningen en ontwerpsimulaties uit te voeren. Toch komt het uiteindelijk allemaal neer op hoe een ontwerp zal werken buiten het lab, in een echt product, in een echte omgeving, volgens Wendy Luiten. Daarom geeft ze een nieuwe cursus Toegepaste statistiek voor R&D aan het High Tech Institute. Statistiek wordt vaak te weinig toegepast en dat is jammer, want het kan echt bijdragen aan succes.

Toen Wendy Luiten leerde programmeren, gebruikte ze ponskaarten die in gigantische computers werden ingevoerd. Tegenwoordig kan ze de meest complexe berekeningen en ontwerpsimulaties uitvoeren met een druk op de knop van haar laptop.

Tijdens Luiten’s carrière was ze getuige van een ongekende toename in rekenkracht. Nadat ze in 1984 afstudeerde aan de Universiteit Twente, begon ze aan een indrukwekkende carrière als thermisch expert en als Six Sigma Master Black Belt bij Philips. Tegenwoordig werkt ze als consultant.

Die diepgaande ervaring gaf haar een betere kijk op statistiek en computergebruik dan de meeste ingenieurs. Nieuwe software biedt geweldige mogelijkheden voor het maken van ontwerpsimulaties en Digital Twins. Maar het ogenschijnlijke gemak van deze nieuwe methoden doet gemakkelijk vergeten dat een simulatie niet de werkelijkheid is. Een simulatiemodel moet gevalideerd worden om er zeker van te zijn dat het de werkelijkheid in voldoende mate weergeeft. Bovendien beschrijven simulaties een ideale wereld, zonder willekeurige variatie. In de echte wereld kan willekeurige variatie een product onbetrouwbaar en teleurstellend voor eindklanten maken.

Sommige mensen herhalen niet, maar gaan af op één meting”, zegt ze. ‘Op basis daarvan beslissen ze of het ontwerp goed is of niet. Dat is riskant. Je weet niet hoe goed de meting is, je hebt geen idee van de meetfout, je weet niet hoe representatief het prototype is, je weet niet hoe representatief de use case is.’

“Toegepaste statistiek is als autorijden, je hoeft de werking van de motor niet te kennen om van A naar B te gaan,” Wendy Luiten

Mensen zijn vaak erg optimistisch over hun meetfout. Ik heb gevallen gezien waarbij mensen dachten dat hun meetfout in de tienden van een graad zat, maar bij een herhalingsmeting bleek het verschil 10 graden C te zijn. Dus als je herhalingsmeting zo’n groot verschil laat zien, kun je echt niet zeker zijn van hoe goed het product presteert en moet je dieper graven naar de hoofdoorzaak van dit verschil.

Daarom start Luiten haar nieuwe training Toegepaste statistiek voor R&D aan het High-Tech Institute met meetstatistiek. In deze cursus gaat ze dieper in op de belangrijkste statistische vaardigheden die hun waarde hebben bewezen in haar 30+ jaar R&D-ervaring in de industrie. Eerst moet je zien hoe goed je metingen zijn’, legt ze uit. Vervolgens moet je de steekproefgrootte kunnen schatten, het aantal metingen dat je nodig hebt om een bepaald effect met voldoende waarschijnlijkheid aan te tonen. Zodra je de uitvoerprestaties nauwkeurig en met voldoende precisie kunt meten, kun je verschillende ontwerpconfiguraties onderzoeken en de beste configuratie kiezen. Tot slot onderzoek je het uitgangsgemiddelde en de variatie, wat uiteindelijk de manier is waarop je tot een succesvol ontwerp komt.

Willekeurige meetfout

Luiten merkt op dat ingenieurs zich vaak al bewust zijn van de systematische meetfout. Systematische fouten zijn een bekend fenomeen”, zegt ze. Je kunt een gouden monster meten en de resultaten corrigeren, dat is een de facto kalibratie van je meting. Dat is bekend en onderdeel van veel labcursussen in het hoger onderwijs.

De meeste mensen houden echter geen rekening met de toevallige fout of gebruiken blindelings een standaardwaarde van 1, 5 of 10%. Maar in werkelijkheid hangt de toevallige fout af van het meetinstrument en ook van wie de metingen uitvoert. De statistische methode om de toevallige fout te achterhalen is meestal geen onderdeel van een labcursus, dus dit komt minder vaak voor. Maar de eerste keer dat zo’n test wordt gedaan, zijn de resultaten vaak verrassend.

Luiten noemt een aantal gevallen waar ze zelf mee te maken heeft gehad. Ik heb gevallen gezien waarin mensen ervan overtuigd waren dat ze bijna geen toevallige fout hadden omdat ze een hele dure geautomatiseerde meetmachine hadden. Maar het bleek dat de operators de monsters op een andere manier maakten en dat veroorzaakte een grote toevallige fout. In een ander geval claimden verschillende ontwikkelingslaboratoria allemaal een meetfout van 5% – maar toen ze dezelfde apparaten in een round robin test maten, was er een verschil van een factor 2, vanwege verschillen in de meetopstelling die irrelevant werden geacht. Ik heb gezien dat schijnbare fluctuaties in productkwaliteit konden worden gekoppeld aan de operator die de metingen uitvoerde. In alle gevallen waren mensen er absoluut van overtuigd dat ze een verwaarloosbare toevallige fout in de metingen hadden, en deze resultaten waren totaal onverwacht. Maar je kent je toevallige fout en de oorzaak van de toevallige fout alleen als je er een statistische test voor doet.

“Welk ontwerp is beter? Ontwerp C heeft de voorkeur – Ook al heeft B een hogere gemiddelde prestatie, C heeft het laagste uitvalpercentage omdat het consistent presteert,” Wendy Luiten

Herhalingen van metingen

De willekeurige meetfout is vooral belangrijk als het gaat om de zogenaamde statistische power – de kans dat je een bepaald effect meet als het aanwezig is. Als het effect dat je wilt meten ongeveer even groot is als je meetfout en je herhaalt je meting twee keer, dan is de kans dat je dat effect bewijst kleiner dan 10%. Dus als een verandering in het ontwerp je een 5C lagere temperatuur oplevert, en je willekeurige meetfout is 5C, dan zul je dat in 1 op de 10 metingen zien, en gemiddeld 9 op de 10 keer zijn de resultaten niet doorslaggevend, zelfs als je de meting in tweevoud doet. Als je het vermogen wilt verbeteren, moet je of de meetfout verlagen, of meer herhalingen doen. Soms zien mensen herhalingsmetingen als verspilde moeite, maar daar is Luiten het niet mee eens. De echte verspilling is het uitvoeren van experimenten met te weinig power, waarbij je alle moeite doet om een experiment op te zetten en uit te voeren – om er vervolgens achter te komen dat het resultaat geen uitsluitsel geeft.

Verschillende ontwerpopties testen

Naast meetfouten en het schatten van de steekproefgrootte is een belangrijk onderdeel van de cursus het testen van verschillende ontwerpen. Je kunt dat in hardware doen, maar dat is misschien niet de meest effectieve optie. Tegenwoordig kun je veel virtueel testen”, zegt Luiten. Voordat je een prototype maakt, kun je al experimenteren met je ontwerpen met behulp van computersimulaties. De input kan variëren van materialen en afmetingen tot stroom- en besturingssoftware. Je kunt bijvoorbeeld het effect van verschillende materialen of afmetingen modelleren, of het gebruik van een andere mechanische lay-out, of verschillende instellingen in een besturingsalgoritme. In elk product moeten veel keuzes worden gemaakt, zowel op het niveau van de architectuur als in de implementatie. Het is belangrijk om uit te zoeken welke inputs het belangrijkst zijn en hoe deze inputs de prestaties bepalen, want je wilt je in een later stadium niet realiseren dat een eerdere beslissing verkeerd was. Een ‘trial-and-error’-aanpak is vaak te duur in tijd en geld. De statistische benadering bestaat uit het opzetten van een reeks experimenten op een speciale manier, waarbij meerdere inputs tegelijkertijd worden gevarieerd en niet afzonderlijke experimenten worden vergeleken, maar groepen experimenten om het effect van een enkele input of interacties tussen twee inputs te achterhalen. Dit is een zeer krachtige aanpak, vooral in combinatie met computersimulaties, maar voor een klein aantal ingangen kun je dit ook in hardware doen. Als je de experimenten in hardware uitvoert, bepaalt de berekende steekproefgrootte uit de eerdere stadia het aantal herhalingen voor de verschillende experimenten. Als de experimenten virtueel worden uitgevoerd, door middel van computersimulaties, wordt de steekproefgrootte gebruikt voor de validatie-experimenten voor het computermodel.

De beste keuze maken

Het volgende gereedschap in de statistische gereedschapsgordel is optimalisatie of het maken van de beste keuze. Als je eenmaal hebt ontdekt wat de belangrijkste invoerparameters zijn en hoe deze zich verhouden tot de prestaties, kun je op basis van gegevens beslissen welke ontwerpconfiguratie het beste bij je doel past. Vaak zijn er meerdere outputs om te overwegen, bijvoorbeeld als je een hoge sterkte wilt maar tegelijkertijd een laag gewicht. Multiple Response Optimization is een bekend hulpmiddel hiervoor.

Het effect van inputvariatie

Als je eenmaal weet wat de impact van een input is, is het ook belangrijk om naar de variatie ervan te kijken, en wat voor variatie deze weer veroorzaakt in de prestaties’, vervolgt Luiten. Dit is ook iets waar mensen minder bekend mee zijn, maar als je eenmaal weet hoe het moet, is het niet zo moeilijk en belangrijk. Om een ontwerp tot een succes te maken, is het niet alleen belangrijk om piekprestaties te leveren, maar ook om die prestaties consistent te leveren. Met behulp van statistische simulaties kun je een statistisch model maken om het gemiddelde en de variatie van je uitvoer te koppelen aan de statistische verdeling van je invoer.

Soms zeggen mensen dat dit geen zin heeft omdat ze de variatie in de inputs niet kennen. Maar als een input belangrijk is, is het riskant om geen rekening te houden met de variatie als het gaat om consistente productkwaliteit. Als het statistische model laat zien dat de input belangrijk is, heb je een goede reden om met de leverancier te bespreken wat de verdeling is en hoeveel variatie deze heeft. Dit is gebruikelijk in de auto-industrie, zij hebben zelfs formele procedures die niet alleen exacte eisen stellen aan het gemiddelde, maar ook aan de standaardafwijking van componenten en subassemblages.

Navigeren door de oplossingsruimte

Statistische methoden helpen met andere woorden om door alle mogelijke configuraties te navigeren die samen de oplossingsruimte vormen. Luiten zegt: “Je bereikt je optimale prestatie niet zomaar per toeval. Als je twee ingangen hebt die hoog of laag kunnen zijn, blijven er vier mogelijkheden over. Maar als je iets ontwerpt met vijf ingangen, blijven er 32 mogelijke configuraties over. En veel moderne ontwerpen hebben meer ingangen dan dat. En dan hebben we het nog niet eens over alle mogelijke toleranties en alle verschillende gebruikersgevallen. Zonder een structurele, op statistiek gebaseerde aanpak is de kans klein dat je optimale consistente prestaties vindt.

Auto’s rijden

De onderdelen van Luiten’s cursus hangen nauw met elkaar samen, het is een keten van tools. Als je bijvoorbeeld resultaten wilt valideren, dan heb je ook meetstatistieken nodig die je vertellen wat je toevallige fout is. Dit laat op zijn beurt zien hoe groot je steekproef moet zijn, zodat de experimentele opzet correct is. Pas dan kun je beslissen of je je validatie kunt vertrouwen”, zegt Luiten.

Luiten kiest voor een praktische benadering. Voor haar is statistiek een toegepaste vaardigheid, een middel om een doel te bereiken. Statistiek wordt op de universiteit heel theoretisch onderwezen’, zegt Luiten. Ik zag dit bij mijn eigen studie en ik zag het bij de studie van mijn kinderen. Het wordt onderwezen op een manier die in mijn werk maar beperkt praktisch bruikbaar was. Ik vergelijk het met autorijden: Je hoeft niet precies te weten hoe de motor werkt om van A naar B te rijden. Het doel van de opleiding is niet om een statistisch expert te worden, maar om je doel te kunnen bereiken met statistiek.’ En wiskundige hulpmiddelen zoals excel en statistieksoftware maken de toepassing tegenwoordig veel toegankelijker.

Master zwarte band Six Sigma

Luiten is een Master Black Belt in Design for Six Sigma, en haar carrière heeft haar een diep inzicht in en een rijke ervaring met de toepassing van statistiek in innovatieprocessen opgeleverd. Mijn ervaring is dat veel ingenieurs leren door te doen, en dat is logisch. Je kunt niet leren zwemmen door naar de Olympische Spelen te kijken, je moet zelf het water in, al is het maar om te leren drijven. Dus hebben we praktijkoefeningen, in excel of in een speciale statistiektool.’ Voor Luiten is statistiek een hulpmiddel voor algemeen gebruik, en vertrouwdheid met de technieken en hulpmiddelen die ze in haar cursus noemt, is essentieel voor ingenieurs die op verschillende gebieden werken, van technische experts tot ontwerpers en teamleiders tot systeemarchitecten.

Dit is een algemene cursus voor mensen in innovatie, die producten ontwikkelen en onderzoek doen. Als je output meet in continue numerieke parameters, maakt het niet uit in welk technisch veld je zit. Ik heb deze technieken gebruikt in thermische toepassingen, maar elk vakgebied kan ze gebruiken, van mechanica en elektronica tot optica en zelfs software, dit is wiskunde. Je kunt zelf beslissen waar je het voor gebruikt. ‘

Dit artikel is geschreven door Tom Cassauwers, freelancer voor High-Tech Systems.