Posted on

‘Without statistics you are unlikely to find your best performance and realise consistency’

It’s easier than ever to do complex calculations and design simulations. Yet in the end it all boils down to how a design will work out of the lab, in a real product, in a real environment, according to Wendy Luiten. That’s why she’s teaching a new course called Applied statistics for R&D at High Tech Institute. ‘Statistics are often under applied, which is a pity because it can really contribute to success.’
Check out the training

When Wendy Luiten was taught to program, she used punch-cards that were fed into giant computers. Nowadays she can do the most complex calculations and design simulations with the press of a button on her laptop.

During Luiten’s career she witnessed an unprecedented increase in processing power. Graduating in 1984 from the University of Twente, she embarked on a distinguished career as a thermal expert and as a Six Sigma Master Black Belt at Philips. Today she works as a consultant.

That deep experience gave her a better view of statistics and computing than most engineers. New software offers great opportunities for making design simulations and Digital Twins. But the apparent ease of these new methods makes it easy to forget that a simulation is not reality. A simulation model needs to be validated to ensure that it represent reality to a sufficient degree. In addition, simulations describe an ideal world, without random variation. In the real world, random variation can make a product unreliable and disappointing to end customers.

‘Some people do not repeat, but go on a single measurement’, she says. ‘Based on that, they decide whether the design is good or not. That’s risky. You do not know how good the measurement is, you have no idea about the measurement error, you do not know how representative the prototype is, you do not know how representative the use case is.’

“Applied statistics is like driving a car, you do not need to know the working of the engine to go from A to B,” Wendy Luiten

People tend to be very optimistic about their measurement error. ‘I saw cases where people thought their measurement error was in the tenths of a degree, but a repeat measurement showed a difference of 10 degrees C. In the thermal world, that is a huge difference. So, if your repeat measurement shows such a big difference, you really cannot be sure on how well the product performs and you need to dig deeper as to the root cause for this difference.’

This is why Luiten starts her new training on Applied statistics for R&D at the High-Tech Institute with measurement statistics. In this course she will dig into key statistics skills that have shown their worth in her 30+ years of industry R&D experience. ‘First, you need to see how good your measurement is’, she explains. Then you need to be able to estimate the sample size, the number of measurements that you need to show a certain effect with sufficient probability. Once you can measure output performance accurately and with sufficient precision, you can explore different design configurations and choose the best configuration. Finally, you investigate the output mean and variation, which is ultimately how you achieve a successful design.’

''In the real world, we do not have unlimited resources, you need to prioritize.''

Random measurement error

Luiten notes that engineers often are already aware of the systematic measurement error. ‘Systematic errors are a well-known field’, she says. ‘You can measure a golden sample and correct the results, that is a de facto calibration of your measurement. Well known, and part of many lab courses taught in higher education’.

Most people, however, don’t consider the random error or blindly use a default value of 1, 5 or 10%. But in reality, the random error depends on the measurement instrument and also on who is performing the measurements. The statistical method to find out the random error is not usually part of a lab course, so this is less common. But the first time such a test is done, the results are often surprising.’

Luiten mentions some cases she dealt with herself. ‘I have seen cases where people were confident that they had almost no random error because they had a very expensive automated measurement machine. But it turned out that the operators were making the samples in a different manner, and that caused a large random error. In another case different development labs were all claiming a 5% measurement error – but when they measured the same devices in a round robin test, there was a difference of a factor 2, because of differences in the measurement set up that were thought to be irrelevant. I have seen that apparent fluctuations in product quality could be linked to the operator performing the measurements. In all cases people were absolutely convinced that they had a negligible random error in the measurements, and these results were totally unexpected. But you only know your random error and the cause of the random error if you do the statistical test for it.’

“Which design is better? Design C is preferred – Even though B has a higher average performance, C has the lowest failure rate because it performs consistently, ” Wendy Luiten

Measurement repeats

The random measurement error is especially important when it comes to so called statistical power – the probability of measuring a certain effect if it is present. If the effect you want to measure is about the same size as your measurement error, and you repeat your measurement twice, the probability of proving that effect is below 10%. So, if a design change gives you a 5C lower temperature, and your random measurement error is 5C, you will see that in 1 out of 10 measurements, and on average 9 out of 10 times the results are unconclusive, even if you do the measurement in duplicate. If you want to improve the power, you either need to lower the measurement error, or do more repeats. Sometimes people see repeat measurements as a waste of effort, but Luiten does not agree with that. ‘The true waste is to run underpowered experiments, going through all the effort of setting up and executing an experiment – and then finding out that the result is inconclusive.’

Testing different design options

Besides measurement errors and sample size estimation, a key element of the course will be testing of different designs. You can do that in hardware, but that might not be the most effective option. ‘Nowadays you can do a lot by virtual testing’, says Luiten. ‘Before you even make a prototype, you can experiment with your designs using computer simulations. Inputs can range from materials and dimensions to power and control software. You can, for example, model the impact of different materials or dimensions, or the use of a different mechanical layout, or different settings in a control algorithm. In every product there are lots of choices to be made, both on the level of the architecture and in the implementation. Finding out what inputs are the most important, and how these inputs determine your performance is key because you don’t want to realise in a later stage that an earlier decision was wrong. A Trial-and-error approach is often too expensive in time and money.’ The statistical approach is to set up a set of experiments in a special way, varying multiple inputs at the same time and not comparing single experiments but groups of experiments to tease out the effect of a single input or interactions between two inputs. This is a very powerful approach, especially in combination with computer simulations, but for a small number of inputs you can also do this in hardware. If you do the experiments in hardware, the calculated sample size from the earlier stages determines the number of repeats for the different experiments. If the experiments executed virtually, through computer simulations, the sample size is used for the validation experiments for the computer model.

''In innovation, you need to focus on the vital few parameters that really impact your design.''

Making the best choice

The next tool in the statistics toolbelt is optimization or making the best choice. Once you have found out what are the key input parameters and how they relate to the performance, you can make a data driven decision of what design configuration suits your purpose the best. Often there are multiple outputs to consider, for instance if you want high strength but at the same time low weight. Multiple Response Optimization is a well-known tool for this.

The effect of input variation

‘Once you know the impact of an input, it’s also important to look at its variation, and in turn what kind of variation it causes in the performance’, Luiten continues. ‘ This is also something that people are less familiar with but once you know how to do it this is not that difficult, and it is important. For a design to be a success, it’s not just peak performance that matters, but also that you consistently achieve that performance. Using statistical simulations tool, you can make a statistical model to link the mean and variation of your output to the statistical distribution of your inputs.

Sometimes people say that this is no use because they do not know the variation in the inputs. But if an input is important, not considering its variation is risky in terms of consistent product quality. If the statistical model shows that the input is important, you have good cause to discuss with the supplier what the distribution is and how much variation it has. This is common in automotive industry, in fact they have formal procedures in place defining exact requirements not only on the mean but also on the standard deviation of components and sub-assemblies.

Navigate the solution space

Statistical methods, in other words, help to navigate all possible configurations that together form the solution space. Luiten says “You don’t just reach your optimum performance by accident. If you have two inputs that can be high or low, that leaves four possibilities. But if you are designing something with five inputs, that leaves 32 possible configurations. And many modern-day designs have more inputs than that. And that is without even taking all the possible tolerances into account, and all different user cases. Without a structural, statistics-based approach the probability of finding optimum consistent performance is small.’

Driving cars

The components of Luiten’s course are closely interrelated, it is a chain of tools. ‘If you, for example, want to validate results, then you also need measurement statistics to tell you what your random error is. This in turn shows how large your sample needs to be, so that the experimental set up is correct. Only then can you decide whether you can trust your validation’, says Luiten.

''The aim of the training is not to become a statistical expert, but to be able to reach your goal with statistics.''

Luiten takes a practical approach. For her, statistics is an applied skill, a means to an end. ‘Statistics in university is taught in a very theoretical way’, says Luiten. ‘I saw this in my own studies, and I saw it when my children were studying. It’s taught in a way that had limited practical use in my line of work. I compare it to driving a car: You do not need to know exactly how the engine works in order to drive from A to B. The aim of the training is not to become a statistical expert, but to be able to reach your goal with statistics.’ And mathematical tools like excel and statistics software makes application much more accessible nowadays.

Master Black belt Six Sigma

Luiten is a Master Black Belt in Design for Six Sigma, and her career has supplied her with a deep understanding and rich experience in the application of statistics in innovation processes. ‘In my experience, many engineers learn by doing, and that makes sense. You cannot learn swimming by watching the swimming Olympics, you need to get into the water yourself, even if it is only to learn how to float. So, we have practice exercises, either in excel or in a dedicated statistics tool.’ Statistics for Luiten is a general-purpose tool, and familiarity with the techniques and tools she mentions in her course is key for engineers working in a variety of fields from technical experts to designers and team leads to system architects.

‘This is a general course for people in innovation, that develop products and do research. If you measure output in continuous numerical parameters, it doesn’t matter what technical field you are in. I used these techniques in thermal applications, but any field can use them, from mechanics and electronics to optics and even software, this is mathematics. You can decide for yourself what you’ll use it for. ‘

This article is written by Tom Cassauwers, freelancer for High-Tech Systems.

Posted on

Zonder statistieken is het onwaarschijnlijk dat je je beste prestaties vindt en consistentie realiseert’.

Het is makkelijker dan ooit om complexe berekeningen en ontwerpsimulaties uit te voeren. Toch komt het uiteindelijk allemaal neer op hoe een ontwerp zal werken buiten het lab, in een echt product, in een echte omgeving, volgens Wendy Luiten. Daarom geeft ze een nieuwe cursus Toegepaste statistiek voor R&D aan het High Tech Institute. Statistiek wordt vaak te weinig toegepast en dat is jammer, want het kan echt bijdragen aan succes.
Check out the training

Toen Wendy Luiten leerde programmeren, gebruikte ze ponskaarten die in gigantische computers werden ingevoerd. Tegenwoordig kan ze de meest complexe berekeningen en ontwerpsimulaties uitvoeren met een druk op de knop van haar laptop.

Tijdens Luiten’s carrière was ze getuige van een ongekende toename in rekenkracht. Nadat ze in 1984 afstudeerde aan de Universiteit Twente, begon ze aan een indrukwekkende carrière als thermisch expert en als Six Sigma Master Black Belt bij Philips. Tegenwoordig werkt ze als consultant.

Die diepgaande ervaring gaf haar een betere kijk op statistiek en computergebruik dan de meeste ingenieurs. Nieuwe software biedt geweldige mogelijkheden voor het maken van ontwerpsimulaties en Digital Twins. Maar het ogenschijnlijke gemak van deze nieuwe methoden doet gemakkelijk vergeten dat een simulatie niet de werkelijkheid is. Een simulatiemodel moet gevalideerd worden om er zeker van te zijn dat het de werkelijkheid in voldoende mate weergeeft. Bovendien beschrijven simulaties een ideale wereld, zonder willekeurige variatie. In de echte wereld kan willekeurige variatie een product onbetrouwbaar en teleurstellend voor eindklanten maken.

Sommige mensen herhalen niet, maar gaan af op één meting”, zegt ze. ‘Op basis daarvan beslissen ze of het ontwerp goed is of niet. Dat is riskant. Je weet niet hoe goed de meting is, je hebt geen idee van de meetfout, je weet niet hoe representatief het prototype is, je weet niet hoe representatief de use case is.’

“Toegepaste statistiek is als autorijden, je hoeft de werking van de motor niet te kennen om van A naar B te gaan,” Wendy Luiten

Mensen zijn vaak erg optimistisch over hun meetfout. Ik heb gevallen gezien waarbij mensen dachten dat hun meetfout in de tienden van een graad zat, maar bij een herhalingsmeting bleek het verschil 10 graden C te zijn. Dus als je herhalingsmeting zo’n groot verschil laat zien, kun je echt niet zeker zijn van hoe goed het product presteert en moet je dieper graven naar de hoofdoorzaak van dit verschil.

Daarom start Luiten haar nieuwe training Toegepaste statistiek voor R&D aan het High-Tech Institute met meetstatistiek. In deze cursus gaat ze dieper in op de belangrijkste statistische vaardigheden die hun waarde hebben bewezen in haar 30+ jaar R&D-ervaring in de industrie. Eerst moet je zien hoe goed je metingen zijn’, legt ze uit. Vervolgens moet je de steekproefgrootte kunnen schatten, het aantal metingen dat je nodig hebt om een bepaald effect met voldoende waarschijnlijkheid aan te tonen. Zodra je de uitvoerprestaties nauwkeurig en met voldoende precisie kunt meten, kun je verschillende ontwerpconfiguraties onderzoeken en de beste configuratie kiezen. Tot slot onderzoek je het uitgangsgemiddelde en de variatie, wat uiteindelijk de manier is waarop je tot een succesvol ontwerp komt.

''In the real world, we do not have unlimited resources, you need to prioritize.''

Willekeurige meetfout

Luiten merkt op dat ingenieurs zich vaak al bewust zijn van de systematische meetfout. Systematische fouten zijn een bekend fenomeen”, zegt ze. Je kunt een gouden monster meten en de resultaten corrigeren, dat is een de facto kalibratie van je meting. Dat is bekend en onderdeel van veel labcursussen in het hoger onderwijs.

De meeste mensen houden echter geen rekening met de toevallige fout of gebruiken blindelings een standaardwaarde van 1, 5 of 10%. Maar in werkelijkheid hangt de toevallige fout af van het meetinstrument en ook van wie de metingen uitvoert. De statistische methode om de toevallige fout te achterhalen is meestal geen onderdeel van een labcursus, dus dit komt minder vaak voor. Maar de eerste keer dat zo’n test wordt gedaan, zijn de resultaten vaak verrassend.

Luiten noemt een aantal gevallen waar ze zelf mee te maken heeft gehad. Ik heb gevallen gezien waarin mensen ervan overtuigd waren dat ze bijna geen toevallige fout hadden omdat ze een hele dure geautomatiseerde meetmachine hadden. Maar het bleek dat de operators de monsters op een andere manier maakten en dat veroorzaakte een grote toevallige fout. In een ander geval claimden verschillende ontwikkelingslaboratoria allemaal een meetfout van 5% – maar toen ze dezelfde apparaten in een round robin test maten, was er een verschil van een factor 2, vanwege verschillen in de meetopstelling die irrelevant werden geacht. Ik heb gezien dat schijnbare fluctuaties in productkwaliteit konden worden gekoppeld aan de operator die de metingen uitvoerde. In alle gevallen waren mensen er absoluut van overtuigd dat ze een verwaarloosbare toevallige fout in de metingen hadden, en deze resultaten waren totaal onverwacht. Maar je kent je toevallige fout en de oorzaak van de toevallige fout alleen als je er een statistische test voor doet.

“Welk ontwerp is beter? Ontwerp C heeft de voorkeur – Ook al heeft B een hogere gemiddelde prestatie, C heeft het laagste uitvalpercentage omdat het consistent presteert,” Wendy Luiten

Herhalingen van metingen

De willekeurige meetfout is vooral belangrijk als het gaat om de zogenaamde statistische power – de kans dat je een bepaald effect meet als het aanwezig is. Als het effect dat je wilt meten ongeveer even groot is als je meetfout en je herhaalt je meting twee keer, dan is de kans dat je dat effect bewijst kleiner dan 10%. Dus als een verandering in het ontwerp je een 5C lagere temperatuur oplevert, en je willekeurige meetfout is 5C, dan zul je dat in 1 op de 10 metingen zien, en gemiddeld 9 op de 10 keer zijn de resultaten niet doorslaggevend, zelfs als je de meting in tweevoud doet. Als je het vermogen wilt verbeteren, moet je of de meetfout verlagen, of meer herhalingen doen. Soms zien mensen herhalingsmetingen als verspilde moeite, maar daar is Luiten het niet mee eens. De echte verspilling is het uitvoeren van experimenten met te weinig power, waarbij je alle moeite doet om een experiment op te zetten en uit te voeren – om er vervolgens achter te komen dat het resultaat geen uitsluitsel geeft.

Verschillende ontwerpopties testen

Naast meetfouten en het schatten van de steekproefgrootte is een belangrijk onderdeel van de cursus het testen van verschillende ontwerpen. Je kunt dat in hardware doen, maar dat is misschien niet de meest effectieve optie. Tegenwoordig kun je veel virtueel testen”, zegt Luiten. Voordat je een prototype maakt, kun je al experimenteren met je ontwerpen met behulp van computersimulaties. De input kan variëren van materialen en afmetingen tot stroom- en besturingssoftware. Je kunt bijvoorbeeld het effect van verschillende materialen of afmetingen modelleren, of het gebruik van een andere mechanische lay-out, of verschillende instellingen in een besturingsalgoritme. In elk product moeten veel keuzes worden gemaakt, zowel op het niveau van de architectuur als in de implementatie. Het is belangrijk om uit te zoeken welke inputs het belangrijkst zijn en hoe deze inputs de prestaties bepalen, want je wilt je in een later stadium niet realiseren dat een eerdere beslissing verkeerd was. Een ‘trial-and-error’-aanpak is vaak te duur in tijd en geld. De statistische benadering bestaat uit het opzetten van een reeks experimenten op een speciale manier, waarbij meerdere inputs tegelijkertijd worden gevarieerd en niet afzonderlijke experimenten worden vergeleken, maar groepen experimenten om het effect van een enkele input of interacties tussen twee inputs te achterhalen. Dit is een zeer krachtige aanpak, vooral in combinatie met computersimulaties, maar voor een klein aantal ingangen kun je dit ook in hardware doen. Als je de experimenten in hardware uitvoert, bepaalt de berekende steekproefgrootte uit de eerdere stadia het aantal herhalingen voor de verschillende experimenten. Als de experimenten virtueel worden uitgevoerd, door middel van computersimulaties, wordt de steekproefgrootte gebruikt voor de validatie-experimenten voor het computermodel.

''In innovation, you need to focus on the vital few parameters that really impact your design.''

De beste keuze maken

Het volgende gereedschap in de statistische gereedschapsgordel is optimalisatie of het maken van de beste keuze. Als je eenmaal hebt ontdekt wat de belangrijkste invoerparameters zijn en hoe deze zich verhouden tot de prestaties, kun je op basis van gegevens beslissen welke ontwerpconfiguratie het beste bij je doel past. Vaak zijn er meerdere outputs om te overwegen, bijvoorbeeld als je een hoge sterkte wilt maar tegelijkertijd een laag gewicht. Multiple Response Optimization is een bekend hulpmiddel hiervoor.

Het effect van inputvariatie

Als je eenmaal weet wat de impact van een input is, is het ook belangrijk om naar de variatie ervan te kijken, en wat voor variatie deze weer veroorzaakt in de prestaties’, vervolgt Luiten. Dit is ook iets waar mensen minder bekend mee zijn, maar als je eenmaal weet hoe het moet, is het niet zo moeilijk en belangrijk. Om een ontwerp tot een succes te maken, is het niet alleen belangrijk om piekprestaties te leveren, maar ook om die prestaties consistent te leveren. Met behulp van statistische simulaties kun je een statistisch model maken om het gemiddelde en de variatie van je uitvoer te koppelen aan de statistische verdeling van je invoer.

Soms zeggen mensen dat dit geen zin heeft omdat ze de variatie in de inputs niet kennen. Maar als een input belangrijk is, is het riskant om geen rekening te houden met de variatie als het gaat om consistente productkwaliteit. Als het statistische model laat zien dat de input belangrijk is, heb je een goede reden om met de leverancier te bespreken wat de verdeling is en hoeveel variatie deze heeft. Dit is gebruikelijk in de auto-industrie, zij hebben zelfs formele procedures die niet alleen exacte eisen stellen aan het gemiddelde, maar ook aan de standaardafwijking van componenten en subassemblages.

Navigeren door de oplossingsruimte

Statistische methoden helpen met andere woorden om door alle mogelijke configuraties te navigeren die samen de oplossingsruimte vormen. Luiten zegt: “Je bereikt je optimale prestatie niet zomaar per toeval. Als je twee ingangen hebt die hoog of laag kunnen zijn, blijven er vier mogelijkheden over. Maar als je iets ontwerpt met vijf ingangen, blijven er 32 mogelijke configuraties over. En veel moderne ontwerpen hebben meer ingangen dan dat. En dan hebben we het nog niet eens over alle mogelijke toleranties en alle verschillende gebruikersgevallen. Zonder een structurele, op statistiek gebaseerde aanpak is de kans klein dat je optimale consistente prestaties vindt.

Auto’s rijden

De onderdelen van Luiten’s cursus hangen nauw met elkaar samen, het is een keten van tools. Als je bijvoorbeeld resultaten wilt valideren, dan heb je ook meetstatistieken nodig die je vertellen wat je toevallige fout is. Dit laat op zijn beurt zien hoe groot je steekproef moet zijn, zodat de experimentele opzet correct is. Pas dan kun je beslissen of je je validatie kunt vertrouwen”, zegt Luiten.

''The aim of the training is not to become a statistical expert, but to be able to reach your goal with statistics.''

Luiten kiest voor een praktische benadering. Voor haar is statistiek een toegepaste vaardigheid, een middel om een doel te bereiken. Statistiek wordt op de universiteit heel theoretisch onderwezen’, zegt Luiten. Ik zag dit bij mijn eigen studie en ik zag het bij de studie van mijn kinderen. Het wordt onderwezen op een manier die in mijn werk maar beperkt praktisch bruikbaar was. Ik vergelijk het met autorijden: Je hoeft niet precies te weten hoe de motor werkt om van A naar B te rijden. Het doel van de opleiding is niet om een statistisch expert te worden, maar om je doel te kunnen bereiken met statistiek.’ En wiskundige hulpmiddelen zoals excel en statistieksoftware maken de toepassing tegenwoordig veel toegankelijker.

Master zwarte band Six Sigma

Luiten is een Master Black Belt in Design for Six Sigma, en haar carrière heeft haar een diep inzicht in en een rijke ervaring met de toepassing van statistiek in innovatieprocessen opgeleverd. Mijn ervaring is dat veel ingenieurs leren door te doen, en dat is logisch. Je kunt niet leren zwemmen door naar de Olympische Spelen te kijken, je moet zelf het water in, al is het maar om te leren drijven. Dus hebben we praktijkoefeningen, in excel of in een speciale statistiektool.’ Voor Luiten is statistiek een hulpmiddel voor algemeen gebruik, en vertrouwdheid met de technieken en hulpmiddelen die ze in haar cursus noemt, is essentieel voor ingenieurs die op verschillende gebieden werken, van technische experts tot ontwerpers en teamleiders tot systeemarchitecten.

Dit is een algemene cursus voor mensen in innovatie, die producten ontwikkelen en onderzoek doen. Als je output meet in continue numerieke parameters, maakt het niet uit in welk technisch veld je zit. Ik heb deze technieken gebruikt in thermische toepassingen, maar elk vakgebied kan ze gebruiken, van mechanica en elektronica tot optica en zelfs software, dit is wiskunde. Je kunt zelf beslissen waar je het voor gebruikt. ‘

Dit artikel is geschreven door Tom Cassauwers, freelancer voor High-Tech Systems.