Vragenlijstontwerp: rommel erin, rommel eruit

Een van de meest nuttige manieren om gegevens te verzamelen bij het uitvoeren van marktonderzoek is via het gebruik van HUMINT (Human Intelligence). Gegevens kunnen worden verzameld via diepgaande kwalitatieve interviews of grootschalige kwantitatieve enquêtes. In deze blog ligt de focus op het laatste. Kwantitatieve enquêtes zijn een geweldige methode om representatieve informatie te verzamelen over een specifieke doelgroep.

Om waardevolle input voor analyse te verkrijgen, heb je een goed ontworpen vragenlijst nodig. Als je vragenlijst niet goed is ontworpen, zul je moeite hebben om waardevolle resultaten eruit te halen: ‘garbage in, garbage out’. Deze blog biedt enkele richtlijnen over hoe je garbage input (en dus garbage output) kunt voorkomen bij het ontwerpen van een vragenlijst voor een kwantitatieve enquête.

Onderzoeksdoel en KPI's

Wanneer je van plan bent een kwantitatieve enquête uit te voeren, heb je een duidelijk beeld nodig van wat je wilt bereiken na het verzamelen en analyseren van de resultaten: het doel van je enquête. Stel jezelf de volgende vragen tijdens het ontwerp van de vragenlijst:

• Wat is het beoogde gebruik van de inzichten die voortkomen uit de enquête? Wat moeten de resultaten van de enquête verduidelijken om een onderbouwde beslissing te nemen?

Het antwoord op deze vragen zal nog niet resulteren in enquêtevragen, maar eerder in meetbare Key Performance Indicators (KPI's), bijv.: marktaandeel, merkbekendheid, aankoopcriteria, tevredenheid, enz. Houd ook in gedachten dat als je de uiteindelijke resultaten in een datavisualisatietool (bijv. PowerBI, Tableau) wilt tonen, de KPI's gemakkelijk te visualiseren en te begrijpen moeten zijn voor de gebruiker.

Belangrijke vragen creëren

Zodra je een duidelijk doel hebt om een enquête uit te voeren en bewust bent van welke KPI's je moet meten, is het tijd om de belangrijke vragen te creëren. Deze vragen leveren een resultaat op voor de steekproef van respondenten. Bij het creëren van vragen zullen er waarschijnlijk allerlei secundaire vragen opkomen. Het is van vitaal belang om de belangrijke vragen die je KPI's meten duidelijk te onderscheiden van de ‘leuke om te weten’ vragen, zodat de belangrijke vragen op een manier worden gepositioneerd die onbevooroordeeld kan worden beantwoord. Van die ‘leuke om te weten’ vragen, houd alleen die vragen die echt waarde toevoegen.

Een langere vragenlijst leidt tot afgeleide, minder gemotiveerde respondenten.‍

Respondentenprofiel

Een belangrijk aspect van de analyse van een kwantitatieve enquête is segmentatie. Wanneer je de resultaten van de enquête analyseert, is het nuttig om je steekproef te segmenteren om significante verschillen tussen soorten respondenten te identificeren. Daarom zou je vragenlijst moeten beginnen met vragen die een respondentenprofiel creëren. Voor de hand liggende vragen die in je opkomen zijn demografische gegevens zoals leeftijd en geslacht, maar het is belangrijk om geen enkele indicator te missen waar een segmentatie van de steekproef nuttig zou kunnen zijn.

Als we een enquête zouden uitvoeren onder 100 CEO's van Europese bedrijven, zou het nuttig kunnen zijn om de CEO's te segmenteren op persoonlijke indicatoren zoals hoe lang ze al in de functie van CEO zitten, hoe lang ze bij dat specifieke bedrijf hebben gewerkt, welke andere banen ze hebben gehad, enz. Het kan ook nuttig zijn om de bedrijven waarvoor ze werken te segmenteren op indicatoren zoals bedrijfsgrootte, de sector waarin ze actief zijn, of ze B2B of B2C opereren, enz.

Kristalheldere vragen

Een ding dat gedurende de hele vragenlijst aanwezig moet zijn, is duidelijkheid voor de respondent. Zorg ervoor dat het 100% duidelijk is wat je bedoelt voor de respondent, bij elke enkele vraag. Je kunt dit bereiken door context te bieden met tekst, afbeeldingen of video voor elke vraag of term die mogelijk op meerdere manieren kan worden geïnterpreteerd

Een goede manier om context te bieden over specifieke termen is door een zin toe te voegen direct na een vraag waar je een moeilijke of multi-interpreteerbare term hebt gebruikt. Bijvoorbeeld, als je de open vraag stelt: welke producten van term X kun je noemen? Je zou moeten volgen met: Met term X bedoelen we A, B en C, exclusief X, Y en Z.

Naast het bieden van duidelijkheid over definities, is het ook belangrijk om duidelijkheid te bieden over wat er van de respondent wordt verwacht. Bijvoorbeeld: het rangschikken van aankoopcriteria op belangrijkheid op een schaal van 1-5, antwoorden met een nummer, meerdere antwoorden zijn mogelijk, enz. Maak dit expliciet! Het zal niet alleen duidelijkheid bieden aan de respondent, maar ook het leven gemakkelijker maken zodra je de resultaten analyseert.

Een goede routing zal ook duidelijkheid bieden aan de respondent en de analyse gemakkelijker maken. Denk goed na over welke antwoorden zullen leiden tot het overslaan of springen naar andere vragen. Als ik de 100 CEO's vraag of ze van Hammer hebben gehoord en ik wil een vervolg vraag stellen over hun perceptie van Hammer, moet ik ervoor zorgen dat de respondenten die nog nooit van Hammer hebben gehoord de vervolg vraag over perceptie overslaan!

‍

Voorkomen van bias

Om geldige resultaten uit je enquête te halen, is het essentieel dat je respondenten vragen zo onbevooroordeeld mogelijk beantwoorden. De twee meest voorkomende manieren waarop bias in je vragenlijst kan sluipen zijn:

• ‍Beladen formulering: wanneer je je respondenten vraagt naar sentiment, is het essentieel om de vraag zo neutraal mogelijk te stellen. Vermijd het toevoegen van beladen woorden over je onderwerp. Een vraag zoals: ‘Hoe mooi vind je logo X?’ is bijvoorbeeld een no-go. In plaats daarvan zou je kunnen vragen ‘Wat is je mening over logo X?’ Beoordeel van 1 – helemaal niet mooi tot 5 – heel mooi
• ‍Volgorde van tekst en vragen: vaak worden in enquêtes vragen gesteld over een onderwerp dat eerder al aandacht heeft gehad. Zorg ervoor dat je geen informatie geeft die de respondent in een bepaalde richting stuurt over een onderwerp waar je later naar zult vragen.

Feedback op de vragenlijst

Last but not least, zorg ervoor dat je altijd feedback verkrijgt voordat je respondenten benadert. Hoe zorgvuldig je je vragenlijst ook hebt ontworpen, het is heel gebruikelijk om kleine fouten over het hoofd te zien die gemakkelijk gemaakt kunnen worden. Ten tweede is het belangrijk om feedback te krijgen vanuit een inhoudelijk perspectief. Worden alle KPI's goed gemeten? Zijn er vragen die ontbreken? Of zijn er vragen in je vragenlijst die verwijderd moeten worden? Het is het beste om je conceptvragenlijst te laten controleren door drie soorten mensen:

• ‍Belanghebbenden: de mensen die profiteren van een succesvolle enquête. Bij Hammer, wanneer we een enquête uitvoeren die door een klant is toegewezen, stemmen we de vragenlijst nauwkeurig af op hun eisen. Uiteindelijk moeten zij beslissingen nemen die worden ondersteund door de resultaten van de enquête.
• ‍Experts: de mensen die de kennis en ervaring hebben om je vragenlijst te verbeteren door deze vanuit hun perspectief te bekijken. Dit kunnen zowel experts op het onderwerp zijn als experts op de onderzoeksmethode. Als ik bijvoorbeeld een enquête wil uitvoeren onder melkveehouders, zal ik zowel een melkveehouderij-/landbouwexpert uit ons netwerk als een van mijn ervaren collega's met kennis van marktonderzoek vragen.‍
• Mensen die deel uitmaken van de doelgroep: feedback vragen van iemand die aan de criteria van je doelgroep voldoet, is van onschatbare waarde. Dit is een geweldige controle om te ontdekken of de vragenlijst volledig duidelijk is voor de respondenten. Het doorlopen van de vragenlijst met een potentiële respondent kan ook worden gebruikt als een pilot om te zien of de soorten antwoorden die eruit komen analyseerbaar zijn.

Het ontwerpen van een solide vragenlijst kan gemakkelijk worden onderschat. Zorg ervoor dat je onderzoeksdoel goed gedefinieerd is, evenals de reagerende KPI's. Maak de vragenlijst zo duidelijk mogelijk voor de respondent, voorkom bias en vraag om feedback van verschillende soorten belanghebbenden.