Veelgemaakte fouten bij het maken van een vragenlijst

Meestal blijkt pas of een vragenlijst deed wat hij moest doen op het moment dat de resultaten binnenkomen. Aan de resultaten is te zien of de vragen door de respondent beantwoord zijn op de manier waarop ze zijn bedoeld, en of je dus bruikbare data hebt. Het gebeurt vaker dan je denkt dat een team na de meting met meer vragen zit dan voorheen. De oorzaak hiervan is bijna altijd de vragenlijst zelf en niet de analyse achteraf.

Een paar fouten komen daarbij steeds terug, over sectoren en doelgroepen heen. Hieronder de vijf die het vaakst voor onbruikbare of misleidende antwoorden zorgen.

Twee vragen in één zin

"Was de medewerker vriendelijk en deskundig?" lijkt op één vraag, maar is dat niet. Iemand die vond dat de medewerker vriendelijk was maar weinig wist, of deskundig was maar kortaf, kan geen eenduidig antwoord geven. Dit heet een double-barreled question, en het is een van de bekendste meetfouten in vragenlijstonderzoek. Het "en" oogt zo onschuldig, terwijl het twee metingen samenvat tot één score (Scribbr).

Splits de vraag in twee, dat levert twee scores op in plaats van één gemiddelde dat niets meer zegt over welk deel van de vraag het antwoord bepaalde. Hetzelfde geldt voor vragen die eigenlijk een herhaling zijn van een eerdere vraag in een net andere formulering. Bijvoorbeeld de stelling: “De medewerker was vriendelijk” en daarna de stelling: “Het contact met de medewerker was aangenaam”. Dat voelt in de opzet misschien grondig, maar de respondent ervaart het als "dit heb ik al beantwoord" en dat werkt averechts op de aandacht voor de rest van de lijst. Schrap een van beide.

Vragen die niet afbakenen wat ze meten

"Ik voel me serieus genomen als ik aangeef ontevreden te zijn" klinkt als een concrete stelling, maar bevat een aanname die niet wordt getoetst. De vraag gaat ervan uit dat de respondent ooit ontevredenheid heeft uitgesproken, zonder dat te vragen, en laat volledig open wat "serieus genomen" voor die persoon betekent. Iemand kan volmondig instemmen zonder dat er ooit een klacht is geweest, of net instemmen op basis van een heel andere ervaring dan bedoeld.

Wat we in de praktijk vaak ook zien, is dat de respondent vervolgens de stelling met “Helemaal niet mee eens” beantwoordt, omdat de vraag voor hem niet van toepassing is. Dit zorgt voor scheve data.

Een specifiekere formulering vraagt eerst naar het feit ("Heb je in de afgelopen periode aangegeven ontevreden te zijn over iets?") en pas daarna naar de ervaring bij die specifieke situatie. Dat kost een vraag meer, maar levert een antwoord op dat je ook echt kunt gebruiken in een rapportage, in plaats van een score die je moet interpreteren met een voorbehoud erbij.

De verkeerde vraagsoort voor het onderwerp

Een vraag die eigenlijk om een genuanceerd antwoord vraagt, maar wordt gesteld als ja/nee-vraag, verliest die nuance voorgoed. Andersom geldt het net zo goed. Een gesloten vraag (een vraag die feitelijk een ja/nee-antwoord vraagt, zoals: “Zijn er afspraken met de consulent gemaakt?”) die wordt gesteld op een schaal van 1 tot 10, levert een schaalverdeling op die niets betekent. Er is geen tussenpositie, want zijn wel of geen afspraken gemaakt.

Voor kwaliteitsmedewerkers die bezig zijn met het nieuwe Generiek kompas zal dit niets nieuws zijn. In de toelichtingsvraag bij die stelling kan dan nog extra informatie worden gegeven, maar vanwege de anonimiteit van de vragenlijst zijn de antwoorden op die vragen moeilijk op respondentniveau te matchen en zijn de antwoorden op de cijfervragen in de praktijk lastig te interpreteren.

Antwoordopties die niet aansluiten bij de vraag

Een vraag over hoe vaak iets gebeurt met antwoordopties als "helemaal mee eens" tot "helemaal niet mee eens" meet iets anders dan de vraag zelf beoogt. Dit gebeurt vaak wanneer een standaard schaal wordt gekopieerd van een andere vraag in de lijst, zonder te checken of die schaal logisch aansluit bij de nieuwe vraag. De respondent merkt dat er iets niet klopt en kiest dan de optie die het minst verkeerd aanvoelt, wat de betrouwbaarheid van net dat antwoord onderuithaalt.

Te veel open vragen

Open vragen leveren waardevolle citaten op, maar een vragenlijst met te veel open vragen kost de respondent meer tijd dan hij ervoor over heeft en levert vaak korte, weinig zeggende antwoorden op waar toch weinig mee te doen is (enquetemaken.nu).

Ook weer bij het nieuwe Generiek kompas zien we dit vaak terugkomen: de toelichtingsvragen bij de cijfervragen worden de eerste vragen goed ingevuld, maar daarna steeds vaker opengelaten. Bij de laatste open vragen bij vraag 14 (”Wat gaat er goed” en “Wat kan er beter”) wordt daardoor vaak niets meer ingevuld of verwezen naar de eerder gegeven toelichtingen, terwijl juist de open vragen bij vraag 14 belangrijk zijn voor bijvoorbeeld een doorlevering naar ZorgkaartNederland.

Er is een richtlijn die hierbij helpt. Gebruik een open vraag alleen op de plekken waar een gesloten vraag de nuance niet kan vangen, meestal aan het einde van een thema, niet bij elk onderdeel. Als het belangrijk is om een open vraag beantwoord te krijgen, zet deze dan eerder in de vragenlijst. Let hierbij wel op dat de volgorde kloppend blijft. Hier schreven we een blog over.

Waar dit toe leidt als het niet klopt

Hoe vaker dit gebeurt in één vragenlijst, hoe lastiger de analyse wordt. Dat brengt iemand die de resultaten moet presenteren aan een team of bestuur in een lastige positie. En het maakt de volgende meting er niet makkelijker op, want de twijfel over de vorige uitkomsten blijft hangen.

Een goed doordacht onderzoek voorkomt de meeste fouten

Wil je vijf vliegen in één klap slaan? Bepaal nog voor het opzetten van de vragenlijst wat je eigenlijk wilt meten. Is het belangrijker om de gedachten van de respondent te horen, of wil je liever data die je kunt vergelijken? Dat bepaalt de mix tussen open en gesloten vragen en de vraagtypes die je gebruikt. Een open vraag laat de meeste ruimte voor nuance en de daadwerkelijke gedachten van de respondent, terwijl gesloten of schaalvragen juist zorgen voor data die je goed kunt vergelijken. Weeg dit belang per vraag dus goed af en houd in gedachten wat je met de antwoorden wilt doen.

Test ook de vragenlijst voor je deze uitstuurt. Niet alleen op spel- en typfouten, maar zo kun je precies zien waar een vraag eigenlijk iets anders zegt dan je had bedoeld. Nadat je zelf hebt getest is het ook handig als je een objectieve derde partij laat kijken, zoals een collega óf een klein groepje respondenten. Die spotten vaak onduidelijkheden die jij over het hoofd hebt gezien.

Bij Ervaringwijzer beginnen we vaak bij een format dat op de vijf bovenstaande punten al is uitgeplozen, en kijken we bij het toevoegen van eigen vragen specifiek naar deze valkuilen voordat de vragenlijst de deur uit gaat.

{{cta}}