Culturele bias in onderzoek: hoe stel je eerlijke vragen?

Stel, je laat medewerkerstevredenheidsonderzoek uitvoeren en vraagt: "Hoe professioneel vind je de communicatie van je manager?" Klinkt neutraal. Maar wat als een deel van je medewerkers uit een cultuur komt waar directheid geldt als onfatsoenlijk, en terughoudendheid juist als professioneel? Dan meet je niet de tevredenheid over je manager, maar het verschil in culturele verwachtingen over hoe een manager zich hoort te gedragen.

Dit soort onbedoelde vertekening heet culturele bias. Het zit vaker in vragenlijsten dan je denkt, en het leidt tot resultaten die op het eerste gezicht kloppen maar je verkeerd kunnen informeren.

Wat is culturele bias in een vragenlijst?

Culturele bias betekent dat de manier waarop een vraag is gesteld, of het concept dat erin wordt gebruikt, voor mensen uit verschillende culturele achtergronden niet hetzelfde betekent. Dat heeft twee oorzaken.

1. De eerste is taalkundig: sommige begrippen zijn moeilijk letterlijk te vertalen zonder dat de lading verandert. "Tevredenheid" in het Nederlands impliceert iets anders dan satisfaction in een Engelse context, ook al lijkt de vertaling eenvoudig.
2. De tweede oorzaak is dieper: begrippen als professionaliteit, respect, kwaliteit of vertrouwen zijn cultureel gekleurd. Wat in de Nederlandse werkcultuur als proactief en professioneel geldt, voelt in veel Aziatische culturen juist aan als confronterend. Een Chinese medewerker die zijn Nederlandse manager beoordeelt op "professionaliteit" kan die lager beoordelen, niet omdat hij ontevreden is, maar omdat hij een ander referentiekader heeft.

Onderzoek onder medewerkers in Nederland laat zien dat mensen met een niet-westerse achtergrond systematisch andere antwoordpatronen vertonen dan Nederlanders zonder migratieachtergrond op Likertschalen, ongeacht hoe de vragen inhoudelijk zijn (He & Van de Vijver, 2013). Dat betekent dat vergelijkingen tussen groepen voorzichtig moeten worden geïnterpreteerd, zeker als je niet hebt getoetst of de meting voor iedereen hetzelfde is.

Drie vragen die onbedoeld uitsluiten

"Hoe professioneel vind je de communicatie van je manager?"

Het probleem: professionaliteit in communicatie heeft in collectivistische culturen een andere invulling dan in individualistisch georiënteerde, directe culturen zoals de Nederlandse. Iemand die gewend is aan indirecte, relatiegerichte communicatie kan de directe stijl van een Nederlandse manager als onfatsoenlijk ervaren. De vraag meet dan feitelijk een cultuurverschil, geen oordeel over de kwaliteit van de manager.

Een betere vraag: "Sluit de manier van communiceren van jouw manager aan bij wat jij fijn vindt?" Hiermee maak je de persoonlijke beleving leidend, los van culturele normen over wat "goed" communiceren is.

"Bent u tevreden over de dienstverlening van de gemeente?"

Het probleem: tevredenheid is deels afhankelijk van verwachtingen. Cliënten die gewend zijn aan minimale overheidsdienstverlening, of die meer drempels ervaren om contact te maken, beoordelen dezelfde dienst anders dan mensen met hoge verwachtingen. Onderzoek naar patiëntervaringen in de eerstelijnszorg laat zien dat etniciteit kan samenhangen met hoe mensen hun zorg beoordelen (Magadi et al., 2022).

Een betere vraag: "Wat ging er goed bij uw laatste contact met de gemeente, en wat had u liever anders gezien?" Open vragen vangen de échte ervaring beter dan een algemene tevredenheidsscore.

"Zou u ons aanbevelen aan mensen in uw omgeving?"

Het probleem: de klassieke Net Promoter Score (NPS) veronderstelt dat aanbevelen een gebruikelijke en comfortabele daad is. In culturen waar men terughoudend is over het doorverwijzen van anderen, of waar het sociale netwerk anders functioneert, is de drempel om "ja" te zeggen veel groter, ongeacht hoe tevreden iemand eigenlijk is (Seth et al., 2016).

Een betere vraag: "Hoe was uw ervaring over het geheel genomen?" met de mogelijkheid om toe te lichten wat beter had gekund. Dat geeft minder vertekening en meer bruikbaar inzicht.

Culturele bias als kans

Culturele bias is een probleem als je het niet ziet, maar het kan ook een opening zijn voor betere inzichten. Als je bewust vraagt naar communicatievoorkeuren in plaats van naar "professionele" communicatie, leer je iets wat je anders nooit te weten was gekomen: hoe wil mijn doelgroep eigenlijk benaderd worden? Welke kanalen werken voor wie?

Stel je vragenlijst zo op dat je de diversiteit van je doelgroep als informatie gebruikt, niet als ruis. Dat vereist een andere houding bij het ontwerpen van onderzoek: begin niet met de vraag die jij wilt stellen, maar met de situatie van de mensen die je wilt bevragen.

ℹ️ Lees ook onze blog: Hoe bereik je meertalige respondenten met een onderzoek?

Hoe stel je cultureel inclusieve vragen op?

Culturele bias volledig uitsluiten is lastig, maar je kunt het flink beperken.

• Test je vragenlijst vóór gebruik bij mensen uit je doelgroep, en vraag ze niet alleen of ze de vragen begrijpen, maar ook wat ze denken dat de vraag precies bedoelt. Dat onthult verborgen aannames sneller dan een interne review.
• Vermijd begrippen die cultureel beladen zijn zonder dat je dat in de gaten hebt. Woorden als "professioneel", "normaal", "gepast" of "modern" hebben sterkere culturele connotaties dan ze op het eerste gezicht lijken te hebben.
• Houd rekening met taalvaardigheid: een vragenlijst op B1-niveau is voor mensen die het Nederlands minder goed beheersen een stuk toegankelijker, wat de kwaliteit van de antwoorden ook ten goede komt (CommunicatieRijk).
• Bied naast gesloten schaalvragen ook ruimte voor een toelichting. Schaalvragen zijn efficiënt, maar missen context. Een open vervolgvraag als "Wat heeft u gemist?" geeft respondenten de ruimte om antwoord te geven vanuit hun eigen perspectief.

Hoe Ervaringwijzer hiermee omgaat

Bij het opzetten van medewerkers- of cliëntervaringsonderzoek denken we actief mee over welke vragen voor jouw doelgroep eerlijk zijn. Dat geldt voor de inhoud van de vragenlijst, maar ook voor de manier van uitvragen: via welk kanaal je mensen bereikt, in welke taal, en met welke begeleiding. Daarnaast zijn in het digitaal onderzoeksplatform verschillende opties beschikbaar die ervoor zorgen dat mensen van verschillende (culturele) achtergronden even goed mee kunnen doen:

• Alle onderzoeken gecentraliseerd in één platform
• Vertaalde vragenlijsten met één klik op de knop
• Overzicht en vergelijkbaarheid, doordat één vragenlijst in meerdere talen in te vullen is
• WCAG-proof opzet voor visuele toegankelijkheid
• Uitvragen via e-mail, SMS, brief, WhatsApp, QR, live op tablet en meer
• Besparen op een dure tolk
• Kwantitatieve en kwalitatieve onderzoeken
• Uitgebreide kennisbank met gevalideerde vragenlijsten
• Waterdichte databescherming met Europese opslag en compliance met ISO&NEN-normen
• Flexibiliteit in werkwijze: kies zelf hoeveel jij uit handen geeft
• Vergaande kennis en support van onze experts: altijd een mens aan de lijn

Met Ervaringwijzer wist Stichting Zorgtrecht in Utrecht een inclusief onderzoek op te zetten met 95% respons.

Wil je sparren over hoe jouw onderzoek eerlijker of inclusiever kan worden opgezet? Stuur ons een bericht, dan kijken we samen wat er in jouw situatie mogelijk is.

‍