Vacaturetekst A/B testen: zo vergelijk je versies betrouwbaar

8 mins’ reading time

Tadaah team meeting

Je vacature trekt wel reacties, maar te weinig kandidaten die echt passen. Dan ligt het voor de hand om de tekst aan te passen. Maar welke versie werkt beter? Met een vacaturetekst A/B test hoef je dat niet te raden: je zet twee versies naast elkaar en meet welke meer passende reacties oplevert.

Het korte antwoord: test één onderdeel tegelijk, laat beide versies op hetzelfde moment en via hetzelfde kanaal lopen, en meet de kwaliteit van de reacties, niet alleen het aantal. Heb je weinig reacties per week? Dan zegt een klein verschil vaak nog niets. Het schrijven van de tekst zelf behandelen we hier niet. Wat er inhoudelijk in hoort, lees je in Using target audience data for your job advertisement.

Welke onderdelen van een vacaturetekst test je als eerste?

Begin bij de onderdelen die een kandidaat vaak vroeg ziet of die kunnen meewegen in de keuze om te reageren. De titel en de opening zijn meestal als eerste zichtbaar. Daarom zijn ze logische onderdelen om mee te beginnen.

De functietitel

De titel kan invloed hebben op de vindbaarheid van je vacature. Volgens Indeed werken specifieke, gangbare functietitels beter dan titels waar mensen minder snel op zoeken. Uit hun enquête bleek dat 36% van de mensen die vacaturesites gebruiken zoekt op de titel van de functie die ze willen. Test dus bijvoorbeeld een creatieve titel tegen de titel die je doelgroep zelf gebruikt.

De opening

De opening is vaak een van de eerste dingen die iemand leest, en daarmee een logisch testonderdeel. Je kunt een opening over het bedrijf testen tegen een opening die direct zegt wat de kandidaat gaat doen en wat het oplevert.

Salaris en arbeidsvoorwaarden

Onderzoek van LinkedIn met een heatmap van vacatureteksten liet zien dat de salarisrange en de voordelen verreweg het vaakst werden gemarkeerd. Concrete details over de functie, zoals taken en locatie, hielpen kandidaten ook. Dat maakt de plek en de vorm van je voorwaarden een logisch testonderwerp: bovenaan of onderaan, een range of een vanaf-bedrag, of juist een andere voorwaarde als eerste genoemd.

De sollicitatiestap

Ook de manier waarop je uitlegt wat er na een reactie gebeurt, kan het verschil maken. Hoe je dat opschrijft, lees je in Explaining the application process in your job advert. Voor een test vergelijk je bijvoorbeeld een korte uitleg met een uitleg die ook de doorlooptijd noemt.

Hoe zet je een eerlijke test op?

Een test is pas eerlijk als het enige verschil tussen de versies het onderdeel is dat je wilt testen. Elke andere wijziging maakt de uitkomst minder betrouwbaar.

Would you like to find out more about data-driven recruitment?
Discover how AI, target audience data and labour market insights can help you attract the right candidates. Download our white paper for practical insights, or feel free to get in touch for advice tailored to your organisation.

Werk in deze volgorde:

  1. Kies één vraag. Bijvoorbeeld: levert een gangbare functietitel meer passende reacties op dan onze huidige titel?
  2. Maak twee versies. Versie A is je huidige tekst, versie B wijkt op precies één onderdeel af.
  3. Leg vooraf vast wat ‘passend’ is. Gebruik je bestaande harde eisen, zoals een rijbewijs of certificaat, zodat je achteraf niet gaat schuiven met de maatstaf.
  4. Bepaal de looptijd en het doel. Spreek af hoe lang de test loopt en hoeveel reacties je minimaal wilt zien voordat je een keuze maakt.
  5. Laat beide versies tegelijk lopen. Via hetzelfde kanaal, met dezelfde doelgroep en hetzelfde budget.
  6. Beoordeel reacties zonder te weten welke versie het was. Zo voorkom je dat je voorkeur voor een versie je oordeel kleurt.

Hoeveel reacties heb je nodig voordat een test iets zegt?

Meer dan je waarschijnlijk hoopt. Bij kleine aantallen is een verschil al snel toeval. Tien reacties op versie A en zeven op versie B is geen bewijs dat A beter is.

Hoeveel je precies nodig hebt, hangt af van een paar vaste ingrediënten. Volgens Statsig heb je voor een betrouwbare A/B test een voldoende grote steekproef nodig. Om die te berekenen gebruik je onder meer de huidige conversie, het kleinste verschil dat je wilt kunnen aantonen, de verdeling tussen de versies, het significantieniveau en de gewenste power.

Wat betekent dat in de praktijk?

  • Zoek je een klein verschil, dan heb je veel bezoekers en reacties nodig.
  • Verwacht je een groot verschil, bijvoorbeeld door een compleet andere titel, dan zie je sneller iets.
  • Ken je huidige conversie. Die vul je in als uitgangswaarde. Hoe groot je steekproef moet zijn, hangt mede af van die conversie en van de andere genoemde invoerwaarden, zoals het kleinste verschil dat je wilt aantonen.

Voor schaarse profielen in techniek of de maritieme sector is het volume vaak klein. Dan kun je beter testen op een tussenstap met meer data, zoals klikken op de vacature of het starten van een sollicitatie, en de passende reacties als tweede signaal gebruiken. Een online rekentool helpt je vooraf in te schatten of je test haalbaar is.

Hoe voorkom je dat kanaal of seizoen je test verstoort?

Door de versies tegelijk en willekeurig te verdelen. Google omschrijft een A/B test als een gerandomiseerd experiment waarbij elke variant tegelijk aan een willekeurige groep gebruikers wordt getoond. Daarmee verklein je de kans dat timing of verschillen tussen de groepen de uitkomst verklaren.

Veelgemaakte fouten die je test verstoren:

Fout Waarom het misgaat Beter
Versie A in maart, versie B in juli Vakantie, seizoenswerk of een concurrent met een nieuwe vacature kan het verschil verklaren Beide versies in dezelfde periode laten lopen
Versie A op social media, versie B op een vacaturesite Je vergelijkt kanalen, niet teksten Beide versies binnen hetzelfde kanaal testen
Tijdens de test het budget of de targeting aanpassen Een van de versies krijgt ineens een ander publiek Instellingen vastzetten tot de test klaar is
Te vroeg stoppen omdat één versie voorloopt Vroege verschillen vallen vaak weg Vooraf afgesproken looptijd of aantal aanhouden

Kun je niet willekeurig splitsen, bijvoorbeeld op een vacaturesite die maar één tekst toestaat? Wissel dan niet om de maand, maar houd de periodes kort en vergelijkbaar. Noteer ook wat er in die tijd verder veranderde, zodat je de uitkomst voorzichtig leest.

Meet je reacties of passende reacties?

Passende reacties. Een tekst die twee keer zoveel reacties oplevert, is geen verbetering als je vooral kandidaten krijgt die niet aan de basiseisen voldoen. Dan kost de winnende versie je juist meer tijd.

Kijk daarom per versie naar een paar cijfers naast elkaar:

  • aantal weergaven en klikken;
  • aantal gestarte en afgeronde sollicitaties;
  • aandeel reacties dat door de eerste selectie komt;
  • aantal kandidaten dat doorgaat naar een gesprek.

Losse aantallen kun je alleen vergelijken als beide versies precies evenveel bereik kregen. Dat is in de praktijk zelden zo. Reken daarom per versie dezelfde conversieratio uit: deel het aantal passende reacties door het aantal weergaven, of door het aantal gestarte sollicitaties als je test op de sollicitatiestap. Een fictief voorbeeld: versie A krijgt 1.000 weergaven en 12 passende reacties, dat is 1,2%. Versie B krijgt 800 weergaven en ook 12 passende reacties, dat is 1,5%. Op aantallen lijken ze gelijk, als ratio niet. Of zo’n verschil meer is dan toeval, hangt af van je steekproef, zoals hierboven beschreven.

Leg vóór de start vast welke ratio je primaire maatstaf is. Die hoort bij je testvraag: test je de titel, dan ligt passende reacties per weergave voor de hand. Test je de uitleg van de sollicitatiestap, dan eerder afgeronde sollicitaties per gestarte sollicitatie. Kijk naast die ratio ook naar de absolute aantallen. Een hoge ratio op een handvol weergaven zegt weinig, en uiteindelijk heb je genoeg passende kandidaten nodig.

Hoe je die cijfers opzet en leest, staat in recruitmentcampagne cijfers meten and measuring the quality of your pool of applicants.

Wanneer levert testen meer op dan direct optimaliseren op doelgroepdata?

Testen is geen vervanging voor weten wat je doelgroep belangrijk vindt. Werkgevers denken vaak dat bepaalde voordelen belangrijk zijn, terwijl data laat zien dat de doelgroep juist andere wensen heeft. Een tekst die op de verkeerde aannames is gebouwd, verbeter je niet door twee zwakke versies tegen elkaar te testen.

Een praktische vuistregel:

  • Optimaliseer eerst op doelgroepdata als je tekst nog vanuit interne aannames is geschreven, of als je weinig volume hebt. Dan boek je in één stap de meeste winst.
  • Ga testen als de basis klopt en je twijfelt tussen twee goede keuzes, zoals twee titels of twee manieren om je voorwaarden te brengen. Of als je vaker voor dezelfde functie werft, zodat een inzicht meerdere keren rendeert.

Bij FosFor combineren we die twee. We bouwen de campagne op basis van doelgroepdata en arbeidsmarktdata en optimaliseren daarna op basis van de prestaties. In het wekelijkse strategische overleg bespreken we de resultaten en de vervolgstappen. Hoe dat in elkaar steekt, lees je op de pagina over our data-driven approach.

Je eerste test klaarzetten

Kies deze week één vacature met genoeg bereik en één onderdeel om te testen, het liefst de titel. Schrijf op wat een passende reactie is en hoe lang de test loopt. Daarna laat je de data spreken.

Twijfel je of je vacature genoeg volume heeft voor een test, of of het probleem eerder in je doelgroep of opvolging zit? Arrange an introductory meeting en we kijken samen naar je moeilijk vervulbare vacature.

We would like to get in touch

Get in touch

Good people don’t look for job vacancies. Download the white paper and find out how you can reach them anyway.