Ja, het is makkelijk, een stukje NOA bashing, eigenlijk te makkelijk. Ik gaf eerder al aan wat er volgens mij niet aan klopte, HRlog deed een duit in het zakje en ook recruitmentmatters gaf aan waarom de uitkomsten gewoon volstrekt onzinnig zijn. De vraag is nu: klopt het NOA niet qua vraagstelling, steekproef of zo, of is de hele methode van onderzoek zoals die gedaan is eigenlijk verkeerd.

Laat ik daar, als voormalig onderzoeker, heel duidelijk over zijn. Het vragen naar gedrag (zoals het media gedrag) werkt per definitie niet. Dergelijke onderzoeken zien we keer op keer dat niet kloppen. Dat heeft niets meer te maken met de opzet, steekproef of iets dergelijks, dat heeft te maken met de methode van marktonderzoek. Is er dan iets verandert dat het niet meer klopt? Nee, het heeft waarschijnlijk nooit geklopt, echter konden we dat nooit meten.

Betrouwbaarheid van onderzoek

Velen zullen denken dat de betrouwbaarheid van onderzoek toch wetenschappelijk is bewezen? Dat kan kloppen, net zoals het jaren wetenschappelijk was bewezen dat de mens niet harder dan 30km per uur kon (anders zouden we imploderen), daarna was het de snelheid van het geluid die we nooit zouden kunnen breken…. en zo kan je nog wel even doorgaan. Wat betreft de betrouwbaarheid van onderzoek bij bepaalde steekproeven, die is nooit bewezen. Het is ook nooit bewezen dat het niet betrouwbaar was (en dat is wat wetenschappelijk onderzoek doet), dus is het de de facto standaard geworden. Controle heeft er nooit kunnen plaatsvinden omdat een 100% meting niet mogelijk was, behalve bij verkiezingen. De laatste verkiezingen lieten elke keer een behoorlijk verschil zien, ver buiten de officiële betrouwbaarheidsfoutmarge van 5% van de laatste peilingen, ongeacht welk bureau die uitvoerde. Kritische mensen doet dit twijfelen aan de methode…

Tenzij je dus iets meet, met een 100% steekproef (wat dan dus geen steekproef meer is), weet je nooit of onderzoek inderdaad binnen de foutmarge zit. Daarom is het altijd maar als waarheid aangenomen, maar dat is nooit bewezen.

Digitaal = meten

Digitaal kunnen we echter veel meten en dan blijkt onderzoek ineens een stuk onbetrouwbaarder dan het was. In 2007 schreef ik al een stuk waarin IG liet zien waarom veel van dit soort onderzoek niet serieus te nemen is. Volgens hen had Hyves toen 600.000 leden meer dan Hyves leden had (op een populatie van 2,1 miljoen profielen die Hyves toen had was dat een afwijking van bijna 30%. HRlog schreef hier in 2009 ook over met een ander onderzoek van IG dat wederom een afwijking had van 20% tot 40% van de werkelijkheid (het ging toen om mensen die career oppertunities open hadden staan in Linkedin).

Elke keer als we online onderzoek tegen komen waarin iets onderzocht wordt dat ook gemeten kan worden blijkt de afwijking een veelvoud van de officiële betrouwbaarheidsmarge van 5%.

Gedrag

Het interessant is dat het hier nog gaat om daadwerkelijke cijfers. Eigenlijk is dit onderzoeken onzin dus. Waarom zou je het vragen als je het kan meten? Echter is bij gedragsonderzoek, dat lastiger meetbaar is, de afwijking naar alle waarschijnlijkheid groter. Dat zien we bijvoorbeeld heel duidelijk terug in de positie van Google in NOA en AGO. Die is altijd stukken lager dan de cijfers aantonen.

Als je bijvoorbeeld kijkt naar het verkeer dat de jobboards uit Google krijgen weet je dat het totale verkeer van Google op vacature niveau groter moet zijn dan enig individueel jobboard. De cijfers van het aantal zoekopdrachten, dat een veelvoud is van alle boards te samen, bewijst dat. Toch staat het nooit op één als oriëntatiebron. Dit is volledig verklaarbaar.

Stel dat ik u zou vragen wat het eerste is dat u doet als u thuiskomt. De één zal zeggen dat hij zijn kinderen een knuffel geeft, sommige hun vrouw een kus, andere pakken de post op. Praktisch niemand zal antwoorden dat hij/zij eerst de sleutel in het slot steekt, de deur opent, een lamp aandoet, etc. Dat is onbewust gedrag, net als Google gebruiken tegenwoordig onbewust gedrag is geworden voor veel mensen.

Mensen vragen naar gedrag is geen valide meetmethode. Nu we het kunnen meten zie je bijvoorbeeld dat het NOA Jobtrack als grootste jobboard aangeeft terwijl het verkeer van Google Trends dat op alle fronten tegenspreekt. Niet dat Google Trends 100% betrouwbaar is, maar betrouwbaarder dan mensen vragen wat ze doen. Dan krijg je namelijk eigenlijk naambekendheid, niet gedrag.

Conclusie

Onderzoek zoals NOA en AGO zijn allemaal leuk, maar totaal onbetrouwbaar omdat ze vragen naar gedrag in plaats van het meten en daarmee dus een fundamentele fout hebben. Dat de wetenschap en onderzoek die fout al jaren maakt en het geaccepteerd is en het onderzoek officieel betrouwbaar is, wil niet zeggen dat het in de praktijk klopt. De manier van onderzoek is fundamenteel fout en voor het eerst in de geschiedenis hebben we de tools om dat te bewijzen, die noemen we analytics.

Waarop u dan uw beslissingen moet baseren? Ten eerste gewoon goed nadenken en het boeren verstand gebruiken. Daarnaast vertrouw ik altijd erg veel op analytics van de organisatie zelf. Wat heeft in het verleden voor je gewerkt. Daarnaast gewoon testen en experimenteren en dat vooral doormeten. Belangrijk is daarbij door te meten tot de hire, want het zal niet de eerste keer zijn dat ik bij een klant één jobboard 20 CV’s zie aanleveren, de ander maar 2, maar de van de 3 mensen die worden uitgenodigd die 2 van dat ene board er bij zitten.

Overigens stel ik hierbij niet dat elk onderzoek per definitie nutteloos is. Als het gaat om gedrag is dat wat mij betreft wel het geval en bij andere onderzoeken is de foutmarge een stuk groter dan de ‘officiële wetenschappelijke’ betrouwbaarheid die het bureau u vertelt.

Over de Auteur

Bas van de Haterd Bas van de Haterd is professioneel bemoeial. Hij helpt organisaties met het begrijpen van social media en de gedragsveranderingen die dit met zich meebrengt op het gebied van de arbeidsmarkt. Organisaties huren hem in voor het verzorgen van inspirerende lezingen over de toekomst van de arbeidsmarkt, trainingen over het gebruik van social media voor recruitment of het opzetten van een recruitmentsite. Hij is tevens co-auteur van Personal Brand.nl en auteur van Werken Nieuwe Stijl. Hij is te bereiken op bas@vandehaterd.nl


373 views | Reageer (4 reacties)

vandehaterd @ Twitter

Outdoor Recruitment

Wat voor personeel mik je op met zo'n poster op de deur?Wethouder van Verkeer & Vervoer Jeannette Baljeu doopt onderzeeboot RETOnderzeeboot RET rijdt door de straten - wereld haven dagen 1 - maximumMis de boot niet - onderzeeboot RET - maximumKapitein van deze lijn - onderzeeboot RET - wereld havendagen - maximum73764129Werving 1#or manpower ad. Crisis is over#or avans 2#or op anavs 1De ideale (bij)baanlandmacht_tram_08

Categoriën