Subject: How to explain predictive validity to a business client Wim Bloemers, http://www.assessmentanarchy.com
download from: explaining-predictive-validity
A company wants to select 50 new employees, and attracts 100 candidates. Assume, after pre-selection, a base rate of qualified applicants of .50, so 50 of the 100 candidates are indeed qualified (valid positives). How good is your test with a predictive validity of .40 in this situation?
situation 1 (pred. val=1) situation 2 (pred.val=0) situation 3 (pred. val=.40)
qualified qualified qualified
yes no yes no yes no
hired 50 25 25 35 15
rejected 50 25 25 15 35
With a predictive validity of 1.0 all 50 valid positives are selected, 50 unqualified candidates are rejected by the test. With zero predictive validity, random distribution occurs, so all 4 cells contain 25 candidates. Notice that thus, with a test with a zero validity, still 25 qualified candidates are selected, simply due to a base rate of .50. That’s why preselection/attracting the right people is so important. Your test validity playground focuses on the 25 ‘extra’ qualified candidates above chance level that are among the group of 100 candidates. The third situation is the realistic one. With a validity of .40, 10 extra qualified candidates are selected above chance (.40*(50-25)). You can also see that predictive validity is direct proportional to the number of hired valid positives. E.g with a validity of .80, you would attract .80*(50-25)= 20 extra qualified candidates above chance, thus 45 in total. That’s twice as much compared to a validity of .40.
Source: W.K.B. Hofstee (1986); Rationele personeelsselectie; er wordt te weinig getest. (Rational personnel selection: too little tests are being used) In: Harvard Holland Review, 7, pp. 35-41
Onderwerp: Voorbereiding
Vraag: heeft het zin u voor te bereiden op een assessment?
Antwoord: ja, baat het niet, schaden zal het ook niet. U moet zorgen dat u in staat bent om de tests goed te maken (zorg dat u fit bent, lees een goed voorbereidingsboek), u dient een zekere motivatie en betrokkenheid uit te stralen, u dient kennis te hebben van de functie waar het om gaat en u dient over een zekere mate van zelfkennis en zelfreflexie te beschikken. Fixeer u niet op een te specifieke voorbereiding, u kunt altijd met onverwachte zaken geconfronteerd worden. Wat betreft tests: op een IQ test kunt u uw IQ score met zo’n 10 punten verbeteren. Lees hierover het artikel De ‘slimme’ sollicitant. Op een persoonlijkheidsvragenlijst kunt u uw score door manipulatie nog veel meer sturen.
Onderwerp: weigeren van assessment
Vraag: Is het verstandig om een psychologisch onderzoek (assessment) te weigeren?
Antwoord: meestal niet. Het hangt af van de situatie: hoe hard heeft de opdrachtgever iemand (u) nodig en hoe hard heeft u de baan nodig? Ook hangt het er van af in hoeverre de opdrachtgever vaart op de uitslag van het psychologisch onderzoek. Wel moet u bedacht zijn op mogelijke consequenties, Als u het vermoeden heeft dat uw werkgever van u af wil, dan dient u m.b.v. een juridisch adviseur de consequenties van een psychologisch onderzoek zwart op wit vast te leggen. Alles overziend is het niet verstandig om een assessment of een psychologisch onderzoek te weigeren. We leven nog steeds in het tijdperk van ‘verticale selectie’ waarbij u als sollicitant zich heeft te voegen naar de eisen van de organisatie. Als u toch goede redenen heeft om geen assessment of een psychologisch onderzoek te willen, dan moet u een baan zoeken waarvoor geen psychologisch onderzoek vereist is.
Onderwerp: problemen tijdens assessment
Vraag: Als er tijdens de test of een assessment iets mis gaat wat moet ik dan doen?
Antwoord: Blijf vriendelijk maar overtuigend en vraag om een herkansing. Laat u niet met een kluitje in het riet sturen. Wijs de organisatie op Richtlijnen voor assessment
Onderwerp: tegenvallende uitslag
Vraag: Als de uitslag van een test of assessment erg tegen valt, wat moet ik dan doen?
Antwoord: In principe kunt u daar weinig aan veranderen. Als u andere indicatoren heeft dat u het in de baan wel goed zou doen (ervaring, track record) dan kunt u dat naar voren brengen. Vraag dan om een herkansing of om het afzwakken van de negatieve conclusies. In het uiterste geval kunt u weigeren dat het rapport wordt doorgestuurd. Meestal krijgt u dan echter ook de baan niet.
Onderwerp: Inzien rapport
Vraag: Is het verstandig om een rapport in te zien voordat het naar de opdrachtgever gaat?
Antwoord: Ja, u moet nooit ongezien geschreven informatie over uw persoon naar derden laten sturen. Bovendien kunt u in een nagesprek beargumenteren dat sommige passages in uw voordeel veranderd moeten worden (genuanceerd worden). Soms helpt dat.
Onderwerp: Gokken van testantwoorden
Vraag: Als ik een test niet af krijg, is het dan verstandig om de resterende antwoorden te gokken?
Antwoord: Nee, uw gokkans is beperkt, en de psycholoog kan zien dat u in de laatste opgaven veel meer fouten heeft gemaakt dan in het eerste gedeelte van de test. Concentreert u zich goed op de opgaven en werk snel en stug door. Werk nauwkeurig. Als u niet geheel zeker van een antwoord bent moet u wel gokken. Bedenk dat u vaak een of meerdere alternatieven kunt elimineren. Maar vul niet klakkeloos zomaar wat in. Het is geen toto.
Onderwerp: Privacy
Vraag: Als ik bij een persoonlijkheidstest of in een interview vind dat een vraag mijn privacy schendt, moet ik die vraag dan toch beantwoorden?
Antwoord: Nee. Zelfrespect is belangrijker dan wat ook. In oude persoonlijkheidstests komen nog wel eens suggestieve of intieme vragen voor. Die laat u gewoon open of u zet een vraagteken. Wel is het verstandig om even aan te geven dat u een vraag impertinent vindt. Bij het interview kunt u bij een impertinente vraag het beste de bal terugkaatsen. Maak daarbij gebruik van humor, zorg voor het relatieaspect. Maar maak duidelijk dat er met u niet te sollen valt. De uitgewisselde informatie moet functioneel zijn m.b.t de functie. Op vragen over zwangerschap mag officieel gelogen worden, maar of dat verstandig is, is een tweede.
Onderwerp: Klacht over assessment
Vraag: Als u vindt dat u onoorbaar behandeld bent tijdens een assessment, heeft het dan zin een klacht in te dienen bij het NIP?
Antwoord: Ja, maar het is eerst verstandig aan de bel te trekken bij het test/adviesbureau waar het assessment heeft plaatsgevonden. Deze bureaus zijn gevoelig voor klachten, het schaadt hun relatie met de opdrachtgever (tenzij uzelf een notoire zeikerd bent). Vervolgens meldt u uw klacht bij de organisatie die de vacature heeft. Als deze niet gevoelig is voor uw klacht dan weet u dat deze zaken doet met onbetrouwbare bureaus. Dat zegt ook iets over de organisatie zelf. Ga dus eerst met het bureau in discussie, vervolgens met de organisatie. Komt u er dan niet uit, neem dan contact op met het NIP: http://psynip.nl/ . Besef wel dat u een zeer lange weg gaat, kan wel een jaar of langer duren. Denk ook aan uw gezondheid. Er zit nogal wat verschil tussen gelijk hebben en gelijk krijgen. En ook al wordt uw klacht gehonoreerd, dan betekent dat nog niet dat u daarmee ook de baan krijgt. De opdrachtgever heeft in feite niets te maken met uw klacht, het is iets tussen de psycholoog (het testbureau), u, en het NIP. Probeer dus conflicten met een psycholoog te vermijden en politiek op te lossen, vooral als u veel belang hecht aan de functie in kwestie.
Onderwerp: Eerdere testrapporten
Vraag: Ik ben al meerdere keren getest, en nu moet ik weer getest worden voor een nieuwe functie. Kunnen ze niet gewoon die oude rapporten opvragen?
Antwoord: Ja, dat zou kunnen, maar opdrachtgevers willen graag dat kandidaten hun procedure volgen omdat die zogenaamd beter aansluit bij de nieuwe vacature. U kunt wel verwijzen naar voorgaande rapporten (mits die goed zijn natuurlijk) maar een opdrachtgever zal toch graag een uitslag op de eigen procedure willen zien. Hier dient u een zorgvuldige afweging te maken. Als men u graag wil hebben, en er is geen alternatief voorhanden, dan kunt u wel wat druk gaan uitoefenen. Maar bedenk ook dat verzet van uw kant wantrouwen kan oproepen. Er is hier dan ook geen eenduidig advies te geven.
Evenzo, bij een eerder slecht testrapport kunt u het beste in het vage laten of u eerder getest bent. Ga niet liegen, maar praat er een beetje omheen, zoiets als: “O, dat zou kunnen, ik heb wel ooit eens wat assessments gedaan, maar ik weet eerlijk gezegd niet meer bij wie. Bedenk wel dat als u (een grote mate van) gedragsproblemen vertoont, u waarschijnlijk nog wel binnenkomt bij een organisatie, maar dat u er, vanwege uw gedrag, ook weer snel uitvliegt. Daar heeft niemand wat aan.
Dus heimelijk proberen een organisatie binnen te komen door te liegen of informatie achter te houden berokkent iedereen uiteindelijk schade. Zoek in zo’n geval liever eerst een goede therapeut.
Assessmentanarchy Wim Bloemers 
Is het ook mogelijk om je voor te bereiden op een zogenaamde Situational Judgement Task, zeer specifiek toegesneden op de organisatie?
LikeLike
je bedoelt een SJT, ja dat kan, zie mijn net verschenen De nieuwe assessment gids, daar staan voorbeelden in van SJT’s, ook Lievens en Schollaert hebben een boekje met voorbeelden van SJT items.
Papieren SJT’s zijn niet echt veel soeps, goed lezen en je verstand gebruiken, een webcam of video SJT waarmee je gedrag moet vertonen is veel beter, zou je aantal keren moeten oefenen dan…succes, groetjes, wim
LikeLike
Beste Wim,
Ten eerste bedankt voor het schrijven van De Nieuwe Assessmentgids. Het haalde in ieder geval voor mij de angel uit een erg stressvolle ervaring.
Ik heb twee vragen:
1) Ik heb kort geleden een assessment moeten moeten maken en de uitslag vond ik nogal typisch: cijfermatig redeneervermogen en verbale aanleg waren bovengemiddeld, abstract redeneervermogen onder gemiddeld en logisch redeneervermogen was in feite 0. Verder kwam in de competentiescan naar voren dat ik beter scoor dan de gemiddelde werknemer binnen die organisatie.
Nu accepteer ik deze testen wel op hun betrouwbaarheid en doeltreffendheid, maar is er binnen de assessment psychologie wereld iets van een “uitbijter principe” (zoals nu in relatie tot mijn score voor logisch redeneren) ?
Ik had dit aangegeven richting de organisatie, maar die blijven voet bij stuk houden: “dit is onze eis.” “en de controlegroep is onze huidige groep werknemers” (dit laatste argument zette voor mij niet echt zoden aan de dijk).
2) Het assessment kon ik thuis maken, en ik kreeg van het assessment bureau 5 werkdagen de tijd om de testen af te ronden. Vervolgens belde de volgende dag de organisatie waar ik had gesolliciteerd op met het “vriendelijk verzoek” de testen binnen 2,5 dagen af te ronden. Dit om agendatechnische redenen (relatie met het inplannen van het 1e gesprek, dat alleen doorgang kan vinden als de assessment goed is gemaakt). De verloren 2,5 dag zouden dus worden gebruikt door HRM om de test resultaten te bekijken en om zo in feite genoeg annuleer tijd in te bouwen. Ik heb in feedback na afloop aangegeven dat dit niet gunstig was (en dat er eigenlijk wel een punt van had moeten maken). Is een dergelijke gang van zaken een klacht waardig , of verspilde energie?
Groet,
MM
LikeLike
Logisch redeneervermogen klinkt als syllogismen of diagrammen….het vreemde is dat dat je nul hebt gescoord op een losse (sub)test maar dat je totaalscore boven gemiddeld is. Als de organisatie een conjunctief model hanteert kunnen ze eisen dat zowel de deelscores als de gemiddelde eindscore aan bepaalde eisen moet voldoen. Maar dit moeten ze jou van te voren mededelen, je moet van te voren weten hoe ze tot een eindscore komen, zie ook de assessmentbeoordelingslijst aan het eind van de `nieuwe assessmentgids. Anders kunnen ze je achteraf van alles wijsmaken. Ik begrijp dat die ene uitbijter voor de organisatie reden was om je niet door te laten gaan? Dat hadden ze dan dus van te voren moeten zeggen. verder is een score van nul wel heel vreemd, zeker als je overall gemiddeld scoort. Een beetje goede psycholoog had dan een hertest afgenomen of herkansing gegeven lijkt mij.
Dat van die 5 naar 2,5 dagen is op zijn zachtst ook niet echt elegant. dat had je direct kunnen weigeren en zeggen dat dat je niet goed uitkwam. Achteraf ope en aanmerkingen gaan maken levert echter meestal weinig op, je moet direct aan de bel trekken.
Als ik alles op een rijtje zet vind ik het behoorlijk slordig wat er gebeurd is. Ik vind dat ze je een herkansing moeten geven. Het komt op mij over dat ze liever niet willen dat je doorgaat, het klinkt allemaal heel afwijzend en stug. maar ik betwijfel of het gebeurde zwaar genoeg is voor een serieuze klacht. Misschien beter een wat meer professionele organisatie zoeken? Organisaties die nog met competenties werken moet je mijden….allemaal bullshit en vaag geleuter.
Ik hoop dat je hier verder mee kunt…take care, groetjes, wim
LikeLike
Hallo Wim,
Ik heb onlangs voor een sollicitatie een capaciteitentest, Engelse test en competentietest moeten maken. De eerste 2 heb ik gehaald en de competentietest niet ( ik heb nog geen uitslag ontvangen). Ik heb echter ruim 20 jaar ervaring in de functie waar ik voor solliciteerde, maar dat was blijkbaar niet voldoende om aan de norm te voldoen. Hoe kan ik me bij een eventuele volgende vacature (die natuurlijk weer op dezelfde manier wordt getest) hierop voorbereiden?
Alvast hartelijk bedankt,
Jose
LikeLike
Hallo Jose, competenties zijn prut, vage, samengestelde persoonsattributen die vaak nergens op slaan. Er zijn ook moeilijk harde criteria voor te vinden, dus scoor je er wel of niet voldoende op bijvoorbeeld? Kortom, een organisatie die in deze tijd nog met competenties werkt moet je wantrouwen, en je moet ze vragen aan te tonen dat hun competentiemethodiek afdoende gevalideerd is, bijvoorbeeld door de COTAN. tenzij je 20 jaar lang slecht gefunctioneerd hebt (….), klinkt dit alsof men van je afwil…..vraag in elk geval een goede onderbouwing van het oordeel op de competenties en vecht dit desnoods aan (advocaat). Bovendien scoor je op twee van de drie onderdelen blijkbaar wel goed. Welke beslissingsmethodiek wordt gehanteerd en waarom? Verkoop je huid duur in elk geval!!! Neem desnoods een advocaat
Sterkte, groetjes, wim
LikeLike
Ha Jose, competenties zijn een vage mengelmoes van aanleg gedrag en kennis. Daar kan een organisatie alle kanten mee op. Ik denk ook niet dat er officieel normen zijn voor die test. Een goede organisatie vaart op intelligentie(capaciteiten) en relevante persoonlijkheidsaspecten.
je weet wel dat je hem niet gehaald hebt maar hebt nog geen uitslag ontvangen? dat is slordig…Deze procedure ruikt naar onzorgvuldigheid. Is je überhaupt verteld wat je score had moeten zijn om te ‘slagen’ voor dit assessment? je zegt verder dat je 20 jaar ervaring hebt. In mijn boek zeg ik hierover…dat kan ook betekenen dat je 20 jaar dezelfde fouten hebt gemaakt….dus dat zegt niet alles.
alles overziend heb ik het idee dat je op je ‘oude’ functie hebt gesolliciteerd maar bent afgewezen? Vaak zijn er dan andere criteria/belangen in het spel (leeftijdsdiscriminatie/persoonlijke voorkeur management?).In elk geval is er een groot gebrek aan transparantie in de procedure waarvan jij het slachtoffer wordt.
Ik zou een heldere uitleg van zaken vragen over deze procedure, en in de toekomst misschien eerst een advocaat arbeidsrecht raadplegen. Of eerst serieus met je werkgever in gesprek gaan en helderheid vragen over de procedure, beslissingscriteria etc. Was het wel een NIP psycholoog onder wiens verantwoordelijkheid de zaak werd afgenomen?
Als ik moet gokken denk ik dat je gepiepeld bent……
Sterkte , groetjes, wim
LikeLike
ha Jose, nog even: dit ruikt naar het lozen van werknemers bij reorganisatie (herplaatsing?). Competenties zijn meestal rubbish en in dit geval een stok om mee te slaan…Geen nette procedure, geen duidelijkheid, kortom beneden alle peil. In het vervolg een advocaat inschakelen in dit soort gevallen, of samen met meer collega’s bij de vakbond aan de bel trekken.
LikeLike
Beste Wim,
Naar aanleiding van een afwijzing op een interne sollicitatie bij de overheid (lagere loonschaal) ben ik een bezwaarprocedure gestart om deze functie alsnog te krijgen. Als herplaatsingskandidaat bij een overheidsinstelling heb je voorrang op vacatures en maximaal een jaar om geschikt gemaakt te worden. Ze zitten flink met mijn protest in de maag en nu op het allerlaatste moment willen ze opeens een assessment met mij aangaan om te kijken of ik geschikt ben voor deze functie (de periode waar binnen Juridische Zaken van mijn bedrijf wettelijk een beslissing moet nemen is verstrekken). Aan de ene kant moet ik deze kans misschien met beide handen aanpakken en aan de andere kant geeft mij dit een naar gevoel. Krijg het idee dat een assessment het laatste redmiddel van het bedrijf is om mij deze functie niet te hoeven geven (dit omdat er geen enkele reden is om mij deze functie niet hoeven geven). In de vacature stond destijds geen vermelding van een mogelijk assessment. Is het verstandig om het aangeboden assessment te weigeren? Is het een normale gang van zaken om een half jaar na de sollicitatieprocedure opeens met een voorstel voor een assessment te komen? Misschien ben ik wel erg lastig aan het doen, maar mijn gevoel zegt niet doen.
Groet,
Erwin
LikeLike
prive beantwoord
LikeLike
Hallo Wim
Ik heb een assement gemaakt en ben meer dan tevreden met de uitkomst.
Echter de rapportage bevat persoonlijke gevoelige opmerkingen.
De werkgever wil uitsluitend de gehele rapportage ontvangen.
Ik heb geweigerd het rapport te delen ivm persoonlijk gevoelige informatie.
Is het opgestelde rapport hiermee een informele status? feitelijk niet gemaakt?
Of is het wel degelijk een rechtsgeldig rapport.
LikeLike
Persoonlijk geantwoord
LikeLike
Beste Wim, ik heb een assessment gemaakt en inmiddels het advies (mondeling) en nu ook het rapport ontvangen. Het assessment bestond uit persoonlijkheidsvragen lijsten, capaciteitentests, gesprek psycholoog, rollenspelen en postbak oefening. Het rapport bevat alleen beschrijvend oordeel en advies; geen enkele diagram of cijferlijst oid van de persoonlijkheids vragen en capaciteitentest. Ik heb deze nu opgevraagd voor een vollediger beeld, en ook omdat ik er van wil leren. Maar ik krijg ze niet met als reden: dat doen we niet, het rapport is een totaal beeld. Ik kan wel naar het bureau om ze in te zien. Ik vind dit echt bizar; het gaat toch over mij? Ik ben benieuwd wat jij hiervan vind. Ik heb in verleden vaker assessments gemaakt en nog nooit zo’n beperkt rapport gehad. Heb gegoogeld op ‘eisen assessment rapport’ maar kan niks vinden. Dus wellicht heb ik wel ongelijk? alvast dank voor je reactie, Maaike
LikeLiked by 1 person