Kahneman døbte begrebet illusion of validity – pålidelighedsillusion.

Man finder for eksempel fænomenet hos professionelle aktiehandlere; selv om det er veldokumenteret både teoretisk og empirisk, at deres investeringer som regel ikke klarer sig bedre end det generelle marked, føler investorerne, at deres sagkundskab giver dem en klar fordel over alle os amatører. Måske er det en lignende mekanisme, der forklarer, hvorfor vi lytter til eksperter i vin og holder øje med, hvilke vine der er “månedens vin”, selv hvis vi udmærket kender resultaterne af blindsmagningsforsøg og ved, at vurderingerne meget vel kunne være faldet helt anderledes ud.

Konsekvenserne af pålidelighedsillusionen rækker langt videre end til at betale 300 kroner for en vin, som man ved blindsmagning ville have vurderet klart ringere end en til 90.

Tag jobsamtaler.

En klar parallel til fire dommere ved en vinkonkurrence er et ansættelsesudvalg, som vurderer kandidater til et job. Undersøger man den situation, er resultatet heller ikke for opmuntrende.

Et godt eksempel går tilbage til 1979, hvor ansøgere til medicinstudiet på Texas Medical School i Houston blev vurderet på baggrund af et personligt interview. Efter at have optaget 150 studerende på denne måde, blev universitetet på grund af ny lovgivning tvunget til at optage yderligere 50 af de i første omgang afviste studerende. Senere viste det sig, at de 50 først afviste studerende på ingen måde klarede sig ringere end de 150, der kom ind i første omgang. Hverken hvad angik frafald, akademiske og kliniske resultater eller antal udmærkelser, de modtog.

De mange personlige interviews lod altså til at være spildt arbejde, hvis målet var at identificere de bedst egnede studerende. Præcis som de evalueringer, Daniel Kahneman og hans kolleger foretog af soldater for at afgøre, om de havde officerpotentiale.

Mange andre studier er senere nået frem til lignende resultater: Ustrukturerede interviews – det akademiske navn for det, der normalt sker under jobsamtaler – er ubrugelige til at vurdere, hvordan en given kandidat vil klare sig i et givet job.

Det hjælper lidt, hvis interviewet er struktureret på en eller anden måde, for eksempel omkring resultatet af en af de mange personlighedstests, der efterhånden findes mange af. Men personlighedstestene giver ikke i sig selv megen værdifuld information; testens værdi ligger i at sikre, at man kommer omkring forskellige emner som samarbejde, arbejdspres, personlige værdier, ambitioner og så videre.

Blot fordi den uformelle, ustrukturerede snak er uegnet til at forudsige, hvordan kandidater vil klare sig i fremtiden, betyder det selvfølgelig ikke, at den er værdiløs. Den kan først og fremmest bruges til at afgøre, om man kan lide personen, man sidder over for. En behagelig kollega kan være at foretrække frem for en supereffektiv kollega.

Problemet er, at den løse snak under jobsamtalen i nogle tilfælde lader til at skade mere, end den gavner; den kommer til at fungere som støj, der kan overskygge mere faktuel information. “Fortyndingseffekten” som ét studie kalder den.

Forklaringen er, at mennesker ikke ignorerer irrelevant information, men i stedet forsøger at få den til at give mening. I det pågældende studie eksperimenterede forskerne med at lade interviewpersonen give helt tilfældige svar. Det forhindrede ikke intervieweren i at sidde tilbage med en klar fornemmelse af at kunne vurdere kandidaten.

Forskerne bag undersøgelsen var bagefter klare i spyttet, når de gav deres råd om ustrukturerede interviews til udvælgelse af kandidater:

Lad være.