rorschachbok«Rose Martelli» var en ung mor med en sterk, ukonvensjonell katolsk overbevisning, og jobbet i et lavinntekts, lavstatus-yrke da hun giftet seg. Med en bedre betalt mann. Kort tid før hun skulle føde deres felles barn, ble de skilt etter bare 6 måneders ekteskap. Det ble en bitter skilsmissestrid og kamp om foreldreretten til deres felles barn.

Rose sa tidlig at mannen hadde vært voldelig. Rett før rettssaken anklaget hennes åtte år gamle datter eks-stefaren for seksuelle overgrep. Dommeren var skeptisk. Etter som årene gikk rapporterte hun stadig oftere eks-mannen til barnevernet, som lurte mer og mer på helsen hennes. De ba om psykologisk undersøkelse av begge. Mannen fikk greie skussmål. Rose ble derimot diagnostisert som å ha et forvrengt virkelighetsbilde, være selvopptatt, følelskald overfor barna, og seriøst forstyrret. Barnevernet tok konsekvensen.

Rose var diagnostisert med Rorschach – mannen ikke. Fakta i saken var i mange tilfeller klare, og ga Rose rett – etterhvert. De var også kjent for barnevernet, men ble oversett fordi de hadde en test de trodde mer på enn legerapporter om brukne tenner, forslåtte kropper og fysiske spor av overgrep. Testen sa «psykotisk, manipulerende, egosentrisk mor», og da trodde de på det.

Problemet var altså testen, og kulturen rundt testen. Her på bloggen er vi nok som kjent ikke helt overbevist om at Rorschach-testen har så mye for seg.

Hvilket deles av mange andre forskningsorienterte, slik også Dagbladet kunne formidle.

Men akkurat undertegnede hadde ikke sett så mye på denne kritikken siden han leste noen nokså korte kritikker på 90-tallet. (Først og fremst Robyn Dawes.) Dermed ble interessen vakt av forrige sak om temaet, og jeg bestilte meg en fyldigere diskusjon for bedre å forstå forskningslitteraturen. Med aldri så lite bias i retning det kritiske: Jeg bestilte James Wood et.al.: What’s Wrong with the Rorschach?.

Det var en fornøyelse. Forfatterne Wood, Nezworski, Lilienfeld og Garb har nemlig ikke bare skrevet en grundig, pedagogisk, kritisk analyse, de har gjort det med historisk blikk og innlevelse fra Rorschach til Exner og vår tid. Ikke bare har de tatt for seg resultatene av nyere forskning, men de har satt dem i sammenheng, og de har satt forkjemperne og utviklingen av «Rorschach-kulturen» i sammenheng både med psykologifagets og samfunnets utvikling. Det betyr at vi får en skildring av personer, interesser, påstander og argumenter som i det minste delvis settes i sammenheng med de tider og de steder de hører til. Dermed blir stoffet levende på en helt annen måte enn kortere artikler om spesifikke spørsmål.

Og vi får nok av de siste gjennom boken, med runder på runder med validitet og reliabilitet til en lang, lang rekke ulike element som inngår i testen. Måler de det de påstår seg å måle? Hvor pålitelig gjør de det? (Svaret forfatterne gir er gjennomgående «stort sett ikke» og «ikke spesielt pålitelig».)

Rorschach-testen er noe esoterisk, men innen man kommer gjennom boken har man i det minste rukket å bli litt kjent med en del av de elementer som inngår i tolkningen av den. Ikke minst altså med hva som er problemene med de aller fleste av elementene, hvorfor det gjerne blir oversett av tilhengerne, og hvorfor kritikerne fastholder kritikken.

Hvorfor de gjør det? For å sitere fra Newsweeks omtale av en oversiktsartikkel over forskning tre av forfatterne sto bakom:

Psychotherapists look at more than 100 different variables when scoring an answer: … The PSPI review found that therapists disagree on fully half of these variables, making the scores unreliable for diagnosis.

But it gets worse. The authors also looked at all the extant studies on the test’s validity. This is testing jargon for: Does it measure what it claims to measure? Does it predict behavior? And again the answer is a clear no. With the exception of schizophrenia and similarly severe thought disorders, the Rorschach fails to spot any common mental illnesses accurately. The list of what it fails to diagnose includes depression, anxiety disorders, psychopathic personality, and violent and criminal tendencies. It also can’t detect sexual abuse in children, even though it’s used for that purpose. Finally, the test is most misleading for minorities: blacks, Native Americans and Hispanics are all likely to score abnormally on the inkblot test.

Det er med andre ord ganske seriøse problemer, ikke bare med testen, men enda mer så med testbruken. Wood et.al. mener det finnes variabler Rorschach tildels kan si noe om, om enn ikke så veldig godt og sikkert, men det er en hel klinisk kultur rundt å overse det noenlunde dokumenterte for det «spennende». Forfatterne spanderer en del tid på alle de helt alminnelige tankefeil som dukker opp: autoritetstro, sosial validering, selvkonsistens, personlige opplevelser og anekdoter, kognitive illusjoner ( «confirmation bias», illusorisk korrelasjon, overpatologiseringsillusjon/profesjonstunellsyn), forsterkning… Og mer til.

Ikke minst spiller for en del klinikere en «romantisk» tradisjon inn , der empirisk forskning blir mistenkeliggjort mer generelt. Man mangler rett og slett interessen for å sjekke under grundige, kontrollerte forhold.

Historikken Wood et.al. gjennomgår viser også at dette har vært et nokså alvorlig og gjennomgripende problem gjennom alle år. Det faktum alene at Exner og co – som står bak den mest innflytelsesrike av moderne revisjoner av testen – ikke har publisert store deler av det som skal være forskningsgrunnlaget for normer og bruk, og dertil har nektet å gi innsikt i datagrunnlaget demonstrerer en noe alternativ innstilling til forskning.

Hva slags problemer finner forfatterne etter noen tiår med forskning?

– Etter åtti år med Rorschach har den fortsatt ingen gode normer. Testscorens «sammenlignet med hva» er ikke pålitelig i forhold til ulike grupper. Det viser seg ikke minst i at den

– Testen overpatologiserer. Som Rolf var innom da han skrev om Rorschach tidligere, er det et betydelig problem at en score som ifølge testen skal indikere ulike typer problemer ikke bare er upålitelig: «Research suggests that the Comprehensive System misidentifies about 75 percent of normal individuals as emotionally disturbed» (s.259).

– Testen mangler «inkrementell validitet». Når psykologer allerede har en del god informasjon om en person, går påliteligheten og presisjonen heller ned enn opp om man legger til data fra en Rorschach.

– Testresultatet er for sterkt påvirket av hvor mange svar den som testes gir til hvert «bilde».

-Og på tross av noen av de få anvendelige områdene nevnt i Newsweek-sitatet over (schizofreni etc), så er Rorschach altså for det meste ikke demonstrert anvendelig som diagnostisk verktøy: «the Rorschach lacks a well-demonstrated relationship to psychological disorders and symptoms» (s.259).

Ikke desto mindre brukes testen jevnlig til ting den ikke bare ikke er dokumentert egnet til, men også ting den er dokumentert uegnet til. Det skjer, skriver forfatterne, blant annet på grunn av en Rorschach-kultur som ikke tar forskning på alvor og gjennomgripende overdriver hva testen kan gjøre og presisjonen den kan gjøre det med.

De argumenterer tungt, forklarer godt og pedagogisk. Og det er en bok som er en fornøyelse å lese. Ikke minst fordi den, på tross av min vektlegging av kritikken her, jevnt over er generøs med å presentere og forstå Rorschach-forkjempernes synspunkter og begrunnelser.

Uten at den blir mindre skarp av det.

James M. Wood, M. Teresa Nezworski, Scott O. Lilienfeld & Howard N. Garb
What’s Wrong with the Rorschach? Science Confronts the Controversial Inkblot Test.
Jossey-Bass 2003, 446s.
ISBN 0-7879-6056-X