Een compleet nieuw kwaliteitsniveau
Waarom is het de moeite waard om veel energie te steken in testontwikkeling?
Professor Dr. Samuel Greiff is associate professor voor Educational Assessment aan de Universiteit van Luxemburg en hoofd van de onderzoeksgroep Computer-Based Assessment. Daar is ook het project voor de ontwikkeling van het LUXXprofile ondergebracht. We spraken met hem over de reden waarom er een LUXXprofile-variant voor zakelijke toepassingen en een voor onderzoekers zal zijn.
Uw afdeling richt zich op onderzoek en ontwikkeling van moderne psychologische testmethodes. Waarom hebben we innovatievere methodes nodig?
Greiff: Onze samenleving wordt steeds complexer en daarmee ook de onderzoeksvraagstelling. Dit geldt ook voor thema’s als leren en prestatie. Gevestigde cognitieve methodes zoals intelligentietesten kunnen deze complexiteit niet langer voldoende in kaart brengen. Zo hebben de afgelopen jaren gecombineerde methodes, die ook rekening houden met persoonlijkheid gerelateerde prestatie-aspecten zoals motivatie, aan belang gewonnen. Een voorbeeld: wij kregen van de OESO de opdracht voor de PISA-studie een onafhankelijke validatie- en verificatiestudie te ontwerpen, uit te voeren en te evalueren. Dit was onder andere om erachter te komen in welke mate internationaal vergelijkend onderzoek van onderwijssystemen ook de samenwerkende probleemoplossende vaardigheden kunnen opsporen. Een project zoals PISA, waarbij meer dan 50 landen worden vergeleken, is voor een dergelijke validiteit absoluut veeleisend en het zegt iets over de kwaliteit van onze universiteit dat de OESO dit aan ons heeft toevertrouwd.
U bent van plan om een variant van het LUXXprofile voor wetenschappelijk onderzoek ter beschikking te stellen. Waarom is een variant voor wetenschappelijk gebruik zinvol?
Greiff: Het onderzoeksteam dat onder leiding van Dr. Christoph Kemper het LUXXprofile ontwikkelt, heeft zich in eerste instantie bezig gehouden met het conceptuele model van motief-gerelateerde persoonlijkheidsaspecten en valideert het model momenteel. Het team bewandelt hier een nieuwe weg, omdat een aantal bestaande persoonlijkheidstests gebaseerd zijn op het primaat van de “indruksvaliditeit (face validity)” of louter onvoldoende theoretische onderbouwing heeft. Daarbij is het belangrijk om te weten dat, hoe nauwkeuriger de persoonlijkheid in kaart gebracht moet worden, hoe hoger de eisen aan het testconstruct zijn. Steven Reiss is ook de weg ingeslagen van empirisch testen, maar enerzijds is dit onderzoek al meer dan twintig jaar geleden en anderzijds heeft ook Reiss bij het testconstruct op het een of andere punt een “kortere weg” genomen. Wij passen nu de meest moderne methoden van testconstruct toe en bereiken zo een compleet nieuw kwaliteitsniveau.
Wat zijn de verschillen tussen de wetenschaps- en de coaching variant?
Greiff: De conceptuele basis van beide is hetzelfde. De verschillen volgen uit de aanpak. Bij het onderzoek wordt meestal gekeken naar groepen, zoals bijvoorbeeld beroepsgroepen of verschillen tussen vrouwen en mannen. De wetenschapsvariant zal zodanig geconstrueerd zijn, dat deze groep-gerelateerde vraagstellingen kan beantwoorden. Bij coaching gaat het daarentegen om individuele diagnoses en adviezen. De coaching variant vereist dus een meer nauwkeurige meetmethode en een hogere betrouwbaarheid. Op methodisch gebied is de laatste jaren hierin veel gebeurd, een expertise die Christoph Kemper en zijn team in het onderzoek inbrengen.
Wat zijn de voordelen hiervan voor de zakelijke gebruiker?
Greiff: De meer nauwkeurige meetmethode stelt ons in staat om de complexiteit van persoonlijke motieven in kaart te brengen en patronen te ontdekken. Vragen die ons daarbij interesseren en die relevant zijn voor de gebruiker, zijn bijvoorbeeld: Hoe verhouden de motieven zich tot elkaar? Welke motiefkenmerken hebben vaak een onderling verband met andere? Welke treden vaak tegengesteld op? Welke motiefkenmerken compenseren andere? Dit strekt zich uit tot de predictieve validiteit, ofwel de voorspellende waarde van het LUXXprofile voor toekomstig gedrag van een individu. Deze zal, vergeleken met andere testmethodes, significant stijgen door de energie die wij in het testconstruct investeren. Voor coaches en consultants is het resultaat een nog niet eerder vertoonde, op feiten gebaseerde grondslag voor ondersteunende interventies die een positieve invloed kunnen hebben op motivatie en prestatie.
