Zgodnie z przytoczoną przeze mnie wcześniej definicją, testy sytuacyjne mierzą umiejętność trafnej oceny sytuacji w określonej dziedzinie życia lub na określonym stanowisku. Czym jednak jest ta umiejętność? Niestety odpowiedź na to pytanie nie jest jednoznaczna. Część badaczy twierdzi, że testy sytuacyjne badają unikalną kompetencję, jaką jest tzw. inteligencja praktyczna, której nie da się zmierzyć w żaden inny sposób niż właśnie poprzez starannie skonstruowane testy sytuacyjne. Inni badacze natomiast twierdzą, że to, co mierzą testy sytuacyjne, to w zasadzie konglomerat kilku innych dobrze znanych zmiennych, takich jak ogólne zdolności poznawcze (czynnik g) i osobowość, które można zmierzyć innymi metodami jak np. klasycznymi testami inteligencji czy kwestionariuszami osobowości. W dzisiejszym poście rozpatrzę to drugie stanowisko.
Odpowiedź na pytanie, co mierzą testy sytuacyjne jest de facto próbą oszacowania trafności teoretycznej (construct validity) tej grupy narzędzi selekcyjnych. Trafność teoretyczną danej metody określa się często poprzez wykrycie związków, jakie łączą ją z innymi metodami, mierzącymi określone zmienne (inaczej konstrukty teoretyczne). Jak podaje Reber, oszacowanie trafności teoretycznej zawsze zmienia się odpowiednio do nowych danych empirycznych o jakościach i cechach, do których szacowany konstrukty się odnosi (s. 769). Do jakich konstruktów zatem najsilniej odnoszą się testy sytuacyjne?
Jak dotąd przeprowadzono trzy meta-analizy eksplorujące związek testów sytuacyjnych z konstruktami mierzonymi za pomocą innych metod (tj. McDaniel i in., 2001; McDaniel i in., 2007; McDaniel i Nguyen, 2001). Najciekawsze dotyczy rozróżnienia między instrukcję poznawczą i behawioralną w testach sytuacyjnych. Otóż jak wykazali autorzy tego badania, wyniki testów sytuacyjnych korelują z innymi konstruktami w zależności od tego, jaką zawierały instrukcję (McDaniel i in., 2007). Przypomnę, że w instrukcji poznawczej respondent odpowiada na pytanie „która odpowiedź jest twoim zdaniem najlepsza” lub ocenia jakość każdej z nich osobno na dołączonej skali, a w instrukcji behawioralnej odpowiada na pytanie „w jaki sposób zachowałbyś się w tej sytuacji” lub określa na dołączonej skali, z jakim prawdopodobieństwem zachowałby się w każdy ze sposobów przedstawionych w odpowiedziach (McDaniel i Nguyen, 2001). Okazało się, że w przypadku instrukcji poznawczej wyniki badanych w testach sytuacyjnych korelują bardziej z inteligencją niż z osobowością (czynnik g) (0,35 vs.0,19), a w przypadku instrukcji behawioralnych odwrotnie (0,20 vs. 0,14 dla Ugodowości; 0,33 vs. 0,21 dla Sumienności; 0,13 vs. 0,02 dla Stabilności Emocjonalnej; 0,07 vs. 0,02 dla Ekstrawertyczności; 0,10 vs. 0,05 dla Otwartości na doświadczenie. Jak zatem wynika z powyższych danych testy sytuacyjne, korelują zarówno z inteligencją, jak i osobowością, ale siła tego związku zależy od rodzaju zawartej instrukcji (poznawcza vs. behawioralna).
Czy jednak, testy sytuacyjne badają cokolwiek więcej niż tylko ogólne zdolności poznawcze (czynnik g) lub cechy osobowości? Otóż jak pokazują badania tych samych autorów, odpowiedzi udzielane przez badanych w testach sytuacyjnych tylko częściowo zależą od inteligencji i cech osobowości. Szczegółowe dane potwierdzające ten wniosek pochodzą z analizy trafności przyrostowej testów sytuacyjnych. Jak wiadomo, trafność przyrostowa jest to ilość dodatkowej, niezawodnej informacji, której test dostarcza na tle innych stosowanych procedur (Reber, 2001). Dana metoda selekcji posiada trafność przyrostową w stosunku do innej metody, jeśli po połączeniu wyników tych dwóch metod, istotnie wzrośnie ich łączna trafność prognostyczna. Jaka jest zatem trafność przyrostowa testów sytuacyjnych względem metod badających inteligencję lub kwestionariuszy osobowości?
Aby odpowiedzieć na to pytanie McDaniel i in. (2007) zebrali dane z kilkudziesięciu badań, w których badani nie tylko wypełnili test sytuacyjny, test inteligencji i kwestionariusz osobowości, ale też dla których zebrano informacje o jakości ich pracy. Dzięki temu możliwe było określenie, czy łączne zastosowanie testów sytuacyjnych z testami inteligencji lub kwestionariuszami osobowości pozwoli lepiej przewidzieć jakość pracy badanych niż zastosowanie samych testów inteligencji lub samych kwestionariuszy osobowości. Jak się okazało, dodanie testów sytuacyjnych do którejkolwiek z tych metod skutkowało poprawą trafności prognostycznej, świadcząc tym samym o tym, że testy sytuacyjne mierzą coś, czego nie mierzą ani testy inteligencji ani kwestionariusze osobowości. W przypadku testów inteligencji trafność przyrostowa testów sytuacyjnych wyniosła od 0,03 do 0,05, a dla kwestionariuszy osobowości od 0,06 do 0,07. Na koniec sprawdzono, czy testy sytuacyjne posiadają jakąkolwiek trafność przyrostową względem potraktowanych łącznie testów inteligencji i kwestionariuszy osobowości. Okazało się, że tak (od 0,01 do 0,02), potwierdzając tym samym, że są metodą selekcji, która w toku rekrutacji potrafi dostarczyć dodatkowej informacji o kandydatach, której nie da się wyjaśnić w kategoriach posiadanych przez nich zdolności poznawczych czy cech osobowości.
Podsumowując, na mierzoną przez testy sytuacyjne umiejętność trafnej oceny sytuacji, w dużej mierze składa się inteligencja (czynnik g) oraz cechy osobowości. Jednak jak pokazują badania, trafna ocena sytuacji to coś więcej, czego nie da sprowadzić to żadnej z tych zmiennych. Co to jest? Być może właśnie inteligencja praktyczna… (Sternberg i Wagner, 2001)? Jako jednak, że badania nad inteligencją praktyczną reprezentują cały odrębny nurt, dlatego pozwolę sobie tej kwestii poświęcić osobny post.
