Analitycy dziwią się, kiedy słyszą, że nie ma progu zaliczenia w egzaminach IIBA (International Institute of Business Analysis). Jak to nie ma? W innych egzaminach są. Masz np. 50 albo 70%, a tu nic. Dlaczego tak jest? Z czego to wynika? I dlaczego to nie tak głupie rozwiązanie?
Życie zaskakuje. Mnie zaskoczyło na przykład, że studiując dodatkowo psychologię natknę się na przedmioty iście matematyczne. Taka była statystyka. Taka była też psychometria. Jako, że widzę jednak wiele powiązań między tematami, tak i tu nietrudno było znaleźć związek z analizą biznesową.
Psychometria to nauka o opracowywaniu testów. Tak, żeby były rzetelne. Jeśli wydawało Ci się (tak jak mnie), że testy psychologiczne są zbiorem przypadkowo wymyślonych pytań, to nic bardziej błędnego. Liczy się w nich z matematycznych wzorów jak bardzo są rzetelne (i dopuszcza, zmienia lub odrzuca), jak dane pytanie pasuje lub nie do mierzonej cechy, jak jest trudne, jak wpływa ocenianie przez różnych nauczycieli, a nawet na ile pytań trafiliśmy strzelając a nie znając prawidłowej odpowiedzi. Szok.
Na jednych z zajęć uderzyło mnie. Posklejały mi się kropki. Już rozumiem, dlaczego egzaminy z IIBA nie mają podanego progu zaliczenia.
Spośród wielu różnych zagadnień pojawiła się interpretacja wyniku testowego na 2 sposoby: względem kryterium i względem normy. Kryterium, to wiemy, rozumiemy, np. 70% zalicza. I już. Z interpretacją względem normy trzeba się bardziej napracować.
Ale jeszcze zanim do tego jak to się robi, to pytanie – po co? Wierzy się, że wyniki odniesione do normy będą bardziej miarodajne, lepszej jakości. Zamiast do określonej liczby punktów, wyniki odnosimy do rozkładu normalnego wyników z danej populacji.
Dobrą analogią jest tu badanie inteligencji mierzone w IQ. Wiemy pewnie, że IQ fajnie jest mieć powyżej 100, a chodzą pogłoski o osobach, które miały ponad 120 czy nawet ponad 150. Wiesz, że IQ 115 to nie liczba punktów?
Liczbę punktów uzyskanych w wielu podtestach składających się na badanie inteligencji sumuje się, a następnie normalizuje. Ta operacja to nic innego jak przełożenie jakiejś liczby punktów (wyniku surowego) na normę. Średnia w populacji to 100 punktów IQ. Poniżej średniej to np. 85, a powyżej np. 115. A co to za populacja? Normy buduje się często dla kraju. Dlaczego? Bo silnie łączy nas kultura wychowania. Jeśli zatem mówimy, że ktoś w Polsce ma np. IQ 115, to znaczy, że jego inteligencja jest powyżej przeciętnej inteligencji Polaków. Ktoś, kto ma 115 punktów IQ np. w Zimbabwe, mógł osiągnąć inną wartość punktów w wynikach surowych, ale na tle swojej populacji jest również powyżej przeciętnej.
Normy przygotowuje się w badaniu kilkuset osób – badając ich, patrząc jakie wyniki osiągali, licząc średnią, przypisując jej wartość 100, a pozostałe wyniki skalując adekwatne odnosząc do normy. Przynajmniej tak wygląda skala normalizacyjna IQ. Można też stosować inne, gdzie średnią nie będzie 100, a np. wartość 5.
No dobra, a teraz jak to się ma do analityków i czemu to nie takie głupie?
Praca analityków biznesowych, odnosząc się do modelu Cynefin złożoności problemu, leży w obszarze „skomplikowane” (jeśli chodzi o analizę złożonych systemów informatycznych) i „złożone” (jeśli chodzi o reakcję ludzi na systemy). Mówimy, że BABOK Guide jest zbiorem dobrych praktyk. Właśnie dobre praktyki są odpowiedzią na problemy skomplikowane. Jest duża szansa, że zadziałają i że będą dobre, ale nie ma pewności i schematu tak prostego jak w problemach prostych z natury. Wyłaniające się działanie stosujemy w podejściu zwinnym, gdzie nie jesteśmy w stanie przeanalizować na 100% z wyprzedzeniem np. reakcji ludzi – klientów, użytkowników, interesariuszy.
Odnosząc się jeszcze do teorii myślenia, mamy myślenie konwergencyjne (czyli zbieżne, posiadające 1 prawidłowe rozwiązanie) i myślenie dywergencyjne (rozbieżne, posiadające wiele możliwych rozwiązań). Dziedzina analizy biznesowej ma momenty, gdy analiza może przebiec tylko w 1 możliwy sposób, należy podjąć tylko 1 decyzję i tylko 1 jest najlepsza wg kryterium. Jednak gro czasu spędzamy w obszarze myślenia, które ma wiele potencjalnie dobrych rozwiązań.
Możemy mówić o tym, że pewne odpowiedzi na pytania analityków są prawidłowe w takim sensie, że są najczęściej stosowane przez praktyków z dobrymi rezultatami i weszły w kanon dobrych praktyk. Branża tak robi. Obecnie. Bo czasy się zmieniają i coś, co brzmiało jak prawda objawiona 20 lat temu niekoniecznie jest obecnie stosowana czy uznawana za najlepsze rozwiązanie. Dziedzina żyje i zmienia się. Gdy wyniki testów odnosimy do norm populacyjnych możemy za tymi zmianami nadążać, czasem nawet nie zmieniając pytań! Zobaczymy, że eksperci zaczynają odpowiadać inaczej, a norma dostosuje się do tych zmian.
Testy, w których wyniki odnosimy do normy populacji analityków, a nie do konkretnej liczby punktów w odpowiedzi na konkretne pytania, zdają się bardziej odpowiadać naturze zagadnienia. Z tego też względu IIBA po wypuszczeniu nowego egzaminu, oznajmia, że wyników nie będzie przez pewien czas (tak było po wypuszczeniu CPOA – Certified Product Ownership Analysis), ale dopiero po wzięciu udziału kilkuset osób. Co robili? Normalizowali wyniki. Tworzyli odniesienie do populacji analityków. Dlatego też w wynikach IIBA, podobnie jak w wynikach badania inteligencji od profesjonalnego psychologa, nie otrzymujesz liczby punktów, a informację, czy jesteś powyżej, poniżej czy wśród przeciętnych wyników w danym obszarze. Nie podaje się liczb, bo istnieje błąd pomiaru, przedziały ufności wyniku i bierze się za to odpowiedzialność. Egzaminy IIBA zaliczamy, gdy nie jesteśmy poniżej w więcej niż np. 1 z 6, czy 2 z 7 obszarów wiedzy.
Dla mnie ma to sens i na pewno świadczy o rzetelnym podejściu do testowania IIBA.
A Ty co sądzisz na ten temat?
