Gdyby to policzyć dokładnie, to najrzadszym typem badań w pedagogice jest eksperyment. Można go jeszcze znaleźć w badaniach nad efektywnością nauczania czy w ewaluacji programów wychowawczych, terapeutycznych czy profilaktycznych. Można pytać czemu pedagodzy tak niechętnie podchodzą do metody eksperymentalnej i czy to dobrze czy źle. Na pierwsze pytanie odpowiedź wydaje się łatwiejsza.

Po pierwsze, istotą eksperymentu jest wywoływanie celowych zmian dla stwierdzenia ewentualnych następstw tych zmian. Zmieniając warunki zmieniamy coś w człowieku. Humanistom się to nie podoba, gdyż programowo nie akceptują oni manipulacji i twierdzą, że wychowanie nie powinno być manipulacją, lecz życzliwym towarzyszeniem rozwijającemu się podmiotowi.

Po drugie, nie mogą oni również pogodzić się z zawężeniem perspektywy poznania człowieka i kultury, w wyniku skupienia się na badaniu izolowanych wycinków rzeczywistości (co jest istotą każdego eksperymentu), chcą widzieć człowieka całościowo a nie wycinkowo. A to skłania ich ku metodom jakościowym i ujęciom idiograficznym. Z tej perspektywy eksperymenty bywają postrzegane jako prymitywne. Podobnie jak wszystko w człowieku i środowisku, co da się policzyć, czy skorelować.

Po trzecie humanistom bardzo łatwo jest powiązać liczenie z manipulacją, co wyraża myśl błyskotliwa i głęboka że "statystyką można wszystko udowodnić". Podają oni swoiste antidotum na tę przypadłość nauki, polegające na wycofaniu się z udowadniania czegokolwiek i pławieniu się w oparach ... dyskursów.

Znajduje to wyraz w rezygnacji z budowania teorii - budowanie teorii przestaje być zadaniem pedagogiki (teorie też się źle kojarzą - być może chodzi o ich pojmowanie jako produktu indukcji, czyli skojarzenia z neopozytywizmem).

Wydaje się, że pedagodzy mentalnie czują się zwolnieni z obowiązku konstruowania teorii naukowej. Jeśli ktoś ma w tej materii wątpliwości, to zachęcam do poszukania teorii w dostępnej literaturze przedmiotu  i ... życzę powodzenia. A przy okazji proponuję zerknąć w stronę psychologii i socjologii, gdzie teorii mamy aż nadto i w dodatku teorie są ciągle testowane (systematyczne replikacje i metaanalizy) i w oparciu o wyniki badań przekształcane oraz integrowane. W psychologii ujęcia jakościowe są niszowe, tu króluje eksperymentowanie (ostatnio mocno wiązane z technikami obrazowania mózgu) oraz sondaże. W pedagogice jest odwrotnie.

W powyższym kontekście niechęć pedagogów wobec twardej metodologii i zanik eksperymentowania można poddać wartościowaniu. Problem stanowi izolowanie się pedagogiki od psychologii - obie dziedziny stają coraz mniej kompatybilne. Sądzę, że tracą na tym nie psychologowie, lecz przede wszystkim pedagodzy (co staje się szczególnie widoczne w dobie "punktozy" i "grantozy", dla których podstawą jest impact factor). Może należałoby promować postrzeganie pedagogiki jako stosowanej psychologii rozwoju i wychowania?

Inny problem jaki wynika z rugowanie podejścia ilościowego z pedagogiki dotyczy pedagogiki specjalnej, terapii pedagogicznej i profilaktyki. Są to dziedziny mocno interdyscyplinarne, więc ktoś kto chce się w nich odnaleźć naukowo, musi mocno czerpać z nauk nomotetycznych takich jak biologia i psychologia. W dodatku praktyka każdej z tych trzech dziedzin polega na oddziaływaniu celowym na człowieka lub jego środowisko. W tym kontekście pomiar zmiany w człowieku i określenie jej źródeł jest czymś absolutnie fundamentalnym.

Brak wiedzy i doświadczenia pedagogów w dziedzinie badań ilościowych skutkuje ich masowym nieprzygotowaniem do konstruowania i ewaluacji programów oddziaływań wychowawczych, terapeutycznych czy profilaktycznych.

Jest to bardzo widoczne w profilaktyce zachowań problemowych dzieci i młodzieży - w systemie obowiązującym w Polsce mamy do czynienia z naciskiem na korzystanie z programów centralnie rekomendowanych. Programy rekomendowane muszą mieć odniesienia do uznanych teorii naukowych oraz udokumentowaną skuteczność oddziaływań. Oznacza to rzetelny i trafny pomiar tego, co w wyniku programu ma się zmienić oraz testowanie zmian u uczestników - w procedurach uznanych za wiarygodne w tym zakresie. Jedyną wiarygodną procedurą do pomiaru zmian jest eksperyment z grupą kontrolną (lub od biedy tzw. quasi-eksperyment), choć niektórzy zalecają bardziej rozbudowane plany badawcze (np. tzw. plan Solomona). Badanie efektów profilaktyki lub terapii przypominać zaczyna proces testowania procedur medycznych lub leków. System rekomendacji jest dość hermetyczny właśnie ze względu na standardy w zakresie ewaluacji programów.

Biorąc pod uwagę niedoreprezentowanie metodologii ilościowej w programie pedagogiki akademickiej, można wieszczyć alienację tej nauki w zakresie profilaktyki - oddajemy i będziemy oddawać pole psychologii i zdrowiu publicznemu.

Dotyczy to nawet w dziedziny tak specyficznie "naszej" jak pedagogika szkolna. Proszę przeczytać rozporządzenia w sprawie przeciwdziałaniu narkomanii w szkołach - zalecające stosowanie programów rekomendowanych. Dodajmy, że nic nie zobowiązuje ani szkół ani ośrodków akademickich do konstruowania takich programów i poddawania ich systematycznej weryfikacji. Przypuszczam, że autorzy przywołanego rozporządzenia kierowali się w tym względzie pesymistyczną oceną zdolności środowisk szkolnych i akademickich do tworzenia profilaktyki opartej na naukowych podstawach - uznali że lepiej zdać się na masowe upowszechnianie twórczości garstki zapaleńców, niż liczyć na wysyp pomysłów. Pedagogika akademicka powinna nadawać ton ulepszaniu systemu profilaktyki w Polsce. Jednak nie uczestniczy w tym procesie, ponieważ mało kto z moich kolegów ma do tego wystarczające przygotowanie naukowe i praktyczne. Nie jest to przytyk osobisty do kogokolwiek. Jestem przekonany, że wynika to z kierunku rozwoju pedagogiki w naszym kraju. To wielki paradoks, że kraj w którym pedagogika była do jeszcze niedawna nauczana na poziomie akademickim niemal w każdym powiecie, nie ma kim realizować profilaktyki szkolnej.

No dobrze! Po lamencie nad deficytami warsztatu ilościowego pedagogów, może czas go odrobinę wzbogacić. Zgodnie z tytułem przedstawię prostą technikę do oceny różnic rejestrowanych z pomiaru na pomiar w pewnym zbiorze (mówimy o próbach powiązanych lub zależnych, co oznacza, że po dwa pomiary przypadają na jedną osobę).

Wyobraźmy sobie, że nasze badanie dotyczyło zmiany jaka zachodzi u uczestników programu psychoedukacyjnego. Mierzymy poziom lęku przed ekspozycją społeczną specjalnym testem przed treningiem kompetencji społecznej i zakończeniu cyklu treningowego. Przyjmujemy, że udział w treningu powinien przyczynić się do redukcji lęku przed ekspozycją społeczną a zatem u poszczególnych osób wyniki pomiaru drugiego powinny być niższe od pomiaru pierwszego. Uczestników treningu było dziesięciu.

Za pomocą testu t będziemy sprawdzać hipotezę zerową, która mówi, że średnia różnica między pomiarami 1 i 2 w populacji generalnej wynosi zero. Oczywiście celem naszej analizy jest określenie, jakie jest prawdopodobieństwo słuszności hipotezy zerowej. Jeśli będzie ono mniejsze niż 0,05 to wówczas hipotezę zerową będziemy uprawnieni odrzucić. Sposób obliczania omawianej wersji testu t możecie znaleźć w każdym podręczniku statystyki, więc nie będę tu podawał żadnych wzorów. Pokażę za to, w jaki sposób przeprowadzić ten test przy użyciu programu Stats EZ dostępnego na urządzeniach z systemem Android. Pod przyciskiem na prawym marginesie strony znajdziesz do wyświetlenia film pokazujący jak wprowadzić dane i przeprowadzić analizę.

Test t Studenta jest testem parametrycznym więc wymaga sprawdzenia założeń o normalności rozkładu i jednorodności wariancji. Jeśli założenia te nie są spełnione, lub nie zamierzamy ich sprawdzać, to należy zastosować odpowiednik nieparametryczny, czyli tzw. test znaków lub lepiej test rangowanych znaków. Ten ostatni jest nieco bardziej pracochłonny ale z pewnością bardziej dokładny. Jednak nie będę opisywać sposobu jego użycia - zainteresowanych odsyłam do podręczników statystyki. Dacie radę sami się nauczyć technicznej strony obliczeń. Opiszę natomiast sposób posługiwania się prostszym z testów.

Test wymaga danych mierzonych na poziomie rangowym lub metrycznym (przypomnij sobie co to znaczy!). Pomiary są dwa: pierwszy przed eksperymentem, drugi po eksperymencie. Oba muszą być ujęte w kolejne pary.

Procedura wykonana na papierze jest banalna. Musicie zbudować tabelkę z trzema kolumnami (pomiar pierwszy, pomiar drugi, znak różnicy) i wpisać najpierw w/w trzy informacje dla każdej kolejno osoby badanej.

p1  p2   znak

---------------

10   12   -

17   20   -

11   11   0

14   15   -

16   12   +

18   18   0

14   16   -

10   12   -

12   15   -

24   22   +

19   23   -

15   16   -

12   12   0

11   16   -

17   18   -

13   14   -

Teraz musicie policzyć wszystkie plusy i minusy (a więc wszystkie przypadki różnic między pomiarem 1 i 2. Przypadki, gdy pomiar 1 i 2 były identyczne (czyli u nas zera) pomijamy. W powyższym przykładzie liczba zaobserwowanych różnic (n) wyniosła 13. Piszemy sobie, ile było plusów a ile minusów. Potrzebna nam będzie mniejsza z tych liczb. Można powiedzieć, że będzie nas interesowała liczba wyjątków od dominującej w naszym zbiorze tendencji. Testowana jest hipoteza zerowa mówiąca, że w populacji generalnej nie ma systematycznej różnicy między pomiarami lub inaczej mówiąc prawdopodobieństwa wzrostu i obniżenia się rezultatu z pomiaru na pomiar jest identyczne.

U nas mniejsza była liczba plusów (2), podczas gdy dominowały w zbiorze minusy (11). Regułą w zbiorze jest więc wzrost wyników z pomiaru na pomiar. Powstaje zatem pytanie, czy wyjątków od reguły jest na tyle mało, by uznać, że regułę powyższą można wiarygodnie uogólnić. Odpowiedź na to pytanie znajdziemy w tablicy wartości krytycznych testu znaków (w podręczniku statystyki trzeba szukać). Tablice są różnie konstruowane ale w najbardziej typowej postaci (zob. niżej) mamy kolumny opisujące oczekiwany poziom istotności (domyślnie jest to p=0.05) oraz wiersze odpowiadające kolejnym wartościom n (czyli sumom obserwacji znakowanych plusem lub minusem).

Na przecięciu kolumny 0,05 i wiersza odpowiadającego wartości n (w naszym przypadku - 13) odczytamy zapisaną tam liczbę. Dla n=13 i p=0,05 wartość ta wynosi 2. Teraz porównajmy wyliczoną wartość testu (czyli u nas 2) z wartością krytyczną z tablic (czyli 2). Aby uznać, że różnice między pomiarami pierwszym i drugim są istotne statystycznie wartość testu powinna być niższa od wartości krytycznej dla n=13 i p 0,05. W naszym przypadku uzyskaliśmy wynik równy wartości krytycznej a więc tendencja zaobserwowana w naszym zaimprowizowanym badaniu lokuje się na granicy istotności statystycznej. Wyliczona przez nas wartość testu jest z kolei niższa od wartości krytycznej dla n=13 i p=0,10, co oznacza, że prawdopodobieństwo słuszności hipotezy zerowej jest niższe od 0,10.