Na zamówienie Ministerstwa Edukacji Narodowej od marca do września 2019 r. została przeprowadzona ewaluacja o nazwie „Badanie wartości wskaźnika rezultatu długoterminowego PO WER w obszarze oświaty – Odsetek poradni psychologiczno-pedagogicznych stosujących wypracowane narzędzia do pracy z uczniami o specjalnych potrzebach edukacyjnych dzięki wsparciu z EFS”.

Główny cel badania

Głównym celem badania była ocena i bieżący monitoring jakości wsparcia realizowanego w ramach projek­tów dotyczących poradnictwa psychologiczno-pedagogicznego z wykorzystaniem środków EFS. Badanie skupiło się na ocenie pakietu narzędzi TROS-KA. Został on opracowany w ramach realizacji przez ORE projektu o nazwie „Opracowanie instrumentów do prowadzenia diagnozy psychologiczno-pedagogicznej”.

Cel szczegółowy

Celem szczegółowym ewaluacji było oszacowanie wartości wskaźnika rezultatu długoterminowego, który mierzy odsetek poradni psychologiczno-pedagogicznych deklarujących wykorzystanie wypracowanych w programie narzędzi wspierających pracę z uczniem o specjalnych potrzebach edukacyj­nych, z co najmniej 25% uczniów o specjalnych potrzebach edukacyjnych.

Wyniki ewaluacji

W roku szkolnym 2018/2019 zaledwie 7% poradni stosowało opracowane dotychczas narzędzia w przypadku co najmniej 25% uczniów o specjalnych potrzebach edukacyjnych.

Pozostałe 93% należało do następujących kategorii:

I. poradnie, które nie podpisały porozumienia z ORE, umożliwiającego stosowanie dotychczas opracowanego pakietu narzędzi TROS-KA (53%),

II. poradnie, które podpisały porozumienie z ORE ale w praktyce nie korzystały z narządzi z pakietu TROS-KA (12%),

III. występowały przypadki poradni, które takie porozumienie podpisały i używały narzędzi, ale w odniesieniu do mniej niż 25% uczniów, w przypadku których stwierdzono problemy w obszarze emocjonalno-społecznym (28%).

Do przyczyn niezawierania porozumień z ORE przez poradnie publiczne należały:

• zakładane trudności w stosowaniu narzędzia (np. długotrwałość procesu diagnozy) – 27%,
• niedopatrzenie po stronie poradni związane z kwestiami organizacyjnymi (np. zmianami kadrowymi) – 16%,
• preferowanie innych narzędzi diagnostycznych – 12%,
• niemożność wywiązania się z umowy (np. w odniesieniu do częstości stosowania TROS-KA lub raportowania) – 10%,
• brak propozycji podpisania umowy ze strony ORE – 6%,
• obszar działalności poradni nie pokrywa się z obszarem zastosowania narzędzia TROS-KA – 6%.

Głównym powodem niekorzystania lub rzadkiego korzystania z pakietu TROS-KA przez poradnie, które pod­pisały porozumienie z ORE, był przewidziany w nim długotrwały i skomplikowany proces diagnozy. Innymi występującymi przyczynami były: niemożność przeprowadzenia diagnozy 270 stopni z powodu trudności we współpracy ze szkołą, niedostępność pracownika przeszkolonego do wykorzystywania narzędzi (wynikająca np. z rotacji kadr lub przyczyn losowych), brak dostępu do elektronicznej wersji narzędzia.

W przypadku poradni niepublicznych wartość wskaźnika wykorzystania narzędzi z pakietu TROS-KA byłą jeszcze niższa, co wynikało głownie z faktu, że obszar działalności poradni nie pokrywał się z obszarem zastosowania narzędzia TROS-KA (39%) oraz braku propozycji podpisania umowy ze strony ORE (31%).

Opinie dyrektorów i pracowników poradni psychologiczno-pedagogicznych na temat pakietu narzędzi TROS­-KA.

Opinie były podzielone. Do aspektów pakietu TROS-KA, które najczęściej oceniane były pozytywnie, należały: uzupełnienie repozytorium diagnostycznego (pozytywna ocena 48% dyrektorów poradni), łatwość wykorzystania pakietu (43% dyrektorów PPP pozytywnie oceniało łatwość zastosowania pakietu, a 55% pracowników zgodziło się, że jest on łatwy w użyciu), uzyskiwanie trafnej i pogłębionej diagnozy (37% dyrektorów zgadzało się, że narzędzia umożliwiają diagnozę szerokiego spektrum potrzeb, a 45% pracowników, że diagnoza była bardziej pogłębiona niż przy wykorzystaniu innych narzędzi) oraz obszar współpracy z rodzicami – możliwość współ­pracy z rodzicami w procesie diagnozy (oceniana pozytywnie przez 52% dyrektorów) i lepsze rozumienie potrzeb dzieci przez rodziców (według 43% pracowników stosujących narzędzia).

Łatwość zastosowania pakietu i możliwość uzyskania pogłębionej oraz trafnej diagnozy, to zarazem obszary, w odniesieniu do których padło dużo negatywnych odpowiedzi ze strony dyrektorów poradni: 32% dyrektorów negatywnie oceniło łatwość zastosowania pakietu, 28% dyrektorów negatywnie oceniło pakiet pod względem możliwości diagnozy szerokiego spektrum specjalnych potrzeb edukacyjnych w obsza­rze emocjonalno-społecznym, a 27% - pod kątem możliwości dokonania trafnej identyfikacji potrzeb i moż­liwości ucznia.

Natomiast w ocenie specjalistów do podstawowych problemów ze stosowanie pakietu narzędzi TROS-KA zaliczono:

• brak czasu, praca z pakietem jest zbyt czasochłonna, pracochłonna - 49%
• narzędzie niezrozumiałe dla uczniów i rodziców (np. niejasne stwierdzenia) - 32%
• narzędzie męczące, nudne dla uczniów - 23%
• konstrukcja narzędzia nieczytelna - 19%
• narzędzie nie diagnozuje trafnie trudności uczniów - 19%

Dodatkowo obszary, w których specjaliści stosujący narzędzia częściej niż w innych wybierali odpowiedzi negatywne, dotyczyły współpracy ze szkołami i jakości działań postdiagnostycznych.

Pakiet narzędzi TROS-KA a działania dotyczące monitorowania efektów

Stwierdzono, że pakiet TRO-SKA, jeśli wpływa korzystnie na działania postdiagnostyczne, to głównie na współpracę z rodzi­cami. Niemniej wyniki badań nie wskazują na jednoznaczny korzystny wpływ narzędzi TROS-KA na jakość działań postdiagnostycznych, a raczej na jego neutralność. Większość badanych, którzy wykorzystali pakiet deklaruje, że nie ma on wpływu na monitorowanie dalszych efektów. Podsumowano, że trudno jest określić, jaki wpływ ma użycie narzędzi TROS-KA na poszczególne aspekty działań postdiagnostycznych.

W wyniku ewaluacji sformułowano rekomendacje dotyczące:

• opracowania i wdrożenia standardów pomocy psychologiczno-pedagogicznej, po przeprowadzeniu analizy zapotrzebowania na kadry specjalistów,
• zapewnienia finansowania programu zatrudnienia specjalistów w zakresie pomocy psychologiczno-pedagogicznej w szkołach i placówkach,
• odciążenia poradni psychologiczno-pedagogicznych od zadań profilaktyki pierwszorzędowej, wczesnej diagnozy i pomocy poprzez przeniesienie realizacji tych działań do szkół,
• upowszechnienia narzędzi z pakietu TROS-KA wśród specjalistów szkolnych,
• działań informacyjno-promocyjnych skierowanych do poradni niepublicznych,
• drobnych uzupełnień w pakiecie narzędzi TROS-KA i weryfikacji podręcznika,
• przeprowadzenia szkoleń z zakresu klasyfikacji ICF i przetłumaczenia na język polski podręcznika WHODAS 2.0,
• zobowiązania poradni psychologiczno-pedagogicznych do zbierania i sprawozdawania informacji potrzebnych do oszacowania wartości wskaźnika rezultatu długoterminowego,
• zmiany wartości docelowej wskaźnika rezultatu długoterminowego,
• uwzględnienia w tworzonych w przyszłości pakietach narzędzi skali oceny efektów,
• innych rekomendacji wobec projektodawców w kolejnych naborach w Działaniu 2.10, dotyczących opracowania narzędzi wspierających pomoc psychologiczno-pedagogiczną,
• odpowiedniego zaplanowania ewaluacji skuteczności narzędzi opracowywanych w ramach projektów EFS.

Źródło: Raport końcowy. Badanie wartości wskaźnika rezultatu długoterminowego PO WER w obszarze oświaty – Odsetek poradni psychologiczno-pedagogicznych stosujących wypracowane narzędzia do pracy z uczniami o specjalnych potrzebach edukacyjnych dzięki wsparciu z EFS.