Az értékelés értékelése
11 perc olvasás
A suliNova Közoktatás-fejlesztési és Pedagógus-továbbképzési Kht. Értékelési Központ 2007 februárjában tette közzé a hosszabb idő óta folyamatosan zajló kompetenciamérések sorából az akkori legutolsó, a 2006-os mérések gyorsjelentését. Ebben számos táblázatot közölnek az eredményekről, azok átlagáról és szórásaikról, illetve egyes kompetenciák esetében a régiók közötti eltérésekről. Mielőtt azonban ezeket szemrevételeznénk érdemes lehet elgondolkodni, arról is, hogy valójában mit várhatunk egy ilyen méréstől.
A suliNova Közoktatás-fejlesztési és Pedagógus-továbbképzési Kht. Értékelési Központ 2007 februárjában tette közzé a hosszabb idő óta folyamatosan zajló kompetenciamérések sorából az akkori legutolsó, a 2006-os mérések gyorsjelentését. Ebben számos táblázatot közölnek az eredményekről, azok átlagáról és szórásaikról, illetve egyes kompetenciák esetében a régiók közötti eltérésekről. Mielőtt azonban ezeket szemrevételeznénk érdemes lehet elgondolkodni, arról is, hogy valójában mit várhatunk egy ilyen méréstől.
Közvetlen és rövid távú eredményként valószínűleg igen keveset, és ha így tekintjük alighanem igen szkeptikusak is lehetünk. Egyrészt politikai okokból sem, hiszen bármilyen szélsőségesen rossz eredményeket is hozzon egy ilyen mérés, nem valószínű, hogy az oktatás politikai vezetése bevállalná az oktatás teljes átszervezését és megkockáztatná az ország teljes tanári karának képességvizsgálatát.
Politikusként magam is félnék az eredménytől. Mert ha a mérleg pozitív, akkor semmi baj. De mi a teendő negatív mérleg esetén? Mennyi időbe telhet a pedagógusképzés átszervezése annak érdekében, hogy bővíteni lehessen a képzést, és pótolni azokat, akik a képességteszten elbuktak akár sok éves tanári beosztás után. S mi legyen a politikailag megbízható, de csak politikailag minősíthető oktatásvezetőkkel, igazgatókkal, akik maguk olvassák a felmondási névsort, de csak azért, hogy, Rejtővel élve, maguk ne szerepeljenek rajta? Az ilyen kérdésekkel csak 15-20 éves cselekvési tervvel lehetne egyáltalán elkezdeni foglalkozni, melyhez az útjelző táblák a 4 évenkénti teljes vagy részleges újrafestése közepette aligha adódik lehetőség. S amiért ezt itt előhoztam az az, hogy egy mérést mindenképpen meghatároz a mérőeszköz. Még a hőmérséklet mérésekor is pontossági különbségeket fogunk tapasztalni a mérőeszközök függvényében. Így aligha valószínű, hogy egy sokszor csak szubjektíven megközelítésben mérhető paraméterét a világnak, minden szubjektív hatástól függetlenül, abszolút objektivitással tudnánk mérni. S nem csak az oktatásban, hanem akár a növénynemesítésben is, hiszen a bíráló színlátásától, és ízlésétől fog függni, hogy honnan halványsárga a fehér és mennyire tetszik neki a kék. Érthető tehát, hogy a biometriai értékelések során már régóta ismertek a sorrendiségen és nem abszolút skálán alapuló módszerek, mint amilyen a rangkorreláció is (Sváb, 1981). Az oktatásban a hogyan még akár olyan kompetenciák esetében is érdekes lehet, ami látszólag abszolút skálán mérhető. Például a matematika esetében sem mindegy, hogy a 2+2 rejtvényét, mint felírt egyenletet, vagy szöveges feladat megfejtését tálalja-e a teszt. Az utóbbi esetekben ugyanis felmerülhet, hogy a matematikai vagy a szövegértési kompetenciáról fogok-e a végén véleményt nyilvánítani.
S aztán ott van a „mivel mérünk?" kérdése. Akár technológiailag is, mivel a jelenleg megvalósítható technológiák alkalmazása önmagában is diszkriminatív lehet. Vegyük például az országos kompetenciamérést. A kompetenciamérés során tesztfüzeteket alkalmaznak, melyet később kódolók serényserege kódol. Erre még egy gondolat erejéig visszatérek. Az alternatív választás lehet például az internetes és a célszoftveres adatgyűjtés. Az interneten természetesen célszerű olyan megoldást választani, amely nem támaszkodik egy adott kliensoldali technológiára. Mert legyen bármilyen modernnek látszó egy ActiveX alapú Internet Explorerben futó alkalmazás, ha az adott iskolában Windows-os grafikus héjjal telepített számítógépet nem tartanak akkora számban, hogy az elé minden diák leültethető legyen. S igaz ez a célszoftveres megoldásokra is. A platformfüggő megoldások automatikusan diszkriminatív megoldásnak is tekinthetőek, ahogy a http://kompetenciameres.hu//2006/szoftver/ oldalról elérhető OKM 2006 FIT-jelentés Szoftver bináris telepítő-állományába beletekintve az ezzel indul: „MZP _ _ _ ˙˙ ¸ @ _ _ ş_ ´ Í!¸_LÍ!This program must be run under Win32". Tehát az, aki a közpénzből fejlesztett jelentéskészítőre nem 32 bites Windows – felületen kíváncsi, kezdhet felhagyni minden reménnyel.
A kis kitérő után a kódolás, mint mérőeszközt alkalmazva, a kompetenciamérés tehát a tesztfüzeteken alapul. Nem kis részben bevonva egyetemistákat, akik esetleg szintén magukon viselik a korábbi kompetenciamérések során feltárt hiányosságokat. Az a korosztály ugyanis melyről 2003-ban esetleg szövegértési problémákat állapítottak meg, pár évvel később maga fogja kódolni a következő generációk válaszait. Az értékelendő válaszok tömegét tekintve nehéz lenne azt mondani, hogy „rendben, kódoljon más", de amikor mondjuk éppen a szövegértési eredményeket vesszük figyelembe, nem árt egy kicsit ezt is figyelembe venni a felmérés szervezőinek és a kódolásban részt vevőknek a jó szándékát egy percig sem vonva kétségbe.
Ezek után a Gyorsjelentés anyagára visszatérve az a rövid bevezetést követően az eredmények ismertetését, nem csak a felmérésre, hanem az oktatásra is önkritikusan értelmezhető kitétellel kezdi: „Az eddigi kompetenciamérések között eltelt viszonylag rövid idő miatt még a 6. és a 10. évfolyam esetében sem vonhatunk le messzemenő következtetéseket a mérési eredmények trendjére vonatkozóan. A felmért diákok nagy száma miatt az átlagos képességben mutatkozó 1 pontos különbség is szignifikánsnak számítana a legtöbb esetben, ugyanakkor nem mondható jelentősnek, hiszen csak nagyon kis eltérést jelent a tudásban. Az átlagok évenkénti összehasonlításánál ki kell emelnünk a 6.-os matematikatesztet, ahol 2004-ben a 2003-as évhez képest kicsivel jobb, 2006-ban pedig 2004-hez képest 12 ponttal rosszabb átlagos eredmény született. A 6. évfolyamos szövegértési teszt esetében ezzel szemben évről évre kicsivel jobb eredmény született." Ha az eredményeken végigtekintünk, akkor ezt magunk is megállapíthatjuk.
A Gyorsjelentés a matematikai eredmények táblázatos értékelésével kezdődően kezdi meg az értékek ismertetését, melyet a szövegértés követ. Az átlagokra és az átlagok 25% -át elérő szórásértékekre a jelentés saját bevezetőjének függvényében talán kár is hosszabb mondatokat fecsérelni. Inkább azt érdemes nézni, hogy a 2004-ben 8.-os korosztály 2006-ban ismét megjelenik az adatok között. Immár 10. évesként. S bár nyilván nincs személyi megfeleltetés az eredményekben, az átlagok valamelyes változása mégis jelezhet valamit. A matematika esetében ez a változás igen szerény, a bevezetőben említett 1-es érték körüli. Így kicsit pongyolán azt is mondhatnánk, hogy aki tehetséges volt, az is maradt, és sokkal matematikusabb sem lett. Némileg árnyaltabb a kép a szövegértés környékén. A 2004/8. évfolyam 500-as értéke a 2006/10. évfolyam 501 -es értékével még benne lehet az elhanyagolható különbség zónájában. Ha azonban a 2004/6 509 -es értékét hasonlítjuk a 2004/8 497-es értékéhez, akkor érzékelhető romlást állapíthatunk meg. Ebben, a teljesítményszintek alapján végzett értékelést tekintve a magasabb teljesítményszinteken észlehető látványos csökkenés játszik be, mely annál is látványosabb, hogy az alacsonyabb teljesítményszinteken némi javulás is tapasztalható. Így, megint csak nem kis egyszerűsítéssel élve, míg a kisebb tehetséggel megáldottak fejlesztésében jók az eredmények, nem igazán sikerült fenntartani a folyamatos képességfejlesztést a jobb alapokkal indulók esetében. Márpedig amíg az emberi kultúra írott és beszélt alapokon nyugszik, a szövegértési kompetenciák számos más helyen is „visszaköszönnek".
Az említettek természetesen országos értékek, s ezért érdemes lehet a regionális értékeket is figyelembe venni. Ebben a felmérést értékelők kiemelték Budapestet. Ami tekintve, hogy az ország lakosságának ötödéről van szó, lehet egyszerre indokolt és indokolatlan is. Indokolt, annyiban, hogy bármely régióhoz csatolva erős torzítást jelentett volna. Erre a felmérést készítők is felhívják a figyelmet. Arra azonban nem találtam magyarázatot, hogy akár elkülönült „régióként" Budapest adatai miért nem szerepelnek összehasonlításként. Így a regionális felmérési eredmények óhatatlanul a „még indultak" vs. főváros megosztásban válnak értelmezhetővé, ami nem biztos, hogy szerencsés megoldás. A régiók és megyék szerinti megosztás, az előzőek fenntartása mellett különben valóban tükrözi azt, amit a gyorsjelentés készítői is kiemelnek. Jelentős az összefüggés a térség gazdasági helyzetével. Az adatok, ahogy a gazdasági környezet is, némileg „lejtenek" Észak-Kelet, illetve a Dél-Dunántúl irányába.
Ez a lejtés sajnos a megyénkénti értékelésben is meglátszik némileg. Mind a matematikai, mind a szövegértési eredmények tekintetében. A sorból talán Pest-megye lóg ki, ahol némileg gyengébb eredmények láthatóak, mint azt szubjektív elvárások alapján várhatnánk. Nem a teljes névsor tekintetében, hanem például Nógrád, Vas vagy Veszprém megyék adataival összevetve. Persze itt megint elgondolkodhatunk az ország ötödét reprezentáló adatok figyelembe vételét illetően.
Budapest adatai majd csak a közigazgatási feldolgozásban válnak láthatóvá, amelyből megállapítható, hogy a főváros a megyeszékhelyeknél is magasabb adatokat mutat. Persze itt megint elgondolkodhatunk az adatok torzítottságáról. Az ország lakosságának ötödét képviselő Főváros egyes területei közt majdnem akkora, ha nem nagyobb különbségek észlelhetőek, mint néhány térség között, és a nagyobb létszámú kerületek sem maradnak el egyes községek lakossága mögött. Így sajnálatos, hogy a jelentés nem ad adatot arról, hogy a budapesti kerületek miként helyezkednek el a kompetencialistán. Ez politikailag érthető, hiszen sokszor halhatunk vitákat a gettósodásról, szlemesedésről, szegregatív környezetről. Ha azonban a mintavétel sem veszi ezt figyelembe, akkor hiányos az adathalmaz. Ha pedig politikai okokból nincs megbontva az adatsor, akkor aligha tekinthető jó megoldásnak. De minkét esetben igaz, hogy az adatok nem-ismerete a megoldáshoz sem vezet el.
Az iskolatípusok közti összehasonlítás sok meglepetést nem tartogat. A szakiskolák szignifikánsan a leggyengébben, a gimnáziumok a legjobban szerepelnek. Tekintve, hogy a szakközépiskolai képzés átalakítása nyomán ma csak a nagyon elszántak és a máshonnan kiszorulók mennek szakközépiskolába és az oda sem felvettek a szakiskolákba, mondhatni „természetes" az a szereplés, ami a kompetenciamérésből is kiderül. Hogy ez oktatáspolitikailag jó-e, hogy a képzettségi szintek kasztosító hatásáról szóló vitáknak helye van-e, az aligha egy kompetenciamérés keretében megvitatandó kérdéskör. Bár az utóbbi akár hosszú távon is hathat, mait a szülök iskolázottsága és a gyermek kompetenciaeredménye közti összefüggés-táblázatok is mutatnak a gyorsjelentésben.
A családi könyvtár és a tanuló saját könyvei közti összefüggés, valamint ezek hatása a kompetenciákra szintén nem hozott olyan eredményeket, melyeken különösebben meg kellene lepődnünk. De kétségtelen, hogy ebben a jelentés anyaga inkább csak tendencia-felmérésnek tekinthető. Annak ellenére, hogy a táblázatok konkrét számokat tartalmaznak. A módszertani ok kiolvasható a táblázatokból. Az otthoni könyvtár felmérése ekként tartalmazza az adatokat: „Kevesebb mint egypolcnyi (kb. 0-50 könyv)". Tehát, ha megkérdezem a tanulót, hány könyvespolcotok van, és ö azt mondja 2, akkor bírom, hogy kb. 100 db könyvük van. Márpedig a könyvespolcok mérete erősen eltérhet, és a rajtuk elhelyezkedő könyvek száma is. 1 lexikon helyén elférhet mondjuk 5 ponyvaregény-újság. S akkor eltekintettünk attól, hogy, minden önmagához mért minősítéstől is eltekintve, 1 Júlia regényújság helyfoglalása alig kisebb Pascal „Gondolatok" cimű művénél. Ennek fényében a kompetenciamérés adatai tájékozódó jellegűnek is csak kritikával fogadhatók el.
Az említett fenntartások ellenére, és az itt ki nem emelt további adatok okán valószínűleg érdemes elolvasni mind a gyorsjelentést, mind az adatok további feldolgozásait tartalmazó munkákat. Mert egy tendencia ismerete is több a semminél. Az oktatás meg úgyis tíz években kell(ene), hogy gondolkodjon.
Irodalom:
suliNova Közoktatás-fejlesztési és Pedagógus-továbbképzési Kht., Értékelési Központ, 2007: Országos kompetenciamérés 2006 – Gyorsjelentés
http://kompetenciameres.hu/2006/2006OKM_gyorsjelentes.pdf
Sváb, J. 1981: Biometriai módszerek a kutatásban. Mezőgazdasági Kiadó, Budapest.
Dr Simay Endre István
