Objektívek-e a tantárgyi mérések?
{Nem első közlés}
Lehet-e objektíven, a “tudatunktól független” valóságot mérni, vagy csak objektívnek álcázzuk a méréseinket? A dolog ott kezdődik, hogy a pedagógia világa eleve nem független a tudatunktól, ennek ellenére az objektivitás lényegében ugyanazt jelenti, mint a természettudományokban.
Minden mérés összehasonlítás, a mérőeszköz összehasonlítása a mért rendszerrel, egy pontosan meghatározott mérési eljárás alapján.
Mindenekelőtt a teszt, a feladatlap érvényességét (E), validitását kell biztosítani. Pontosan meg kell határozni, hogy mit kívánunk mérni, és pontosan azt kell kérdezni, amit mérni kívánunk. Ez érthetően hangzik, de a gyakorlati megvalósítása nem könnyű. Ha a tanulók tudásszintjét valamely tudásterületet (vagy annak egy részét, rétegét) mérni akarjuk, ismerni kell a tananyagot és a kapcsolódó követelményeket. Ha van megfelelő tanterv, akkor ezeket tartalmazza, ha nincs, akkor fel kell tárni az anyagot, meg kell határozni, az elvárásokat. A követelményeket többféleképpen csoportosíthatjuk. Például megkülönböztetünk ismeretekre (adatokra, tényekre, fogalmakra, összefüggésekre…) vonatkozó követelményeket és tevékenységekre (műveletekre) vonatkozó követelményeket (jártasságok, készségek, képességek). Nyilvánvaló, hogy a "Mit kívánunk mérni?" kérdésre adott válasz alapvető fontosságú, de ezzel itt behatóbban nem foglalkozunk.
Ha már tudjuk, hogy mit kívánunk mérni, akkor meghatározhatjuk a mérőeszközt, esetünkben a feladatokból álló tesztet. A feladatoknak véletlenszerűen, de arányosan kell lefedniük a mérni kívánt tudásterületet mind ismereti, mind műveleti szempontból. Ha ugyanis az egyes részterületeket nem a követelmények által meghatározott, valódi súlyukkal szerepeltetjük, akkor torzított eredményt kapunk és sérül a validitás.
A felafatlap (teszt) arányossága például úgy biztosítható, ha a mérni kívánt követelményekhez arányos feladathalmazt definiálunk. Ez a feladathalmaz - nevezzük a teszt alaphalmazának - fontos szerepet játszik, és jó, ha nagyszámú feladatból áll. A teszt alaphalmazának a követelményekhez szigorúan arányosan kell illeszkednie, és nem tartalmazhat olyan feladatot, amelyik a tananyaggal, ill. a követelményekkel nincs összhangban.
Ebből a feladathalmazból megfelelő eljárással (például rétegezett véletlen választással) kell a konkrét feladatlap (teszt) feladatait kiválasztani.
A gond az, hogy általában egy (nagy) tudásterületet próbálunk mérni viszonylagosan kevés feladattal, s ez mindenképpen egyfajta véletlenszerűséget eredményez.
A mérési tapasztalatok azt mutatják, hogy egy feladat összetettsége, bonyolultsága, de különösen a szokatlansága erősen kihat a megoldások sikerességére. Ez rendkívüli óvatosságra int a mérőeszköz feladatainak kiválasztásánál.
Az informatikában - mivel fiatal, kiforratlan tantárgy (2000-2002 szerk) - a mérni kívánt követelményekhez rendelhető alap-feladathalmazt nehezebb kellő pontossággal definiálni, mint például a matematikában. A lehetséges feladatlapokhoz (tesztekhez) ebből a feladathalmazból kell a feladatokat kiválogatni, tehát a lehetséges feladatlapok (tesztek) halmazát sem lehet olyan jól megadni. Ha pedig a lehetséges feladatlapok halmaza nehezen adható meg, akkor nagyobb szerephez jut maga a konkrét feladatlap, a mérőeszköz. Ez persze a megismételhetőség ellen ható tényező, ami nem jelenti azt, hogy a mérés eredménye értéktelen, csak nem szabad elfelejteni, hogy milyen feladatokra vonatkozik.
Minden feladat csak előzetes tudással értelmezhető és oldható meg, ami az egyes tanulók, de különösen a különböző iskolákba járók esetében eltérő lehet. A megoldáshoz nemcsak a konkrét (feladathoz szükséges) szaktárgyi tudás szükséges, hanem például a szövegértés készsége is. Valójában itt arról van szó, hogy amit a feladattal mérni kívánunk, az a tanuló valódi tudásának csak egy kis “szelete”, de a feladat megoldásához az ő valódi tudásának egy kisebb arzenálját kell működésbe hoznia. Ha ez a többnyire képesség-jellegű arzenál közel 100%-osan működik, akkor nem játszik bele az eredménybe, azaz nem rontja az eredményt, de ha nem, akkor már nem csak azt mérjük, amit mérni akarunk.
Nagyon kell törekedni arra, hogy minden feladat egyértelmű legyen, pontosak legyenek a tanulóknak szóló utasítások. Ha lehet, ez még fokozottabban érvényes a tanároknak szóló javítási útmutatóra.
A mérés objektivitása (O) azt jelenti, hogy a mérés eredményei függetlenek a mérő személyektől. Azaz függetlenek az adatfelvevők (mérőbiztosok), a javítók és a statisztikai feldolgozást végzők személyétől. Az adatfelvevőnek függetlennek kell lennie az iskolától, és meghatározott utasítás szerint kell a mérést lefolytatnia. Biztosítani kell a feladatmegoldáshoz szükséges külső állandó körülményeket. (Gondoljunk csak arra, hogy a pedagógus egy segítő megjegyzése az egész csoport teljesítményét befolyásolhatja.) A javítóknak pontosan kell követniük a javítási útmutatót. A javítási útmutató legyen egyértelmű, hogy bárki, aki ugyanazt a feladatsort javítja, ugyanarra az eredményre jusson. A statisztikai feldolgozásnak természetesen hibátlannak kell lennie.
A mérőeszköz és a mérési utasítás és körülmények pontos definiálása az objektivitás érdekében minden egyes mérésnél éppen olyan fontos, mint maga a mérési eredmény. Az objektivitás szükséges, de nem elégséges feltétel. A teszt megbízhatósága is fontos.
A megbízhatóság (B), reliabilitás azt jelenti, hogy jól mér-e a tesz. Ha nem megbízható, akkor például egy következő mérés lényegesen más eredményt hozhat ugyanolyan mintán, ugyanazzal a (vagy egy nagyon hasonló) teszttel. Hogyan lehetséges ez? Úgy, hogy véletlen (illetve figyelembe nem vehető, oda nem illő) tényezők is erősen befolyásolják az eredményeket, tehát az eredmények nem megbízhatóak. Ezt például úgy ellenőrizhetjük, hogy a tesztet véletlenszerűen két féltesztre osztjuk, és a féltesztek mérési eredményeit korreláltatjuk. Ha a korreláció nagy, akkor a teszt megbízhatósága is jó. Ha egy teszt ill. egy mérés nem megbízható, akkor nem lehet érvényes.
Ha egy teszt érvényessége (validitása) jó, akkor megbízhatósága is nagy. (E=>B. Az E=>B jelentése: E-ből következik B.) Fordítva nem igaz. Ha egy teszt megbízhatósága nagy, még nem biztos, hogy érvényes. Tehát jól mér valamit, de nem biztos, hogy azt, amit mérni szeretnénk.
Ha a mérés objektív, és a teszt megbízható, akkor a mérési eredmények (ekvivalens mintákon) megismételhetők. Ez fordítva is igaz, ha egy mérés bárki (kellő felkészültséggel rendelkező) által reprodukálható (R), akkor objektív és megbízható. (Azaz O&B=>R, R=>O&B.) A megismételhetőség tehát lényeges momentum. Itt nem az időbeli ismétlés a fontos, hanem a független reprodukálhatóság. Azonos mintán egyidőben is végezhetők az ismétlő mérések. Ha egy mérés nem reprodukálható, akkor vagy nem érvényes vagy nem objektív, tehát semmiképpen sem lehet komolyan venni. (Természetesen itt nem arról van szó, hogy nincsenek meg a mérés lehetőségének feltételei, hanem ha megvannak, akkor sem tudjuk biztosan prezentálni a megfelelő eredményeket.)
A fentiekből következik, hogy ha egy mérés érvényes és objektív, akkor megismételhető (E&O=>R). De fordítva már nem igaz, a megismételhetőség még önmagában nem biztosítja, hogy például valóban azt mérjük, amit mérni akarunk. Mégis nagyon fontos, mert ha nem teljesül, akkor biztosan baj van.
(Simonyi Károly szellemében: a mérésre vonatkozó állítások, eredmények, összefüggések “interszubjektívek”, vagyis egyrészt bárki kellő felkészültséggel rendelkező által megérthetők, másrészt kísérletileg reprodukálhatók. Ha az "interszubjektívitás" feltétele minden vonatkozásban teljesül, és a teszt megbízható, akkor a mérés megismételhető, ellenőrizhető és (közelítőleg) ugyanazt az eredményt kell hoznia.)
Fontos megjegyezni a megismételhetőséggel kapcsolatban, hogy feltételeztük: a mért rendszerek (tanulók, osztályok, iskolák) ill. a mért jellemzőik nem változnak, legalább közelítőleg ugyanazok. Ez a feltétel a természettudományok jó részében viszonylag könnyen teljesíthető, a pedagógiában azonban nem mindig. Például viszonylag könnyű lemérni mérőszalaggal egy tárgy hosszát. Eszünkbe sem jut, hogy a mérés megváltoztathatja a tárgy hosszát, mert a gyakorlatban ez nem szokott előfordulni.
A pedagógiában a mérés általában megváltoztatja a mért rendszert. Elsősorban magukat a mért jellemzőket változtatja meg.
Egy-egy iskola olyan rendszernek tekinthető, amely az őt ért és számára fontos hatásokat tárolja, emlékezete van. Az emlékezet pedig befolyásolja működését, pedagógiai gyakorlatát. Egy mérés tehát nem csak a paraméterek pillanatnyi értékét változtatja meg, hanem kihat a jövőre is. Minél fontosabb egy mérés (az intézmény, a pedagógus vagy a tanulók megítélése szerint), annál erősebben hat a szereplőkre. Ezért csak nagy körültekintéssel használható ugyanaz a mérőeszköz több alkalommal, ugyanazokban az iskolákban. Ez a sajátosság megnehezíti a különböző mérések összehasonlítását. A probléma részben áthidalható, ha a következő alkalommal egy másik de ekvivalens tesztet használunk. Itt azonban újabb kérdések merülnek fel. Mit jelent az, hogy ekvivalens a két teszt, de nem ugyanaz? Hogyan biztosítható ez? Ha a fent vázolt eljárás szerint állítunk össze két tesztet, akkor azok hasonlóak lesznek. (Kisebb szakértői változtatásokat végrehajtva pedig azonosnak tekinthetők.)
Egy szaktárgyi mérés eredményei csak a teszt, a javítókulcs és a mérési eljárás “vonatkoztatási rendszerében” értelmezhetők.
Két különböző “vonatkoztatási rendszer” adatai csak óvatosan hasonlíthatók össze. Nem tételezhetjük fel eleve, hogy a két mérés ugyanazt a tudást és ugyanolyan pontozással méri, azaz ugyanott van a nulla pontja és ugyanolyan normával és/vagy skálával mér. Természetesen meg lehet határozni a két rendszer viszonyát, például azonos vagy ekvivalens mintákon való mérésekkel.
Ha nem érdekli a tanulókat a mérés, netán fölösleges tehernek tekintik, akkor a nekik nem tetsző (pl. gondolati erőfeszítést igénylő) feladatokat egyszerűen kihagyják vagy nem foglalkoznak vele elég ideig. Így a mérés lényegesen gyengébb eredményt mutat a valódi tudásuknál. A motiváltság (M) mértéke egy olyan "rejtett paraméter", amely a mérés megbízhatóságát jelentősen befolyásolhatja. Ez azt is jelenti, hogy a mérés érvényességének egyik feltétele a tanulók megfelelő motiváltsága. (A reprodukálhatóságra vonatkozó képlet tehát így módosul: O&B&M=>R.) Fontos tehát a tanulók megfelelő motiválása, amit egyrészt a feladatokkal, másrészt körültekintő mérési utasítással többé-kevésbé elérhetünk. Az nyilvánvaló, hogy a csalás (puskázás, súgás, stb.) a mérés eredményeit használhatatlanná teszi. Sajnos az akarat, a motiváció hiánya ellenkező előjellel bár, de hasonló hatású lehet.
Nem szóltunk még arról, hogy a mérés mindig valamilyen mintán történik. Az eredmények nyilvánvalóan erre a mintára vonatkoznak. A minta általában egy nagyobb populáció része. Ha a mintából a nagyobb populációra is következtetni akarunk, szigorúan be kell tartanunk a statisztikának a mintavételre vonatkozó szabályait. Ezzel a kérdéskörrel itt nem foglalkozunk.
A BUDAPESTI INFORMATIKA TUDÁSSZINTMÉRÉS EREDMÉNYEI megtalálhatók "Az informatika tudásszintmérés eredményeinek elemzése" című cikkben, a "Tudásszintmérés a főváros középiskoláinak 9. évfolyamán" c. kiadványban, FPI, 2001.
Végh András
2002
Irodalom:
Csapó Benő: Tudásszintmérő tesztek, (Falus István szerk.): Bevezetés a pedagógiai kutatás módszereibe, Keraban Kiadó, Budapest, 1993.
Kiss Margit- Mezősi Károly - Pavlik Oszkárné: Értékelés a pedagógiában, FPI, 1998.