Näkökohtia kurssipalautejärjestelmästä

Antti Valmari

Professori
Ohjelmistotekniikan laitos
Alkuperäinen 20.1.2000, seittiin muokattu versio 15.11.2000

Hyvin toimiva kurssipalautejärjestelmä on tärkeä työkalu opetuksen kehittämisessä. Suomessa on tällä hetkellä käytössä monenlaisia kurssipalautejärjestelmiä. Yksittäisillä kursseilla voi olla omia järjestelmiä, joissa tiedot kerätään paperilla tentin yhteydessä tai tarkoitusta varten tehdyn seittisivun avulla. Myös voi olla, että laitoksella, osastolla / tiedekunnalla tai jopa koko yliopistolla on yhtenäinen järjestelmä.

Kuten kaikessa tilastollisessa tietojenkeruussa, riippuvat kurssipalautejärjestelmän tuottaman tiedon luotettavuus ja käyttöarvo ratkaisevasti kahdesta asiasta: kuinka isoilla otoksilla tiedot kerätään, ja miten otokset on muodostettu. Jos otokset ovat liian pieniä, pääsevät sattumanvaraiset tekijät vaikuttamaan palautteeseen niin paljon, että palautteen perusteella ei voi tehdä luotettavia johtopäätöksiä. Jos otos on muodostettu huonosti, suodattuvat yhdentyyppiset palautteet pois ja toisentyyppiset ylikorostuvat, jolloin palaute jälleen ohjaa toimintaa väärään suuntaan. Huonosti muodostetun otoksen vaikutuksia voi asiaa tunteva palautteen lukija osittain kumota, mutta liian pienten otosten vaikutuksia ei voi kompensoida mitenkään.

Vuosina 1995--1997 Tampereen teknillisessä korkeakoulussa oli koekäytössä koko yliopiston kattava palautejärjestelmä. Olen analysoinut sen Ohjelmistotekniikan laitoksen osalta tuottamaa tietoa tilastollisesti ja verrannut muuhun käytettävissä olevaan laitoksen opetusta koskevaan tietoon. Osoittautui, että järjestelmän tuottama tieto oli hyvin luotettavaa, kunhan otoksen vinoutumat otettiin tulosten tulkinnassa asianmukaisesti huomioon. Tieto oli myös hyvin käyttökelpoista. Korkean luotettavuuden saavuttamisen kannalta avainasemassa oli kaksi tekijää: tieto kerättiin kaikista kursseista samalla tavalla, ja kurssiarviot saatiin suurimmalta osalta kurssin suorittajia.

Ohjelmistotekniikan laitoksella on kokeiltu myös yksittäisiä kurssikohtaisia palautejärjestelmiä. Näiden kokemusten perusteella voidaan tunnistaa joukko ominaisuuksia, jotka hyvällä kurssipalautejärjestelmällä tulee olla. Tässä tekstissä esitetyt näkemykset ovat kirjoittajan, eivätkä välttämättä ole yhtäpitäviä Ohjelmistotekniikan laitoksen eikä Tampereen teknillisen korkeakoulun näkemysten kanssa.

1. Arvioinnissa tulee olla sekä numeerinen että sanallinen osa.

Sanallinen osa konkretisoi, mitkä asiat kurssissa eniten tarvitsevat parantamista. Sanallinen osa jättää kuitenkin kertomatta, kuinka moni opiskelija todellisuudessa kokee kyseiset asiat ongelmaksi. Sanallisesta palautteesta on vaikea erottaa, mikä osa on yksittäisten turhautuneiden opiskelijoiden vuodatuksia joihin enemmistö kurssin opiskelijoista ei yhdy, ja mitkä tuovat esiin oikeita ongelmia.

Numeerinen osa antaa yleiskäsityksen kurssin laadusta ja auttaa suhteuttamaan sanallista palautetta. Lisäksi oikealla tavalla kerätty numeerinen osa tekee mahdolliseksi verrata tuloksia eri vuosien välillä, jolloin kurssiin tehtyjen muutosten hyvyys tai huonous paljastuu. Riittävän kattavasti yhtenäisellä ja harkitulla tavalla kerätty aineisto tekee mahdolliseksi myös verrata opettajia, laitoksia ja osastoja keskenään. Absoluuttista paremmuusjärjestystä käytettäväksi esimerkiksi laatupalkintojen jaossa ei näin voida selvittää, mutta voidaan selvittää, onko jonkun laitoksen tai opettajan opetus poikkeuksellisen hyvää tai huonoa.

On ehdottoman tärkeää, että sanallista palautetta ei tulkita irrallaan numeroista. Yhtä tärkeää on, että numeroita ei tulkita irrallaan sanallisesta palautteesta paitsi kun aineiston koko on todella suuri.

2. Arvioinnit tulee kerätä sähköisesti.

Käsin kerääminen aiheuttaa kallista käsityötä ja lisää näppäilyvirhemahdollisuuksia sekä sitä vaaraa, että kaikkia arvioita ei oteta mukaan laskelmiin kun osaa ei viitsitä syöttää sisään. Sähköisessä muodossa olevaa tietoa on helppo jalostaa.

Vaikka numeroarviot saataisiin paperilomakkeilta sähköiseen muotoon skannerilla teknisesti melko helposti, olisi se organisatorisesti vaikeaa. Kuka skannaisi?

Laitokset =>
joka laitoksella oltava sitä varten koneet ja ihminen; vaarana, että lomakkeita jää skannaamatta.
Tiedekunta, osasto tai yliopiston tai korkeakoulun keskushallinto =>
niin suuri työmäärä, että vaatisi käytännössä uuden ihmisen palkkaamisen.

Joka tapauksessa skannaus lisäisi yhden mutkan paperien käsittelyyn, joten palautteet eivät voisi kulkea luontevasti tenttipaperien mukana. Numeroiden saaminen sähköisesti ja sanallisen palautteen jääminen paperille lisäisi sitä vaaraa, että numeroita tulkitaan irrallaan sanallisesta palautteesta.

3. Kurssin arvioinnin pitää olla riittävässä määrin pakollista.

Vapaaehtoinen arviointi johtaa siihen, että arvioita antavat vain ne, jotka ovat poikkeuksellisen tympääntyneitä tai poikkeuksellisen ilahtuneita kurssista. Enemmistön käsitys kurssista jää saamatta. Aineistokoot jäävät niin pieniksi, että niillä ei ole tilastollista merkitsevyyttä.

Käytännössä on havaittu, että riittävän moni opiskelija ei anna arviota vapaaehtoisesti jos se edellyttää, että hänen on erikseen esim. otettava yhteyttä johonkin automaattiin, mutta riittävän moni opiskelija antaa käyttökelpoisen arvion, jos opiskelijat pakotetaan automaatin ääreen, vaikka automaatti sitten sallisikin jättää arvion antamatta.

Arvio tulee vaatia aina kaikilta kurssin suorittajilta ja mielellään myös suoritusta yrittäviltä. Arvioijien valinta satunnaisotannalla joko pienentää näytekokoa niin paljon, että numeroarviot menettävät tilastollisen merkitsevyytensä, tai johtaa niin pieneen opiskelijoiden vaivan säästöön, että ei kannata.

4. Arviot tulee kerätä oikealta joukolta ja oikeaan aikaan.

Oikea aika lienee jossain välillä 1½ kuukautta ennen tenttiä --- 1½ kuukautta tentin jälkeen. Sitä aiemmin opiskelijoilla ei ole tarpeeksi tietoa kurssista, ja sen jälkeen asiat alkavat unohtua. Arvioiden laadun kannalta ihanteellisin aika olisi tentin yhteydessä tai pian sen jälkeen.

Arvioijat tulee kerätä koko siitä joukosta, joka (yrittää) suorittaa kurssin. Jos tentin voi korvata välikokeilla tai harjoitustöillä, on arvioita kerättävä myös tältä joukolta.

Yksi mahdollisuus olisi, että opiskelijalle, opintotukilautakunnalle jne. ei anneta tietoa kurssin läpimenosta ja arvosanasta ennen kuin joko opiskelija on arvioinut kurssin, tai riittävän pitkä aika (vaikka puoli vuotta tentistä) on kulunut. Juridisesti tämän voi perustella määrittelemällä, että kurssin arviointi on pakollinen osa kurssin suoritusta, joten kurssi ei ole hyväksytysti suoritettu ennen arviointia.

5. Arviointiautomaatin tulee toimia luotettavasti.

Jos automaatti ei toimi luotettavasti, niin

6. Arviot tulee kerätä yhtenäisellä tavalla riittävän laajalti.

Arviot tulee kerätä yhtenäisellä tavalla ainakin k.o. tiedekunnasta tai osastosta. Numeroarviot ovat vertailukelpoisia vain riittävän suurina määrinä, ja vain, jos ne on kerätty samalla tavalla.

Johtopäätöksiä

Näistä seuraa, että toimivan arviointijärjestelmän tekeminen edellyttää yliopiston johdon sitoutumista asiaan.

Erillisten järjestelmien tekeminen eri puolilla yliopistoa tekisi numeerisista arvioista vertailukelvottomia.

Olisi resurssien tuhlausta tehdä monta eri järjestelmää. Koska hyvän järjestelmän tekeminen vaatii jonkin verran vaivaa ja osaamista, laitoksilla tehdyistä järjestelmistä moni olisi luultavasti selvästi huonompi kuin yhtenäisesti tehty.

Erilaisten järjestelmien käyttö saattaisi hämmentää opiskelijoita.

Vain yliopiston johto voi tehdä hyvin toimivan järjestelmän toteuttamisen vaatimat hallinnolliset päätökset, mm. päätöksen opiskelijoille asetettavasta arviointipakosta. Riittävän yhtenäisyyden saavuttaminen edellyttää vähintään tiedekunta- / osastotasolla tehtävää päätöstä.