Russian and nis expertise Programme

Kuvio 2.4.1. Ohjelman interventiologiikka

Hyödynnettävyys  yleiset tavoitteet

Vaikuttavuus = pitkän ajan

yhteiskunnan hyöty

tasolla

Tulokset  erityiset tavoitteet

= toimeksiannot



Panokset Tuotokset  välilliset tavoitteet

= rahat = suoritukset,

saavutetut taidot

hankittu tieto

ja inhimilliset resurssit  ohjelma-aktiviteetit

2.4. Arvioinnin tarkoitus, laajuus ja tärkeimmät arviointikysymykset

Tarkoitus

Tämän arvion tarkoitus on olla mahdollisimman käytännönläheinen ja selkeä, mutta täyttää silti opetuspilottihankkeen arvioimisen ja yliopistollisen tason täyttävät, instituutin laadunvarmistamisjärjestelmän mukaiset yleiset kriteerit: arvio on sekä summatiivinen, kvantitatiivista tietoa sisältävä loppuraportti että formatiivinen, kvalitatiivista tietoa sisältävä; se on analyyttinen ja perustuu primaareihin tietolähteisiin; se on systemaattinen ja monipuolinen, perustuen erilaisiin tekniikoihin; arviokysymykset kohdistuvat ohjelman keskeisiin sisältöihin ja arvion tulokset laaditaan niin selkeiksi, että päätöksentekijät voivat helposti käyttää sen tietoa hyväksi

Arvioinnin tarkoituksena on viimeistellä opetuksen laadunvarmistusjärjestelmässä edellytetty jatkuva arvio, jonka avulla toimintaa voidaan kehittää eteenpäin ja levittää muidenkin tahojen käyttöön.

Arvio sisältää oheisen tekstiosan ja sen liitteet: asiakaspalautteet ja haastattelujen yhteenvedot; kurssidokumentaatiosta kootun näyteportfolion (I – III vsk , säilytetään mapeissa instituutissa) Lisäksi arvioon kuuluu luottamuksellinen osa, jossa on eriteltynä talous sekä alkuperäisiä osallistujien harjoitustöitä.

2.6. Muita ESR-ohjelmien vastaavia arvioita

Opetusalan hankkeiden arvioita on esitelty useissa Opetusministeriön ESR-seminaareissa ja työryhmissä. Ammattikorkeakoulujen toteuttamista hankkeista aiheesta on laadittu laaja kokoava tutkimus (Sari Stenvall, 2000). Stenvall toteaa tutkimuksensa vaikutuksen pääluokkien jakaantuvan seuraaviin: koulutus, osaaminen, innovointi, työllisyys (mts, 6). Koulutuspalvelut voidaan nähdä muutoksena opiskelijoiden henkisessä pääomassa, jonka mittaamisessa usein on käytettävä operationaalisia korvikemuuttujia. Teoreettisesti sanottuna, vaikuttavuuden sisältö määräytyy sekä tavoitteiden saavuttamisen asteen että tarpeiden tyydyttämisen asteen mukaan. (mts, 10-11, /alkup. Ahonen 1985).

”Menestystarinoita” –otsikolla on rakennerahastojen kotisivuilla http://www.minedu.fi/opm/rakennerahastot/index.html esitelty 1995 –1999 rakennerahastokauden 30 onnistuneiksi valittua eri alojen hanketta. Niiden joukossa on useita RNEP:iin tavoitteiltaan ja sisällöltään verrattavaa hanketta. (TKK:n kouluttajakoulutus, Lapin liiton Russian Competence, esimerkiksi). Niiden tunnusluvut: hankkeen kesto, opiskelijamäärät ja käytetyt panokset ovat lähellä RNEP:n vastaavia.

VTT:n teknologian tutkimuksen ryhmän tutkijan Soile Kuitusen (17.10.2000) suullisesti esittämässä yhteenvedossa painotetaan hankkeiden osuutta t&k- ja sosiaalisten innovaatioiden eli organisatoristen ratkaisujen syntymisessä. Hän painotti myös projektissa syntyneen tiedon välittämisen merkitystä ja ”projektienvälistä” oppimista (ns. kumppanuus-, keskittämis- ja ohjelmallisuusperiaate). Kuitusen mukaan suuri koulutettavien määrä voi olla harhaa: pienempään kohdejoukkoon kohdennetut projektit voivat olla vaikuttavampia. ESR-projektien yleisenä heikkoutena on mainittu niiden kohdentuminen muutenkin hyvässä työvoima-asemassa oleviin heikoimpien ryhmien kustannuksella, sekä niiden monimutkainen hallinnointi.

2.7. Toimeksiannon kuvaus

Sisäisesti tehty, formatiivinen loppuarviointi on osa ongelmalähtöistä, tekemisestään oppivaa ja itsereflektoivaa tapaa oppia työelämässä. Arviointi on sisältynyt jatkuvasti koko ohjelmaan aihepiireittäin ja osioittain. Arvioinnista on käytetty ohjelman projektisuunnitelmassa nimeä laatujärjestelmän luominen. Arvion tulokset on tarkoitus hyödyntää jatkossa instituutin hankkeiden normaalissa laadun valvonnassa ja sen arvioinnissa sekä suunniteltaessa seuraavia hankkeita. Tämän arvion tulokset on tarkoitus julkistaa erillisen tilaisuuden yhteydessä sekä instituutin kotisivulla.

Arvio on ensisijaisesti osa varsinaista valmennusohjelmaa; toissijaisesti sen tulee palvella valmennusohjelman toteuttajia sekä valmennettavia, heidän mentoreitaan eli työkummejaan, työnantajia, kouluttajia ja ohjaajia, seurantaryhmää sekä välillisesti yhteiskunnallista päätöksentekoa ja tulevien vastaavien koulutuspanosten suuntaamista.

Tarkoituksena on koko kolmivuotisen hankkeen evaluointi seuraavin kriteerein: hankkeen relevanssi suhteessa unionin ESR –strategiaan ja opetusministeriön kansalliseen strategiaan sekä toteuttajien ja valmennettavien tarpeisiin ja tavoitteisiin nähden; hankkeen taloudellisen tehokkuuden arvio verrattuna vastaaviin projekteihin; sen vaikuttavuus eli saavutettujen tulosten arvio verrattuna asetettuihin odotuksiin; tulosten hyödynnettävyys vastaisuudessa ja niiden yleistettävyys vastaavissa projekteissa; hankkeen kestävyys eli esimerkiksi hankittujen taitojen ja tietojen käytettävyys työmarkkinoilla pidemmällä aikavälillä (mihin vielä ei voi vastata kuin ennakoivasti). Tässä arviossa käytetään tehtyjen kyselyjen, projektin dokumenttien ja tilanneobservoinnin menetelmää. Tutkimus on painotukseltaan formatiivinen, ts. summatiivisen loppuarvion ohessa pyritään tulosten, johtopäätösten ja suositusten eksplisiittiseen ilmaisuun. Tuloksia pyritään levittämään ja hyödyntämään vastaisissa hankkeissa. Suurin osa aineistoa, kuten asiakaskyselyt ja työnantajahaastattelut, ovat kvalitatiivisia. Hankkeen etenemistä kuvaavan aineiston merkitys on kvantitatiivisen tiedon ohella olennainen.

Uutta ESR-ohjelmakautta ja vanhan arviointia käsittelevässä seminaarin arvioinnin ja itsearvioinnin pienryhmässä (Osaaminen ja alueiden kilpailukyky – Silta uuteen rakennerahasto-ohjelmakauteen, OPM 17.-18. 10. 2000, liite X ) todettiin, että tärkeimmillään arvioinnissa kyse on oppimisesta ja toiminnan kehittämisestä. Alkuperäiseen toimeksiantoon ja arvioseminaarissa esitettyihin tapauskertomuksiin perustuen kyseisessä arviossa päädyttiin työryhmän laatimaan itsearvioon, josta päävastuun interventiologiikasta, aineiston keruusta ja analysoinnista kantaa projektipäällikkö. Sisäisesti toteutettuna arvion merkitys oppimisvälineenä korostuu, sen laatimiseen ja hyödyntämiseen on luonnollinen motivaatio. Arvion julkistaminen ja reflektointi ohjausryhmässä, mentoreiden ja valmennettavien kesken on osa ohjelman ”post-programme” –toimintaa: kokemusten vaihtoa ja verkostotapaamisia, asiantuntijaverkoston kehittämistä.