Sammanfattande utvärdering av

9 Diskussion

9.1 Utvärderingsansatsen – styrkor och svagheter
9.1.1 Allmänt om utvärderingsansatsen
Som vi skrivit ovan har DELTA-samverkan på många sätt varit unikt som försöksverksamhet: Det har inneburit ändrade arbets- och beslutsformer hos fyra olika myndigheter och deras lokalkontor på Hisingen. Det har inneburit ändrade ekonomiska förutsättning för att driva verksamheter med inriktning på rehabilitering och sysselsättning, och det har inneburit nytänkande, engagemang och insatser från hundratals personer anställda i berörda verksamheter.
Att utvärdera ett sådant omfattande projekt kräver olika typ av ansats och olika metoder. Traditionen ligger nära den typ av samhällsinriktade hälsofrämjande projekt som går under beteckningen community intervention, alltså intervention på befolkningsnivå, där förändringen måste analyseras på grupp- och befolkningsnivå, och inte bara som effekter hos individer.
WHO har givit rekommendationer för utvärdering av denna typ (WHO, 1998), och bland nyckelbegrepp kan nämnas (översatt i något modifierad form):

• 
  Aktiviteterna bör utvärderas både i termer av processer och resultat
  
• 
  Olika kompletterande metoder måste användas i utvärderingsarbetet
  
• 
  Kompetens för utvärdering måste finnas med i både planering och uppföljning av projektet
  
• 
  Medverkande parter ska delta aktivt i utvärderingsarbetet
  
• 
  Adekvata resurser måste avsättas för utvärdering, minst 10% av budgeten
  

Från Sverige kan nämnas exempelvis Norsjö-projektet, som har involverat en hel bygd i hälsofrämjande aktiviteter och som har utvärderats med bred ansats, och där man också har utnyttjat tidsserier likt dem som presenterats i kapitel 7 och 8 i denna rapport (Weinehall, 1997).

En modell för utvärdering av samhällsinriktade insatser som inkorporerar olika ansatser och metoder har utvecklats av Brännström m fl (1994). De har föreslagit fyra olika steg med metoder som framgår av figuren nedan. De menar att man bör beakta fyra olika aspekter:

• 
  Analys av deltagande (Community participation)
  
• 
  Social-epidemiologisk analys (Socio-epidemiological study)
  
• 
  Studie över nyckelpersoner (Key informants study)
  
• 
  Beskrivning av sociala/kulturella/politiska förhållanden (Social, cultural and political description).
  

Modellen är bra då den ger en bild av den bredd av både frågeställningar och metodansatser som bör finnas med i utvärderingar av samhällsinriktade projekt. Vi har inte medvetet följt modellen i planeringsarbetet, men i princip finns alla steg med, och det går lätt att rekonstruera de olika komponenterna i denna rapport utifrån Brännströms m fl modell. Utan att fortsättningsvis följa just denna indelning vill vi ändå som en inledning till diskussionen presentera denna modell för att tydliggöra de olika aspekter som finns med i någon form i denna rapport.

Figur 25

Som nämndes inledningsvis vill vi i detta kapitel också ta ett steg tillbaka och granska själva utvärderingsprocessen, dvs göra en ansats till metautvärdering. Metautvärdering betyder att processer som utvärdering och återföring av utvärdering också skall utvärderas (Vedung, 1998).

Vår ambition är emellertid inte att göra en metautvärdering av genomförda utvärderingsaktiviteter i DELTA. Därtill saknas tid. Vi kommer här att nöja oss med vissa ansatser till metautvärdering genom en värdering av metodval. Vi försöker fånga styrkor och svagheter i den genomförda metoden för att till sist dra vissa slutsatser och ge rekommendationer för fortsatta studier.

9.1.2 Utvärderingens styrkor
Materialet och självvärderingen

Framställandet av självvärderingsrapporter har inneburit tillgång till ett rikt datamaterial. Det omfattar rapporter från samtliga 26 projekt och omfånget är ca 400 sidor exklusive bilagor. Kvaliteten på rapporterna - sett till systematik i redovisningen och genomlysning av problemen - är generellt sett hög. Det beror på:

• 
  det omfattande arbete som lagts ner på självvärderingen i projekten
  
• 
  genomgångar av självvärderingsmetodiken
  
• 
  anvisningar om rapporternas uppläggning och innehåll
  
• 
  kontinuerliga avstämningar i projektledarmöten
  
• 
  stödet från resurspersoner
  
• 
  medverkan av experter/medbedömare
  

Som framgår av bifogad textanalys (bilaga 4) belyser rapporterna bl a

• 
  yrkesrollens förändring
  
• 
  samverkan (former och processer)
  
• 
  finansiell samordning
  
• 
  effekt av utvärdering
  
• 
  påverkan på försörjningssystemen.
  

Samarbetet forskare – praktiker

Som genomgående idé för DELTA har funnits samverkan mellan olika myndigheter och professioner. Denna samverkan har utsträckts till att gälla också samarbete mellan forskare och praktiker. Forskarna har kommit från ämnena arbetsvetenskap, företagsekonomi, nationalekonomi, pedagogik och socialmedicin.
Samarbetet mellan forskare och praktiker har gällt tre slags frågor (se Kalleberg, 1993):

1. 
   Konstaterande frågor. Frågan gäller hur något är, t ex trenderna vad gäller sjukpenning, socialbidrag och A-kassa i Hisingen, Göteborg och övriga Sverige.
   
2. 
   Värderande frågor. Här avser frågan värdet av en verksamhet, t ex om hur olika åtgärder kan producera hälsa och ohälsa.
   
3. 
   Konstruktiva frågor. Här är forskarens uppgift att konkret bidra till att omforma en given verksamhet, t ex genom att finna en lämplig uppläggning av utvärdering.
   

Samarbetet i alla tre fallen har skett vid projektmöten, projektledarträffar mm och genom utvärderingsnätverket, Utvärderingsnätverket (se kapitel 2.3.4) har bestått av ungefär lika många forskare och praktiker. Det har träffats ofta och regelbundet och där har forskningsfrågor väckts och forskningsresultat diskuterats.

Vad gäller punkten C kan man konstatera att forskningen har haft en intervenerande uppläggning. Forskarna har, som redan framgått, ingripit i olika delar av självvärderingen. Man har haft projektens självvärderingar som en observations-plattform och man har kunnat studera t ex självvärderingen som metod samt kunskapsbildning/kunskapsformer, samverkansprocesser och projektutövning. Forskarens uppgift har dessutom varit att återföra det man sett till personalen, oftast i samband med rådgivning för självvärderingen, med syfte att förbättra verksamheten.
I DELTA har således forskare och praktiker tillsammans deltagit i informationsutbyte både vad gäller kunskapsproduktion och användandet av forskningen.
För praktikerna har det inneburit en möjlighet till inflytande över hur de forskningsbaserade kunskaperna producerats och utnyttjats till förbättring av den egna verksamheten. Forskarna har fått tillgång till ett rikt empiriskt material, fått ta del av professionella erfarenheter i beslut och praktiskt handlande samt haft möjlighet att se sina forskningsresultat komma till användning.

Självvärdering som verktyg för verksamhetsutveckling

Självvärdering har som framgått inneburit att man regelbundet genomfört möten, seminarier mm där man reflekterat över och kritiskt analyserat sitt projekt. Områden som fokuserats är de ingående myndigheternas regelverk, enskilda handläggares sätt att handlägga ärenden, olika tolkningar av gemensamma begrepp och varierande synsätt på projektåtgärder/behandlingsinsatser i förhållande till varje klients förutsättningar. Andra exempel är reflektioner kring införandet och utnyttjandet av nya former för diagnos-, analys- och behandlingsarbetet.
Detta självprövande arbete har antingen haft sin upprinnelse i upplevda skillnader i handläggning av ett ärende och därför blivit ett "problem" som måste diskuteras, eller så har man på projektledarnivå fört upp mer generella frågeställningar som diskuterats av projektgruppen. Projektledarmöten har alltså gett underlag för kunskapsutbyten mellan projekten.
Våra preliminära resultat från DELTA tyder därmed på att självvärderingen hade betydelse för möjligheten att systematiskt fundera över sitt arbete och sin organisation vad gäller relationen till sökande/klienter, kollegor och andra organisationer. Denna möjlighet till efterbearbetning kunde föra med sig att man uppmärksammade behovet av att sätta in tidigare insatser (arbetslivsinriktade, kurativa och medicinska åtgärder).
I DELTA använde personalen således självvärderingen som en ordnad form för reflektion över den egna verksamheten. Genom kontinuerlig efterbearbetning och omprövning bidrog självvärderingen till att samverkan förstärktes och att insatserna för berörda behovsgrupper fick ökad relevans. Slutsatsen är därför att för personalen kunde självvärdering innebära positiva lärprocesser och därmed motverka stressfaktorer som annars ligger i ett utsatt och kravfullt arbete. Självvärderingen kunde därigenom betyda en omprövande organisation som effektivt stödjer och hjälper brukarna av välfärden.
I DELTA användes också forskare som hade självvärderingen som en observationsplattform och kunde studera självvärderingen som en metod samt kunskapsbildning/ kunskapsformer och samverkansprocesser i samband med genomförandet av förändringar. Forskarens uppgift var dessutom att återföra det han såg till personalen, oftast i samband med rådgivning för självvärderingen. Självvärdering gav alltså möjlighet för forskare att delta i ett nära samspel med praktiker och att bidra till förändringar genom forskningsbaserad kunskap.
Vi har noterat att generellt sett så kommer få utvärderingar till användning annat än i legitimerande syfte och för rituellt och taktiskt bruk. Utvärderingar efterfrågas, men används inte, finner t ex Åberg (1997) i en avhandling. Likaså har konstaterats att forskningsresultat inte kommer till användning, trots att svensk arbetslivsforskning kan anses ligga långt fram i ett internationellt perspektiv: "I kulturen på de svenska arbetsplatserna är det inte naturligt att tillföra organisationen kunskaper om arbetslivet med hjälp av forskningen" (Efraimsson & Eklund, 1998). Ägarföreträdarna i utvärderingsnätverket har uttryckt det på följande sätt: ”Man kan…fråga sig om traditionell kunskapsåterföring ’i linjen’ till hemmaorganisationerna har något värde över huvudtaget. Sannolikt är det inte särskilt kostnadseffektivt. Kunskapen är sällan eller aldrig efterfrågad och aktiviteten upplevs ofta som ett störande inslag i arbetet. När kunskapen däremot återförs inom befintliga kontaktstrukturer är förutsättningarna annorlunda…”
Vad som kan uppfattas som ett idéproblem i offentlig sektor ser vi därför delvis som ett spridningsproblem. Det inte de goda idéerna som är bekymret, utan kommunikationen och de interaktiva kunskapsprocesserna. Det behövs alltså nya sätt att kommunicera både utvärderings- och forskningsresultat. Mot den bakgrunden bedömer vi att självvärdering med en sådan uppläggning som den fick i DELTA kan vara ett värdefullt led i både förändring och arbetslivsforskning.
Denna uppfattning delas också av ägarrepresentanterna i utvärderingsnätverket. Dessa har identifierat en rad fördelar med utvärderingsansatsen i allmänhet och utväderingsnätverkets arbete i synnerhet. Man menar att det inneburit ömsesidig kompetenshöjning genom erfarenhetsutbyte mellan forskare och myndighetsrepresentanter. Man upplever också att kanaler för återföring av verksamhetsresultat förbättrats. Upplägget har också inneburit spridning av utvärderingsmetoder till andra delar av myndigheternas verksamhet (se kapitel 11).

9.1.4 Utvärderingens svagheter