Sammanfattande utvärdering av

Vid all utvärdering ställs man inför ett val av design och metod. Valet blir beroende på vilket svar man ger på följande frågor: Varför görs utvärderingen och hur är den tänkt att användas? För vem skall utvärderingen göras? Vad är det som skall utvärderas? Av vem skall utvärderingen göras? Hur skall utvärderingen användas?

Beroende på svaren på dessa frågor kan man alltså välja mellan olika modeller. Vedung (1998) urskiljer tre huvudgrupper där det finns en skiljelinje mellan å ena sidan de som är inriktade mot sakresultat (måluppfyllelse, bieffekter, förväntningar och behov, produktivitet och effektivitet) och å andra sidan de som pekar ut de aktörer som skall utföra utvärderingen. Medan de förra utpekar vilka indikatorer (måluppfyllelse, förväntningar etc), som skall uppmärksammas indikeras för de senare, skriver Vedung, ”ingenting annat än att vissa personer, professioner eller grupper skall utföra utvärderingen enligt ett visst institutionellt normverk”

I DELTA finns alla tre huvudgrupperna av utvärdering representerade, varvid en institutionell modell med självvärderingar har kompletterats med externa utvärderingar enligt såväl en substansmodell som en ekonomisk modell:

1. 
   Substansmodell: DELTA som lärande organisation. DELTA-aktiviteternas effekter på de samverkande organisationerna. Studie av läkemedels-förskrivning.
   
2. 
   Ekonomisk modell: Samhällsekonomiskt perspektiv vid analys av tre DELTA-projekt.
   
3. 
   Institutionell modell: Självvärderingar av DELTAs aktiviteter.
   

Både vad gäller substansmodellen (1) och den ekonomiska modellen (2) var det i huvudsak externa forskare som gjorde utvärderingarna. Beträffande den institutionella modellen (3) var det projektpersonalen som med stöd av forskare och andra resurspersoner gjorde egna utvärderingar av sina verksamheter genom sk självvärdering.

4.2.2 Självvärdering kompletterat med externa utvärderingar

Som ovan nämnts har det varit ett krav i samband med att DELTA-projekt satts igång att dessa också skulle utvärdera sin egen verksamhet. Detta brukar kallas för självvärdering. Självvärdering som modell har använts och utvecklats vid svenska universitetet och högskolor (Franke-Wikberg, 1992, Holmer m fl, 1992). Självvärdering innebär här att de som är direkt berörda i ett projekt eller i en utbildning gör en kritisk bedömning av den egna verksamheten. I självvärderingen ingår då att man söker karaktärisera sin verksamhet och ”i denna kritiska självreflexion skall både ”gott och ont” diskuteras” (Franke-Wikberg, a a, bilaga 1, sid 5).

Fördelarna med självvärdering är bl a att

• 
  projektmedarbetarna får en känsla för att det är viktigt att dokumentera, mäta och registrera,
  
• 
  man i genomförandet av projektet hela tiden har utvärdering i åtanke, vilket sannolikt skärper viljan till gott resultat
  
• 
  projektmedarbetarna tvingas att i grunden diskutera målen för verksamheten och få en samsyn i dessa, eftersom det är mot dessa utvärderingen görs.
  
• 
  utvärderingen genomförs av personer som har en god insyn i verksamheten.
  

Nackdelarna med självvärderingar är framförallt

• 
  svårighet objektivitet, när det är det egna verksamheten som utvärderas
  
• 
  svårighet att i god tid avsätta resurser för utvärderingen, vilket normalt innebär medarbetarnas egen tid, vilken ofta prioriteras till projekt-verksamheten
  
• 
  omvärldsanalysen kan brista när fokus läggs på den egna verksamheten, och man har svårt att se viktiga andra aktörer som påverkar verksamheten.
  

I detta projekt har därför självvärderingarna kompletterats med externa värderingar av två slag. Dels har – som framgått ovan - utanförstående personer med förankring i universitetsvärlden engagerats för att göra särskilda belysningar utifrån olika teman: DELTAs effekter på de samverkande organisationerna (Lindberg, 2001), DELTA som lärande organisation (Eriksson, 2001), DELTAs effekter på läkemedels-användning (Hultberg m fl, 2001) samt effekter av DELTA ur ett samhällsekonomiskt perspektiv (Ferraz-Nunes, 2001). Dessa externa utvärderingar kompletterar självvärderingarna, inte bara genom att de bemöter de nackdelar som listats ovan, utan genom att de går på tvärs över flera projekt, och således kan ge en mer generell belysning av DELTA-arbetet.

Den andra kompletteringen till självvärderingar som gjorts har vi kallat ”medbedöm-ningar”. Varje projekt lät utse en extern bedömare - medbedömare - som deltog under våren 2001 i granskningen av den genomförda självvärderingen. Medbedömaren skulle vara en person som man i projektet respekterade och kände förtroende för. Formellt utsågs denna person av ledningen för DELTA-projektet. Som underlag för granskningen fick bedömaren en preliminär utvärderingsrapport som han/hon sedan diskuterade med projektgruppen.
Totalt blev det 23 självvärderingsrapporter som lämnades den 1 maj 2001. Dessa självvärderingar utgör ett väsentligt underlag vid besvarandet av de frågor som ställts i kapitel 3.
Som stöd för utvärderingsarbetet fanns dels särskilda resurspersoner/ processtödjare (se kap 2.3.4), dels forskare från Göteborgs universitet som fungerat som rådgivare/konsulter. Såväl forskarna från universitet som resurspersonerna har haft regelbunden kontakt med respektive projekt och varit med i hela processen från planering av självutvärderingen till författandet av utvärderingsrapporterna.

4.3 Uppföljningsmetoder

4.3.1 Uppföljning av patienter/klienter

Enligt beslut i arbetsgruppen för den gemensamma nationella SOCSAM-utvärderingen som genomförs av Socialstyrelsen och Riksförsäkringsverket ska samtliga personer som blir föremål för åtgärder i SOCSAM-projekten följas upp med hjälp av ett särskilt frågeformulär i samband med att patienten/klienten aktualiseras i projektet, sex respektive tolv månader därefter samt eventuellt när insatsen för individen avslutas.

Samtliga individer som formellt aktualiserats i projektet har således tillfrågats om de vill svara på frågor i en enkät vid aktualiseringstillfället, sex och tolv månader efter aktualisering samt i vissa projekt vid tidpunkten då individen avslutar deltagande i projektet. Flertalet projekt har avsatt en eller ett par personer som särskilt ansvarat för att detta har gjorts på ett korrekt sätt. Inom flera vårdcentralsprojekt har exempelvis kurator och arbetsterapeut varit ansvariga för denna datainsamling. Utöver frågor till individen, innehåller enkäten även information som fylls i av projektmedarbetare samt information som inhämtats från datoriserade register. Delar av frågeformuläret har använts vid intervjuer av individen, andra delar har utgjorts av frågor som individen besvarat själv.
I projekt som inte erbjuder insatser riktade till individer som formellt aktualiseras i projektet som ”patienter” eller ”klienter” har SOCSAM enkäten i regel inte använts i sin helhet. Detta gäller även projekt där man bedömt att SOCSAM-enkäten innehåller frågor som inte är relevanta för det specifika projektet och projekt där man upplevt att användandet av enkäten kan komplicera relationen till patienten/klienten och därmed störa rehabiliteringsarbetet. Dessa projekt har utvecklat egna enkäter där endast vissa delar av SOCSAM-enkäten ingått (t ex frågor om bakgrundsfaktorer och/eller EuroQol instrumenten, se nedan).

Den enkät, som inom DELTA har kommit att benämnas SOCSAM-enkäten, har varit bas i de uppföljningar som gjorts av samtliga individer som deltagit i DELTA-projekt. SOCSAM-enkäten har utvecklats av Socialstyrelsen och Riksförsäkringsverket i samråd med samtliga SOCSAMs försöksområden (Socialstyrelsen och Riksförsäkringsverket 1998). Utöver de för samtliga försöksområdena gemensamma frågorna har flera projekt lagt till specifika frågor eller enkäter som speglar förhållanden relevanta för respektive projekt. I de flesta fall har dessa ”tilläggsfrågor” integrerats med SOCSAM-enkäten och besvarats vid samma tillfällen som SOCSAM-enkäten. Dessa finns redovisade i rapporterna från delprojekten och kommer inte att tas upp i det följande.

SOCSAM-enkäten innehåller följande huvudsakliga komponenter:

• 
  Bakgrundsfaktorer (bl a kön, ålder, härkomst och utbildning)
  
• 
  Besvär/problem som föranleder att individen aktualiseras.
  
• 
  Upplevd hälsa mätt med instrumentet EuroQol (EQ-5D) vid start,
  efter 6 och 12 månader samt vid avslutning.
  
• 
  Offentlig försörjning (bl a sjukpenning, socialbidrag och a-kassa)
  vid start samt vid 6 och 12 månaders uppföljning. Uppgifterna är
  baserade på registerdata.
  
• 
  Individens sysselsättning vid samtliga mättillfällen.
  
• 
  Vilka kontakter individen haft med olika aktörer/ yrkesgrupper under projekttiden.