Sammanfattande utvärdering av

4 Metod

4.1 Allmänna synpunkter
I denna skrift sammanfattar vi resultat från utvärderingar av 26 olika aktiviteter, alla med olika slags arbetsuppgifter, inriktning och metod. Att utvärdera dessa aktiviteter har därför helt naturligt krävt olika ansatser.
Ett grundläggande krav för att de verksamheter som här redovisas överhuvudtaget skulle kunna få stöd enligt DELTA-finansiering, var att man förband sig att utvärdera verksamheten och att man dessutom hade en, om än grov, plan för hur detta skulle genomföras.
Det har alltmer kommit att ses som ett naturligt inslag i offentlig verksamhet att denna regelbundet ses över, utvärderas och kvalitetssäkras. Dessa termer och begrepp speglar olika men tangerande ansatser, nämligen att vi måste ta reda på om det vi gör är bra och om det görs på ett kostnadseffektivt sätt. Att offentliga myndigheter ska kvalitetssäkra verksamheten finns också stadgat i statliga förordningar.
Ännu har detta inte kommit att genomsyra all offentlig verksamhet, utan mycket av det som görs på vårdcentraler, socialtjänstkontor, försäkringskassan, mm, bygger på invanda arbetssätt och mönster, som visserligen ständigt utvecklas och förbättras, men där det inte finns inbyggt i kulturen att systematiskt ta reda på kvaliteten på verksamheten och söka vägar att förbättra den.

4.1.1 Ambitionsnivå

Utvärdering kan bedrivas utifrån olika ambitionsnivåer. Den enklaste ambitionsnivån är vad man kan kalla verksamhetsbeskrivning eller dokumentation. Här handlar det väsentligen om att dokumentera och beskriva vad som gjorts inom ett visst projekt. Detta är en nödvändig förutsättning i all utvärdering – att man får en handfast och tydlig bild av vad som är gjort, hur ett projekt har drivits, vilka som har ingått, hur många klienter man nått, osv. Många utvärderingar stannar vid den ambitionsnivån, men här har ambitionen ändå varit att göra en uppföljning och värdering av det som är gjort. Vanligen är det också det man menar när man talar om utvärderingar. I detta ingår att man gör en bedömning av både genomförande, resultat och utfall, och värderar det som uppnåtts i förhållande till målen med projektet. Det högsta steget på ambitionsskalan är att bedriva vetenskaplig forskning. Då handlar det om att med mer rigoröst vetenskapliga metoder få en generell kunskap (dvs som är tillämplig även i andra miljöer, vid andra tidpunkter etc) om en viss insats har varit bra i förhållande till uppställda kriterier, och man bedömer ofta resultaten i förhållande till annan jämförbar verksamhet.

Den vetenskapliga ambitionsnivån behövs om man vill förklara effekten av en insats. Man måste då renodla olika komponenter så att vi åtminstone med viss rimlig sannolikhet kan bevisa att en viss effekt, ett visst resultat, har åstadkommits av interventionen och inte av andra fenomen som pågått parallellt. När vi noterar förändringar i antalet sjukskrivna, antalet arbetslösa, etc. kan man tänka sig en rad olika faktorer som påverkar detta – konjunkturen, förhållanden på arbetsmarknaden, ändringar i försäkringssystemet, etc. Att med säkerhet skilja ut just DELTA-aktiviteternas roll är mycket svårt och skulle kräva en helt annan ambitionsnivå än den vi här har arbetat utifrån. Men i utvärdering/uppföljning som vi definierat ovan ingår inte att man med viss statistisk sannolikhet söker förklara om en viss effekt uppstått på grund av Delta. Vi kan och ska naturligtvis beskriva, analysera, dra slutsatser och försöka förstå processerna. Men att med säkerhet förklara orsakssamband DELTA-samverkan – hälsoeffekt är som regel inte möjligt i denna typ av utvärdering.

4.1.2 Metodansatser

I ett så mångfacetterat projekt som DELTA måste olika metodansatser för utvärdering användas. En grov indelning är den mellan kvantitativa och kvalitativa metoder. Ibland anses det inte comme il faut att kombinera dessa ansatser i en och samma utvärdering, men det har vi i utvärderingsnätverket snarast sett som en styrka.

Kvantitativa metoder har behövts för att mäta hälsotillstånd, framförallt genom enkäter och intervjuer, och hur detta förändras över tid. Likaså för att följa upp hur många och vilka grupper av personer som har medverkat i olika aktiviteter.
Kvalitativa metoder har använts där syftet har varit att förstå processer som ägt rum i DELTA-arbetet. Dessa har framförallt riktats mot personalen, för att ta reda på hur den uppfattat och upplevt förändringsarbetet i DELTA-samverkan. Men kvalitativa intervjuer har också gjorts med aktörer utanför själva DELTA-aktiviteterna, för att förstå samspelet mellan DELTA och samhället i övrigt, framförallt de myndigheter som är verksamma på Hisingen men som inte deltar i DELTA.

4.1.3 Etiska aspekter

Etiska krav på vetenskaplig forskning finns fastlagda i bl.a. Helsingforsdeklarationen och de svenska forskningsrådens olika regelverk. Oss veterligen finns det inga fastlagda riktlinjer för ”utvärderingsetik”. De ingående myndigheterna i DELTA har naturligtvis etiska regler för sitt verksamhetsutövande inom hälso- och sjukvården, socialtjänsten, etc och dessa ska naturligtvis beaktas även i ett utvärderingsarbete.

Detta innebär att de individer som ingår i DELTA-projekten självklart gör det utifrån sedvanliga regler om informerat samtycke, rätt att dra sig ur projektet, att uppgifter hanteras med fullgod sekretess mm.
De grundläggande etiska principerna brukar indelas i autonomi, självbestämmande, och rättvis fördelning av resurser.
Om man ser till etiska aspekter på DELTA-projektet som sådant kan man konstatera att det utifrån allmänna etiska principer är etiskt riktigt:

• 
  Att söka kunskap om bra metoder för vård, behandling och social trygghet
  
• 
  Att verka för att samhällets resurser för vård, socialtjänst, mm används på ett kostnadseffektivt sätt
  
• 
  Att följa upp effekter av insatser inom vård, socialtjänst och socialförsäkringen.
  

På motsvarande sätt kan man säga att det är etiskt oriktigt:

• 
  Att göra undersökningar som inte kan svara på de frågor man har
  
• 
  Att göra utvärderingar om man inte vill förändra utifrån de resultat man finner
  
• 
  Att luras med syftet av ett projekt
  

Det har självfallet varit vår ambition att undvika dessa senare: Vi har haft ambitionen att lägga upp utvärderingarna med tydliga frågeställningar och använda metoder som på ett rimligt sätt kan besvara dessa. Vi kommer under hösten att i dialog med berörda, diskutera återföring av resultat och fortsatt verksamhet. Vi har strävat efter att vara tydliga gentemot projektansvariga, personal och berörda befolkningsgrupper när det gäller uppläggningen av DELTA-projektet och de olika utvärderingarna.

4.2 Utvärderingsmodeller i DELTA

4.2.1 Olika typer av utvärderingsmodeller
Med utvärdering avses en noggrann efterhandsbedömning av en pågående eller avslutad verksamhet. Utvärdering betyder att man beskriver, analyserar och bedömer en verksamhet. Utvärdering syftar alltså till att skaffa kunskap utifrån vilken det skall vara möjligt att bedöma hur något fungerat. Bedömningen kan sedan tjäna som underlag för beslut.