Sammanfattande utvärdering av

Personalen

Genom samverkan utvecklades nya yrkesroller som innehåller både en individuell kompetens knuten till den egna professionen och en gemensam yrkeskompetens, en organisatorisk kompetens. Dessa kompetenser har bidragit till att skapa nya strategier för att möta brukarna. Man har därigenom kunnat uppnå bättre kvalitet i vård- och serviceinsatserna gentemot brukarna i förhållande till traditionell verksamhet.
Att samverka mellan myndigheter med olika kultur och olika synsätt innebär en lång och mödosam process som måste få ta tid. Effekter kan heller inte avläsas förrän efter relativt lång tid.
Personalen uppfattar det institutionella regelverket och den ekonomiska samordningen som nödvändiga förutsättningar för den samverkan som utvecklats. Samarbetsandan kan knappast upprätthållas om inte motsvarande institutionella regelverk fortsätter och utvidgas i någon form.
De goda lärmiljöer och lärprocesser som skapats med DELTA har inte uppstått automatiskt med samverkansavtalen. Detta måste främjas och bör ses som ett mål i sig i verksamhetsutvecklingen.
Utvärderingen visar att det finns ett tydligt samband mellan personalutveckling och verksamhetsutveckling. Personalens vilja att lära nytt och ta till sig ny kunskap skapar samtidigt nya arbetssätt.

Brukarna

DELTA-samverkan har nått en stor del av målgruppen på Hisingen, men i framtida liknande verksamheter bör omfattningen och karaktären på de olika målgrupperna preciseras tydligare, så man kan avläsa vilka brukare man nått respektive inte nått.
DELTA har i hög grad nått grupper som varit sjukskrivna, arbetslösa, uppburit socialbidrag. Många har haft psykiska besvär och många har haft problem på arbetsmarknaden. DELTA har sålunda i hög grad nått eftersatta grupper i samhället och grupper som riskerar ”hamna mellan stolarna”.
Det stora flertalet brukare har upplevt sig vara mycket nöjda eller ganska nöjda med insatserna. Man har upplevt att man fått respektfullt bemötande, blivit sedd och tagen på allvar och att personalen tror att en förändring är möjlig.
Uppenbarligen har de grupper vi nått ofta upplevt brister i ovannämnda avseenden. Samverkan har sannolikt bidragit till att de personalgrupper som skapats fått styrka och kompetens att bemöta klienterna på ett bättre sätt än i den traditionella rollen.
Det är angeläget att de positiva effekterna för brukarna som noterats kan fortleva och vidareutvecklas, genom vidareutveckling av samverkansmodellen. Erfarenheterna bör tas tillvara så att vård och service för dessa brukare kan ges på ett högkvalitativt sätt.
Kompetensuteckling och lärprocesser bland personalen har sannolikt också bidragit till bättre service och omhändertagande. Delar i dessa lärprocesser bör kunna tas till vara och utvecklas också oberoende av samverkansformen.
Det har varit förenat med vissa svårigheter att ta reda på hur det har gått för brukarna. Svårigheten har bland annat varit att de mått och indikatorer som finns för att beskriva brukarnas situation oftast är definierade utifrån de olika huvudmännens perspektiv.

Samhällsekonomin

DELTA-samverkans uppläggning har inte möjliggjort någon optimal samhällsekonomisk analys. Bättre statistik och enklare rutiner för uppföljning av såväl kostnader för insatser som utbetalda ersättningar hade behövts för att analysera samhällsekonomiska effekter.
Utbetalningar av offentliga försörjning har kunnat följas, och i vissa avseenden har en gynnsam utveckling kunnat skönjas på Hisingen jämfört med övriga Göteborg. Utspädningseffekterna är dock betydande, och det hade varit värdefullt med statistik som kunnat brytas ned på lägre nivå.
Bland de personer som följts upp i de arbetslivsinriktade aktiviteterna noterades en minskning i utbetalningar från offentliga försörjningssystem med en förskjutning från socialbidrag och i viss mån A-kassa till utbildningsbidrag, rehab-penning och sjukbidrag/förtidspension.
Bland deltagare i socialmedicinska aktiviteter noterades en ökning av utbetalningarna, vilket delvis kan förklaras av att de blev sjukskriva i samband med att de aktualiserades i projekt.
Bägge dessa två observationer illustrerar att fokusering på enbart kostnadsminskningar i offentlig försörjning kan vara missvisande. Att individer får korrekt bedömning och adekvat ersättningsform måste vara viktigare än kostnadsminskning i sig.
En viktig samhällsekonomisk effekt måste vara att minska rundgången i systemen (klienter vandrar mellan vård/servicegivare och eller hamnar mellan stolarna) och att omfattande insatser görs för klienter som inte klarar eller passar för dem.

Utvärdering

DELTA-aktiviteternas medverkan i självvärderingarna har gått över förväntan. Självvärderingen har inneburit att man regelbundet genomfört möten, seminarier, mm, där man reflekterat över och kritiskt analyserat sitt projekt. Enkäter har fyllts i och rapporter har skrivits på ett sätt som ofta är svårt att genomföra i ordinarie utvärderingar.
Utvärderingsarbetet har visserligen varit mödosamt och tidskrävande för personalen, men denna har som helhet känt stort engagemang och intresse. Man har uppfattat att utvärderingen varit ett led i lärandet och kompetensutvecklingen. Självvärderingen har medverkat till att skapa en sk lärande, eller ”omprövande” organisation.
Genom utvärderingsnätverket och universitets-”konsulterna” har man kunnat bolla frågor och regelbundet få feedback på arbetet. Man har uppfattat att uppdragsgivaren och finansiären är genuint intresserad av utvärderingen, vilket inte alltid är fallet i utvärderingar.

Trots att kvalitetssäkring och utvärdering ska vara en viktig komponent i all offentlig verksamhet realiseras inte alltid detta. Uppläggningen av DELTA-utvärderingen har visat en framkomlig väg.

Fortsatt forskning och utvärdering

Som tidigare diskuterats har många insatser har varit av sådan karaktär att man inte kan förvänta sig förändringar på kort sikt. Fortsatt forsknings- och utvärderingsarbete bör alltså ha mer långsiktiga effekter i fokus.
Vi har hittills haft svårt att få reda på vilka effekter DELTA haft på befolkningen på Hisingen, utanför de omedelbara målgrupperna. Detta skulle till viss del avhjälpas med befolkningsinriktade enkäter.
Vi har tidigare nämnt önskvärdheten av jämförande studier. Sådana har initierats, bl a i vissa av de socialmedicinska projekten och angående läkemedelsanvändning. Det är angeläget att dessa undersökningar kan slutföras och komplettera den bild som här har givits.
Implementeringen av samverkansinsatserna, resultaten av utvärderingsarbetet och vad som händer i ”hemmaorganisationerna”, bör uppmärksammas i fortsatt forskning och utvärdering.
Eftersom ytterligare ca 1½ år återstår av DELTA-samverkan förutsätter vi att utvärderingsarbetet kommer att fortsätta, och resultera i uppföljande rapporter som kan bygga vidare på denna.
Till sist vill vi, bl a med hänvisning till ägarföreträdarnas reflektioner (kapitel 11), rekommendera att man i liknande verksamheter genomför utvärderingar i form av både självvärdering kombinerad med expertbedömning och extern utvärdering som genomförs av forskare i samarbete med berörda praktiker.

11 Hur har vi utvecklats? Vad har vi lärt?

Reflektioner från ägarföreträdarna i utvärderingsnätverket

Nätverk – detta modeord som omfattar så mycket idag!

Vi startade som ett nätverk bestående av tre utvärderingsintresserade personer i våra organisationers staber. Något senare förstärktes vårt nätverk med ytterligare en person.
Under DELTAs inledande fas utvecklades vi emellertid successivt till en mer traditionell arbetsgrupp. Vi tog fram ansökningsformulär, bedömde ansökningar och gav konsultativt stöd till enskilda aktiviteter. Vi upptäckte snart att våra övriga arbetsuppgifter på hemmaplan inte medgav ett så stort engagemang i DELTA. Så uppkom tanken på att knyta interna resurspersoner till DELTA för projektstöd och därefter även kvalificerad utvärderingskompetens från forskarvärlden.
Denna koppling mellan forskning och praktik och utveckling av interna stödjande strukturer (de interna resurspersonerna) gjorde att utvärderingsnätverket kunde återgå till att arbeta under mer nätverks­liknande former. Ytterligare forskare anlitades för speciella undersökningar.

Process

Från början ställde vi höga krav på projektansökningarna när det gällde beskrivningen av hur man tänkte utvärdera sina aktiviteter. Vi producerade ett material (bilaga 2, Ansökningsformulär, ”Vi vill DELTA”) avsett att hjälpa projekten att klä sina engagerade idéer i en praktiskt hanterlig språkdräkt som möjliggjorde bland annat målformulering och utvärdering. Lyckligtvis tillämpade vi inte fullt ut de höga kraven i praktiken, utan ”släppte igenom” ansökningarna trots att tankarna kring utvärdering oftast var ganska rudimentärt utvecklade. Vi intog en pragmatisk hållning som gjorde att projekten kom igång, vilket var det viktigaste. Vi hade nog skrämt bort många entusiaster om kraven på utvärdering varit för höga.

I kontakten med projektledarna visade det sig till att börja med - inte oväntat - att många av dessa var ganska tveksamma inför det här med utvärdering. Verksamheten och medborgarens upplevda nytta var det viktiga. Hur förväntade effekter skulle kunna påvisas på ett ”veten­skapligt” sätt var man mindre intresserad av.
Tiden gick (som den brukar). När de centrala myndigheterna började ställa krav på aktiviteterna att samla in data om upplevd hälsa och grad av egenförsörjning möttes man initialt av stor skepsis till hur detta skulle kunna hinnas med. Lydigt gjorde man dock det man skulle (åtminstone på Hisingen) och faktiskt började i och med detta ett intresse för utvärdering spira hos alla (åtminstone de flesta) projektledarna. Man började se nyttan med ett systematiskt förhållningssätt till utvärdering – man började utveckla sitt lärande.
När Göteborgs Universitet engagerades höjdes motivationen ytterligare. Med stöd av forskare därifrån och de interna resurspersonerna började man successivt arbeta med att planera och förbereda sina egna projektvärderingar. För oss i nätverket var det en fröjd att skåda den allt större entusiasm för utvärde­rings­arbetet som växte fram. Kopplingen till universitetet kom att bli ett framgångsrikt angreppssätt.

Välutvecklad utvärderingskompetens ställdes till praktikers förfogande och resultatet blev ökad kompetens.

Vid några intensiva dagar på Lökeberg under senvintern 2001 upplevde vi att varenda projektledare inte bara insåg värdet av goda utvärde­ringar utan även kände glädje att jobba med frågan

Återföring

Återföringen av kunskap till ”Ägaren” är ett knepigt ämne. En vert­i­kal återföring av traditionellt slag till myndighetschef har endast skett rapsodiskt. Det har inte heller efterfrågats på alla inblandade myndighe­ter. Detta är säkert inte av ovilja utan speglar andra processer.

På samma sätt som chefer nära verksamheten är glada om ett projekt fungerar utan störningar är också chefer med ”ägaransvar” rätt nöjda om allt går som det ska. Vår återföring till respektive ägare har därför snarast haft karaktären av avvikelserapportering.
En ”horisontell” återföring där kunskap rört sig sidledes i organisa­tionen har nätverket däremot sysslat mycket med. Det betyder att vi diskuterat våra erfarenheter från DELTA med kollegor som vi möter i arbetsgrupper, i nätverk och över kaffekoppar. Vårt deltagande i olika grupper och nätverk och vår legitimitet har givit oss en bred kontaktyta tillbaka in i hemmaorganisationen.
Man kan i detta sammanhang fråga sig om traditionell kunskapsåter­föring ”i linjen” till hemma­organisationerna har något värde över­huvud­taget. Sannolikt är det inte särskilt kostnadseffektivt. Kunskapen är sällan eller aldrig efterfrågad och aktiviteten upplevs ofta som ett störande inslag i arbetet.
Detta motsäger dock inte värdet och stimulansen av ta del av projekt­erfaren­heter i andra organisationer. De måste då vara tillräckligt nära i tema för att vara engagerande och på tillräckligt organisatoriskt avstånd för att inte vara störande för produktionen eller på annat sätt hotande
När kunskapen däremot återförs inom befintliga kontaktstrukturer är förutsättningarna annorlunda. Exempel på detta är att erfarenheter från utvärdering av DELTA kommit till stor användning när det gäller utvärdering av aktiviteter inom FRISAM och vice versa. Formuläret för ansökan om DELTA-medel har även i stort sett ”kopierats” för att användas även inom Dagmar­systemet.
De positiva erfarenheter av självvärdering som vunnits i samband med de olika DELTA-aktiviteternas egna utvärderingar har inspirerat Försäkringskassan i Västra Götaland att använda självvärdering som en av metoderna vid utvärdering av kassans organisation.


Erfarenheter
Fördelen med nätverk är den breda kompetens som kan samlas. Det gäller då särskilt ”kultur­kompetens”, det vill säga ingående kännedom om normer, värderingar och synsätt i en organisation. Utvärdering är sällan något som en enskild specialist klarar bättre än en grupp – icke fullt så stora specialister - gör.
Flera moment i en utvärdering innebär överväganden där sunt förnuft och klokhet är lika viktiga som specialistkompetens inom utvärdering. I detta sammanhang kan man dela upp utvärderingskompe­ten­sen i en ”teknisk” del och en del som mer handlar om förståelse för utvärdering – en slags utvärde­ringens allmänbildning. Med en hyfsad kompetens inom utvärderingsområdet (men med hög ”allmän­bildning”!) hos ett nätverks medlemmar kommer man långt tillsammans. Det känns som om vi har gjort det denna gång.
När vi sedan knöt utvärderingsspecialister till oss höjdes kompetensen inom de mer tekniska delarna av utvärderingsområdet.
Om vi hade lagt utvärdering som en särskild funktion inom DELTAs kansli hade vi tappat återföringen tillbaka i vår egen organisation. Vi hade fått problem med att successivt återföra kunskaper från utvärderingen in i projekten. Det kontinuerliga återförandet av erfarenheter – den ständiga reflektionen - har haft stor betydelse för projektens framgång och stimulerat lärandet hos deltagarna i projekten.
Som deltagare i utvärderingsnätverket har vi inte enbart tillfört tankar och kunskaper. Vi har även lärt oss mycket av utvärderingsarbetet, vilket vi haft stor nytta av i våra ordinarie arbetsuppgifter.

Slutreflektion

Som ”ägarrepresentanter” i utvärderingsnätverket känner vi oss mycket stolta över vad som åstadkommits i utvärderingshänseende inom DELTA av projektledare, resurspersoner och forskare som medverkat. Vårt nät­verk har fungerat smidigt.

I efterhand kan man konstatera att idén att koppla in Universitet med sina resurser inom utvärdering var mycket framgångsrik. Det gjorde det möjligt för nätverket att fungera som just ett nätverk med en nära koppling till respektive myndighet. Vi undvek faran i att bli för tätt knutna till aktiviteterna - att bli ett med DELTA. Vi var intresserade ”ägarrepresentanter” med engagemang både hos vår myndighet och hos projekten.

Har något motsvarande gjorts någon annanstans? Vi tvivlar.

Referenser

Alla kapitel

23 Självvärderingsrapporter upprättade av projektledare inom DELTA-samverkan

Aaby-Eriksson J, Forsberg-Heitsch A, Eide C, Hedlund B, Jansson I, Andersson L, Andersson O. Studie av Deltas påverkan på försörjningssystemen, Göteborg: DELTAs sekretariat, 2001.

Aaby-Eriksson J med flera, Ekonomihandbok, DELTA 2001

Eriksson M. Att lära genom samverkan. DELTA-projekt som lärande organisationer. Utvärderingsrapport, DELTA, 2001.

Ferraz Nunes J. Samhällsekonomiskt perspektiv vid analys av tre DELTA-projekt. Utvärderingsrapport, DELTA, 2001.

Hultberg E-L, Lönnroth K, Carlsten A. Effekter av DELTA-projektet på läkemedelsanvändning – tidsserieanalyser av trender för förskrivning och försäljning av smärtlindrande läkemedel, lugnande medel, sömnmedel och antidepressiva läkemedel. Utvärderingsrapport, DELTA, 2001.

Lindberg K, Löfström M, Selander M, Wikström E. Vilka effekter leder DELTA aktiviteterna till hos de samverkande organisationerna? Utvärderingsrapport, DELTA, 2001.

Muhlenbock Ylva, Återbruket,Ungdomsprojektet och Alternativ arbetsmarknad –En utvärdering av tre i förtid avslutade Delta-projekt. DELTA, 2001.

Proposition 1993/94:205, samt lag: SFS 1994:566, Lag (1994:566) om lokal försöksverksamhet med finansiell samordning mellan socialförsäkring, hälso- och sjukvård och socialtjänst

WHO, European Working Group on Health Promotion Evaluation: Recommendations to Policymakers. Copenhagen: WHO, 1998.

WHO. World Health Report 2000. Geneva: World Health Organisation, 2000.

Proposition 1996/97:63, Samverkan, socialförsäkringens ersättningsnivåer och administration mm.

Kapitel 3

Dahlberg Magnus, Vedung Evert. Demokrati och brukarutvärdering.

Lund: Studentlitteratur, 2001.

Kapitel 4

Franke-Wikberg Sigbrit. Utvärderingens mångfald. Projektrapport 1992:4.

Stockholm: UHÄ/FoU, 1992.

Holmer Jan, Nelsson Olof, Nilsson Karl-Axel, Rovio-Johansson Airi, Åberg Jan-Olof.

Självvärdering och extern bedömning. Projektrapport 1992:3. Stockholm: UHÄ/FoU, 1992.

The EuroQol Group. EuroQol – a new facility for the measurement of health-related quality of life. Health Policy 1990;16:199-208.

Vedung Evert. Utvärdering i politik och förvaltning. Lund: Studentlitteratur, 1998.

Kapitel 5

Huxham C. The Challange of Collaborative Governance. Public Management, 2, 337-357, 2000.

Johansson R. Organisationer emellan: om förhandlingar, makt och handlingsutrymme. Lund: Studentlitteratur, 1997.

Johansson S, Löfström M, Ohlsson Ö. Projekt som förändringsstrategi – analys av utvecklingsprojekt inom socialtjänsten. Stockholm: SNS förlag, 2000.

Lindqvist R. Att sätta gränser. Organisationer och reformer i arbetsrehabilitering.

Umeå: Boréa, 2000.

Oliver C. Determinants of Interorganizational Relationships: Integration and Future Directions. Academy of Managament Review, 15, 241-265, 1990.

SFS (1962:381). Lag om allmän sjukförsäkring.

SFS (1980:620). Socialtjänstlagen.

SFS (1984:763). Hälso- och sjukvårdslagen.

SFS (1987:405). Förordning om den arbetsmarknadspolitiska verksamheten.

Socialstyrelsen. Välfärd och valfrihet? - Slutrapport från utvärderingen av 1995 års psykiatrireform, 1999.

SOU (1996:64). Försäkringskassan Sverige. Översyn av socialförsäkringens administration. Stockholm: Fritzes.

SOU (1995:142). Att röja hinder för samverkan, egenmakt och arbetslinje. Delbetänkande av Storstadskommittén. Stockholm: Fritzes.

SOU (2000:114). Samverkan. Om gemensamma nämnder på vård- och omsorgsområdet, m.m. Stockholm: Fritzes.

Thompson, J. D. Organizations in Action. New York: McGraw-Hill, 1967.

Kapitel 6

Docherty Peter. Läroriket – vägar och vägval i en lärande organisation.

Stockholm: Arbetslivsinstitutet, 1996.

Ellström Per-Erik. Arbete och lärande. Stockholm: Arbetslivsinstitutet, 1996.

Eriksson Mats. Kunskapande förändring. Rapport nr 1995:17.

Göteborg: Göteborgs universitet, Institutionen för pedagogik, 1995.

Illeris Knud. Lärande i mötet mellan Piaget, Freud och Marx.

Lund: Studentlitteratur, 2001.

Hermerén Göran. Tvärvetenskap, vad är det? I Ström, Gunnar (red).

Erövra universiteten åter. Stockholm: Liber, 1984.

Holmer Jan. Högre utbildning för lågutbildade i industrin.

Göteborg: Acta Universitatis Gothoburgensis, 1987.

Holmer Jan. Deltagarorienterad forskning och forskarstödda läroprocesser.

I Holmer, Jan & Starrin, Bengt (red.): Deltagarorienterad forskning. Lund:

Studentlitteratur, 1993.

Kalleberg Ragnvald. Konstruktiv samhällsvetenskap. I Holmer, Jan &

Starrin, Bengt (red.): Deltagarorienterad forskning. Lund: Studentlitteratur, 1993.

Kapitel 9

Brännström I, Person LÅ, Wall S. Towards a framework for outcome assessment of health intervention. Eur J Public Health 1994;4:125-130.

Efraimsson Inger, Eklund Margareta. ”Chefer struntar i forskningen”.

I DN Debatt 17/11 1998.

Kommittén Välfärdsbokslut. Välfärd vid vägskäl. Delbetänkande, SOU 2000:3. Stockholm: Socialdepartementet, 2000.

Vedung Evert. Utvärdering i politik och förvaltning. Lund: Studentlitteratur, 1998.

Weinehall L. Partnership for health: On the role of primary health care in a community intervention programme. Thesis. Umeå University, 1997.

Abrahamsson Cecilia. Sjukskrivna Hisingsbor per den 20 augusti 2000.

Åberg Jan-Olof. Det rationella och det legitima. En studie av utvärderingars teori och praktik. Monograph from the Department of Sociology. Göteborg University. No 64, 1997.

Andreae M, Lundin A. ”För vem”- gruppstudie: Psykiska besvär. Göteborg; DELTA och Socialstyrelsen 1999.

Andreae M, Lundin A. ”För vem”- gruppstudie: Rygg- och nackbesvär. Göteborg; DELTA och Socialstyrelsen 1999.

1 Primärvården har främst integrerat samverkan i de vårdcentraler som har varit en del av DELTA-projekten, men det finns en långtgående idé om att även integrera samverkan i övriga vårdcentraler.

2 Socialtjänsten har en lokal organisation i varje stadsdelsförvaltning. Det gör att vi kan se olika lösningar på organisering av samverkan hos denna aktör.

3 Se rapporten ”Vilka effekter leder DELTA-aktiviteterna till hos de samverkande organisationerna”. Utvärderingsrapport DELTA.

4 Källor: Göteborgs stads hemsida (www.goteborg.se); Göteborgsbladet 2001 (juni), Göteborgs stadskansli.

5 Källor: DELTAs sekretariat; SOCSAM-enkäten; enkät till deltagare i vårdcentralsbaserade projekt.

6 Se utvärderingsrapporter från t.ex. Arbetsmarknadstorget, ViCan, Hälsodisken, Livslust och Hälsa i Biskopsgården, Hälsoläget, Kärra, Biskopsgården, Backa och Psykologverksamheten.

7 Se utvärderingsrapporter från Backa, Biskopsgården, Kärra, Livslust och Hälsa i Biskopsgården, Hälsodisken, Hälsoläget, Sanna, ICK, ViCan, Riggen, Kvillebäcksprojektet/Trädgårdslust, Sophie, Drivkraft, Arbetsmarknadstorget