På jakt efter sätt att utvärdera Leader

Leader ska bidra till lokal förändring på ett hållbart, långsiktigt sätt. Men hur kan man utvärdera projektens effekter? Det har två forskare från Högskolan i Halmstad och Göteborgs universitet undersökt i ett flerårigt projekt på uppdrag av Jordbruksverket. Vi ställde tre snabba frågor om utvärderingen till Madielene Wetterskog, projektledare på Jordbruksverket.

Hej Madielene! Varför är det viktigt att undersöka hur man kan utvärdera Leader?

Genomförandet av lokalt ledd utveckling genom leadermetoden är spännande eftersom det sker genom att man lokalt tar fram en strategi för området och utifrån den prioriterar vilka projekt som ska genomföras. Bygden ska alltså utvecklas genom ett underifrånperspektiv, vilket skiljer sig från andra projektstöd. Dessvärre har det varit svårt att visa i utvärderingar vilka effekter som kommer från detta arbete. Detta är också något som den Europeiska revisionsrätten har lyft fram i sina revisioner av Leader.

Eftersom lokalt ledd utveckling genom leadermetoden ska bidra till förändring lokalt på ett hållbart, långsiktigt sätt behövde vi en utvärderingsmetod som kunde fånga utvecklingen. Vi bestämde tillsammans med utvärderarna därför att en av utvärderingens uppgifter var att arbeta fram en ny utvärderingsmetod av lokalt ledd utveckling. Vi visste inte hur vi skulle utvärdera, bara att vi behöver hitta ett sätt!

(Väl värt att nämna är att utvärderarna i en tidigare del av utvärderingen fann hållbara effekter som nya jobb och nya företag några år efter att framgångsrika projekt hade avslutats.)

Utvärderingen identifierar några olika aspekter som man kan mäta för att utvärdera vilka strukturella effekter Leader har. Vilka då?

Genomförandet av lokalt ledd utveckling genom leadermetoden sker utifrån de olika områdenas identifierade behov och genom en uppsjö av olika projekt. Därför är det viktigt att använda flera olika dataunderlag för en utvärdering.

Utvärderarna föreslår att man ska kombinera kvantitativa data som statistik över boende, företagande och liknande med mer kvalitativa data som projektenkäter och utvecklingsberättelser. Dessa underlag ska sedan analyseras tillsammans vid ett analysmöte i LAG.

Kan du nämna något som Jordbruksverket tar med sig från utvärderingen?

Utvärderingen visar bland annat hur viktigt det är att ”ovanifrånperspektivet möter underifrånperspektivet” om man vill få effekter av arbetet. Olika nivåer av Leader behöver alltså genomsyras av samma idé om hur det är tänkt att projekten ska leda till effekter. Därför har Jordbruksverket i högre grad arbetat fram verktyg för att mäta resultaten tillsammans med leaderområdena inför den här programperioden. Exempelvis har vi tillsammans med leaderområdena tagit fram valbara gemensamma lokala indikatorer, vilket kommer ge dem och oss möjlighet att sammanställa och jämföra resultaten. Detta ger bättre förutsättningar att utvärdera både de lokala utvecklingsstrategierna och stödet i stort.

Läs hela utvärderingsrapporten: Att utvärdera och skapa långsiktiga effekter av leaderinsatser

/Matilda Pohl

---

Lyssna på en presentation av utvärderingen

Se Landsbygdsnätverkets webbinarium där utvärderarna berättar om projektet:
Landet Lär #61 Så utvecklar Leader långsiktiga resultat – Om en ny modell för effektutvärdering

Övervakningskommittéerna följer programmen och målen

För att följa arbetet med EU-programmen finns en övervakningskommitté för varje program. Kommitténs uppgift är att granska genomförandet av programmet och följa hur målen med programmet nås. I kommittén sitter representanter från bland annat myndigheter, näringen och miljöorganisationer.

Övervakningskommittén har till uppgift att granska och godkänna den metod och de kriterier som används för att välja ut insatser som ska finansieras av programmet. Den kontrollerar hur långt arbetet med programmet kommit och framstegen när det gäller att uppnå programmets mål. Den ska dessutom granska och godkänna de rapporter som varje år skickas till EU-kommissionen. Kommittén får också lämna synpunkter om genomförandet och utvärderingen av programmet. Övervakningskommittéerna sammanträder 1–2 gånger per år.

Övervakningskommittén för havs- och fiskeriprogrammet började med ett studiebesök

Kaviar och kaviarsmör. Foto: Karin Bendz

Den 22–23 november hade övervakningskommittén för havs- och fiskeriprogrammet (EHFF) årets sista möte. Mötet inleddes med ett studiebesök på Arctic Roe of Scandinavia som är ett företag som i en recirkulerande odling tillverkar svensk rysk kaviar i det gamla brukets lokaler i Strömsnäsbruk. Under en rundvandring fick vi se hela produktionsanläggningen och lära oss att man kan styra när det är dags att klämma fiskarna på rom genom att höja temperaturen i bassängerna så belugorna tror att det är vår. Vi fick också veta att samtliga fiskar var chippade och hade ryska kvinnonamn. Företaget producerar både kaviar och sin nya produkt, kaviarsmör.

Under mötet fick ledamöterna en lägesrapport om hur det går i programmet. Generellt sett fortlöper programmet väl även om det finns några åtgärder som är lite problematiska. Inför programavslutet kommer det göras en översyn för att säkra att så mycket av tillgänglig budget som möjligt utnyttjas. Ledamöterna fick också presentationer av en utvärdering om klimatanpassning i EU-programmen och en uppföljning som tittat på om investeringsstöden till vattenbruk leder till en minskad näringsbelastning. Båda presentationerna gav upphov till mycket idéer och diskussion.

Själva mötet ägde för första gången rum i Jordbruksverkets nya lokaler och ledamöterna fick både prova på vår nya lunchrestaurang och se lokalerna på en rundvandring.

Övervakningskommittén för lokalt ledd utveckling

Den 18 november hade övervakningskommittén för lokalt ledd utveckling (LLU) årets sista möte. Mötet genomfördes digitalt. Under mötet fick ledamöterna en presentation av lägesrapporten och hur det går för programmet. Vi närmar oss programmets slut. Sett till fondernas totala budget är 100 procent av regionalfonden och 105 procent av socialfonden intecknade i beslut. Både socialfonden och regionalfonden har övertecknats. När det gäller utbetalningar är 49 procent av alla fyra fondernas totalbudget utbetalt. Procentuellt sett ligger regional- och socialfonden högre än de båda andra fonderna (havs- och fiskerifonden och landsbygdsfonden).

Även kommunikationsplanen med planerade aktiviteter och utbildningar för år 2022 presenterades under mötet. Under 2022 kommer Jordbruksverket ha aktiviteter för skrivargrupperna (arbetsgrupper ute i leaderområdena som skriver de lokala utvecklingsstrategierna) och LAG (lokala aktionsgrupper) inför den nya programperioden. Ett exempel är utbildning om utformningen av urvalskriterier för projektprioritering. Dessutom kommer Landsbygdsnätverket ha flera aktiviteter som riktar sig till skrivargrupperna och LAG. Det är bland annat en workshop om miljö och klimat.

Övervakningskommittén för landsbygdsprogrammet

Den 26 november hade övervakningskommittén för landsbygdsprogrammet (LBP) årets sista möte. Mötet genomfördes digitalt. Ledamöterna fick en lägesrapport om hur det går för programmet. Lägesrapporten innehåller detaljerad information om stöden, programändringar och administrativa frågor om handläggningstider, samt vilka åtgärder som krävs för förbättringar. Bland annat behöver handläggningstider ses över. Under 2021 genomfördes två programändringar främst för att förlänga programmet två år och för att ta in de extra pengarna som kommit från det europeiska återhämtningsinstrumentet (EURI).

Lägesrapporten ger också en översikt av programmets budgetutnyttjande. En stor andel av utbetalningarna står jordbrukarstöden för. Utbetalningsnivån är lägre för projekt- och företagsstöd, bland annat för att projekten tar lång tid att genomföra. Stöd till samarbete och innovationsstödet (EIP) har den lägsta måluppfyllelsen för utbetalningsnivå i förhållande till delmålet för år 2021. Även kompetensutveckling och rådgivning har relativt låg måluppfyllelse avseende utbetalningar.

På mötet hölls även fördjupningar om jämförelse av bredbandsstödet denna period kontra föregående och aktuell information från Greppa Näringen, som firade 20-årsjubileum.

/Karin, Sara, Lovisa & Therese

Så upplevde leaderområdena de lokala indikatorerna inom lokalt ledd utveckling

För att följa upp projekt inom lokalt ledd utveckling använder man olika typer av indikatorer.

Den nuvarande programperioden 2014–2020 av EU-programmen är inne på en förlängningsperiod innan nästa programperiod drar igång 2023. Det är därmed hög tid att samla kunskap och erfarenheter om olika aspekter av genomförandet av våra program som vi kan lära av när vi ska starta upp de nya programmen.

En del i arbetet har varit att i en rapport följa upp lokala indikatorer inom lokalt ledd utveckling. Indikatorer är ett vanligt verktyg för att följa upp såväl enskilda projekt som hela program. För åtgärden lokalt ledd utveckling har man använt olika typer av indikatorer: EU-indikatorer som har varit gemensamma för alla medlemsländer och som Jordbruksverket sedan rapporterar till EU-kommissionen, nationella uppföljningsuppgifter som har samlats in för andra typer av uppföljningar än just rapporteringar till EU-kommissionen och lokala indikatorer som varje leaderområde har tagit fram själva för sin egen uppföljning. Det är de lokala indikatorerna som har varit i fokus i den här rapporten.

Genom enkäter till både leaderkontor och LAG-ledamöter (leaderområdenas styrelseledamöter) har vi kunnat skapa oss en uppfattning dels om hur de upplevde arbetet med att ta fram de lokala indikatorerna, dels om hur de upplever att indikatorerna sedan har fungerat under programperioden. Mer än hälften av de som svarade på enkäten upplevde framtagandet som svårt eller mycket svårt, och de flesta upplevde att stödet från oss på Jordbruksverket var otillräckligt. Trots detta är man generellt ändå ganska nöjd med indikatorerna och upplever att de hjälper till att styra mot de mål som har satts upp i respektive områdes lokala utvecklingsstrategi.

Vill du veta mer om hur indikatorerna har fungerat i den här programperioden eller hur vi kommer att jobba med indikatorer i nästa programperiod? Läs hela uppföljningsrapporten Lokala indikatorer inom lokalt ledd utveckling

/Tina

Hur kan de bästa projekten väljas ut för att få stöd inom lokalt ledd utveckling?

Den här veckan publicerar vi en ny uppföljningsrapport om urvalet av projekt som får stöd inom lokalt ledd utveckling, det vill säga projekt som genomförs enligt leadermetoden och ska bidra till landsbygdsutveckling. Urvalet av projekt gör de lokala områdena (leaderområdena) själva, och i uppföljningen återger vi deras upplevelser av hur verktygen för att välja ut projekt fungerar.

Det är LAG, föreningen som leder arbetet med Leader i varje leaderområde, som väljer ut vilka projekt som ska få stöd. Projekten som väljs ut ska vara de som mest effektivt bidrar till lokala mål och ger mesta möjliga nytta för pengarna. Till sin hjälp när de gör urvalet har LAG därför kriterier, så kallade urvalskriterier. Kriterierna används för att bedöma och poängsätta ansökningarna och ska på så sätt även göra att urvalsprocessen blir transparent och rättvis. LAG är själva ansvariga för att utforma egna urvalskriterier i sitt område, och det skiljer sig mycket mellan leaderområdena när det gäller vilka och hur många kriterier de har valt att använda.

LAG:s styrelsemedlemmars och leaderkontors svar på frågan om i vilken utsträckning de upplever att urvalskriterierna hjälper till att styra mot målen i de lokala utvecklingsstrategierna.

De flesta tycker enligt uppföljningen att urvalskriterierna styr mot målen i stor utsträckning. Men samtidigt är det många som anser att urvalskriterierna är för otydligt och generellt formulerade. Det gör dels att poängbedömningarna ibland upplevs som inkonsekventa och godtyckliga, dels att kriteriernas funktion att styra mot målen begränsas. En rekommendation i uppföljningen är därför att formulera kriterierna så tydligt och konkret som möjligt och använda kriterier som knyter an till målen. På så sätt kan man både uppnå en mer rättvis hantering och i större utsträckning identifiera projekt som kan förverkliga målen.

För att stödet ska gå till de bästa projekten är även rätt information till rätt personer viktig. Flera leaderkontor uttrycker att man särskilt bör fokusera på att ge utförlig information till personer som är ovana att söka projektstöd när de kommunicerar om urvalskriterierna och ansökningsprocessen. På så vis minskar man risken att förmågan att skriva en bra ansökan blir mer avgörande för att få stöd än goda projektidéer, lokal förankring och god kapacitet att genomföra projektet. Av samma anledning tycker många att det är viktigt att använda kriterier som fångar upp det centrala i leadermetoden, såsom just den lokala förankringen, samarbete och engagemang.

En annan av uppföljningens slutsatser är att det är viktigt att leaderområdena följer upp och justerar kriteriernas funktion regelbundet. På så sätt kan man justera kriterierna om de inte visar sig ha avsedd effekt, eller om förutsättningarna och behoven i området förändras och andra typer av projekt därför behöver prioriteras.

Läs hela uppföljningen Urvalskriterierna som styr vilka projekt som får stöd inom lokalt ledd utveckling

/Hanna

Lärorika tider för Leader

Befolkningsökning, arbetstillfällen, företagsutveckling, förbättrad service och välfärd samt ökning av antalet besökare – det ska man undersöka för att få reda på hur projekt inom Leader kan ha påverkat samhället, enligt en ny utvärderingsrapport. Rapporten är en del av ett projekt som just nu utvärderar leaderprojekts långsiktiga effekter på landsbygdsutveckling.

I rapporten har utvärderarna tagit fram en modell för att ta reda på projektens effekter, alltså vilka strukturella förändringar i samhället som insatser inom Leader faktiskt leder till. Modellen bygger bland annat på att samla in flera sorters data: statistik, en sammanställning av insatser, enkäter till projektägare och en utvecklingsberättelse.

Utvärderingens analysmodell för att utvärdera leaderinsatsers effekter. Z = andra faktorer än leaderinsatserna som kan påverka besöksnäring, arbetstillfällen, företagande, service och välfärd samt befolkning. M = orsakssambandet mellan insatserna och effekterna.

Läs hela utvärderingsrapporten Modell för utvärdering av leadereffekter Delrapport 3

/Matilda

PS. Inför nästa rapport från projektet är det dags att pröva modellen i ett leaderområde!

Leader eller inte – vad betyder det för projektstödens möjligheter att nå målen?

Idag hanteras projektstöd till landsbygdsutveckling på två olika sätt inom landsbygdsprogrammet. En del av projektstöden hanteras av länsstyrelsen, och en annan del förmedlas inom lokalt ledd utveckling genom leadermetoden. Inom Leader är det styrelsen i varje leaderområde som väljer vilka projekt som ska få projektstöd. Men vad vet vi om hur de olika sätten att förmedla projektstöd påverkar effekterna av stöden?

I en ny rapport analyseras just hur projektstöden till landsbygdsutveckling är organiserade och hur de kan utformas för att få så stor positiv samhällseffekt som möjligt. Rapporten är skriven av Jörgen Johansson som är docent i statsvetenskap vid Göteborgs universitet och har tagits fram på uppdrag av Jordbruksverket.

De olika sätten att förmedla projektstöden representerar två olika metoder för utformningen av politik. Projektstöden som hanteras av länsstyrelsen präglas av styrning uppifrån (s.k. top-down) där riktlinjerna för utvecklingsarbetet formuleras av centrala myndigheter. Leader utgår i stället ifrån ett underifrånperspektiv (s.k. bottom-up), där politiken utformas lokalt av berörda aktörer. I rapporten analyseras vilket av sätten att förmedla projektstöd som bäst stämmer överens dels med forskningens uppfattningar om hur landsbygdsutveckling bör utformas, dels med projektstödens mål.

Foto: Fredrik Ludvigsson

Slutsatsen är att målen med projektstöden kan uppnås i större utsträckning om några projektstöd överförs från länsstyrelsen till Leader, under förutsättning att överföringen förenas med nya riktlinjer och villkor. Fördelarna med Leader är många, men samtidigt finns det utmaningar med en politik som utformas underifrån. Det är dessa utmaningar rapporten tar sig an med förslag på nya riktlinjer. Sammanfattningsvis föreslår rapporten att en överföring av projektstöden förenas med följande villkor för Leader:

• Utvecklingsarbetet inom Leader bör i större utsträckning prioriteras i vissa typer av landsbygder på grundval av territoriella behov.
• Öka samordningen med den regionala utvecklingspolitiken och med länsstyrelsernas arbete med de areella näringarna. På så sätt kan vi främja synergieffekter och nya former av arbete med exempelvis energiförsörjning och klimatinsatser.
• Medvetenheten om hur vi skapar strukturella förändringar behöver öka inom Leader.

Landsbygdsutveckling berör ett stort antal politikområden. Jordbruk, fiske, skog, miljö, klimat, kultur, rekreation, turism, service och infrastruktur – listan på de perspektiv och intressen som behöver vägas mot varandra för att ta ställning till vad som är en hållbar landsbygdsutveckling i praktiken kan göras lång. Rapporten uttrycker att det finns ett behov av att ytterligare analysera och ta ställning till mål- och värdekonflikter om hur landskapets resurser ska användas. Med en politik som i större utsträckning utformas underifrån belyser rapporten att vi behöver arbeta ännu mer för att samordna landsbygdsutvecklingspolitiken med andra politikområden.

Läs hela rapporten: Leader eller inte Leader – det är frågan. Organisering och genomförande av projektstöd för landsbygdsutveckling

/Hanna Wessling

Vilken gren sitter du på?

Två erfarna professorer tittar nyfiket på mig. Det är första dagen på min första akademiska kurs i utvärdering, och jag har precis fått frågan om vilken sorts utvärderare jag är. Men jag har inte tagit mig igenom de fyra kapitlen om förgreningar inom utvärdering inför dagens lektion. Än mindre har jag kommit fram till hur jag vill vara som utvärderare. Nej, svaret hade jag inte där och då – det har fått växa fram under åren som följt.

Utvärdering som praktik började ta form i Nordamerika i mitten av 1900-talet (vid en bredare tolkning av utvärdering som begrepp så kan man hitta exempel på utvärdering långt bak i tiden). Sedan dess har mycket hänt. Om man ser utvärdering som ett träd så utgörs trädstammen enligt Alkin och Christie (2004) av två delar. Den ena är redovisningsskyldighet (ansvar och kontroll av processer, resultat och effekter). Den andra är sociologisk teori, som används för att studera och beskriva människors beteende i olika sammanhang.

Från utvärderingsträdets stam har det vuxit ut grenar inom såväl praktik som forskningsområde. Grenarna representerar olika metoder och ramverk – kort sagt olika sätt att utvärdera. Alkin (2012) identifierar tre huvudgrenar:

• Metodgrenen (methods) sitter du på som tycker att det viktigaste i utvärderingen är att använda rigorösa metoder och att den som utvärderar är objektiv. Utvärderare som sitter på den här grenen använder mest kvantitativ data för att besvara sina utvärderingsfrågor.
• På Användningsgrenen (use) sitter du som värderar utvärderingens relevans allra högst, alltså att resultaten används för att förbättra något. Förhållningssättet till metoder är pragmatiskt och metodvalet kan få variera beroende på kontexten och frågan som ska besvaras. Ofta medför det att både kvalitativa och kvantitativa metoder (mixed methods) används.
• Om du sitter på Värderingsgrenen (valuing) anser du att verkligheten kan upplevas olika beroende på vems glasögon man har på sig. För att förstå underliggande fenomen och en målgrupps verklighet krävs det att man interagerar med målgruppen under en längre tid. Först då kan ny kunskap uppstå. På den här grenen besvaras utvärderingsfrågorna ofta med kvalitativa metoder.

Mertens och Wilsons (2012) utvärderingsträd, med fyra huvudgrenar.

En fjärde gren i trädet, nämligen den som betonar social rättvisa (social justice), har Mertens och Wilson (2012) lagt till. På denna gren sitter du som anser att en utvärderares roll är att kämpa för social rättvisa för olika grupper i samhället. Vägledande principer är att visa respekt för olika kulturer, framhäva social rättvisa, förstärka mänskliga rättigheter och påvisa orättvisor.

Utvärderingens olika förgreningar skapar en viktig och spännande diskussion om hur program ska utvärderas och utvärderingarnas syfte. I arbetet med att utvärdera EU-programmen är svaren på dessa frågor komplexa: det är många som ska ha nytta av resultaten samtidigt som utvärderingarna har en viktig kontrollfunktion. European Evaluation Helpdesk for Rural Development har uppgiften att vägleda EU:s medlemsländer i utvärderingsarbetet. Ofta är det kvantitativa metoder som lyfts fram som det ideala sättet att utvärdera. För att medlemsländerna ska kunna besvara alla utvärderingsfrågor som EU-kommissionen kräver ska besvaras och samtidigt generera kunskap om hur programmen kan förbättras, så kan man anta att det krävs ett pragmatiskt arbetssätt. Därmed ligger det nära till hands att anta att medlemsländerna ofta befinner sig på användningsgrenen (även jag sitter på den grenen).

Vilken gren sitter du på? Vad tycker du är viktigt i en utvärdering? Beskrivningen av de olika grenarna i det här blogginlägget är förenklad, men förhoppningsvis har du fått blodad tand och vill läsa mer om utvärderingens spännande område. Då rekommenderar jag boken Program Evaluation Theory and Practice – A Comprehensive Guide kap 3–6 av Mertens och Wilson (2012). Är du inte mätt på metaforer finns så klart andra sätt att beskriva utvärderingens utveckling – exempelvis beskriver Vedung (2010) utvecklingen som böljor som lägger sig som lager i utvärderingens historia. Ja, du hör ju, det är bara att gräva ner sig… eller börja klättra!

/Katarina Carthew
  

Andra referenser

Alkin & Christie, 2004. An Evaluation Theory Tree (kapitel 2) i Evaluation Roots.

Alkin, 2012. Evaluation Roots 2nd edition. 

Vedung, 2010. Four waves of Evaluation Diffusion. I: Evaluation.

Vestman & Andersson, 2007. Pedagogisk utvärdering som styrning. En historia från präster till Pisa

Årets leaderträff: en kickoff för nästa programperiod

Förra veckan gick årets leaderträff av stapeln, den här gången digitalt på grund av rådande förutsättningar. Totalt medverkade cirka 300 deltagare under konferensen, som hade temat avslut och omstart. Temat märktes tydligt i veckans föreläsningar. Till exempel fick vi veta mer om EU:s gröna giv (EU:s handlingsplan för en hållbar ekonomi) och om hur EU-kommissionen arbetar med långsiktiga visioner för de europeiska landsbygderna.

Logotypen för Leader.

Under leaderträffen fick vi också arbeta interaktivt och praktiskt genom gruppdiskussioner och workshoppar. Till exempel diskuterades praktiska förslag på hur leaderområdena kan mobilisera på bästa sätt när de ska börja arbetet med nya strategier till nästa programperiod. Ett återkommande tema var hur leaderområdena bättre kan kommunicera sitt arbete till de som bor i området och till föreningar, företag och andra.

Något annat som var uppe för diskussion var hur man kan förbättra existerande urvalsindikatorer och förenkla arbetet med kriterierna i nästa programperiod. Några förslag som lyftes var att alla leaderområden skulle kunna ha samma generella urvalskriterier baserade på leadermetoden, att de skulle kunna använda samma mall och att separata kriterier kan behöva utformas för förstudier.

Är du nyfiken på att läsa mer om vad som hände på leaderträffen? Presentationer och sammanställningar från de olika passen kan du läsa på Landsbygdsnätverkets webbplats.

/Tina Wallin