Hur ska vi mäta hållbarheten i leaderprojekt?

I tre leaderområden har man låtit göra en utvärdering av de långsiktiga effekterna av ett antal leaderprojekt. I dag bloggar Lennart Ruder från Pivotanalys som har gjort utvärderingen.

Alla vi som jobbat med Leader vet att många leaderprojekt ger stor nytta och är hållbara. Men hur ska vi förklara och visa det för alla andra som undrar hur pengarna används, och hur gör man för att få mer hållbara projekt som har stora effekter för landsbygden?

För att se vilka effekter leaderprojekt kan ha för landsbygden har vi besökt och intervjuat 30 slumpvis utvalda projekt som genomfördes under föregående programperioder. Vi gjorde en hel del intressanta iakttagelser. Men innan vi tittar på dem skulle jag vilja reda ut vad som menas med effekter i dessa sammanhang. En effekt är en händelse som uppstår på grund av ett resultat efter projekttiden. Effekter kan vara direkta eller indirekta, positiva eller negativa, tillfälliga eller bestående, och de kan uppstå på kort, medellång eller lång tid.

I intervjuerna visade det sig att leaderprojekten haft väldigt många olika effekter. Effekterna har också haft olika styrka och varierat med tiden. För att strukturera alla effekter grupperades de efter begreppet hållbar utveckling och dess tre teman: det sociala, miljön och ekonomin. Men det blev snart tydligt att de speciella leadereffekterna kunde grupperas i ännu fler kategorier. Därför lades kategorierna innovation & samarbete samt livskvalitet & lärande till. Nu hade vi fått fem leaderanpassade kategorier som vi snabbt döpte till SMILE-effekter:

• Socialt
• Miljö & klimat
• Innovation & samarbete
• Livskvalitet & lärande
• Ekonomi & tillväxt.

För att kunna utvärdera nyttan eller värdet av effekterna vid en viss tidpunkt måsta man på något vis mäta eller värdera effekterna. Hur mäter vi värdet av sociala effekter 10 år efter att ett projekt tagit slut? Hur mäter vi ekonomi och tillväxt efter 5 år? Vilket värde ska vi ge en miljöåtgärd som exempelvis förbättrade lekplatser för fisk efter 2 år? Slutsatsen är att det är mycket svårt och komplext att mäta effekter, dels på grund av tidsperspektivet och tillgången på kvalitativa data, dels på grund av olika enheter. Men för att ändå få en indikation på värdet av alla effekter kan en mycket förenklad mätmetod användas. Metoden går ut på att man vid den aktuella tidpunkten för utvärderingen ger varje kategori ett av följande värden: –1, 0, 1, 2, 3. Summan av alla effekterna för ett projekt kallar vi Happy Rural Index (HRI). HRI ger en indikation både på hur hållbart projektet är och på hur kostnadseffektivt projektet har varit i relation till sin budget.

Fördelning av effekterna av de 30 undersökta projekten.

Tidpunkten när man mäter effekten har också betydelse. I undersökningen varierade den och ägde rum 4–11 år efter projektavslutet. En del effekter varade bara en kortare tid efter att projekten avslutats medan andra effekter fortfarande finns kvar. Slutsatsen var att effekterna kan mätas redan ett par år efter att projektet avslutats.

Om man kontinuerligt utvärderar resultat och effekterna av sina leaderprojekt med en metod som är strukturerad, jämförbar och enkel så ökar förståelsen också för vilka faktorer som är viktiga för de långsiktiga effekter vi vill ha. Jag är övertygad om att en utvecklad mätmetod kommer leda till mer hållbara och kostnadseffektiva leaderprojekt i framtiden. Om detta och mycket mer kan du läsa i rapporten Långtidseffekter av leaderprojekt ger en hållbar landsbygd.

/Lennart Ruder, Pivotanalys

Vad går det att säga om landsbygdsprogrammets effekter – hittills?

Landsbygdsprogrammet utvärderas utifrån de för EU gemensamma målen med de program som finansieras av Europeiska jordbruksfonden för landsbygdsutveckling. Men hur tar man egentligen del av effekterna av landsbygdsprogrammet, och vad finns det att läsa just nu när det gäller effekterna av pågående programperiod?

Under en programperiod gör vi på Jordbruksverket såväl utvärderingar som uppföljningar (de senare beskriver främst hur programmets genomförande fortskrider ur olika perspektiv) löpande. Utöver detta offentliggörande deltar de aktörer som är ansvariga för programmets utformning och genomförande i en gemensam workshop. På så sätt överlämnas utvärderingsresultaten till berörda aktörer. I slutet av den förra programperioden (2007–2013) gjorde vi även en sammanfattning av programmets utvärderingar, en så kallad slututvärdering.

När det gäller nuvarande programperiod levererar Sverige svar på utvärderingsfrågor till EU-kommissionen vid ett par tillfällen under programgenomförandet, samt efter att programmet har avslutats. Svaren på utvärderingsfrågorna bygger på underlag från enskilda utvärderingar som görs löpande under programperioden. I Landsbygdsprogrammet 2014–2018 har vi sammanställt vår senaste rapportering på ett lättillgängligt sätt. Rapporten beskriver vad vi ger stöd till och redovisar uppföljnings- och utvärderingsresultat. Den är tänkt som ett uppslagsverk för dig som vill veta mer om landsbygdsprogrammet.

Generellt är det svårt att med säkerhet fånga effekterna av programmens åtgärder. Exempelvis kan en över tid förändrad lönsamhet eller konkurrenskraft påverkas av många andra faktorer än programmets åtgärder. Dessutom kommer många effekter med en viss tidsfördröjning, ibland på många år. Det betyder att det inte är så meningsfullt att ens leta efter effekter för tidigt efter att ett stöd betalats ut och en investering genomförts. I bästa fall kan sådana effekter fångas i en utvärdering först ett par år efter att den pågående programperioden avslutats.

Hur kan problemet med fördröjning av effekterna då hanteras? Ett exempel ges i utvärderingen Förväntade effekter av investeringsstöd inom landsbygdsprogrammet. Här studerade utvärderarna vilka effekter stöden i förra programperioden har gett. I rapporten bekräftade de just att det tar tid innan stöden får den avsedda och önskade effekten, något som man alltså också borde ha förväntat sig. Ett intressant bidrag från studien är att det till och med verkar vara så att det kan finnas en negativ effekt på konkurrenskraften under de första åren. Utifrån kunskapen om vilka effekter ett visst stöd i förra programperioden nu har gett upphov till, kunde utvärderarna därifrån skatta vilka effekter som kan förväntas utifrån de stöd som betalas ut under denna programperiod. Naturligtvis finns det osäkerheter här, men studien ger en god fingervisning om ungefär vilka effekter som kan förväntas.

/ Joel Karlsson

Ger investeringsstöd klimatnytta?

I en nyss publicerad utvärdering har vi tittat på i vilken mån investeringar med stöd från landsbygdsprogrammet har bidragit till energieffektivisering, ökad produktion av förnybar energi samt minskade utsläpp av växthusgaser och ammoniak.

Läs mer i Utvärdering av investeringsstöd för energi och klimat

Vad är vitsen med att utvärdera?

En fördel med sommaren är att det finns lite mer tid till reflektion och läsning än när hjulen snurrar på och aktivitetsnivån är hög. Jag har själv ägnat lite tid åt att botanisera i den rika flora av utvärderingar av de program som Jordbruksverket hanterar. Det finns mycket kunskap att hämta där. Om jag får ge ett lästips för att få bredd och överblick, så läs gärna Landsbygdsprogrammet 2014-2018 – resultat och förväntade effekter som på ett lättillgängligt sätt fångar förväntade effekter i programmet baserat på kunskap från tidigare och andra utvärderingar.

Vi går nu med hastiga steg mot en ny programperiod för den gemensamma jordbrukspolitiken, och nya program och insatser ska formas. Då är det viktigt att vi har en god och väl underbyggd kunskap om hur olika insatser fungerar och samspelar för att vi ska nå de mål som sätts upp och hur vi kan nå målen med kostnadseffektiva insatser som inte ger onödigt stora administrativa bördor för företagen.

Här spelar utvärderingen av programmen en central roll: både när det gäller att vi kan göra bra utvärderingar och att vi faktiskt också använder den kunskap de ger oss.

Jag har jobbat med både utvärderingar och policyskapande inom andra politikområden, och min erfarenhet är att det är svårt att skapa lärande utvärderingsprocesser där resultaten från utvärderingarna systematiskt används för att utveckla och förbättra effektiva interventioner. Några utmaningar i detta är:

• Utvärderingarna måste vara trovärdiga. Val av metod och angreppssätt är viktigt, liksom oberoendet. Får jag ett trovärdigt resultat om jag utvärderar mig själv?
• Resultaten måste vara tillgängliga och användbara. Utvärderingsprocessen måste kommunicera och interagera med verksamhetsprocessen för att kunna skapa lärande.
• Verksamheten måste vara öppen för att använda resultaten. Ett dåligt utvärderingsresultat är inte så kul. Ofta reagerar vi med försvar och kritik mot utvärderingsmetoden eller mot att interventionen inte går att utvärdera, istället för att fråga oss vad vi kan lära oss för att förfina och förbättra.

God kunskap om hur olika insatser fungerar och hur effektiva de är utgör grunden för att vi ska kunna driva en lyckad jordbrukspolitik som har legitimitet och acceptans både inom vår egen sektor och i omvärlden.

/Jan Cedervärn, överdirektör Jordbruksverket

Dags att ex ante-utvärdera både sommarläsning och CAP

Nu har sommaren kommit med besked. Efter en lång och sval vår har värmen kommit. Skönt, både för att få lite svalka och friskare luft och för växtligheten i trädgården, att det kom en dag med ordentligt regn här i Uppsala. Vattentunnorna fylldes snabbt och det vattnet kan komma till nytta snabbt, mer sol och värme är redan på väg. Tur var det också att regnet avtog framåt kvällen så att den planerade corona-anpassade middagen med några vänner kunde genomföras med säkert avstånd ute i friska luften.

På tal om corona-anpassning, det blir ju någon slags påtvingat tema även i sommar. Hur mycket uppoffring det innebär beror förstås på vad man hade tänkt göra och hur bra de ”corona-säkra” alternativen är. Eller visar sig vara! Det som i förväg känns som ett sämre alternativ kan ju, i efterhand, visa sig vara ett riktigt bra alternativ.  I utvärderingssammanhang skiljer vi på ex ante-utvärderingar, som görs i förväg, och på ex-post utvärderingar, som görs i efterhand. Kanske något att, åtminstone lite lagom, inspireras av i semesterplaneringen? Ex ante-utvärderingen kan ju bli mer utmanande i år än andra år, särskilt för den som måste testa helt nya semesteralternativ. För den som också tidigare år har ”hemestrat” så blir det naturligtvis enklare att, grundat på tidigare erfarenheter, bedöma hur årets semester sannolikt kommer att bli. För den som ska prova något nytt i sommar, så är osäkerheten större. Men, man kan ju ta hjälp av exempelvis andras erfarenheter och kanske av sina egna erfarenheter av de delar av tidigare semestrar som åtminstone liknar årets planer.

Som en del i arbetet med planeringen inför kommande CAP så genomförs en ex ante-utvärdering. En utomstående och oberoende utvärderare följer processen och utformningen av den kommande strategin. Ett av syftena är just att bidra till att tidigare kunskap, både från nuvarande landsbygdsprogram specifikt och mer allmän kunskap om politik och styrning, tas tillvara och bidrar till att utforma en strategi med så stor sannolikhet som möjligt att ge önskade effekter.

Efter förra programperioden lät vi några av ex post-utvärderarna, kompletterade med några extra skribenter, skriva framåtsyftande texter om landsbygdspolitik. Tanken var att skapa en brygga från vad vi kan lära från tidigare, i en ex post-utvärdering, till hur vi kan tänka när framtidens politik utformas.

Nu kanske det är läge att plocka fram ”Så här ligger landet – tankar om landsbygdsprogram och landsbygdsutveckling” igen?! Den passar bra att låta sig inspireras av i utformningen av kommande CAP, och den passar också utmärkt som en riktigt ”corona-säker” semestersysselsättning.

Verkar det som en tråkig semestersysselsättning? Tänk då på att din ex ante-bedömning mycket väl kan ändras när du läst och gör en ex post-utvärdering!

Ha en skön sommar!

Fredrik

P.S. På min egen sommarläsningslista finns bland annat Karin Smirnoffs Sen for jag hem. Min ex ante-utvärdering säger att det sannolikt blir en fantastisk läsupplevelse! Det grundar jag på min ex-post utvärdering av trilogins två tidigare delar, Jag for ner till bror och Vi for upp med mor, som jag tyckte otroligt mycket om.

Fotograf: Vidar Holstein

Att arbeta med värderingar om företagande kan förbättra jämställdheten

Jämställdhet och ickediskriminering är en viktig del i det långsiktiga arbetet med en hållbar utveckling. En långsiktigt hållbar utveckling är ett samspel mellan en miljömässig, ekonomisk och social hållbarhet. Jordbruksverket arbetar med att stödja och främja näringar som traditionellt har varit och fortfarande ofta är mansdominerade. Oavsett om näringen traditionellt sett varit och fortfarande är mansdominerad ska möjligheterna genom de program Jordbruksverket förvaltar grunda sig i kvinnor och mäns utvecklingskraft och innovationsförmåga. Det innebär till exempel ett aktivt arbete med att förändra förutfattade meningar och värderingar i genomförandet av programmen.

Hur står det då till i vårt programgenomförande, tillämpas arbetet med jämställdhet och ickediskriminering?

I en nyligen publicerad rapport visas att Jordbruksverket och länsstyrelserna på ett tydligt sätt lyft fram jämställdhet och ickediskriminering i EU-programmen och i sina regionala handlingsplaner. Samtidigt finns det faktorer som begränsar möjligheterna till att tillämpa jämställdhet och ickediskriminering fullt ut. Sådana faktorer är bland annat dataskyddsförordningen GDPR, målkonflikter och förutfattade meningar om företagande.

Jordbruksverket och länsstyrelsernas starkaste verktyg för att arbeta med jämställdhet och icke-diskriminering är genom handläggning av stöd. Ett sätt att fördjupa tillämpningen av jämställdhet och ickediskriminering i handläggningen är att skapa tydliga rutiner för bedömning samt ett aktivt arbete för att förändra förutfattade meningar och värderingar om underrepresenterade grupper. Förutfattade meningar och värderingar riskerar annars att på ett omedvetet sätt styra handläggningen.

Utan ett tydligt arbetssätt för tillämpning av jämställdhet och ickediskriminering finns det en risk att handläggare bedömer ansökningar utifrån outtalade regler, förutfattade meningar och värderingar men också utifrån vad som väntas ge minst administration i stället för att utnyttja de möjligheter som ges. Genom att arbeta aktivt med dessa frågor minskar risken för att förutfattade meningar om företagande ger fördel till företag som passar in i dessa förutfattade meningar.

Läs hela rapporten Jämställdhet och ickediskriminering som en del av hållbar utveckling

/ Carl Strömberg

”Vi ska vara bäst på allt!”

Så kan det låta när man vill förbättra processer. För vi vill ju göra allt så bra som möjligt. Ibland måste man dock göra svåra prioriteringar när man väljer väg framåt.

Den här gången gäller det beslutsprocessen. Det är viktigt för oss att vi hanterar ansökningar på ett effektivt sätt när vi beslutar om vilka som ska beviljas pengar. Därför har vi undersökt vilka effekter olika beslutsprocesser har på olika aspekter av effektivitet.

Det är dock ingen enkel sak att avgöra vilket sätt som är det bästa, för det är en evig dragkamp om vad det är viktigast att vi är bra på. Är det korta handläggningstider, att säkerställa att vi nyttjar EU-fonderna fullt ut eller att säkerställa det är de allra bästa ansökningarna som beviljas pengar?

Analyserna visar på att det inte blir någon större skillnad för någon av effekterna av att man samlar ihop ansökningar som kommit in under en period till en beslutsomgång i stället för att besluta om dem löpande. Om man däremot begränsar summan pengar som kan beslutas vid varje beslutsomgång så ökar risken för att pengar inte betalas ut snabbt nog för att vi ska kunna nyttja hela fonderna. Samtidigt ökar konkurrensen mellan ansökningar, vilket främjar att bara de allra bästa ansökningarna beviljas när det inte finns pengar för alla i beslutsomgången. Myndigheten kan sedan välja vad som ska hända med de ansökningar som det inte fanns pengar för. Om de väljer att pröva dem igen kommande beslutsomgång blir handläggningstiderna långa för den som sökt, men man dämpar också effekterna ovan.

Processen är viktig, för den påverkar flera aspekter av myndigheternas funktioner. Nu gäller det att avgöra vad som är mest viktigt när man väljer processer som ska användas framöver. För det går inte att vara bäst på allt.

Läs hela rapporten Beslutsomgångarnas funktionalitet och alternativ

/Felicia Eklund

Heta siffror om programmen

I takt med veckans 27 grader i Jönköping så har vi lika heta siffror som visar hur det går för landsbygdsprogrammet, regional- och socialfondsprogrammet samt havs- och fiskeriprogrammet.

Uttaget är gjort 1 juni och visar budget, antal beviljade ansökningar, beviljat stöd samt utbetalt stöd.

Statistik för projekt- och företagsstöd i landsbygdsprogrammet

Statistik för projekt- och företagsstöd i havs- och fiskeriprogrammet

Statistik för projekt inom social- och regionalfondsprogrammet

//Matilda

 

Unga lantbrukare är viktiga för landsbygdens framtid

Nu är det snart två år sedan jag tog examen som ekonomagronom på Sveriges lantbruksuniversitet i Uppsala. Många av mina kurskamrater har precis som jag ett stort intresse för landsbygden. Anledningen är nog för att de flesta av oss är uppvuxen på en gård.

De allra flesta av mina kurskamrater arbetar idag inom redovisning och rådgivning till lantbruksföretag. Enbart ett fåtal av mina kurskamrater bedriver eller planerar att ta över en jordbruksverksamhet inom familjen. Idag är det tämligen svårt som ung att starta ett lantbruk, inte minst för att det är en så kapitalintensiv bransch. Det är därför inte så konstigt att medelåldern inom lantbruksbranschen är hög.

Jag är nog inte ensam om att tycka det är viktigt att öka möjligheten för unga att kunna starta en jordbruksverksamhet så vi även i framtiden har en levande landsbygd. Därför tycker jag det är bra att det inom landsbygdsprogrammet erbjuds startstöd för de som är under 40 år och startar en verksamhet för första gången inom jordbruk, trädgård eller rennäring. Syftet med stödet är att underlätta för unga att starta eller möjliggöra ett generationsskifte.

I uppföljningen Vem får startstöd? kan du läsa mer om startstödet och vem som får det. I uppföljningen noterade jag att det vanligaste är att män övertar befintlig verksamhet från familjen eller släkten medan kvinnor istället startar en helt ny verksamhet. Dessutom är män yngre än kvinnor bland de som får startstöd. Vad kan detta bero på? En förklaring kan vara att män oftast tar över en befintlig verksamhet från familjen eller släkten.

Jag analyserade även om det kunde vara så att kvinnor har en högre lantbruksutbildning och att det förklarar att kvinnor är äldre när de startar en verksamhet, men det gick inte att se något samband. Jag började själv fundera på om det kan vara så att man lever kvar lite i tänket om hur man gjorde förr och att det därmed är mer naturligt att män tar över gården efter familjen eller släkten. Det är en intressant fråga och det kan säkert finnas flera andra förklaringar till varför det ser ut såhär.

 

Diagram som visar på vilket sätt män och kvinnor startar sin verksamhet

// Anna Lundberg

Intressanta webbinarier på gång

Landsbygdsnätverket har flera intressanta webbinarier på gång just nu. Det går också bra att se dem senare om du inte har möjlighet att vara med just när de sänds.

• Redan imorgon 2 juni föreläser Josefina Syssner, biträdande professor i kulturgeografi vid Linköpings universitet, om coronapandemins effekter för landsbygderna. Läs mer och anmäl dig i länken.
• På torsdag 4 juni föreläser Catarina Nordin Thorpe, ordförande i Landsbygdsnätverkets arbetsgrupp för Smarta landsbygder, om Smarta landsbygder i Sverige och Europa. Läs mer och anmäl dig i länken.
• Nästa tisdag, den 9 juni, föreläser Carl-Johan Lindén, policyanalytiker på DG Agri, om kommissionens strategi Farm to fork. Läs mer och anmäl dig i länken.
• Den 9 juni har också projektet MATtanken ett webbinarium om kött i offentliga kök. Föreläsare då är Åsa Lannhard Öberg och Johan Wallander från Jordbruksverket, Ulrika Backlund från Livsmedelsverket och Helena Robling från Upphandlingsmyndigheten. Läs mer och anmäl dig i länken.

/ Landsbygdsnätverket