Concept på NTNU ((Concept rapport nr. 35: Statens Prosjektmodell. 2013. Knut Samset og Gro Holst Volden)) har gjennomgått 40 av de prosjektene som til nå har vært gjennom kvalitetssikring etter at Staten ved Finansdepartementet innførte ordningen med ekstern kvalitetssikring i 2000.

Årsaken til at ordningen ble innført var at kostnadsoverskridelser i store offentlige investeringsprosjekter snarere var regel enn unntak.  Prosjektene tok lenger tid å gjennomføre enn planlagt og overskridelsene var typisk på mellom 40 og 200 %.  Overskridelser og forsinkelser var så vanlig at det var forventet, og det ønsket offentlige myndigheter å gjøre noe med.

Det ble derfor innført en system med ekstern kvalitetssikring av valgt konsept (KS1) og kostnadsramme og styringsunderlag (KS2). Ordningen er administrert av Finansdepartementet og ekstern kvalitetssikring skal være på plass før de to viktigste beslutningspunktene i slike prosjekter:

 

KS2 ble innført i 2000, mens KS1 ble innført i 2005.  Concept-rapporten omhandler derfor bare prosjekter som er gjennomført, endelig kostnad beregnet og der det er gjort KS2-analyser.  Det er for kort tid siden KS1 ble innført til at det er erfaringsmateriale til å si noe om hvorvidt det bidrar til bedre kvalitet på prosjektene.  Ingen av de prosjektene som har vært gjennom KS1 er hittil ferdig gjennomført.

KS2-analysen skal ta høyde for den usikkerhet som ligger i fremtidige kostnader og planer ved at kostnadene er sannsynlighetsbaserte og der det er spesielt fokus på P50 (forventningsverdi) og P85 som tar høyde for den usikkerhet som ligger i kostnadsanslagene. Stortingets kostnadsramme ligger normalt omkring P85, mens den utførende etat skal styre etter P50 og må på departementsnivå for bruke av usikkerhetsreserven (P85-P50).

NTNU finner ved å plotte prosjektenes overskridelser og besparelser i forhold til styringsrammen (P85) at de 40 prosjektene som helhet at som portefølje fordeler prosjektene seg noenlunde likt rundt forventningsverdi:

Dette må sies å være gode resultater dersom vi tar utgangspunkt i situasjonen før ordningen ble innført, da overskridelsene var mye større og besparelsene få.  Om du ser bort fra prosjektene i ytterkantene (-40% og +80%) som ligger spennet mellom -20% og +30%.

Men kan det sies at KS-ordningen har bidratt til dette?  Studien viser at kostnads- og styringsrammene i stor grad baserer seg på kvalitetssikrers anbefalinger, og at den usikkerheten som har bidratt til avvik i stor grad var identifisert i kvalitetssikringsrapportene, og

«Mye tyder derfor på at KS2-ordningen og den metodikken som benyttes for kostnadsestimering har hatt positiv effekt. [..] En ser også at en har fått bedre kostnadsstyring i gjennomføringsfasen, ettersom flertallet av prosjektene ligger (godt) under kostnadsrammen.  Praksisen med å fastsette en lavere styringsramme for etaten har trolig vært et viktig grep for å gi insentiv til bedre kostnadseffektivitet.»

Erfaringer med KS-ordningen

En komplett basis-kostnad og et sentralt styringsdokument skal foreligge på det tidspunkt ekstern kvalitetssikring igangsettes.  Kvalitetssikrer skal gjennomgå begge dokumentene, og med utgangspunkt i basis-kostnad gjennomføres så analysen av usikkerhet knyttet til estimatene, med en sannsynlighetsfordelt forventningsverdi.

Figuren over viser en typisk sannsynlighetsfordeling for et prosjekt, med rammer satt på sannsynlighetsnivåene P50 og P85.  Ofte tildels prosjektledelsen et lavere nivå enn etatens ramme (P50), for eksempel tilsvarende basiskostnad.

De 40 prosjektene Concept har sett på fordeler seg slik:

 

Forfatterne finner at 32 av 40 prosjekter (80%) av prosjektene ble gjennomført innenfor eller på Stortingets kostnadsramme ((Concept nr. 35, side 35)).   Spesielt veiprosjektene viste store innsparinger, mens halvparten av de totale overskridelsene skyldes ett jernbaneprosjekt (dobbeltspor Sandnes/Stavanger).

Om prosjektene grupperes etter sektor og hvorvidt de holdt seg innenfor kostnadsrammen at

• Forsvar: 100% av prosjektene innenfor kostnadsrammen
• Vei: 80%
• Jernbane; 67%
• Bygg; 71%.

Rapporten viser at det er små prosjekter som har størst overskridelser ((Concept nr. 35, side 36)).  De større prosjektene ligger bedre an.   Men forfatterne problematiserer dette. Det viser seg å være en (viss) sammenheng mellom størrelse på prosjekt og relativ usikkerhetsavsetning ( (P85-P50)/P50 ) – det settes altså av for mer usikkerhet jo større prosjektene er.  Dermed kan det være at prosjektene i utgangspunktet har estimert basiskostnad for lavt og lagt for mye inn i usikkerhetsreserven, eller at det er tatt for store påslag for usikkerhet.

Forfatterne argumenterer med at prosjektene sett som en portefølje fordeler seg normalt rundt P50 nivå, og at resultatet for alle prosjektene viser at forventningsverdien treffer ganske bra.  Men de påpeker også at standardavviket til resultatene er noe høyere enn det man burde forvente gitt de sannsynlighetskurvene som lå til grunn for prosjektene.  Det vil si at de analysene som er gjort kan ha underestimert risiko eller oversett betydelige usikkerheter, som så har slått ut i resultatene.

I stor grad er ekstern kvalitetssikrers anbefalinger lagt til grunn både når det gjelder etatens styringsramme og Stortingets bevilling ((Concept nr. 35, side 41-42)).

Hva kan konkluderes?

Rapporten viser at noen sektorer har større overskridelser enn andre, og at små prosjekter har større overskridelser enn store.  Det skulle tilsi et økt fokus på kostnadsestimering og styring i disse sektorene.  Det er også interessant å se på hva som gjør at Forsvaret treffer så bra og ta læring av det.

Personlig synes jeg det hadde vært veldig interessant å studere det faktum at standardavvikene i prosjektene er større enn hva den opprinnelige estimeringen indikerte.  Hva skyldes det?  Er det store hendelser som fikk større konsekvenser enn antatt, eller som ikke ble estimert?  Hva er avvikene på estimatkalkylen?  Fra modelleringsståsted er nettopp disse svarene interessante.  Dersom avvikene i stor grad er utenfor estimatene tilsier det at modelleringen kanskje ikke er god nok og kan forbedres.

Det er også interessant å se på hvorvidt det er slik at det i utgangspunktet estimeres for store usikkerhetsreserver for store prosjekter.  Det kan skyldes en redsel for store oppslag om overskridelser slik vi så tidligere, men det vil føre til at det blir «for lett» å holde seg innenfor Stortingets ramme.  Eller sagt på en annen måte – Stortinget har i utgangspunktet gitt en for stor bevilling.  Er den for stor vil det være lettere å holde seg innenfor kostnadsrammen, og det kan bidra til at prosjektet blir dyrere enn det burde bli.  Men forfatterne mener det ikke ser ut til å være insentiver for å bruke opp usikkerhetsreserven  ((Concept nr. 35 s 9: «Det faktum at avvikene i forhold til styringsrammen går både i positiv og i negativ retning tyder også på at et eventuelt insentiv til å bruke opp usikkerhetsavsetningen ikke slår til»)).

Men det er sannsynlig at innføringen av KS-ordningen har gitt positive resultater og gitt betydelig bedre kontroll på kostnadene i store offentlige prosjekter.  Den metodiske måten det gjennomføres på er temmelig sikkert et bidrag til det.  Og her tror jeg det er noe å lære også i privat sektor.