Bedrijven die willen investeren in betere IT leven met de wetenschap dat 44 % van deze projecten deels of geheel mislukt, ondanks alle eerdere waarschuwingen. Van alle vernieuwingen, zo concludeert de Standish Group, is 7 % op tijd. De onderzoekers analyseerden 70.000 projecten, dus de resultaten mogen als redelijk ‘hard’ worden beschouwd. Aardig is, dat hoe hoger de kosten voor de IT’ers zijn, hoe hoger de verliespost is. Blijft het loon van medewerkers op het totale IT-project onder de $ 750.000, dan faalt daarvan 5 %. Maar verdienen de IT’ers gezamenlijk meer dan $ 10 miljoen op een klus, gaat 63 % van de projecten de mist in. Komen de kosten boven de $ 10 miljoen, dan is er geen enkel project dat op tijd en binnen het budget is gebleven.
Overheden werken het slechtst: 20 % van de investeringen is effectief, de rest van de projecten is op zijn minste ‘problematisch’. De belangrijkste reden daarvoor: het ontbreken van capabele en gemotiveerde techneuten. Het investeren in mensen en opleidingen wordt vaak genegeerd. Het kost immers geld.
Over de afgelopen drie decennia heeft de Standish Group een ‘Chaos Report’ gepubliceerd (in 2011 hernoemd tot een ‘Chaos Manifesto‘), dat het succes en het falen van ongeveer 80.000 IT projecten per jaar analyseert. In 1995 werd 31 % van alle IT projecten gecanceled of uiteindelijk niet in gebruik genomen, was 53 % vertraagd of boven budget en was slechts 16 % succesvol. Als projecten over tijd waren, dan was dat ook meteen goed over tijd, een gemiddelde overschrijding met 222 %. Boven budget was meteen met gemiddeld 189 % en gemiddeld werd slechts 61 % van de beloofde functionaliteit geleverd. Dit is in de loop van de tijd wel verbeterd, zij het niet in extreme mate, zoals bovenstaande cijfers aangeven.
In de ‘Chaos Summary 2009‘, werd er gesteld dat ‘This year’s results show a marked decrease in project success rates, with 32% of all projects succeeding which are delivered on time, on budget, with required features and functions, 44% were challenged which are late, over budget, and/or with less than the required features and functions and 24% failed which are cancelled prior to completion or delivered and never used’. Een duidelijke verbetering, maar desalniettemin zijn de cijfers zorgwekkend. Net zoals de bovenstaande cijfers uit het Chaos Manifesto van 2011.
Ze vormen een verbetering in de succesratio van projecten van 2008-2010. Het aantal mislukking loopt dus wel wat terug, maar is nog steeds veel te hoog. ‘In the just-released report, CHAOS Manifesto 2011, The Standish Group’s shows a marked increase in project success rates from 2008 to 2010. This year’s results represent the highest success rate in the history of the CHAOS Research’, zegt Jim Johnson, topman van The Standish Group. ‘We clearly are entering a new understanding of why projects succeed or fail’.
De rapporten van de Standish Group worden over het algemeen zeer serieus genomen in de markt en worden door veel investeerders gebruikt. Er bestaat echter ook twijfel over de cijfers die keer op keer in deze rapporten worden gebruikt. Recent hebben J. Laurenz Eveleens en Chris Verhoef een paper gepubliceerd, waarin de cijfers van Standish worden bekritiseerd. Het grootste probleem zit hem in de wijze waarop de cifers voor ‘Succesful’ en ‘Challenged’ worden vergaard. Volgens Eveleens en Verhoef zijn de cijfers ‘misleading, one-sided, pervert the estimation practice, and result in meaningless figures‘. Voor de paper zie hier.