9 januari 2013
Grote schommelingen tussen resultaten drie modelleringen van zelfde Masterplan 2020 doen vragen rijzen over voorspellende waarde van onderzoeken
Onstandvastige resultaten bieden weinig houvast voor besluitvoering miljardenproject. Onzeker karakter van cijfers bevestigt
* noodzaak van hanteren voldoende grote fouten- of afwijkingsmarge (= enkele procenten) bij interpretatie en evaluatie resultaten aparte scenario’s én onderlinge vergelijking scenario’s
* voorbehoud om verkeersmodellering tot het alfa en omega uit te roepen bij bepaling van mobiliteitsplan
* belang van kritische evaluatie conclusies eerdere modelleringen bij afwijkende resultaten in plaats van die met de mantel der liefde te bedekken
In kringen van actievoerders hebben we het wel eens over de Oosterweelverblinding ofwel: BAM-personeel en politici die koste wat het kost vasthouden aan het regeringsproject, ongeacht de kritiek erop en de wankele onderbouw ervan. Hun focus op dat project maakt hen blind voor alternatieven en de logica erachter (= doorgaand verkeer rond de stad). Het Oosterweeldossier is heel erg ziek in dit bed, beseffen inmiddels veel Vlamingen, en het ziet er niet naar uit dat daar vlug verandering in zal komen.
Eergisteren raakte bekend dat de makers van het plan-MER over de Oosterweelverbinding een paar weken extra tijd nodig hebben om hun rapport te finaliseren. De politieke deadline van 21 januari wordt niet gehaald. Reactie uit politieke hoek en bij de BAM? Dat dit geen belemmering mag vormen om tegen begin april alsnog het ruimtelijk uitvoeringsplan voor het BAM-tracé vast te leggen. Hun conclusies over het plan-MER liggen dus al vast: de winnaar is de Oosterweelverbinding.
Dat het Meccanotracé goed scoort op het vlak van mobiliteit en beter dan de Oosterweelverbinding op het vlak van leefbaarheid, blijkens het voorlopige MER-rapport? Niet relevant. Dat er nog honderden opmerkingen vanuit de adviesorganen en de dienst-MER verwerkt moeten worden vooraleer een definitief rapport op tafel ligt? Pro-forma-kwestie, blijkbaar. Dat vragen rijzen over de robuustheid van de verkeersmodelleringen? Geen tijd daarvoor, want het moet vooruit gaan en de buitenwacht begrijpt toch niet waarover dat gaat.
Het niet kunnen begrijpen als buitenwacht van waarover het gaat is een van de zwaktes van het ontwerp-MER. Twee maanden geleden, op 8 november 2013, bezorgde de dienst-MER het ontwerp-MER Oosterweelverbinding aan een twintigtal adviesorganen. In het ontwerp-MER ontbraken de synoptische cijfertabellen die de onderlinge vergelijking van gemodelleerde verkeersscenario’s mogelijk moeten maken. Op 11 december 2013 wezen we reeds hierop tijdens een persconferentie over onze eerste bevindingen bij deelrapport 4 (mobiliteit) van het ontwerp-MER.
Als gevolg van het ontbreken van synoptische tabellen (= overzichtstabellen) is het niet alleen moeilijk om de resultaten van verkeersscenario’s onderling te vergelijken, maar blijven ook relevante schommelingen tussen resultaten van opeenvolgende verkeersmodelleringen van eenzelfde wegennetwerk onzichtbaar. Als lezer van de rapporten moet je eerst zelf die synoptische tabellen opstellen, vooraleer je zicht kun krijgen op die fluctuaties.
stRaten-generaal maakte daarom synoptische tabellen voor diverse snelwegsecties van het Masterplan 2020 (= Oosterweelplan), op basis van drie rapporten van het Vlaams Verkeerscentrum (VVC) uit de periode 2011-2013 (september 2011, november 2011, september 2013). Het gaat hierbij om telkens nieuwe doorrekeningen van grotendeels hetzelfde verkeersplan. Telkens zien we effectief grote fluctuaties opduiken. Twee voorbeelden.
1. belasting aantal voertuigen per uur van de geplande A102 ter hoogte van Schoten, bij avondspits. In noordwaartse richting fluctuaties van 1500 voertuigeenheden/uur in het onderzoek van september 2011 naar 1700 (+13%) in het onderzoek van twee maanden later naar 2780 (+63%) in het onderzoek van 2013, ofwel een totale schommeling van 85%. In omgekeerde richting blijft het cijfer 2300 identiek in de beide rapporten van 2011, maar is er een afname naar 1800 (-22%) in het rapport van 2013. Behalve de grootte van de fluctuaties valt ook het ongelijke en zelfs tegengestelde patroon op in beide richtingen.
2. belasting aantal voertuigen per uur van de geplande R11bis tussen de luchthaven en Wommelgem, bij avondspits. In noordwaartse richting fluctuaties van 2500 naar 2400 (- 4%) naar 3500 (+46%), totale schommeling van 40%. In omgekeerde richting zien we opnieuw een fluctuatie in tegengestelde zin: van 1800 naar 2000 (+11%) naar 1940 (-3%).
Op amper twee jaar tijd stellen we tegengestelde fluctuaties (toename en afname) in alle denkbare grootteordes vast (tot 85% afwijking) bij modellering van eenzelfde Masterplan door eenzelfde onderzoeksbureau. De modellering gebeurde met dezelfde software (Cube Voyager), op basis van hetzelfde statisch, multimodaal, geaggregeerd verkeersmodel (MMANT), eenzelfde socio-demografische databank, dezelfde module van vraagmodel (BASMAT), enzovoort.
Een dergelijke weinig toonvaste ‘berekening’ van verkeersvolumes, waarbij de volumes per nieuwe studie als jojo’s op en neergaan heeft veel weg van giswerk. Het is een ernstige vaststelling, gelet op het belang dat wordt gehecht aan de modelleringen voor regeringsbeslissingen over miljardenprojecten. Aangevoerd kan worden dat tussen twee modelleringen in het modelinstrumentarium is aangepast, detailprognoses zijn bijgesteld, aansluitingen met het onderliggend wegennet zijn verplaatst, enzovoort, maar dit soort uitleg bevestigt slechts de keerzijde van het steeds weer ‘verfijnen’ van zowel meetinstrument als onderzoeksobject, zoals we reeds aangaven in onze kennisgevingsnota van december 2011 (p.48):
Het Verkeerscentrum heeft over de jaren heen verkeersmodellen ontwikkeld die steeds ingewikkelder werden, met steeds meer variabelen. Dergelijke evolutie wordt als een verfijning van het meetinstrumentarium ervaren, maar dat is niet noodzakelijk ook zo. Wanneer een databestand overladen wordt met gegevens, gaat het ook meer toevalsfluctuaties vertonen. Dit probleem staat bekend als overfitting: een cumulatie van mogelijke afwijkingen die worden meegenomen in de berekeningen maar bij elkaar opgeteld tot significante fouten kunnen leiden. In dat geval geeft een eenvoudiger model soms meer realistische prognoses.
Die overfitting kan de plotse schommelingen tot 60 en 80 % op amper twee jaar tijd verklaren. Alleszins bevestigen de grote afwijkingen de vaststelling dat verkeersmodellering verre van een exacte wetenschap is en dat het daarom aangewezen is om het volgende in acht te nemen bij het verbinden van conclusies aan resultaten van een verkeersmodellering:
1. Noodzaak van hanteren voldoende grote fouten- of afwijkingsmarges (enkele procenten) bij evaluatie resultaten aparte scenario’s én onderlinge vergelijking scenario’s
Om niet-betekenisvolle verschillen tussen resultaten voor diverse scenario’s – zowel in de tijd (bv. tussen modelleringen 2011 en 2013) als ruimtelijk (bv. tussen verschillende netwerken) – te herleiden tot wat ze zijn, is het essentieel dat wordt rekening gehouden met voldoende grote fouten- of afwijkingsmarges.
Dit gebeurt uitdrukkelijk niet in het voorliggende ontwerp-MER. Bij toekenning van vergelijkende scores aan scenario’s met respectievelijk de Oosterweelverbinding en het Meccanotracé werd geen rekening gehouden met dergelijke marges, wat tot misleidende differentiëring en vertekenende totaalscores leidt. We wezen reeds hierop in onze perscommunicatie van 11 december ll. Concreet hekelden we de verkeerde conclusie dat een scenario met Oosterweelverbinding ‘beduidend beter’ zou scoren dan een scenario met Meccano, gelet op de kleine onderlinge verschillen in performantie qua bv. bereikbaarheid van stad en haven, die in het ontwerp-MER ten onrechte worden uitvergroot.
Tot differentiërende conclusies komen op basis van onderlinge vergelijking van percentages en cijfers die mits hantering van foutenmarges van eenzelfde orde blijken wijst op vooringenomenheid eerder dan op wetenschappelijke rigueur. Dat evaluaties van alternatieve opties voor het regeringsproject onder vooringenomenheid kunnen lijden mochten we reeds eerder ervaren in het Oosterweeldossier. Op 13 september 2011 schreef het Vlaams Verkeerscentrum in een studienota dat uit eigen onderzoek bleek dat het oplossend vermogen van het Meccanotracé ‘beperkt’ was. Eerder had Transport & Mobility Leuven evenwel al tweemaal (september 2010 en juni 2011) in studies bevestigd dat het Meccanoscenario prima werkt, en uit de recente modelleringen van het Meccanotracé in fase 4 van het plan-MER Oosterweelverbinding komt eveneens dat beeld naar voor. Het Meccanotracé haalt er een score ‘significant beter’ voor alle relevante parameters op het vlak van oplossend vermogen. Concreet gaat het om een significante verbetering voor trajecttijden, congestiepunten en bereikbaarheid haven en stad t.o.v. de referentiesituatie 2020 en een zeer significante verbetering (‘in sterke mate verbeterd’) voor de algehele robuustheid van het verkeerssysteem. In zekere zin bevestigt het Vlaams Verkeerscentrum daarmee, en pas nu, de resultaten van Transport & Mobility Leuven. Ook de spectaculaire ontlasting ter hoogte van het Sportpaleis bij aanleg van het Meccanotracé kwam reeds naar boven in het rapport van TML en wordt nu bevestigd in de ontwerp-MER.
Vooringenomenheid jegens alternatieven trof ook voorstellen van anderen. In 2009 noteerden de transporteconomen Bruno De Borger en Stef Proost in hun artikel ‘De Oosterweelverbinding en het ontbrekende alternatief’ (Leuvense Economische Standpunten 2009/127, p.15):
Het is niet a priori duidelijk of de nu voorgestelde oplossing door de BAM (geen vrachtwagens door de Kennedytunnel en enkel tol op de Oosterweelverbinding) beter scoort dan een alternatief waarbij vrachtwagens van beide alternatieven gebruik kunnen maken. Wat wel zeker is, is dat deze problematiek een grondig onderzoek vereist.
Hun analyse werd vervolgens jarenlang genegeerd, deels omdat het Vlaams Verkeerscentrum enkel scenario’s mag modelleren die door de Vlaamse regering en haar kabinetten zijn goedgekeurd. ‘Als gevolg van deze dynamiek werden alternatieve voorstellen over de jaren heen stiefmoederlijk behandeld,’ schreven we daarover in onze nota ingediend tijdens de kennisgevingsperiode voor het plan-MER over de Oosterweelverbinding (december 2011).
Ruim vier jaar nadat de professoren hun artikel hebben gepubliceerd, is ‘de voorgestelde oplossing door de BAM’ nog steeds het officiële voorstel van overheidswege. Dat voorstel wordt nu in het ontwerp-MER van 8 november 2013 als ‘contraproductief’ beschouwd: het werkt niet. Vooringenomenheid bij de selectie van wat mocht worden gemodelleerd en wat niet heeft aldus geleid tot jarenlang ter plaatse trappelen.
2. Verkeersmodellering niet als alfa en omega beschouwen bij het bepalen van beleid
Sinds 10 juni 2005 reeds is ‘de voorgestelde oplossing door de BAM’ het officiële voorstel van overheidswege. Die dag keurde de Vlaamse regering de strategie 1B ‘Oosterweelverbinding gekoppeld aan een hoge tolheffing’ in combinatie met vrachtverbod aan de Kennedytunnel als voorkeursscenario goed, op basis van een positieve evaluatie van de verkeersmodellering ervan in het toenmalige plan-MER Oosterweelverbinding. Acht jaar lang werd dit scenario met hand en tand verdedigd door de regering, de BAM en het Vlaams Verkeerscentrum, op basis van allerhande rapporten. Andere scenario’s werden al die tijd politiek van tafel geveegd. Sinds 8 november 2013 blijkt evenwel uit de nieuwe verkeersmodellering gemaakt voor het nieuwe plan-MER Oosterweelverbinding dat het overheidsproject ‘contraproductief’ is. Dit is een treffende illustratie van de onzekerheid van verkeersmodelleringen, die de Vlaamse regering en de BAM tot voorzichtigheid zouden moeten aanmanen bij het vasthouden aan hun eigen project, nl. de Oosterweelverbinding.
3. Ruimte laten voor kritische evaluatie van eerdere modelleringen, en dit ook expliciteren
Wat ons bij de derde vaststelling brengt. Bij studiebureaus bestaat de houding om hun ‘laatste’ doorrekeningen van modellen als de enige te beschouwen en voorbije doorrekeningen die daar significant van afwijken met de mantel der liefde te bedekken. Ongeacht de grootteorde van afwijkende resultaten wordt dan overgegaan tot de orde van de dag, zonder kritische evaluatie van eerdere onderzoeken die het tegendeel aangaven van wat nieuw onderzoek leert. Meer nog: de nieuwe resultaten blijken geen aanleiding om de oude en daarop gebaseerde conclusies in vraag te stellen. De oude en de nieuwe conclusies blijven tegelijk overeind, ongeacht de afwijkende modelleerresultaten.
Op dat moment wordt het modelleren van verkeersscenario’s een religie, want waarom dan nog verkeersmodelleringen maken? De vraag stellen is ze beantwoorden.
Manu Claeys en Peter Verhaeghe, voor stRaten-generaal