Experiment metodologic privind explicarea și verificarea clasamentelor multicriteriale
Metodologie de ierarhizare transparentă a măsurilor de mobilitate urbană
Problema de cercetare
Analiza multicriterială este utilizată pentru compararea unor alternative evaluate simultan după criterii diferite. În planificarea mobilității urbane, măsuri precum introducerea unei zone cu emisii reduse, dezvoltarea infrastructurii pentru biciclete sau creșterea frecvenței transportului public pot fi evaluate din perspective climatice, de mobilitate, tehnice, economice și sociale. Prin combinarea performanțelor măsurilor cu importanța acordată criteriilor se obține un clasament al alternativelor. În metodologia experimentului, aceste două componente sunt păstrate explicit separate, unde performanțele reprezintă baza cantitativă a evaluării, iar ponderile exprimă preferințele aplicate procesului decizional.
Clasamentul final indică ordinea alternativelor, dar nu explică în mod direct de ce o măsură este poziționată înaintea alteia și nici ce modificare ar fi necesară pentru ca această relație de ordine să se schimbe. Transparența decizională impune explicarea motivului pentru care o alternativă este clasată înaintea alteia și verificarea cantitativă a explicației.
Metodologia prezentată aici tratează această problemă prin trasabilitate, în care fiecare etapă poate fi urmărită și controlată independent, de la datele de intrare până la verificarea explicației.
Modificarea identificată este aplicată modelului, clasamentul este recalculat, iar rezultatul este comparat cu schimbarea anticipată.
Lanțul metodologic
Ce propune studiul
Studiul propune o metodologie care adaugă clasamentului multicriterial trei capabilități ce depășesc simpla obținere a ierarhizării rezultatelor și anume: explicarea relațiilor de ordine prin contribuția criteriilor, identificarea modificării preferințelor ce ar inversa o ordine dată și verificarea acestei explicații prin recalculare. Întregul proces se bazează pe trasabilitate și transparență, putând fi urmărit pas cu pas, de la datele de intrare până la explicația verificată.
Explică ordinea contribuțiilor
Identifică ce ar inversa o ordine dată
Verifică explicațile prin recalculare
Principiile metodologice
Performanțele măsurilor pe fiecare criteriu (dovezile) sunt fixate înaintea și independent de importanța acordată criteriilor (preferințe). Matricea de performanță este stabilită încă de la început și nu mai este modificată ulterior. Ponderile criteriilor se introduc separat. Astfel, orice diferență de clasament poate fi atribuită fie datelor, fie preferințelor, dar niciodată unei confuzii între ele. Această separare previne raționamentul circular, în care ponderile ar fi ajustate retrospectiv pentru a obține un rezultat dorit.
Diferența dintre scorurile a două măsuri este descompusă în contribuțiile individuale ale criteriilor, evidențiind factorii care determină ordinea acestora în clasament. Analiza arată dacă diferența este dominată de un criteriu sau rezultă din efectul net al mai multor criterii cu contribuții opuse.
Pentru fiecare relație de ordine analizată, metodologia identifică modificarea minimă a ponderilor criteriilor necesară pentru inversarea poziției relative a două măsuri. Modificarea este apoi aplicată, iar clasamentul este recalculat pentru a verifica dacă inversarea anticipată se produce. Explicația devine astfel o predicție verificată cantitativ.
Metodologia examinează stabilitatea clasamentului sub două forme de variație. Prima privește metoda de agregare unde aceleași date sunt clasate prin metode multicriteriale diferite, iar acordul dintre clasamente este măsurat. A doua privește preferințele, în care ponderile sunt variate în jurul unui profil de referință, iar sensibilitatea ordinii la aceste variații este cuantificată. O relație de ordine care se menține sub aceste variații este considerată stabilă, iar una care se schimbă ușor este semnalată ca fragilă.
Stabilitatea rezultatului față de metoda de agregare. Pentru ca rezultatul să nu depindă de o singură tehnică de calcul, clasamentul este produs prin două metode de analiză multicriterială cu principii diferite. Prima este metoda sumei ponderate (Weighted Sum Model), care agregă performanțele într-un scor global, ca sumă a valorilor ponderate pe fiecare criteriu. Este metoda de referință a studiului, transparentă și direct interpretabilă, ceea ce o face potrivită pentru explicarea clasamentului. A doua este metoda TOPSIS, care operează pe un principiu distinct, în care fiecare măsură este evaluată după distanța față de o soluție ideală și de una non-ideală, iar clasamentul reflectă apropierea de soluția ideală. Cele două metode pornesc de la aceleași date și aceleași preferințe, dar ajung la clasament pe căi conceptual diferite. Concordanța dintre ele, măsurată prin corelația de rang, arată dacă ordinea reflectă structura reală a datelor sau este un artefact al unei anumite tehnici de agregare.
Stabililatea față de preferințe. Ponderile criteriilor sunt variate în jurul unui profil de referință, iar sensibilitatea ordinii la aceste variații este cuantificată. O relație de ordine care se menține sub aceste variații este considerată stabilă; una care se schimbă la modificări mici ale ponderilor este semnalată ca fragilă.
Documente
Metodologia, datele de intrare și calculele sunt documentate integral în trei materiale disponibile pentru consultare și descărcare. Fiecare poate fi citit independent, dar împreună acoperă întregul parcurs, de la fundamentarea conceptuală până la verificarea explicațiilor.
1. Metodologia completă
Primul document prezintă cadrul teoretic și protocolul complet al studiului. Definește problema de cercetare, principiile care stau la baza abordării și succesiunea etapelor, de la construirea matricei de performanță și introducerea ponderilor până la explicarea contrafactuală și verificarea prin recalculare. Fiecare etapă este formulată matematic, cu regulile de calcul și condițiile de verificare aferente. Documentul stabilește, de asemenea, garanțiile metodologice ale studiului, în special separarea dintre performanțe și preferințe și prevenirea ajustării retrospective a datelor.
2. Setul de date
Al doilea document conține matricea de performanță utilizată în studiu și fundamentarea fiecărei valori. Măsurile de mobilitate urbană analizate și performanțele lor pe criteriile climatice, de mobilitate, tehnice, economice și sociale sunt derivate din literatura de specialitate și din documentele europene de planificare a mobilității durabile. Pentru fiecare valoare este indicată sursa și raționamentul care o justifică, astfel încât matricea de intrare să poată fi examinată și reutilizată independent de restul studiului.
3. Raport de validare
Al treilea prezintă aplicarea completă a metodologiei pe setul de date. Cuprinde etapele de calcul ale clasamentului, descompunerea scorurilor pe criterii, analiza contrafactuală și verificarea explicațiilor prin recalculare, precum și compararea clasamentelor obținute prin cele două metode de agregare și analiza de sensibilitate. Toate rezultatele sunt prezentate cu pașii intermediari, astfel încât fiecare calcul să poată fi urmărit și refăcut.