Pubblicato in: cultura della sicurezza, incidenti, miti della sicurezza

Affidabile ma non sicuro

AereodicartaIl tragico incidente aereo del Boeing 737 Max 8 della Ethiopian Airlines mette in discussione l’affidabilità del sistema e la sicurezza dei voli aerei.

Le cause dell’incidente non sono ancora note, ma trovo molto interessante discussione che ne è emersa perché, a mio avviso, si continua a ragionare secondo un paradigma che andrebbe superato.

Partiamo dalla distinzione tra «affidabilità» e «sicurezza».
Già, perché, nonostante in continuazione (anche su questo incidente) si tenda a considerare sicuri i sistemi affidabili, questo assioma non è vero.

Un sistema può essere affidabile ma non sicuro o sicuro ma non affidabile.

In generale, l’uno non implica l’altro.

È un argomento che ho anche accennato nel mio libro, ma qui vorrei meglio esplicitare alcuni concetti.

L’aereo precipitato era dotato di un sensore chiamato “Angle of attack” (“Angolo di attacco”, cioè l’angolo tra l’ala e la direzione relativa del vento) che invia ad un software input che permettono al sistema di correggere automaticamente il profilo del volo.

Se, semplicemente per ipotesi, venisse confermata la tesi secondo la quale il software avesse interpretato le indicazioni del sensore come una condizione di stallo (per un possibile errore nella scrittura del software), laddove il sensore non fosse stato guasto, il sistema avrebbe fatto proprio ciò per cui era stato progettato.
Se, per errore, dici ad un software di fare una certa cosa e quello poi la fa, non puoi prendertela con il software. Anche se quello che fa è indesiderato.
In poche parole, il sistema era affidabile, ma non sicuro.

Prendi adesso Chesley “Sully” Sullenberger, il celeberrimo pilota del Volo 1549 che salvò la vita dei passeggeri e dell’equipaggio facendo ammarare il suo aereo sul fiume Hudson a causa della perdita di un motore avvenuta, dubito dopo il decollo, a seguito dello scontro con uno stormo di oche.
Lì per lì, la commissione che indagava sull’accaduto voleva fargli il culo perché le procedure prevedevano che dovesse tornare all’aeroporto e non prendere la decisione, più rischiosa, di atterrare sull’acqua.
Solo dopo si dimostrò che, se avesse seguito le procedure, l’aereo sarebbe precipitato prima del rientro e che “affiumare” fu la decisione corretta.
Il comportamento del pilota fu, dunque, sicuro ma inaffidabile (non avendo seguito le procedure).

La questione non è solo che «sicurezza» e «affidabilità» sono due cose diverse, ma anche che agiscono a livelli diversi.

L’affidabilità è una proprietà del componente. Una valvola è affidabile e la sua affidabilità, intesa come il tempo medio che intercorre prima del fallimento, può essere testata in condizioni standard.

Nei sistemi complessi, invece, la sicurezza è una proprietà emergente del sistema (cioè qualcosa che non deriva dalle proprietà note dei componenti del sistema). Il singolo componente può anche non essere affidabile e, perfino, non sicuro, ma il comportamento complessivo del sistema può essere sicuro (è il caso dei sistemi fail safe progettato in modo che un malfunzionamento termini sempre in uno stato sicuro).

Nei sistemi complessi l’incidente non è generato solo da malfunzionamenti dei singoli componenti: tutto potrebbe funzionare correttamente, ma le interazioni tra i componenti potrebbero generare un incidente.

L’analisi degli incidenti si è sempre concentrata sui malfunzionamenti (sulle cause), ma le interazioni divengono sempre più rilevanti man mano che i sistemi si fanno complessi.
Più il sistema è complesso, più il malfunzionamento di un componente pressoché irrilevante potrebbe avere effetti catastrofici nella sua interazione con altre componenti.

E non è semplice prevedere tutti i possibili modi di interazione tra le componenti (es. Albero dei guasti) e gli effetti di tali interazioni perché ciò che può essere previsto, può essere progettato e la complessità non può essere progettata.
Ciò implicherebbe la sua concentrazione nella testa del progettista e, in questo caso, il sistema non sarebbe complesso ma semplicemente complicato.

Quando parlo di interazioni tra componenti, non mi riferisco solo a quelle tecnologiche. Il tutto è inserito all’interno di un sistema socio-tecnico più complesso del sistema aereo, che vede coinvolte:

  • Vincoli economici: scelte derivanti dagli obiettivi di profitto delle compagnie aeree che devono risparmiare carburante e uno dei vantaggi del Boeing 737 Max 8 era proprio quello;
  • Prestazioni umane: ogni modifica richiede l’aggiornamento della formazione del personale che con la modifica dovrà convivere (es. i piloti che devono sapere come bypassare il sistema di correzione automatica del profilo di volo). Ma questo significa aggiungere o modificare procedure consolidate, essere certi che le modifiche siano state recepite;
  • Requisiti di progettazione: difficilmente chi progetta un aereo sa scrivere un software e pilotare il velivolo. Così l’uno dà le specifiche all’altro. E il problema è spesso la completezza delle specifiche, non la correttezza del software;
  • componenti politiche: modifiche alle regole che gestiscono l’aviazione civile e che comportano continui aggiustamenti organizzativi e tecnologici che devono convivere con le esigenze di sicurezza, del mercato.

In tutto questo l’aereo deve anche volare.

Nei sistemi complessi, gli incidenti non possono essere descritti con una “catena di eventi”, ma sono generati dalle interazioni tra tutte le componenti socio-tecniche e dalla loro naturale tendenza a spostarsi verso stati di rischio più elevato per esplorare nuovi modi per ottimizzare le proprie prestazioni.

Il paradigma che cerca la spiegazione degli incidenti nelle cause deve essere superato e, con esso, i suoi proclami, come per esempio: «L’80% degli incidenti è causato dal fattore umano».

Bisogna andare oltre le cause e guardare ai meccanismi, smettendo di limitarsi ad osservare gli errori operativi o umani per concentrarsi, piuttosto, sui cambiamenti e le migrazioni del sistema verso stati di rischio maggiore.


V.I.P.S. (Very Important Post Scriptum)
È la prima volta che leggi questo blog?
Allora è probabile che ci ritornerai. Senti a me: ti conviene ricevere delle notifiche quando scriverò nuovi post.
Guarda in alto a destra, c’è la mia foto. Indipendentemente dal tuo sesso, resisti alla tentazione carnale e  guarda sotto, dove dice «Segui ottantunozerotto.it».
Se invece non era la prima volta che leggevi questo blog, allora lo vedi che c’avevo ragione? Fai come ti dico, senti a me…