Un'ambulanza attraversa Firenze a sirene spiegate e, per il software, diventa una strolaga minore, un uccello acquatico del Nord Europa che in un parco cittadino a fine primavera non avrebbe motivo di trovarsi. Una moto che accelera si trasforma in una cicogna bianca, le grida dei bambini in un gabbiano corallino. Sono alcuni degli errori commessi da BirdNET, uno dei software più diffusi per riconoscere gli uccelli dalla voce, e mostrano quanto sia difficile per l'intelligenza artificiale orientarsi nel paesaggio sonoro delle città.
È questa la sfida affrontata da due studi dei ricercatori del Dipartimento di Scienze della Vita e Biologia dei Sistemi dell'Università di Torino, realizzati nell'ambito del National Biodiversity Future Center (NBFC) e basati sulle registrazioni raccolte a Torino e Firenze. Protagonista è BirdNET, un software basato su reti neurali sviluppato dal K. Lisa Yang Center for Conservation Bioacoustics del Cornell Lab of Ornithology e dalla Chemnitz University of Technology. Il primo studio, Listening to the city, pubblicato su Remote Sensing in Ecology and Conservation, prova a rispondere a una domanda molto concreta: quanto possiamo fidarci di questo strumento in un ambiente urbano? Il secondo, Decoding the noise, pubblicato su Journal of Ornithology, fa un passo in più e si chiede come e perché il software sbagli. L'idea di partenza è semplice: gli errori di un'intelligenza artificiale non sono solo difetti da correggere, ma anche un modo per capire come la macchina "ascolta" il mondo.
Per raccogliere i dati, tra maggio e giugno 2024 i ricercatori hanno installato 26 registratori automatici nei parchi e nelle aree verdi delle due città, 15 a Torino e 11 a Firenze, programmati per registrare dieci minuti all'inizio di ogni ora, giorno e notte. Il risultato è un archivio di più di 4.000 registrazioni, analizzate poi con BirdNET. Il lavoro più impegnativo, però, è arrivato dopo: per ogni specie individuata dal software, il gruppo ha riascoltato a mano fino a 500 frammenti di tre secondi, oltre 30.000 in tutto, per controllare se l'identificazione fosse giusta e, quando non lo era, scoprire quale suono avesse ingannato l'algoritmo.
Il primo risultato è incoraggiante. Se al software si indicano il luogo e il periodo della registrazione, così che consideri solo le specie attese in quella zona e in quella stagione, nella maggior parte dei casi l'identificazione è giusta: circa sette rilevamenti su dieci a Torino e quasi otto su dieci a Firenze sono risultati corretti. Se però, invece dei singoli rilevamenti, si contano le specie, il quadro cambia. BirdNET ha segnalato 113 specie a Torino e 136 a Firenze, ma dopo il controllo di esperti ornitologi solo 48 e 65 sono risultate davvero presenti: più della metà delle specie segnalate era quindi frutto di un errore, il 58% a Torino e il 52% a Firenze. Si tratta per lo più di specie comparse poche volte nei dati, che pesano poco sul totale dei rilevamenti ma bastano a gonfiare l'elenco delle specie presenti.
Conta anche il contesto. Per 33 specie i ricercatori hanno calcolato la cosiddetta soglia di confidenza ottimale, cioè il punteggio minimo che il software deve attribuire a un riconoscimento perché lo si possa considerare affidabile. Ne è emerso un quadro molto variabile, con soglie diverse da specie a specie e da una città all'altra.
"BirdNET è uno strumento potente, che permette di analizzare in poco tempo quantità di dati che sarebbero altrimenti impossibili da ascoltare a mano per verificare la presenza di diverse specie. I suoi risultati, però, non vanno presi alla lettera: in città, senza filtri ecologici e senza una verifica umana, il rischio è di ottenere un'immagine della comunità di uccelli molto più ricca di quella reale", spiega la dott.ssa Valeria Ferrario, prima autrice di entrambi gli studi.
Il secondo studio è entrato nel merito degli errori, chiedendosi da dove nascano. In circa sette casi su dieci l'errore nasce perché il software confonde le vocalizzazioni di una specie con quelle di un'altra; in uno su cinque si lascia ingannare da suoni prodotti dall'uomo, come voci, traffico e sirene; nei casi restanti, circa uno su dieci, da suoni naturali come vento e pioggia. Secondo i ricercatori, la spiegazione sta nel modo stesso in cui BirdNET funziona. Il software non "sente" i suoni come farebbe un ornitologo: li trasforma in immagini, gli spettrogrammi, che mostrano come le frequenze cambiano nel tempo, e riconosce le specie dalla forma di quelle rappresentazioni. Se il profilo di una sirena o del motore di una moto somiglia a quello di un richiamo, l'errore è dietro l'angolo. Per l'algoritmo, insomma, conta più la somiglianza del suono che la plausibilità della specie in quel luogo.
Non tutte le specie, però, sono uguali alle orecchie dell'algoritmo. Quelle più comuni in città, come merlo, capinera, cinciallegra e usignolo, vengono riconosciute quasi sempre senza errori, mentre specie che in un parco cittadino non dovrebbero esserci, come l'aquila reale o la nocciolaia, non sono mai state identificate correttamente. In generale, più una specie è specializzata e lontana dall'ambiente urbano, più il software sbaglia, forse perché le specie comuni sono molto più rappresentate nelle registrazioni con cui BirdNET è stato addestrato.
Per incoraggiare un uso più consapevole di questi strumenti, il gruppo ha deciso di rendere pubblici gli errori più istruttivi. Fino a cinque esempi per specie sono raccolti in un archivio online aperto a tutti, dove si può ascoltare con le proprie orecchie la sirena diventata strolaga o la moto trasformata in cicogna. Non è una critica al software, precisano gli autori, ma una risorsa per chi lo usa e per chi lo sviluppa, nello spirito della scienza aperta.
"Le città sono uno degli ambienti più difficili per il monitoraggio acustico, e proprio per questo sono un banco di prova ideale. I nostri risultati offrono indicazioni pratiche a chi vuole usare questi strumenti: filtrare le specie in base alla stagione, calibrare le soglie per ogni specie e per ogni sito e verificare i risultati prima di trarre conclusioni ecologiche", commenta il prof. Enrico Caprio, dell'Università di Torino, ultimo autore di entrambi gli studi.
La questione va ben oltre la curiosità. Secondo le proiezioni, entro il 2050 oltre due terzi della popolazione mondiale vivrà in città, e l'espansione urbana è già oggi tra le principali cause di perdita di biodiversità: monitorare gli uccelli urbani diventa quindi sempre più importante. Strumenti come BirdNET, più rapidi ed economici dei rilievi tradizionali, possono rendere questo monitoraggio molto più esteso. I due studi ricordano però che i loro risultati vanno trattati come dati da verificare, non come elenchi definitivi. E indicano anche una strada per il futuro: "insegnare" al software a riconoscere i rumori tipici delle città, aggiungendo ai dati con cui viene addestrato esempi raccolti sul posto.