IPOACUSIA: Innovare, informare, partecipare - Nuove metodologie per la comunicazione delle persone con ipoacusia

Il progetto di ricerca “Innovare, Informare, Partecipare - nuove metodologie per la comunicazione delle persone sorde” nasce dall’ambizione, fortemente sostenuta dalle Autorità Regionali sarde, di ridurre le barriere comunicative tra le persone sorde e la Pubblica Amministrazione, attraverso la sperimentazione di strumenti di traduzione automatica della LIS (Lingua dei Segni Italiana), basati su modelli di intelligenza artificiale, per raggiungere lo stato dell’arte a livello internazionale in questo campo e contribuire a migliorare il livello di accessibilità e autonomia delle persone sorde negli ambiti della vita quotidiana.

L’accessibilità è tema urgente e se ne dibatte in numerosi contesti: a tutte le persone disabili deve essere garantito il diritto di accedere, al pari di tutti, a ogni ambito della vita.

Molte attività accessibili alle persone udenti possono essere completamente inaccessibili per una persona sorda ledendo di fatto, e a tutti i livelli, il suo diritto alla salute, all’istruzione, al lavoro, alla socialità. Garantire la presenza di strumenti tecnologici adeguati e di figure professionali altrettanto adeguate, aumenta l’autonomia e l’indipendenza dei cittadini sordi.

 

L'approccio scelto dal CRS4 per affrontare questa sfida è basato sull'utilizzo di modelli di deep learning caratterizzati da architetture di reti neurali artificiali complesse. Il primo step, nell’attività di ricerca in corso di svolgimento presso il CRS4, è la costruzione di un dataset di video, elaborato con il supporto di esperti LIS e di un team rappresentativo della comunità di persone sorde.

Questi dati, opportunamente processati, costituiranno l'input per il secondo step: l'addestramento di una adeguata rete neurale artificiale, in grado di riconoscere segni prodotti davanti ad una webcam, traducendoli in forma testuale o vocale, favorendo così l'interlocuzione tra udenti e non udenti.

Il progetto, frutto della collaborazione fra l'Assessorato regionale della Sanità - Direzione generale delle politiche sociali, Sardegna Ricerche e il CRS4, si è classificato al primo posto nella graduatoria nazionale dei progetti regionali di inclusione sociale delle persone con ipoacusia ammesso al finanziamento a valere su Fondi Nazionali della Presidenza del Consiglio dei Ministri, Ufficio delle politiche in favore delle persone con disabilità.

17 marzo 2022 - Evento di presentazione del progetto.
Per il CRS4, sono intervenuti all'evento l'Amministratore Unico Giacomo Cao, la ricercatrice Erminia Leonardi e Maria Paola Casula, interprete LIS e consulente del progetto con Alessandra Mura, esperta di lingua e cultura sorda.  Durante l'evento è stato mostrato il video di presentazione del progetto, prodotto dal CRS4 e ideato e realizzato da Marco Spanu.

 

13 aprile 2022 - Primo Living Lab
Il primo di una serie di eventi territoriali partecipativi, organizzati per sperimentare e lavorare concretamente sulle tecnologie e le innovazioni proposte dal progetto, con un panel di operatori scelti in collaborazione con la Direzione regionale delle politiche sociali, i comuni di riferimento e gli URP regionali.

L'evento si è aperto con una fase interattiva e di formazione tenuta da Maria Paola Casula (interprete LIS) e da Alessandra Mura (docente Lis sorda). La seconda parte della giornata, curata da Marco Spanu, Alessandra Mura, Davide Porta e Maria Paola Casula, è stata dedicata all'incremento dell'attuale vocabolario previsto dal progetto mediante la registrazione video di vocaboli espressi nella Lingua dei Segni Italiana.

 

18 maggio 2022 - Secondo Living Lab
Ne corso del secondo Living Lab, è stata illustrata una ulteriore attività di sperimentazione che ha riguardato il processo di traduzione dalla lingua italiana parlata alla Lingua dei Segni Italiana. I risultati dimostrano che il passaggio dalla lingua parlata alla Lingua dei Segni Italiana è un obiettivo che oggi sembra essere raggiungibile, ma ad alcune determinate condizioni e in ambiti specifici, avendo a disposizione un lessico di segni LIS opportunamente creato.

 

31 maggio 2022 - Terzo Living Lab
Tecnici, esperti del Linguaggio dei segni e persone sorde, si sono confrontati per capire quali siano le problematiche legate all'utilizzo degli algoritmi di Intelligenza artificiale per l'interpretazione del linguaggi dei segni, nel corso del terzo Living Lab che si è tenuto come i precedenti all'Ex Manifattura Tabacchi di Cagliari.

 

21 giugno 2022 - Evento Finale

Il dataset CRS4-LIS - elaborato con il supporto di esperti LIS e di un team rappresentativo della comunità delle persone sorde - è costituito da 120 vocaboli della lingua italiana, scelti tra quelli più ricorrenti nelle interlocuzioni dei sordi con la Pubblica Amministrazione.

In particolare, per la realizzazione di CRS4-LIS sono state coinvolte 15 persone sorde, di varia età e sesso. Durante l’attività di laboratorio prevista dal progetto sono stati aggiunti altri segnanti, sia udenti che sordi, portando il loro numero complessivo a 27. La maggior parte dei video è stata registrata utilizzando il dispositivo Kinect v2, un prodotto originariamente sviluppato da Microsoft per la console Xbox 360, sensibile al movimento del corpo umano, che permette la registrazione di video in diverse modalità contemporaneamente: video RGB, Depth, estrapolazione scheletro del segnante, infrarossi. Per questo progetto sono stati utilizzati soltanto i video del tipo RGB (per un totale di 3240 campioni), con risoluzione 512x512 e frame rate di 20 f/s.

A breve sarà disponibile il dataset.

Durante l’attività di progetto sono state analizzate ed utilizzate due differenti architetture di reti neurali artificiali convoluzionarie (CNN),  entrambe del tipo “sheleton based”:

1. cvpr21chal-slr (https://github.com/jackyjsy/CVPR21Chal-SLR).
   Con questa CNN, realizzata dal team di ricerca della Northeastern University di Boston, è stato possibile raggiungere accuratezze di previsione del segno del 95%.
2. crs4-ann-lis. Questa CNN, del tipo LSTM, realizzata in-house, richiede circa 120-150 esempi per segno ed è stata testata solo sui segni del dataset della lingua dei segni turca AUTSL (http://cvml.ankara.edu.tr/datasets), raggiungendo accuratezze di precisione del 92%.

Un’altra attività di sperimentazione all’interno del progetto ha riguardato il processo di traduzione dalla lingua italiana parlata alla Lingua dei Segni Italiana. I risultati ottenuti appaiono incoraggianti. Il passaggio dalla lingua parlata alla Lingua dei Segni Italiana è un obiettivo che oggi sembra essere raggiungibile, ma ad alcune determinate condizioni. Alcune prove effettuate dimostrano che il passaggio dall'italiano parlato all'italiano segnato può essere realizzato, per mezzo della Natural Language Processing, avendo a disposizione un lessico di segni LIS  opportunamente creato.

Un vero processo di traduzione dall'Italiano parlato alla LIS è qualcosa di decisamente più complesso, che si potrebbe realizzare, nel breve periodo, con raffinamenti progressivi e in un contesto specifico. Tale strumento sarebbe in grado di rappresentare un messaggio in italiano parlato nella Lingua dei Segni Italiana.