Amanda Duarte, professora del postgrau en Artificial Intelligence with Deep Learning, doctoranda i investigadora de grup de Tecnologies Emergents per a la Intel·ligència Artificial del Barcelona Supercomputing Center (BSC), ha creat una gran base de dades per a la traducció automàtica del llenguatge de signes amb Intel·ligència artificial (IA). How2Sign es presentarà a la conferència CVPR 2021, la de major impacte científic en el seu àmbit.
How2sign conté més de 80 hores de vídeos, en les quals intèrprets de la llengua de signes americana (ASL) tradueixen videotutorials (receptes de cuina, trucs de bricolatge, etc.). Amanda Duarte ha trigat aproximadament dos anys a gravar i analitzar les dades per a la seva publicació.
Aquesta base de dades es concep com un gran recurs que permetrà que investigadors del processament del llenguatge natural i de visió per computador puguin seguir avançant en l’àrea de la traducció automàtica i llenguatge de signes, i també com una nova eina tecnològica per afavorir l’accessibilitat als més de 466 milions de persones amb sordesa o amb dificultats auditives a tot el món.
El projecte ha comptat amb finançament de Facebook AI, la Fundació “la Caixa” i la col·laboració del Grup de Processament de la Imatge de la Universitat Politècnica de Catalunya, la Carnegie Mellon University i la Gallaudet University. Ha estat dirigit per Jordi Torres, responsable del grup de Tecnologies Emergents per a la IA del BSC i catedràtic de la UPC, i Xavier Giró, investigador del BSC, professor de la UPC i director acadèmic del postgrau en Artificial Intelligence with Deep Learning de la UPC School.