Projekt: S2S: AI-Powered Translation Between Sign and Spoken Languages

Według Światowej Organizacji Zdrowia (WHO), ponad 5% globalnej populacji doświadcza ubytku słuchu. Ostatnio rozwój modeli tłumaczenia języka migowego (SLT) stał się niezbędny do automatyzacji komunikacji między osobami niesłyszącymi i słyszącymi. Jednak obecne podejścia SLT są ograniczone zarówno pod względem liczby znaków, które mogą rozpoznać, jak i jakości ich rozpoznawania. Niniejszy projekt proponuje nowatorski model SLT oparty na wizji, przeznaczony do segmentacji ciągłych zdań w amerykańskim języku migowym (ASL) i identyfikacji odpowiadających im glosek przy użyciu zarówno znaków ręcznych, jak i nieręcznych, a także danych znakowych na poziomie słowa. Model ten umożliwia użytkownikom tłumaczenie składni ASL i mówionego języka angielskiego poprzez opracowanie i dostrojenie wielu dużych modeli językowych i statystycznych.