Projekt: Mouseless Mouse

Osoby z ograniczoną mobilnością rąk napotykają problemy w interakcji z technologią. Aby temu zaradzić, opracowano technologię interakcji z maszynami. Wynalazek wykorzystuje kamerę internetową do wydawania poleceń i technologię siatki twarzy do dokładnego mapowania rysów twarzy i przekładania ruchów głowy na ruchy kursora. Dane są wzmacniane, pozwalając jednocześnie na utrzymanie wygodnego ruchu. Wykładnicza średnia ruchoma (EMA) została wykorzystana do poprawy kontroli kursora poprzez nadanie większej wagi ostatnim punktom danych, zmniejszając w ten sposób drgania. Wykorzystywane są możliwości predykcyjne filtra Kalmana, co umożliwia dokładne ruchy kursora w czasie rzeczywistym. Wykrywanie mrugnięć oczu wykorzystuje współczynnik oczu do dokładnego pomiaru reprezentacji mrugnięć oczu. Do wykonywania poleceń opracowano wyspecjalizowany model Vision in Transformer do wykrywania gestów twarzy.