Okulary EchoSpeech z funkcją sonaru mogą być wykorzystywane do sterowania urządzeniami, a nawet do pomocy osobom niepełnosprawnym.
Niektórym ludziom brakuje mocy mowy, inni pracują z kolei w hałaśliwym otoczeniu, w którym wydawanie poleceń głosowych na głos po prostu nie działa. Tacy ludzie mogą potrzebować okularów EchoSpeech, które czytają ciche słowa ich użytkownika. Eksperymentalne okulary są opracowywane przez zespół z laboratorium Smart Computer Interfaces for Future Interactions (SciFi) Uniwersytetu Cornell.
Może Cię zainteresować też: Inteligentne okulary AR – Arges stworzono specjalnie dla osób niedowidzących
Dwa miniaturowe głośniki skierowane w dół są zamontowane na spodzie ramy pod jednym okularem, a dwa minimikrofony pod drugim. Głośniki emitują niesłyszalne fale dźwiękowe, które odbijają się od poruszających się ust użytkownika i wracają do mikrofonów.
Te echa są analizowane w czasie rzeczywistym przez algorytm głębokiego uczenia na połączonym bezprzewodowo smartfonie. Algorytm ten został przeszkolony, aby kojarzyć określone echa z określonymi ruchami ust, które z kolei są powiązane z określonymi cichymi poleceniami.
Ponieważ okulary EchoSpeech nie wykorzystują plików wideo (które mogą być dość duże), całe przetwarzanie danych można wykonać na sparowanym smartfonie.
EchoSpeech jest obecnie w stanie rozpoznać 31 takich poleceń z około 95-proc. dokładnością i wymaga tylko kilku minut szkolenia dla każdego użytkownika. Co ważne dla osób dbających o prywatność, system nie zawiera żadnych kamer ani nie wysyła żadnych informacji do internetu.
Co więcej, ponieważ nie wykorzystuje energochłonnej kamery, może pracować do 10 godzin na jednym ładowaniu baterii. Z kolei naukowcy twierdzą, że eksperymentalne systemy oparte na kamerach są dobre tylko przez około 30 minut użytkowania na jednym ładowaniu.
Obecnie uczelnia pracuje nad komercjalizacją technologii
Dla osób, które nie potrafią wokalizować dźwięku, ta technologia cichej mowy może być doskonałym początkiem dla syntezatora mowy. To może przywrócić pacjentom głos.
– powiedział doktorant Ruidong Zhang, który kieruje badaniem
Laboratorium SciFi opracowało wcześniej nieco podobny system o nazwie EarIO, który wykorzystuje urządzenie noszone na uchu, wyposażone w sonar do rejestrowania mimiki twarzy użytkownika – chociaż jest wykorzystywany głównie do tworzenia cyfrowych awatarów. System EarCommand Uniwersytetu w Buffalo czyta cicho wypowiadane słowa za pomocą wkładki dousznej, która wykrywa charakterystyczne deformacje kanału słuchowego spowodowane określonymi ruchami ust.
System EchoSpeech został zaprezentowany w poniższym filmie:
➔ Obserwuj nas w Google News, aby być na bieżąco!
źródło: Cornell University | New Atlas
Od 2005 roku zajmuję się komunikacją internetową i e-marketingiem, jestem pasjonatem urządzeń mobilnych oraz nowych technologii – i nie waham się ich używać.