Inteligentna rękawiczka uczy nowych umiejętności fizycznych

Prawdopodobnie spotkałeś osobę, która identyfikuje się jako wzrokowiec lub słuchowiec, ale inni przyswajają wiedzę inną metodą: dotykiem. Zdolność rozumienia interakcji dotykowych jest szczególnie ważna w przypadku zadań takich jak nauka precyzyjnych zabiegów chirurgicznych i gra na instrumentach muzycznych, ale w przeciwieństwie do obrazu i dźwięku dotyk jest trudny do zarejestrowania i przesłania.

Aby wykorzystać to wyzwanie, naukowcy z Laboratorium Informatyki i Sztucznej Inteligencji (CSAIL) Massachusetts Institute of Technology (MIT) i innych ośrodków opracowali haftowaną inteligentną rękawiczkę, która może przechwytywać, odtwarzać i przesyłać instrukcje dotykowe. Aby uzupełnić urządzenia do noszenia, zespół opracował także prosty agent uczenia maszynowego, który dostosowuje się do interakcji różnych użytkowników za pomocą informacji dotykowych, poprawiając ich doświadczenia. Nowy system może pomóc w nauce umiejętności fizycznych, poprawić reakcję na zdalne roboty i pomóc w szkoleniu w rzeczywistości wirtualnej.

Otwarty dostęp Dokument opisujący pracę Został opublikowany w Nature Communications 29 stycznia.

Czy będę umiał grać na pianinie?

Aby stworzyć inteligentną rękawiczkę, badacze wykorzystali cyfrową hafciarkę, aby płynnie zintegrować czujniki dotykowe i siłowniki haptyczne (urządzenie zapewniające informację zwrotną na podstawie dotyku) z tekstyliami. Technologia ta istnieje w smartfonach, gdzie reakcje dotykowe wyzwalane są poprzez dotknięcie ekranu dotykowego. Na przykład, jeśli dotkniesz aplikacji na iPhone'a, poczujesz lekkie wibracje pochodzące z tej konkretnej części ekranu. W ten sam sposób nowe urządzenie do noszenia wysyła informacje zwrotne do różnych części dłoni, aby wskazać idealne ruchy umożliwiające wykonanie różnych umiejętności.

Inteligentna rękawiczka mogłaby na przykład uczyć użytkowników gry na pianinie. Podczas demonstracji ekspertowi powierzono zadanie nagrania prostego tonu fragmentu klawiszy, a następnie za pomocą inteligentnej rękawicy uchwycił sekwencję naciskania palców na klawiaturę. Następnie agent uczenia maszynowego przekształcił tę sekwencję w informację dotykową, którą następnie wprowadzono do rękawiczek uczniów, aby postępowali zgodnie z instrukcjami. Kiedy ich ręce zawisły nad tą samą sekcją, silniki na palcach odpowiadające klawiszom poniżej zawibrowały. Path optymalizuje te trendy dla każdego użytkownika, biorąc pod uwagę subiektywny charakter interakcji dotykowych.

„Ludzie angażują się w szeroki zakres zadań poprzez ciągłą interakcję ze światem, zaczynając od „Odwróć ich”. . „Zazwyczaj nie dzielimy się fizycznymi interakcjami z innymi. Zamiast tego często uczymy się, obserwując ich ruchy, takie jak gra na pianinie i układy taneczne.

„Głównym wyzwaniem w przekazywaniu interakcji dotykowych jest to, że każda osoba inaczej postrzega informacje dotykowe” – dodaje Luo. „Ta przeszkoda zainspirowała nas do opracowania agenta uczenia maszynowego, który uczy się, jak tworzyć adaptacyjne elementy dotykowe dla poszczególnych rękawic, zapewniając im bardziej praktyczne podejście do nauki optymalnego ruchu”.

System do noszenia jest dostosowywany do specyfikacji dłoni użytkownika za pomocą cyfrowej metody produkcji. Komputer tworzy otwór na podstawie wymiarów dłoni danej osoby, a następnie hafciarka szyje czujniki i urządzenia dotykowe. W ciągu 10 minut miękki materiał do noszenia jest gotowy do noszenia. Początkowo przeszkolony w zakresie reakcji dotykowych 12 użytkowników, adaptacyjny model uczenia maszynowego potrzebuje tylko 15 sekund nowych danych użytkownika, aby spersonalizować opinie.

W dwóch innych eksperymentach wskazówki dotykowe z informacją zwrotną zależną od czasu zostały przeniesione na użytkowników noszących rękawiczki podczas grania w gry na laptopie. W grze rytmicznej gracze uczyli się podążać wąską, krętą ścieżką, aby uderzyć w pole bramkowe, a w grze wyścigowej kierowcy zbierali monety i utrzymywali pojazd w równowadze w drodze do mety. Zespół Luo odkrył, że uczestnicy uzyskali najwyższe wyniki w grze dzięki poprawionym dotknięciom, w porównaniu z brakiem dotknięć lub nieulepszonymi dotknięciami.

„Ta praca to pierwszy krok w kierunku zbudowania spersonalizowanych agentów AI, którzy stale przechwytują dane o użytkowniku i środowisku” – mówi główny autor Wojciech Matusik, profesor elektrotechniki i informatyki na MIT oraz szef grupy Computational Design and Manufacturing w CSAIL . „Agenci ci pomagają im następnie wykonywać złożone zadania, uczyć się nowych umiejętności i wzmacniać lepsze zachowania”.

Wprowadź żywe wrażenia do ustawień elektronicznych

Podczas zdalnych operacji robotycznych badacze odkryli, że ich rękawiczki mogą przekazywać wrażenia siły do ​​ramion robotów, pomagając im wykonywać bardziej wrażliwe zadania chwytania. „To jakby uczyć robota, aby zachowywał się jak człowiek” – mówi Luo. W jednym przypadku zespół z MIT wykorzystał zdalnych operatorów do nauczenia robota, jak zabezpieczać różne rodzaje chleba bez ich zniekształcania. Ucząc optymalnego chwytu, ludzie mogą precyzyjnie kontrolować systemy robotyczne w środowiskach takich jak produkcja, gdzie maszyny te mogą bezpieczniej i efektywniej współpracować ze swoimi operatorami.

„Technologia, na której opierają się inteligentne haftowane rękawice, to ważna innowacja w robotyce” – mówi Daniela Ross, profesor inżynierii elektrycznej i informatyki na MIT, dyrektor CSAIL i autorka artykułu. „Dzięki możliwości rejestrowania interakcji dotykowych z dużą precyzją, podobną do ludzkiej skóry, czujnik ten umożliwia robotom postrzeganie świata poprzez dotyk. Bezproblemowa integracja czujników haptycznych z tekstyliami wypełnia lukę pomiędzy działaniami fizycznymi a cyfrowym sprzężeniem zwrotnym, oferując ogromny potencjał w automatyzacja.” Elastyczne zdalne i wciągające szkolenie w wirtualnej rzeczywistości.”

Podobnie interfejs może zapewniać bardziej wciągające doświadczenia w rzeczywistości wirtualnej. Noszenie inteligentnych rękawiczek dodałoby wrażeń dotykowych do środowisk cyfrowych w grach wideo, ponieważ gracze mogą wyczuwać otoczenie, aby unikać przeszkód. Ponadto interfejs zapewni bardziej spersonalizowane, oparte na dotyku doświadczenia podczas wirtualnych kursów szkoleniowych, z których korzystają chirurdzy, strażacy i piloci, gdzie dokładność ma kluczowe znaczenie.

Chociaż te urządzenia do noszenia mogą zapewnić użytkownikom więcej praktycznych doświadczeń, Luo i jej grupa uważają, że mogą rozszerzyć technologię noszenia poza palce. Dzięki silniejszemu sprzężeniu dotykowemu interfejsy mogą kierować stopami, biodrami i innymi częściami ciała, które są mniej wrażliwe niż dłonie.

Lu zauważyła również, że w przypadku bardziej złożonego agenta AI technologia jej zespołu może pomóc w bardziej złożonych zadaniach, takich jak manipulowanie gliną czy pilotowanie samolotu. Obecnie interfejs może wspomagać jedynie proste ruchy, takie jak naciśnięcie klawisza lub złapanie przedmiotu. W przyszłości system MIT mógłby zintegrować więcej danych użytkownika i wyprodukować bardziej kompatybilne, wąskie urządzenia do noszenia, aby lepiej uwzględnić wpływ ruchów rąk na percepcję dotykową.

Lu, Matousek i Ross napisali artykuł we współpracy z dyrektorem Laboratoriów Technologicznych Mikrosystemów EECS, profesorem Tomasem Palaciosem; Członkowie CSAIL Zhao Liu, Yong-Jung Lee, Joseph DelBrito, Michael Foschi oraz profesor i główny badacz Antonio Torralba; Kyu Wu z LightSpeed ​​Studios; oraz Yunzhou Li z Uniwersytetu Illinois w Urbana-Champaign.

Prace te były częściowo wspierane przez stypendium MIT Schwarzman School of Computing Fellowship za pośrednictwem Google oraz grant na współpracę badawczą GIST-MIT, przy dodatkowej pomocy firmy Wistron, Toyota Research Institute i firmy Ericsson.