Przecław News

Informacje o Polsce. Wybierz tematy, o których chcesz dowiedzieć się więcej w Wiadomościach Przecławia.

Nauka na krawędzi |  Aktualności MIT

Nauka na krawędzi | Aktualności MIT

Mikrokontrolery, miniaturowe komputery, które mogą uruchamiać proste polecenia, są podstawą miliardów połączonych urządzeń, od urządzeń Internetu Rzeczy (IoT) po czujniki w samochodach. Ale tanie mikrokontrolery o małej mocy mają bardzo ograniczoną pamięć i nie mają systemu operacyjnego, co utrudnia trenowanie modeli AI na „wysokiej jakości sprzęcie”, który działa niezależnie od centralnych zasobów obliczeniowych.

Uczenie modelu uczenia maszynowego na inteligentnym urządzeniu brzegowym pozwala mu dostosowywać się do nowych danych i dokonywać lepszych prognoz. Na przykład uczenie modelu na inteligentnej klawiaturze może umożliwić klawiaturze ciągłe uczenie się na podstawie pisania przez użytkownika. Jednak proces uczenia wymaga tak dużej ilości pamięci, że jest zwykle wykonywany przy użyciu potężnych komputerów w centrum danych, zanim model zostanie wdrożony na maszynie. Jest to droższe i powoduje problemy z prywatnością, ponieważ dane użytkownika muszą być przesyłane do centralnego serwera.

Aby rozwiązać ten problem, naukowcy z MIT i MIT-IBM Watson AI Lab opracowali nową technologię, która umożliwia trenowanie maszyn przy użyciu mniej niż jednej czwartej megabajta pamięci. Inne rozwiązania szkoleniowe przeznaczone dla podłączonych urządzeń mogą wykorzystywać ponad 500 MB pamięci, co znacznie przekracza pojemność 256 KB większości mikrokontrolerów (jest 1024 KB na jeden megabajt).

Inteligentne algorytmy i ramy opracowane przez naukowców zmniejszają ilość obliczeń wymaganych do trenowania modelu, dzięki czemu proces jest szybszy i wydajniejszy w pamięci. Ich metoda może zostać wykorzystana do uczenia modelu uczenia maszynowego na mikrokontrolerze w ciągu kilku minut.

Technologia ta zachowuje również prywatność, przechowując dane na urządzeniu, co może być szczególnie przydatne, gdy dane są wrażliwe, na przykład w zastosowaniach medycznych. Może również umożliwić dostosowanie formularza do potrzeb użytkowników. Ponadto struktura utrzymuje lub poprawia dokładność modelu w porównaniu z innymi metodami uczącymi.

READ  Apple przenosi WebKit do GitHub

„Nasze badanie urządzeń IoT pozwala nie tylko przeprowadzać wnioskowanie, ale także stale aktualizować modele AI dla nowo zebranych danych, torując drogę do uczenia się przez całe życie na urządzeniu” – mówi Song Han, adiunkt na Wydziale Elektrotechniki i Informatyki (EECS), członek Massachusetts Institute of Technology (MIT): -IBM Watson AI Lab i starszy autor papier opisując tę ​​innowację.

Wraz z Hanem w artykule są współautorzy i doktoranci EECS Ji Lin i Ligeng Zhu, a także badacze z tytułem doktora MIT Wei-Ming Chen i Wei-Chen Wang oraz Chuang Gan, członek wiodącego zespołu badawczego w MIT-IBM Watson Laboratorium sztucznej inteligencji. Badania zostaną zaprezentowane na konferencji Neuronowe Systemy Przetwarzania Informacji.

Han i jego zespół wcześniej zaadresowali Wąskie gardła pamięciowe i obliczeniowe które istnieją podczas próby uruchomienia modeli uczenia maszynowego na małych maszynach wysokiej klasy, w ramach Inicjatywa TinyML.

trening z lekkimi ciężarami

Popularnym typem modelu uczenia maszynowego jest sieć neuronowa. Modele te są luźno oparte na ludzkim mózgu i zawierają warstwy połączonych ze sobą zwojów lub neuronów, które przetwarzają dane w celu wykonania zadania, takiego jak rozpoznawanie ludzi na obrazach. Model musi zostać najpierw przeszkolony, co oznacza pokazanie mu milionów przykładów, aby mógł nauczyć się zadania. Jak się dowiaduje, model zwiększa lub zmniejsza siłę połączeń między neuronami, które są znane jako wagi.

Model może przechodzić setki aktualizacji w miarę uczenia się, a aktywacje pośrednie muszą być przechowywane podczas każdej rundy. W sieci neuronowej aktywacja jest wynikiem pośrednim warstwy środkowej. Han wyjaśnia, że ​​mogą istnieć miliony wag i aktywacji, trenowanie modelu wymaga znacznie więcej pamięci niż uruchomienie wcześniej wytrenowanego modelu.

Han i jego współpracownicy wykorzystali dwa rozwiązania algorytmiczne, aby proces uczenia się był bardziej wydajny i wymagał mniej pamięci. Pierwsza, znana jako rzadkie odświeżanie, wykorzystuje algorytm, który określa najważniejsze wagi, które należy aktualizować w każdej rundzie treningowej. Algorytm zaczyna zamrażać wagi jeden po drugim, aż zauważy, że dokładność spada do pewnego limitu, a następnie zatrzymuje się. Pozostałe wagi są aktualizowane, a aktywacje odpowiadające zamrożonym wagom nie muszą być zapisywane w pamięci.

READ  Nagrody Steam 2023: Starfield zdobywa nagrodę za najbardziej innowacyjną rozgrywkę pomimo „w większości negatywnych” ostatnich recenzji na stronie sklepu PC

„Aktualizacja całego modelu jest bardzo kosztowna, ponieważ jest wiele aktywacji, więc ludzie mają tendencję do aktualizowania tylko ostatniej warstwy, ale jak możesz sobie wyobrazić, szkodzi to dokładności. W naszej metodzie aktualizujemy te ważne wagi selektywnie i upewniamy się, że dokładność jest stale utrzymywana. Kompletna”, mówi Han.

Drugie rozwiązanie to trening ilościowy i uproszczenie wag, które zwykle są 32 bitowe. Algorytm zmienia wagi tak, że mają tylko osiem bitów, w procesie znanym jako kwantyzacja, który zmniejsza ilość pamięci zarówno dla uczenia, jak i wnioskowania. Wnioskowanie to proces stosowania modelu do zestawu danych i tworzenia prognozy. Algorytm następnie stosuje technikę o nazwie Quantitative Perceptual Scaling (QAS), która działa jak mnożnik, aby dostosować stosunek między wagą a gradacją, aby uniknąć spadku dokładności, który może pochodzić z treningu ilościowego.

Naukowcy opracowali system o nazwie Micro Training Engine, który może uruchamiać te innowacje algorytmiczne na prostym mikrokontrolerze pozbawionym systemu operacyjnego. Ten system zmienia kolejność kroków w procesie uczenia, dzięki czemu więcej pracy jest wykonywanych w fazie montażu, zanim model zostanie wdrożony na urządzeniu brzegowym.

„Dokładamy wiele działań arytmetycznych, takich jak automatyczne różnicowanie i optymalizacja wykresów, aby zebrać czas. Zdecydowanie zmniejszamy również nadmiarowych operatorów, aby obsługiwać sporadyczne aktualizacje. Po przestoju mamy znacznie mniej zadań do wykonania na urządzeniu” – wyjaśnia Hahn.

udane przyspieszenie

Optymalizacja go wymagała tylko 157 KB pamięci, aby wytrenować model uczenia maszynowego na mikrokontrolerze, podczas gdy inne technologie zaprojektowane do lekkiego szkolenia nadal potrzebowałyby od 300 do 600 MB.

Przetestowali swoje ramy, trenując komputerowy model widzenia do wykrywania ludzi na obrazach. Już po 10 minutach treningu nauczyłem się skutecznie wykonywać zadanie. Ich metoda była w stanie wytrenować model ponad 20 razy szybciej niż inne metody.

READ  Szalona nowa funkcja w Apple Watch

Teraz, gdy wykazali sukces tych technik w modelach widzenia komputerowego, naukowcy chcą zastosować je do modeli językowych i różnych typów danych, takich jak dane szeregów czasowych. Jednocześnie chcą wykorzystać zdobytą wiedzę do skalowania większych modeli bez poświęcania dokładności, co może pomóc w zmniejszeniu śladu węglowego związanego z trenowaniem modeli uczenia maszynowego na dużą skalę.

„Adaptacja/uczenie modelu sztucznej inteligencji na urządzeniu, zwłaszcza na wbudowanych kontrolerach, jest otwartym wyzwaniem. Te badania z MIT nie tylko z powodzeniem wykazały możliwości, ale także otworzyły nowe możliwości dostosowywania urządzeń, które zachowują prywatność w czasie rzeczywistym” mówi Nilesh Jain, główny inżynier Intela, który nie był zaangażowany w tę pracę. „Innowacje zawarte w publikacji mają szersze zastosowanie i rozpoczną wspólne badania nad nowym algorytmem systemowym”.

„Uczenie się na urządzeniu to kolejny duży postęp, nad którym pracujemy dla połączonej inteligentnej krawędzi. Grupa profesora Song Hana wykazała znaczne postępy w demonstrowaniu skuteczności najnowocześniejszego sprzętu do szkoleń” – dodaje Jilly Hu, wiceprezes i kierownik działu Badania nad sztuczną inteligencją w Qualcomm. „Qualcomm przyznał swojemu zespołowi nagrodę Innovation Fellowship za dalsze innowacje i postęp w tej dziedzinie”.

Ta praca jest finansowana przez National Science Foundation, MIT-IBM Watson AI Lab, MIT AI Hardware Program, Amazon, Intel, Qualcomm, Ford Motor Company i Google.