Elastyczne rozwiązanie pomagające artystom ulepszyć ich animacje

Artyści wcielający się w bohaterów i złoczyńców w filmach animowanych i grach wideo mogą mieć większą kontrolę nad swoimi animacjami dzięki nowej technologii wprowadzonej przez badaczy z Massachusetts Institute of Technology.

Ich metoda generuje funkcje matematyczne zwane współrzędnymi wyśrodkowanymi na masie, które określają, w jaki sposób kształty 2D i 3D mogą zginać się, rozciągać i przemieszczać w przestrzeni. Przykładowo artysta za pomocą swojego narzędzia może wybrać funkcje, które sprawią, że ruchy trójwymiarowego ogona kota będą pasować do jego wizji „wyglądu” animowanych kotów.

Wiele innych technik rozwiązania tego problemu jest sztywnych i zapewnia tylko jeden wybór funkcji współrzędnych środka masy dla danej poruszającej się figury. Każda funkcja może, ale nie musi, być najlepsza dla określonej animacji. Za każdym razem, gdy chce spróbować nieco innego wyglądu, artysta musi zaczynać od zera z nowym podejściem.

„Jako badacze możemy czasami utknąć w pętli rozwiązywania problemów technicznych bez konsultowania się z artystami. Artystom zależy na elastyczności i „wyglądzie” produktu końcowego. Nie przejmują się cząstkowymi równaniami różniczkowymi rozwiązywanymi przez algorytm za kulisami” – mówi Anna Dudek, główna autorka artykułu. Badania nad tą technologią.

Oprócz zastosowań technicznych technologia ta może być stosowana w takich dziedzinach, jak obrazowanie medyczne, architektura, rzeczywistość wirtualna, a nawet w wizji komputerowej jako narzędzie pomagające robotom dowiedzieć się, jak rzeczy poruszają się w prawdziwym świecie.

Dodek, absolwent elektrotechniki i informatyki (EECS), napisał artykuł wraz z Odedem Steinem, adiunktem w Szkole Inżynierskiej USC Viterbi; Vincent Sitzman, adiunkt EECS, który kieruje grupą reprezentacji scen w laboratorium informatyki i sztucznej inteligencji (CSAIL) MIT; oraz starszy autor Justin Solomon, profesor nadzwyczajny w EECS i szef CSAIL Engineering Data Processing Group. Wyniki badania zaprezentowano niedawno w SIGGRAPH Asia.

Uogólnione podejście

Kiedy artysta animuje postać 2D lub 3D, jedną z powszechnych technik jest otoczenie złożonego kształtu postaci prostszym zestawem punktów połączonych odcinkami linii lub trójkątami, zwanymi klatką. Animator przeciąga te punkty, aby poruszać i deformować postać wewnątrz klatki. Głównym problemem technicznym jest określenie, w jaki sposób postać będzie się poruszać podczas regulacji klatki; Ruch ten jest określony przez konstrukcję określonej funkcji współrzędnych skupionej na masie.

Tradycyjne metody wykorzystują złożone równania, aby znaleźć wyjątkowo płynne ruchy klatki, unikając jednocześnie załamań, które mogą powstać w kształcie, gdy jest on maksymalnie rozciągnięty lub zgięty. Istnieje jednak wiele koncepcji dotyczących przełożenia technicznej idei „gładkości” na matematykę, z których każda prowadzi do innego zestawu funkcji współrzędnych środka.

Naukowcy z MIT poszukiwali ogólnego podejścia, które pozwoliłoby artystom mieć wpływ na projekt lub wybór pomiędzy wygładzaniem energii dla dowolnego kształtu. Artysta może następnie podejrzeć deformację i wybrać energię gładkości, która odpowiada jego gustowi.

Chociaż elastyczne projektowanie współrzędnych środka masy jest pomysłem nowoczesnym, podstawowa konstrukcja matematyczna współrzędnych środka masy sięga wieków wstecz. Współrzędne środka masy zostały wprowadzone przez niemieckiego matematyka Augusta Möbiusa w 1827 roku i definiują one, w jaki sposób każdy narożnik kształtu wpływa na jego wnętrze.

W trójkącie, którego Möbius używał w swoich obliczeniach, łatwo jest wymodelować współrzędne środka masy, ale gdy klatka nie jest trójkątem, obliczenia stają się niejasne. Generowanie współrzędnych środka masy złożonej klatki jest szczególnie trudne, ponieważ w przypadku skomplikowanych kształtów każda współrzędna środka masy musi spełniać zestaw ograniczeń, a jednocześnie być możliwie gładka.

Odchodząc od wcześniejszych prac, zespół wykorzystał specjalny typ sieci neuronowej do modelowania nieznanych funkcji współrzędnych. Sieć neuronowa, luźno oparta na ludzkim mózgu, przetwarza dane wejściowe przy użyciu wielu warstw połączonych ze sobą węzłów.

Chociaż sieci neuronowe są często stosowane w aplikacjach sztucznej inteligencji imitujących ludzkie myślenie, sieci neuronowe są wykorzystywane w tym projekcie ze względów matematycznych. Struktura sieci wyszukiwania wie, jak wyprowadzić wyśrodkowane funkcje współrzędnych, które dokładnie spełniają wszystkie ograniczenia. Wbudowują ograniczenia bezpośrednio w sieć, więc gdy generują rozwiązania, są one zawsze ważne. Konstrukcja ta pomaga artystom projektować interesujące współrzędne środka bez konieczności martwienia się o matematyczne aspekty problemu.

„Najtrudniejszą częścią było stworzenie ograniczeń” – mówi Dodek. „Standardowe narzędzia nam tego nie dały, więc musieliśmy myśleć nieszablonowo”.

Wirtualne trójkąty

Naukowcy oparli się na współrzędnych trygonometrycznych wprowadzonych przez Möbiusa prawie 200 lat temu. Te trójkątne współrzędne są łatwe do obliczenia i spełniają wszystkie niezbędne ograniczenia, ale nowoczesne klatki są bardziej złożone niż trójkąty.

Aby wypełnić lukę, metoda badaczy nakłada na kształt nakładające się wirtualne trójkąty łączące trójki punktów na zewnątrz klatki.

„Każdy wirtualny trójkąt definiuje prawidłową funkcję współrzędnych środka masy” – mówi. „Potrzebujemy tylko sposobu, aby je połączyć”.

Tutaj pojawia się rola sieci neuronowej. Przewiduje, jak połączyć współrzędne środkowe wirtualnych trójkątów, aby utworzyć bardziej złożoną, ale płynną funkcję.

Stosując tę ​​metodę, artysta może wypróbować jedną funkcję, obejrzeć ostateczną animację, a następnie dostosować współrzędne, aby utworzyć różne ruchy, aż do uzyskania animacji, która wygląda tak, jak chce.

„Myślę, że w praktyce największy wpływ ma to, że sieci neuronowe zapewniają dużą elastyczność, jakiej nie miałeś wcześniej” – mówi Dodek.

Naukowcy pokazali, jak ich metoda może generować bardziej naturalnie wyglądające animacje niż inne metody, takie jak ogon kota, który płynnie wygina się podczas ruchu, a nie składa sztywno w pobliżu głów klatek.

W przyszłości chcą wypróbować różne strategie przyspieszenia sieci neuronowej. Chcą także zintegrować tę metodę z interaktywnym interfejsem, który umożliwi artyście łatwe powtarzanie animacji w czasie rzeczywistym.

Badania te zostały częściowo sfinansowane przez Biuro Badań Armii Stanów Zjednoczonych, Biuro Badań Naukowych Sił Powietrznych Stanów Zjednoczonych, Narodową Fundację Nauki USA, Program CSAIL na rzecz systemów, które się uczą, Laboratorium Sztucznej Inteligencji MIT-IBM Watson oraz Toyota-CSAIL Wspólny program. Research Center, Adobe Systems, Google Research Award, Singapurska Agencja Nauki i Technologii Obrony oraz Amazon Science Hub.