Naukowcy mogą teraz tworzyć animowane filmy z jednego zdjęcia

Zdjęcie może przywołać miłe wspomnienia, ale nagranie wideo może pomóc przenieść Cię z powrotem do tropikalnego miejsca, które spędziłeś lata temu. Dlatego naukowcy z University of Washington opracowali metodę głębokiego uczenia, która może to zrobić Konwertuj pojedynczy obraz nieruchomy na animowany film Bez potrzeby używania klipu referencyjnego zarejestrowanego w miejscu zrobienia zdjęcia.

To kolejne nowe zastosowanie uczenia maszynowego, które pokazuje potencjalne korzyści płynące z technologii i jest podobne do technologii uwielbianych przez firmy moje dziedzictwo dźwignia dla Ożywianie zdjęć starych krewnychZamiast tego to nowe podejście koncentruje się na płynących zjawiskach naturalnych, takich jak woda, dym i chmury. Model opracowany w Szkole Informatyki i Inżynierii im. Paula G. Allena na Uniwersytecie Waszyngtońskim nie wymaga wprowadzania danych przez użytkownika, z wyjątkiem nieruchomego obrazu, takiego jak niedawna wycieczka do wodospadu Niagara.

Podobnie jak w przypadku każdego zautomatyzowanego przetwarzania obrazów za pomocą metod głębokiego uczenia, proces rozpoczyna się od szkolenia modeli, które w tym przypadku przeprowadzono przy użyciu tysięcy filmów przedstawiających rzeki, wodospady, a nawet klipy oceanów; Wszystko, co wykazywało zauważalną ilość płynnego ruchu. Proces rozpoczynałby się od próby przewidzenia ruchu wideo przez sieć neuronową w zaledwie jednej klatce początkowej, po czym prognozę porównywano z rzeczywistymi wynikami, aby model mógł powoli rozpoznawać wizualne wskazówki, które ujawniłyby, w jaki sposób płyn ma być obecnym. ruszyć z korygowaniem wszelkich błędów w swoich przewidywaniach.

Wytrenowany model można następnie zastosować do nieruchomych obrazów, w których określałby, jak każdy piksel powinien poruszać się klatka po klatce, aby tworzyć krótkie animacje, ale stworzyło to własne wyzwania, ponieważ rzeki i wodospady są stałymi zjawiskami, a przepływ pikseli musi być stale uzupełniane, gdy zaczyna się poruszać. Badacze opracowali inną technikę zwaną „rozpylaniem symetrycznym”, która przewidywała ruchy przepływu do przodu w czasie, ale także ruchy, jeśli czas cofał się. Zaowocowało to dwiema różnymi animacjami, które sprytnie połączone i zmieszane tworzą wiarygodny ciągły ruch, który idealnie się obraca.

Czasami wyniki są zbyt bliskie, aby były realistycznymi obrazami, ale innym razem istnieją subtelne wizualne wskazówki, które twój mózg wychwytuje, które podnoszą czerwone flagi dotyczące poprawności tego, co widzisz. Jedną z rzeczy, którą ignoruje metoda głębokiego uczenia opracowana przez naukowców, jest to, jak poruszająca się woda i dym mogą zniekształcać światło. Fale w dół wodospadu zniekształcają odbicia w zawiły sposób, w jaki twój mózg jest przyzwyczajony do widzenia, a gdy nie są dokładnie odtworzone, są bardzo zauważalne. To samo dotyczy tego, jak mgła lub dym mogą blokować i zniekształcać to, co za nimi.

Ale są to problemy, które często można przezwyciężyć, szkoląc więcej na większej bazie filmów źródłowych, a ostatecznie w połączeniu z opcjami w smartfonie, które pozwalają dostosować i dostosować oświetlenie na zdjęciu po jego zrobieniu, będę mógł jeszcze raz przeżyć nieruchome ujęcie.