Eureka upraszcza tworzenie stereoskopowego renderowania 3D

Obrazy stereoskopowe, które zapewniają trójwymiarowy (3D) widok obiektów, zapewniają poziom szczegółowości, którego nie można osiągnąć za pomocą zwykłych obrazów dwuwymiarowych (2D). Ze względu na zdolność do zapewniania realistycznych i wciągających wrażeń z obiektów 3D, hologramy mają ogromny potencjał do wykorzystania w różnych dziedzinach, w tym w obrazowaniu medycznym, produkcji i rzeczywistości wirtualnej. Hologramy są tradycyjnie tworzone poprzez rejestrację danych 3D obiektu i interakcji światła z obiektem. Technika ta jest jednak bardzo intensywna obliczeniowo, ponieważ wymaga użycia specjalnej kamery do przechwytywania obrazów 3D. Utrudnia to generowanie hologramów i ogranicza ich powszechne zastosowanie.

Ostatnio zaproponowano również kilka metod głębokiego uczenia się do generowania hologramów. Mogą tworzyć obrazy 3D bezpośrednio z danych 3D zarejestrowanych za pomocą kamer RGB-D, które rejestrują informacje o kolorze i głębi obiektu. Podejście to pozwala pokonać wiele wyzwań obliczeniowych związanych z metodą tradycyjną i stanowi łatwiejsze podejście do tworzenia hologramów.

Teraz zespół naukowców pod kierownictwem profesora Tomoyoshi Shimobaba z Graduate School of Engineering Uniwersytetu Chiba proponuje nowe podejście oparte na głębokim uczeniu, które jeszcze bardziej upraszcza proces generowania hologramów poprzez tworzenie obrazów 3D bezpośrednio ze zwykłych kolorowych obrazów 2D zarejestrowanych zwykłymi kamerami. Yoshiyuki Ishii i Tomoyoshi Ito z Graduate School of Engineering Uniwersytetu Chiba również wzięli udział w tym badaniu, które jest dostępne online pod adresem 2 sierpnia 2023, w Optyka i Lasery w Inżynierii.

Wyjaśniając uzasadnienie tego badania, profesor Shimobaba mówi: „Istnieje wiele problemów związanych z realizacją wyświetlaczy holograficznych, w tym pozyskiwanie danych 3D, koszt obliczeniowy hologramów i konwersja hologramów w celu dopasowania do właściwości urządzenia wyświetlającego holograficznego”. Ponieważ wierzymy, że głębokie uczenie się szybko rozwinęło się w ostatnich latach i ma potencjał rozwiązania tych problemów.

Proponowane podejście wykorzystuje trzy głębokie sieci neuronowe (DNN) do konwersji zwykłego kolorowego obrazu 2D na dane, które można wykorzystać do wyświetlenia sceny lub obiektu 3D jako obrazu 3D. Pierwszy DNN wykorzystuje jako dane wejściowe kolorowy obraz zarejestrowany zwykłą kamerą, a następnie przewiduje powiązaną z nim mapę głębi, dostarczając informacji o strukturze 3D obrazu. Zarówno oryginalny obraz RGB, jak i mapa głębi utworzona przez pierwszy DNN są następnie wykorzystywane przez drugi DNN do utworzenia obrazu 3D. Wreszcie trzeci DNN poprawia obraz stereo generowany przez drugi DNN, dzięki czemu nadaje się do wyświetlania na różnych urządzeniach.

Naukowcy odkryli, że czas potrzebny na przetwarzanie danych i generowanie obrazu 3D w ramach proponowanego podejścia był dłuższy niż czas wymagany przez nowoczesny procesor graficzny. „Kolejną godną uwagi zaletą naszego podejścia jest to, że odtworzony obraz końcowego obrazu 3D może reprezentować odtworzony naturalny obraz 3D. Co więcej, ponieważ informacje o głębokości nie są wykorzystywane podczas generowania obrazu 3D, podejście to jest niedrogie i nie wymaga sprzętu do obrazowania 3D. „Takie jak RGB – kamery 3D po treningu” – dodaje profesor Shimobaba, omawiając dalej wyniki.

W niedalekiej przyszłości podejście to może znaleźć potencjalne zastosowanie w wyświetlaczach montowanych nad głową i na głowie, umożliwiając tworzenie wyświetlaczy 3D o wysokiej rozdzielczości. Podobnie mogłoby zostać zrewolucjonizowane tworzenie trójwymiarowych wyświetlaczy head-up wewnątrz samochodu, które mogłyby dostarczać pasażerom w 3D niezbędnych informacji o ludziach, drogach i znakach. Oczekuje się zatem, że proponowane podejście utoruje drogę do dalszego rozwoju wszechobecnej technologii 3D.

Wszystko dzięki zespołowi badawczemu za to wspaniałe osiągnięcie!

O profesorze Tomoyoshi Shimobabie

Tomoyoshi Shimobaba jest profesorem na Uniwersytecie Chiba od 2019 r. Uzyskał stopnie licencjata i magistra w dziedzinie elektrotechniki na Uniwersytecie Gunma w Japonii odpowiednio w 1997 i 1999 r. oraz stopień doktora. Stopień doktora uzyskał na Uniwersytecie Chiba w Japonii w 2002 r. W latach 2009–2019 był profesorem nadzwyczajnym w Graduate School of Engineering na Uniwersytecie Chiba. Jego zainteresowania badawcze obejmują wyświetlacze 3D z wykorzystaniem holografii komputerowej i jej różne zastosowania. Opublikował ponad 350 prac naukowych, które były cytowane ponad 5000 razy. Jest członkiem prestiżowych organizacji, takich jak IEEE, ITE, IEICE, Optica, OSJ, SPIE.