Uprość tworzenie holograficznych wyświetlaczy 3D

Hologramy od dawna obiecywały dostarczanie wciągających wrażeń 3D, ale wyzwania związane z ich produkcją ograniczyły ich powszechne zastosowanie. Wykorzystując najnowsze osiągnięcia w zakresie głębokiego uczenia się, naukowcy z Uniwersytetu Chiba proponują obecnie rewolucyjne podejście, które wykorzystuje sieci neuronowe do przekształcania zwykłych kolorowych obrazów 2D w hologramy 3D. Proponowane podejście może uprościć proces tworzenia obrazów 3D 3D i może znaleźć zastosowanie w wielu dziedzinach, w tym w służbie zdrowia i rozrywce.

Obrazy stereoskopowe, które zapewniają trójwymiarowy (3D) widok obiektów, zapewniają poziom szczegółowości, którego nie można osiągnąć za pomocą zwykłych obrazów dwuwymiarowych (2D). Ze względu na zdolność do zapewniania realistycznych i wciągających wrażeń z obiektów 3D, hologramy mają ogromny potencjał do wykorzystania w różnych dziedzinach, w tym w obrazowaniu medycznym, produkcji i rzeczywistości wirtualnej. Hologramy są tradycyjnie tworzone poprzez rejestrację danych 3D obiektu i interakcji światła z obiektem. Technika ta jest jednak bardzo intensywna obliczeniowo, ponieważ wymaga użycia specjalnej kamery do przechwytywania obrazów 3D. Utrudnia to generowanie hologramów i ogranicza ich powszechne zastosowanie.

Ostatnio zaproponowano również kilka metod głębokiego uczenia się do generowania hologramów. Mogą tworzyć obrazy 3D bezpośrednio z danych 3D zarejestrowanych za pomocą kamer RGB-D, które rejestrują informacje o kolorze i głębi obiektu. Podejście to pozwala pokonać wiele wyzwań obliczeniowych związanych z metodą tradycyjną i stanowi łatwiejsze podejście do tworzenia hologramów.

Teraz zespół naukowców pod kierownictwem profesora Tomoyoshi Shimobaba z Graduate School of Engineering Uniwersytetu Chiba proponuje nowe podejście oparte na głębokim uczeniu, które jeszcze bardziej upraszcza proces generowania hologramów poprzez tworzenie obrazów 3D bezpośrednio ze zwykłych kolorowych obrazów 2D zarejestrowanych zwykłymi kamerami. Yoshiyuki Ishii i Tomoyoshi Ito z Chiba University Graduate School of Engineering również wzięli udział w tym badaniu, które udostępniono w Internecie 2 sierpnia 2023 r. Optyka i lasery w inżynierii.

Wyjaśniając uzasadnienie tego badania, profesor Chimobaba mówi: „Istnieje wiele problemów związanych z realizacją wyświetlaczy holograficznych, w tym pozyskiwanie danych 3D, koszt obliczeniowy hologramów i przekształcanie hologramów w celu dopasowania do właściwości urządzenia wyświetlającego holograficznego. Przeprowadziliśmy to badanie, ponieważ wierzymy, że głębokie uczenie się szybko rozwinęło się w ostatnich latach i ma zdolność rozwiązywania tych problemów.

Proponowane podejście wykorzystuje trzy głębokie sieci neuronowe (DNN) do konwersji zwykłego kolorowego obrazu 2D na dane, które można wykorzystać do wyświetlenia sceny lub obiektu 3D jako obrazu 3D. Pierwszy DNN wykorzystuje jako dane wejściowe kolorowy obraz zarejestrowany zwykłą kamerą, a następnie przewiduje powiązaną z nim mapę głębi, dostarczając informacji o strukturze 3D obrazu. Zarówno oryginalny obraz RGB, jak i mapa głębi utworzona przez pierwszy DNN są następnie wykorzystywane przez drugi DNN do utworzenia obrazu 3D. Wreszcie trzeci DNN poprawia obraz stereo generowany przez drugi DNN, dzięki czemu nadaje się do wyświetlania na różnych urządzeniach.

Naukowcy odkryli, że czas potrzebny na przetwarzanie danych i generowanie obrazu 3D w ramach proponowanego podejścia był dłuższy niż czas wymagany przez nowoczesny procesor graficzny. „Kolejną godną uwagi zaletą naszego podejścia jest to, że odtworzony obraz końcowego hologramu może reprezentować odtworzony naturalny obraz 3D. Co więcej, ponieważ informacje o głębokości nie są wykorzystywane podczas generowania hologramu, podejście to jest niedrogie i nie wymaga sprzętu do przetwarzania obrazu 3D, takiego jak kamery .” RGB-D po treningu. Profesor Chimobaba dodaje, omawiając dalej ustalenia.

W niedalekiej przyszłości podejście to może znaleźć potencjalne zastosowanie w wyświetlaczach montowanych nad głową i na głowie, umożliwiając tworzenie wyświetlaczy 3D o wysokiej rozdzielczości. Podobnie mogłoby zostać zrewolucjonizowane tworzenie trójwymiarowych wyświetlaczy head-up wewnątrz samochodu, które mogłyby dostarczać pasażerom w 3D niezbędnych informacji o ludziach, drogach i znakach. Oczekuje się zatem, że proponowane podejście utoruje drogę do dalszego rozwoju wszechobecnej technologii 3D.

źródło: https://www.chiba-u.ac.jp/e/