ProTOVideo

Processing and Transmission of Omnidirectional 3D Video (Spracovanie a prenos všesmerového stereo videa)

APVV-19-0449

Anotácia

Súčasné trendy v oblasti výskumu nových multimediálnych služieb a aplikácií dramaticky smerujú ku službám a aplikáciám, ktoré ponúkajú koncovému používateľovi nové možnosti, používateľský komfort, mobilný prístup, interaktivitu, atď. Medzi takéto služby a aplikácie patria 3D VR/AR/MR aplikácie (VR-virtuálna realita, AR-rozšírená (Augmented) realita, MR zmiešaná (Mixed) realita, kde používateľ sleduje vzdialenú 3D scénu pomocou 3D VR / AR okuliarov a interaktívne riadi sledovaný dej otáčaním a nakláňaním hlavy, prípadne pomocou navigačnej konzoly, alebo iných reálnych predmetov. Pri telerealite (TR), sa tiež využívajú 3D VR / AR okuliare, avšak namiesto počítačom generovaného obrazu sa využíva vzdialený zdroj obrazu, používateľ môže do vzdialeného deja aj zasahovať podobne ako pri VR/AR/MR aplikáciách. Môže ísť napr. o 360° video pre VR zo živého vysielania, pri ktorom používateľ sám interaktívne riadi sledovaný bod/scénu, uhol pohľadu na scénu, približovanie/odďaľovanie a pod. Patria sem aj E-služby (e-nakupovanie, e-learning a pod.) a komunikačné služby (video konferencie a pod.) využívajúce VR/AR/MT/TR aplikácie. Hlavným cieľom projektu návrh a realizáciu všesmerového stereo kamerového systému pre snímanie 3D scény, ktorý vychádza z dvoch podaných patentových prihlášok zodpovedného riešiťeľa. Špecifické ciele projektu sú zamerané najmä na: návrh architektúry systému a koncových zariadení pre snímanie, prenos a zobrazovanie multimediálneho obsahu, návrh algoritmov pre snímanie, prenos a zobrazovanie multimediálneho obsahu s dôrazom na skladanie obrazovej informácie, adaptáciu a efektívne doručovanie do koncového terminálu.

Anotation

Current trends in the research of new multimedia services and applications are dramatically aim towards services and applications that offer to end-users the new capabilities, user-friendliness, mobile access, interactive messaging delivery, and so on. Such services and applications include 3D VR / AR / MR applications (VR-virtual reality, AR - Augmented reality, MR - Mixed reality, where a user uses a 3D application via 3D VR / AR glasses and interactively controls it by turning and tilting the head, using a navigation console or using other real objects. Telereality (TR) uses 3D VR/AR glasses but displays a real remote environment instead of a computer-generated image, while the user can interact with the remote environment similarly as it is in VR / AR / MR applications. This includes e.g. 360 ° Video for VR from Live Event Casting where the user controls the focused point / scene, zooming in/out, etc. These trends also cover e-services (e-commerce, e-learning, e-government, etc.) and communication services (video conferencing, etc.) using VR / AR / MT / TR applications. The main goal of the project is interactive Design and realization of omnidirectional stereo camera system for recording and transmission of #D scene, which originated in 2 patent applications of the project co-ordinator. Specific goals of the project are are focused on:

system architecture and design of end devices for capturing, transmitting and displaying future-generation multimedia content, design of algorithms for capturing, transmitting and displaying the multimedia content with emphasis on image merging, adaptation and efficient delivery to the end device.

Keywords

virtuálny teleport, zážitková komunikácia, všesmerové stereo video, spájanie obrazu

Research team

Gregor Rozinaj, doc. Ing. PhD (principal investigator)

Pavol Podhradsky, prof. Ing. PhD

Jaroslav Polec, prof. Ing. PhD

Juraj Kacur, doc. Ing. PhD

Martin Medvecky, doc., Ing., PhD

Radoslav Vargic, Ing. PhD

Ivan Minarik, Ing.

Marek Vanco, Ing., PhD

Marian Spilka, Ing.

Adam Polakovic, Mgr.

Juraj Londak, Ing.