LaMutra

Processing and Transmission of Bulky Multimedia Signals for Telereality

(Spracovanie a prenos velkokapacitnych multimediálnych signálov pre telerealitu)

VEGA 1/0763/20

Anotácia

Doručovanie multimediálneho (MM) obsahu a interaktívne MM služby sa stávajú súčasťou každodenného života.

Pri tom sa dostávajú do popredia aj nové technológie ako virtuálna realita a panoramatické video. Na efektívnu

realizáciu MM služieb je vhodné kvôli vysokým nárokom na bitový tok prenášaných dát využiť 5G/6G siete.

Dôležitý je aj moment interaktívnosti riešenia založený na gestách, sledovaní pohybu očí, mozgovej aktivity, atď.

Zodpovedný riešiteľ projektu je autorom 2 patentových prihlášok v roku 2018 za STU. Ich predmetom je unikátna

koncepcia kamerového systému, ktorý zabezpečuje všesmerové snímanie priestoru v stereo kvalite.

Cieľom projektu je návrh metód a algoritmov pre implementáciu spomínaného kamerového systému z pohľadu

HW a SW realizácie. Výber a synchronizácia kamier, správna kalibrácia a projekcia snímkov pre vytvorenie

výsledného pohľadu pre pravé a ľavé oko je silná vedecko-výskumná výzva. Metodika adaptácie doručovania

MM obsahu je nutnou podmienkou aj v prostredí 5G a 6G sietí.

Vedecké ciele

Základné vedecké ciele sú koncentrované do týchto oblastí:

1. Návrh metód a algoritmov pre interaktívne multimediálne služby a aplikácie s dôrazom na doručovanie

multimediálneho obsahu vrátane jeho adaptácie so zameraním na obsah: staticky obraz, 2D video, 3D video,

360° a multismerové video, 3D telerealita, VR/AR

2. Návrh a implementácia systému kamier pre neobmedzený všesmerový stereoskopický prenos obrazovej

informácie zo vzdialeného priestoru a ich synchronizácia

3. Návrh a realizácia metód a algoritmov pre spájanie obrazov v rámci navrhnutého systému kamier

4. Návrh metód a algoritmov pre interaktívne multimediálne služby a aplikácie s dôrazom na doručovanie

multimediálneho obsahu vrátane jeho adaptácie so zameraním na interakciu a spätnú väzbu: gestá, prstová

abeceda, eyetracker, BCI, hlasová navigácia, identifikácia

5. Identifikácia, návrh a overenie nových možností adaptácie doručovania multimediálneho obsahu v 5G sieťach

6. Rozšírenie vedeckého poznania v oblasti adaptívneho doručovania multimediálneho obsahu v prostredí

virtualizovaných sietí.

Anotation

Delivery of multimedia (MM) content and interactive MM services are becoming a part of everyday life. New

technologies like virtual reality and panoramic video are gaining attention, as well. Due to high bitrate

requirements, utilization of 5G/6G networks is suitable to perform the MM services effectively. There is also an

important moment of interactivity based on gesture recognition, eye tracking, brain activity, etc.

The principal researcher of the project submitted 2 patent applications in the name of STU in 2018. Their subject

is a unique concept of a camera system, which provides spherical recording in stereoscopic quality.

The objective of the project is proposal of methods for implementation of the mentioned camera system from HW

and SW point of view. Camera synchronization, correct calibration and image projection to create final picture for

both left and right eye are strong scientific and research challenges. Adaptation of MM content delivery is

required also in the environment of 5G/6G networks.

Scientific Goals

The basic scientific objectives are concentrated in the following areas:

Design of methods and algorithms for interactive multimedia services and applications with emphasis on

delivering multimedia content, including its content-oriented adaptation: audio, static image, 2D video, 3D video,

360 ° and omnidirectional video, 3D telereality, VR / AR

Proposal and implementation of a camera system for unrestricted omnidirectional stereoscopic transmission of

image information from remote location.

Proposal and implementation of methods and algorithms for image concatenation within the proposed camera

system.

Design of methods and algorithms for interactive multimedia services and applications with emphasis on

delivering multimedia content, including its adaptation with focus on interaction and feedback: gestures, fingertip

alphabet, eyetracking, BCI, voice navigation, identification

Identification, proposal and verification of new possibilities for adapting delivery of multimedia content in 5G

networks

Enhancement of scientific knowledge in the field of adaptive transmission of multimedia content in 5G networks

Keywords

Telereality, spherical 3D camera system, adaptation of multimedia content delivery

Research team

Gregor Rozinaj (principal investigator)

Benešová Wanda

Podhradský Pavol

Medvecký Martin

Minarik Ivan

Polakovič Adam

Vančo Marek

Špilka Marián

Kačur Juraj

Vargic Radoslav