Anotácia

Jednou z hlavných výskumných tém v oblasti IKT je vytvorenie virtuálneho sveta pre virtuálnu komunikáciu (napr. Metaverse). Virtualizácia komunikácie umožňuje okrem iného jednoduchšiu technickú realizáciu ale aj tvorbu virtuálnych svetov s vymyslenými vlastnosťami. Cieľom predkladaného projektu je prepojiť virtuálny svet s reálnym svetom, ktorý je online snímaný a zobrazovaný vo virtuálnom svete (virtuálny teleport VT). Rozlišujeme dva druhy VT. Snímanie objektu/osoby a prenos hologramu do virtuálneho sveta resp. snímanie vzdialeného reálneho sveta a jeho sprítomnenie reálnym osobám.

Zodp. riešiteľ projektu je autorom patentových prihlášok za STU. Ich predmetom je unikátna koncepcia kamerového systému (vid obr. v pril.), ktorý zabezpečuje sférické snímanie priestoru v stereo kvalite. Úlohou projektu je integrovať aspoň časť takto zosnímaného priestoru/objektu do virtuálneho sveta. Synchronizácia kamier, projekcia a spájanie snímkov pre vytvorenie výsledného stereo pohľadu je silná vedecko-výskumná výzva.

Kľúčové slová

videokonferencia v prostredí zmiešanej reality, virtuálny teleport, sledovanie 3D priestoru, spájanie obrazov

Vedecké ciele

Hlavným vedeckým cieľom je prepojenie virtuálneho sveta typu Metaverse s reálnym svetom formou virtuálneho teleportu vzdialeného priestoru alebo objektu/osoby.

Základné vedecké ciele sú koncentrované do týchto oblastí:

1. Návrh metód a algoritmov pre interaktívne multimediálne služby a aplikácie s dôrazom na doručovaniemultimediálneho obsahu vrátane jeho adaptácie so zameraním na obsah: staticky obraz, 2D video, 3D video, 360° a multismerové video, 3D telerealita, VR/AR

2. Návrh a implementácia systému kamier pre neobmedzený všesmerový stereoskopický prenos obrazovejinformácie zo vzdialeného priestoru a ich synchronizácia

3. Návrh a realizácia metód a algoritmov pre spájanie obrazov v rámci navrhnutého systému kamier

4. Návrh metód a algoritmov pre interaktívne multimediálne služby a aplikácie s dôrazom na doručovanie multimediálneho obsahu vrátane jeho adaptácie so zameraním na interakciu a spätnú väzbu.

5. Identifikácia, návrh a overenie nových možností adaptácie doručovania multimediálneho obsahu v 5G sieťach

6. Integrácia takto vytvoreného teleportu priestoru alebo objektu/osoby do virtuálneho sveta

Anotation

One of the main research topics in the field of ICT is the creation of a virtual world for virtual communication (e.g. Metaverse). Virtualization of communication enables simpler technical implementation but also the creation of virtual worlds with fictional features. The aim of the presented project is to connect the virtual world with the real world, which is scanned and displayed online in the virtual world (virtual teleport VT).We distinguish two types of VT. Object/person scanning and hologram transmission to the virtual world and capturing the distant real world and presenting it.

The principal investigator is the author of patent applications for STU. Their subject is a unique concept of a camera system (see picture in the appx), which ensures spherical space capturing in stereo quality. The task of the project is to integrate at least part of the space/object captured in this way into the virtual world.Camera synchronization, image stitching to create the resulting stereo view is a research challenge

Scientific Goals

The main scientific goal is to connect the Metaverse virtual world with the real world in the form of a virtual teleport of a remote space or object / person.

1. Design of methods and algorithms for interactive multimedia services and applications with emphasis on delivering multimedia content, including its content-oriented adaptation: audio, static image, 2D video, 3D video, 360 ° and omnidirectional video, 3D telereality, VR / AR

2. Proposal and implementation of a camera system for unrestricted omnidirectional stereoscopic transmission of image information from remote location.

3. Proposal and implementation of methods and algorithms for image concatenation within the proposed camera system.

4. Design of methods and algorithms for interactive multimedia services and applications with emphasis on delivering multimedia content, including its adaptation within videoconferencing

5. Identification, proposal and verification of new possibilities for adapting delivery of multimedia content in 5G network

6. Integration of the created teleport of a remote space or object/person with the virtual world.

Keywords

Videoconference in Mixed Reality Environment, virtual teleport, streaming of 3D space and objects, image stitching

Research team

Gregor Rozinaj (principal investigator)

Podhradský Pavol

Oravec Milos

Pavlovicova Jarka

Medvecký Martin

Minarik Ivan

Vančo Marek

Vargic Radoslav