A carregar...
Publicação
Real-Time Interaction with Live Broadcasted Events
| Nome: | Descrição: | Tamanho: | Formato: | |
|---|---|---|---|---|
| 11.7 MB | Adobe PDF |
Autores
Orientador(es)
Resumo(s)
In recent years, Augmented Reality (AR) has surged in popularity due to increasingly
accessible system requirements and a growing number of practical applications, coupled
with the notable success of recent AR-based video games, which renewed interest in this
technology as an entertainment medium.
The goal of this dissertation is to create an innovative system that makes use of AR
and VR technology in order to allow users to remotely interact with live broadcasted
events such as sports car races, participating as virtual players that can be seen among the
real-world competitors by spectators watching the broadcast.
This project entails two primary challenges: ensuring the seamless integration of virtual
players into the source video as they move along the track, and accurately positioning
real-world cars within the VR simulation, in which they are represented using 3D models
for virtual players to race against.
To achieve these objectives, this dissertation covers the design and implementation
of a system that enables this level of interactivity. Making use of the versatility of the
Unity platform, a racing simulator was developed as a proof-of-concept that receives data
from a secondary Python-based application, responsible for processing real-time video
streams to determine the positions of cars on the track. This data is used by the simulator
to replicate the real-world cars in the virtual environment. In parallel, Unity cameras
placed in the virtual track with positions and configurations mirroring their real-world
counterparts are used in order to generate an AR view of the gameplay footage merged
into the original video.
The developed simulator allows players to race against real-world opponents, whose
positions are obtained from analysis of the video stream using object detection techniques.
It also provides users who wish to spectate the race with an AR-based view of the event
from the perspective of one of the real-world cameras, consisting of the original video
footage augmented with the gameplay of the virtual participants.
Recentemente a Realidade Aumentada (RA) tem ganho popularidade devido à maior acessibilidade dos requisitos de sistema e ao aumento das aplicações práticas desta tecnologia, em conjunto com o sucesso notável de videojogos recentes baseados em RA, que atraíram atenção para o potencial desta tecnologia enquanto meio de entretenimento. O objectivo desta dissertação é a criação de um sistema inovador que permita aos utili- zadores interagir remotamente e em tempo real com eventos desportivos como corridas de automóvel através do uso de tecnologias de Realidade Aumentada e Virtual, participando nos mesmos enquanto competidores virtuais também visíveis aos espectadores do evento. São colocados dois desafios principais: assegurar a integração de forma precisa dos jogadores virtuais no vídeo original à medida que estes se movimentam na pista ou quando os espectadores mudam de perspectiva para a de outra câmara, e garantir o posicionamento correcto dos carros reais no ambiente virtual, onde são representados por um modelo 3D contra o qual os jogadores competem. De modo a cumprir estes objectivos, esta dissertação envolve o desenho e implemen- tação de um sistema que permita alcançar este nível de interactividade. Utilizando a versatilidade da plataforma Unity, foi desenvolvido um simulador de corridas como prova de conceito que recebe dados de uma aplicação secundária desenvolvida em Python, responsável pelo processamento em tempo real de vídeo de modo a determinar a posição dos carros na pista. Estes dados são utilizados pelo simulador para replicar os carros do mundo real no ambiente virtual. Em paralelo, câmaras colocadas na pista virtual, com posições e configurações idênticas às das suas contrapartes no mundo real, são utilizadas para gerar uma visão em RA dos participantes virtuais inseridos no vídeo original. O simulador desenvolvido permite aos jogadores competir contra carros no mundo real cujas posições são obtidas por análise de vídeo usando técnicas de detecção de objectos, enquanto que os espectadores têm acesso a uma visão baseada em RA do evento que consiste no vídeo original combinado com os jogadores virtuais.
Recentemente a Realidade Aumentada (RA) tem ganho popularidade devido à maior acessibilidade dos requisitos de sistema e ao aumento das aplicações práticas desta tecnologia, em conjunto com o sucesso notável de videojogos recentes baseados em RA, que atraíram atenção para o potencial desta tecnologia enquanto meio de entretenimento. O objectivo desta dissertação é a criação de um sistema inovador que permita aos utili- zadores interagir remotamente e em tempo real com eventos desportivos como corridas de automóvel através do uso de tecnologias de Realidade Aumentada e Virtual, participando nos mesmos enquanto competidores virtuais também visíveis aos espectadores do evento. São colocados dois desafios principais: assegurar a integração de forma precisa dos jogadores virtuais no vídeo original à medida que estes se movimentam na pista ou quando os espectadores mudam de perspectiva para a de outra câmara, e garantir o posicionamento correcto dos carros reais no ambiente virtual, onde são representados por um modelo 3D contra o qual os jogadores competem. De modo a cumprir estes objectivos, esta dissertação envolve o desenho e implemen- tação de um sistema que permita alcançar este nível de interactividade. Utilizando a versatilidade da plataforma Unity, foi desenvolvido um simulador de corridas como prova de conceito que recebe dados de uma aplicação secundária desenvolvida em Python, responsável pelo processamento em tempo real de vídeo de modo a determinar a posição dos carros na pista. Estes dados são utilizados pelo simulador para replicar os carros do mundo real no ambiente virtual. Em paralelo, câmaras colocadas na pista virtual, com posições e configurações idênticas às das suas contrapartes no mundo real, são utilizadas para gerar uma visão em RA dos participantes virtuais inseridos no vídeo original. O simulador desenvolvido permite aos jogadores competir contra carros no mundo real cujas posições são obtidas por análise de vídeo usando técnicas de detecção de objectos, enquanto que os espectadores têm acesso a uma visão baseada em RA do evento que consiste no vídeo original combinado com os jogadores virtuais.
Descrição
Palavras-chave
Augmented Reality Virtual Reality Simulator Computer Vision Image Processing