VIDEO MATTING FOR LIVE SPORTS BROADCASTING. ARTIFICIAL INTELLIGENCE FOR REAL-TIME INFERENCE

Abstract

Atualmente, diversas aplicações da indústria televisiva e cinematográfica usam a deteção do primeiro plano de uma imagem relativamente ao seu plano de fundo de cor sólida e distinguível. Desta forma é possível alterar apenas o plano de fundo mantendo o primeiro plano. A utilização de um plano de fundo distinguível funciona em certas circunstâncias, contudo para imagens ou vídeos num contexto real pode não haver essa possibilidade. O problema de separar o plano de fundo do primeiro plano designa-se por alpha matting. Para resolver os casos mais complexos de alpha matting é necessário aplicar novas técni- cas. As soluções atuais baseiam-se em arquiteturas de inteligência artificial especializadas em detetar primeiros planos. Para a especialização destas arquiteturas no contexto de desporto, um dataset composto por múltiplos desportos foi criado para realizar treinos e validações destas redes. Uma arquitetura de aprendizagem profunda foi estudada e especializada no caso particular do desporto. Um novo estudo sobre uma nova rede híbrida foi proposto para competir com as atuais soluções disponíveis. Para tirar partido destas redes durante transmissões desportivas no mercado profissio- nal, uma implementação foi realizada de raiz para atingir o melhor desempenho possível com o intuito de integrar um produto final num motor de renderização.

Nowadays, many applications in the television and movie industry make foreground detection against a well-established background with a distinguishable solid color. By making this distinction, it is possible in a post-process phase, to delete the background while keeping the foreground. This usage of a solid and distinguishable color for the background works to a certain extent. For real and complex images or videos where no distinguishable background can be selected, this approach is not suitable. This problem is referenced as alpha matting. To solve more complex cases of alpha matting, a novel approach is needed. Many state-of-the-art solutions make use of deep learning architectures that are specialized in detecting foregrounds in complex scenarios. For the architecture specialization in sports, a new synthetic dataset was created. This dataset, composed of multiple sports videos is used to train and validate alpha matting networks. A deep learning architecture was studied and trained for the sports context. A new study on a custom hybrid model was proposed to compete with state-of-the-art architectures already available. To use the capabilities of neural networks during a sports broadcast in the professional market, an integration was developed that aims to achieve the highest frame rate possible.