Intelligent Techniques for Interactive Video Content

Abstract

Video can be used in many contexts, such as capturing important events, entertainment, or producing educational content. Moreover, video annotation and interactive video enable the viewer to actively engage with the video by providing various annotations or interactive elements, such as clickable buttons, hotspots, text, sketches, or other interactive features that enhance the viewing experience. This is especially relevant in contexts where users need to analyze specific types of video footage and highlight moments of interest. However, those highlights may not be easy to identify or interpret, often requiring significant time and expertise, and can lead to errors or overlooked information. Annotation systems can contribute to video analysis and understanding. These annotations enable the identification of significant elements in videos that require interpretation and creativity. These elements can serve as raw material for creating more detailed analyses, storytelling, or educational tools. Furthermore, these systems can facilitate collaboration, as multiple users can contribute annotations and insights, fostering a richer understanding of the video content. This work began with the development of a video annotation tool, which was subsequently refined and enhanced through requirements gathered in interaction with dance, sports and craft experts. This interaction happened partially in the scope of several European projects. These projects provided the necessary evaluation testbeds for the work described in this dissertation. The research focused on developing technologies for dance analysis. Several challenges were identified during these projects, including the need for automatic video content analysis and annotation of video footage. Addressing these challenges sets the research environment for the work described in this document. A new video annotation tool prototype, MotionNotes, was designed and developed to study integration possibilities. It incorporates intelligent techniques for movement analysis using video, employing automatic video annotation to efficiently identify and tag key actions or events within the footage. This situation represents a larger set of possibilities where machine learning can improve interaction and user experience in interactive tools. The prototype underwent an iterative development process characterized by con- tinuous improvement. User participation was instrumental to the evolution of this work, contributing significantly in each iteration to improve existing functionalities and introducing new features, such as using their own video content to discover movement patterns. After extensive evaluations, MotionNotes proved to be a success- ful instance of an intelligent video annotation tool, enabling techniques that make it possible to augment video information. Therefore, the insights and findings outlined in this document resulted from our exploration of interactive video annotation, com- bined with machine learning, as a representative of a larger class of systems where intelligent tools can help human tasks.

Conteúdos de vídeo podem ser utilizados em contexts diversos, tais como a cap- tura de eventos importantes, entretenimento ou produção de conteúdo educativo. Adicionalmente, a anotação de vídeo e o vídeo interativo permitem ao utilizador envolver-se ativamente com o conteúdo do vídeo, através de várias anotações ou elementos interativos, como botões clicáveis, hotspots, texto, esboços ou outras funci- onalidades interativas que melhoram a experiência e a interação. Isto é especialmente relevante em contextos onde os utilizadores precisam de analisar tipos específicos de filmagem e destacar momentos de interesse. Contudo, esses destaques podem não ser fáceis de identificar ou interpretar, frequentemente exigindo tempo e conhecimento consideráveis, podendo mesmo levar a erros ou informações menos precisas. Os sistemas de anotação podem contribuir para a análise e compreensão de vídeos. Estas anotações permitem a identificação de elementos importantes em vídeos que exigem interpretação e criatividade. Estes elementos podem servir como material bruto para a criação de análises mais detalhadas, ferramentas de narrativa ou educati- vas. Além disso, estes sistemas podem facilitar a colaboração, permitindo que vários utilizadores contribuam com anotações e percepções, promovendo uma compreensão mais rica do conteúdo do vídeo. Este trabalho começou com o desenvolvimento de uma ferramenta de anotação de vídeo, que foi posteriormente refinada e aprimorada através de requisitos recolhidos na interação com especialistas em dança, desporto e artesanato. Esta interação ocorreu, em parte, no âmbito de vários projetos europeus, que forneceram as bases de avaliação necessárias para o trabalho descrito nesta dissertação. A investigação centrou-se inicialmente no desenvolvimento de tecnologias para a análise de dança. Vários desafios foram identificados durante estes projetos, incluindo a necessidade de análise automática de conteúdo de vídeo e anotação de filmagens. A investigação destes desafios estabelece o contexto de pesquisa para o trabalho descrito neste documento. Foi projetado e desenvolvido um novo protótipo de ferramenta de anotação de vídeo, o MotionNotes, para estudar possibilidades de integração. Este protótipo incor- pora técnicas inteligentes de análise de movimento em vídeo, utilizando a anotação automática para identificar e marcar de forma eficiente as ações ou eventos chave na filmagem. Esta situação representa um conjunto mais vasto de possibilidades onde "machine learning"pode melhorar a interação e a experiência do utilizador em ferramentas interativas. O protótipo passou por um processo de desenvolvimento iterativo caracterizado por melhorias contínuas. A participação dos utilizadores foi fundamental para a evo- lução deste trabalho, contribuindo significativamente em cada iteração para melhorar as funcionalidades existentes e introduzir novas funcionalidades, como a utilização dos seus próprios conteúdos de vídeo para descobrir padrões de movimento. Após extensas avaliações, o MotionNotes revelou-se uma ferramenta de anotação de vídeo de qualidade, permitindo técnicas que possibilitam o enriquecimento da informação do vídeo. Assim, as percepções e conclusões descritas neste documento resultam da exploração de anotação de vídeo interativa, combinada com "machine learning", como representante de uma classe mais ampla de sistemas onde ferramentas inteligentes podem auxiliar as tarefas humanas.