Immersive Training through VR and AI

Abstract

We live in a time in which the importance of efficient teaching methods in the professional world is immense and continuously growing. In the face of this, numerous approaches and ideas on this subject have emerged. However, with today's technology, it is now possible to integrate generative artificial in- telligence with virtual reality and digital twins to create efficient and autonomous learning en- vironments. This dissertation demonstrates this concept, within the context of teaching the user how to control a manufacturing robot. While there are existing ideas on using these tools for educational purposes, the concept of combining them to create a fully immersive learning environment has not been sufficiently explored. One reason for this is that most of these tools, particularly generative AI, are relatively new, and some have been expensive or difficult to gain access to in recent years. However, this is expected to change over time as these technologies improve and become more accessible. The focus of this project was then on developing a proof-of-concept system that demon- strates the feasibility of integrating generative AI, Digital Twins (or some other type of virtual replica) and VR technologies, all within a single system, to provide the user with an immersive learning experience, in this case, for teaching robot controls. The system immerses the user in a VR environment, allows the user to control a virtual replica of a manufacturing robot, and supports the user with AI functionalities, in the form of an AI tutor or assistant. The development process required a thorough analysis of available tools and methods for integrating them into one application. The main challenge was to make these tools function cohesively within the context of teaching and immersing the user in the virtual world. By the end of development, the proof-of-concept system successfully demonstrates that creating such an immersive learning environment is indeed possible and it highlights the pro- found potential of these new technologies to revolutionize teaching methods.

Vivemos numa época em que a importância de métodos de ensino eficientes no mundo profissional é imensa e tem vindo a crescer. Perante isto, têm surgindo diversas abordagens e ideias sobre este tema. Contudo, com a tecnologia atual, torna-se agora possível integrar inteligência artificial generativa com realidade virtual e digital twins para criar ambientes de aprendizagem eficientes e autónomos. Esta dissertação irá demonstrar este conceito, dentro do contexto de ensinar o utilizador a controlar um robô de manufatura. Embora já existam ideias sobre o uso destas ferramentas para fins educativos, o conceito de as combinar para criar um ambiente de aprendizagem totalmente imersivo não foi suficientemente explorado. Uma das razões para isso é que muitas destas ferramentas, particularmente a IA generativa, são relativamente recentes e algumas têm sido caras ou difíceis de obter nos últimos anos. No entanto, espera-se que isso mude à medida que, com o passar do tempo, estas tecnologias melhorem e se tornem mais acessíveis. O foco deste projeto consistiu, portanto, no desenvolvimento de um sistema de prova de conceito que demonstre a viabilidade de integrar IA generativa, Gémeos Digitais (ou outro tipo de réplica virtual) e tecnologias de Realidade Virtual, todas num único sistema, com o intuito de proporcionar ao utilizador uma experiência de aprendizagem imersiva, neste caso, para o ensino de controlo de robôs. O sistema imerge o utilizador num ambiente de realidade virtual, permite-lhe controlar a réplica digital de um robô de manufatura e apoia o utilizador com funcionalidades de IA, na forma de um tutor ou assistente artificial. O processo de desenvolvimento exigiu uma análise detalhada das ferramentas disponíveis e dos métodos para as integrar numa única aplicação. O principal desafio foi fazer com que estas ferramentas funcionassem de forma coesa no contexto de ensino e imersão do utilizador no mundo virtual. Ao fim do desenvolvimento, o sistema de prova de conceito demonstra com sucesso que é de facto possível criar um ambiente de aprendizagem imersivo deste tipo, e destaca o potencial profundo que estas novas tecnologias têm para revolucionar os métodos de ensino.