Design and Development of a Data Pipeline for the Aeronautical Industry

Abstract

This document aims to address issues such as obtaining, preparing, harmonising and visualising data as elements of an industrial manufacturing environment. The integration of cutting-edge automation, Internet of Things and data analysis technologies is essential in the context of Industry 4.0 to increase efficiency and decision-making in industrial processes. As AERNNOVA Aerospace Évora is a leading aerospace company, it is very important to keep up with the most advanced technologies in order to guarantee greater efficiency and robustness in its manufacturing processes. In order to collect, harmonise and visualise relevant industry data, taking into account the difficulties of interoperabil- ity, heterogeneity and data volume, the main objective of this project is to develop an infrastructure with high scalability and efficiency capable of solving the aforementioned aspects. The collection, processing and integration of the high volume of data from the 9 machines under study in this project is supported by an infrastructure that uses very effective technologies to fulfil these functions. By using state-of-the-art data processing and data storage methods, it will be possible to combine data from many sources to obtain a holistic view of industrial activities. The harmonised data is used to create interactive dashboards using technologies such as Flask and Dash in order to monitor performance, evaluate key performance indicators (KPIs) and help improve the quality of the services performed.

O presente documento visa abordar questões como a obtenção, preparação, harmonização e visualização de dados como elementos de um ambiente de fabrico industrial. A integração de tecnologias de ponta de automação, IoT e análise de dados é essencial no contexto da Indústria 4.0 para aumentar a eficiência e o processo de tomada de decisão nos processos industriais. Sendo a AERNNOVA Aerospace Évora uma empresa líder no ramo aeronáutico é bastante importante estar na senda das tecnologias mais avançadas de forma a garantir maior eficiência e robustez nos seus processos de fabrico. De forma a recolher, harmonizar e visualizar dados relevantes da indústria, tendo em conta as dificuldades de interoperabilidade, heterogeneidade e volume de dados, o grande objetivo deste projeto é desenvolver uma infraestrutura com elevada escalabilidade e eficiência capaz de solucionar os aspetos supra mencionados. A recolha, o tratamento e a integração do elevado volume de dados provenientes das 9 máquinas em estudo neste projeto são suportados por uma infraestrutura que recorre a tecnologias bastantes eficazes para desempenhar estas funções. Ao utilizar métodos de processamento de dados de ponta, será possível combinar dados de muitas fontes para obter uma visão holística das atividades industriais. Os dados harmonizados são utilizados para criar painéis de controlo interativos utilizando tecnologias como o Flask e Dash, a fim de monitorizar o desempenho, avaliar os indicadores- chave de desempenho (KPIs) e ajudar a melhorar a qualidade dos serviços realizados.