Benchmarking de Modelos de Previsão: Aplicação no Planeamento de Capacidade da Manutenção Aeronáutica

Abstract

As técnicas de previsão têm sido aplicadas nas mais variadas áreas, desde a política à economia, da saúde à indústria, entre muitas outras. No entanto, todas as áreas apresentam uma característica comum: a necessidade de selecionar a técnica de previsão que melhor se adequa ao seu contexto e que vai permitir obter as previsões mais precisas. Por isto, inúmeros estudos têm vindo a ser realizados com o intuito de avaliar e comparar o desempenho de várias técnicas de previsão de séries temporais. A presente dissertação pretende contribuir para esta discussão ao aplicar modelos Autoregressive Integrated Moving Average (ARIMA) a um conjunto real de dados, constituído por 171 projetos de manutenção realizados num de- terminado modelo de aeronave, recolhidos através de uma organização de Maintenance, Repair and Overhaul (MRO), e comparar os resultados obtidos com os resultados alcançados por um estudo anterior, em que se aplicaram modelos de alisamento exponencial ao mesmo conjunto de dados. Apesar dos dados conterem 171 observações, a série temporal é constitu- ída por 8 pontos, referentes a 8 inspeções de manutenção, fazendo desta uma série temporal curta. No que diz respeito ao planeamento da capacidade, diferentes técnicas de previsão têm vindo a ser empregues, com o objetivo de determinar a carga de trabalho associada a ativida- des de manutenção. Neste estudo, a manutenção aeronáutica será o principal foco. Esta en- globa dois tipos de manutenção: a planeada, considerada essencialmente determinística, e a não-planeada, predominantemente estocástica. Visto que esta última pode representar mais de metade do trabalho realizado por uma organização de MRO, torna-se imperativo que estas possuam previsões precisas, de modo a aumentar a eficiência operacional e diminuir custos Após a realização do estudo, concluiu-se que os modelos ARIMA se ajustaram melhor aos dados, apresentando valores inferiores nas medidas de desempenho, ao passo que os modelos de alisamento exponencial, anteriormente estudados, se destacaram por terem valo- res inferiores no que toca às medidas de erro. Assim, independentemente do número de pon- tos da série considerados, 7 ou 8, o modelo ARIMA (1, 1, 0) foi o que apresentou menor erro.

Forecasting techniques have been applied to a multitude of fields, from politics to eco- nomics, from health to manufacturing, to name some examples. In all these fields, it is of the utmost importance to choose the forecasting technique that will provide the most accurate estimates. Several studies, such as those reporting the M-Competitions, have been conducted to assess and compare the performance of various time series forecasting techniques. This research work aims to contribute to this discussion by applying ARIMA models to a real dataset of 171 aircraft maintenance projects collected from a Portuguese Maintenance, Repair, and Overhaul (MRO) organization, and comparing the obtained results with a previous study, which applied Exponential Smoothing models to the same dataset, comprising 7 and 8 points. Although the data contains 171 observations, the time series consists of a maximum of 8 points, referring to 8 types of maintenance inspections, making this a short time series. When it comes to maintenance capacity planning, different forecasting techniques have been used to determine the workload associated with the execution of maintenance tasks. In this study, aircraft maintenance will be the focus. Aircraft maintenance comprises scheduled maintenance, whose nature is essentially deterministic, and unscheduled maintenance, whose nature is predominantly stochastic. Since the latter can represent half of the maintenance work carried out in aircraft, reliable and accurate workload forecasts are paramount for MRO organ- izations to improve operational efficiency and, consequently, minimize operational costs. After conducting the study, it was concluded that the ARIMA models fit the data better, presenting lower values in performance metrics, meanwhile the exponential smoothing models stood out for having lower values in terms of accuracy metrics. Therefore, regardless of the number of points considered, 7 or 8, the ARIMA (1, 1, 0) model was the one with the lowest error.