Deep Reinforcement Learning Management System For Secure Intralogistics

Abstract

O crescimento e desenvolvimento da Indústria tem vindo a ser notório ao longo dos últimos anos devido, em boa parte, às revoluções industriais que existiram. Estas fizeram com que a competitividade na Indústria aumentasse e, com isso, fosse necessário ter em conta fatores potenciadores de sucesso perante as outras ofertas existentes no mercado. O planeamento da produção é crucial e, quando realizado com qualidade, traz vários benefícios. Um bom planeamento permite ampliar a capacidade de produção, minimi- zando os desperdícios e, consequentemente, aumentar a competitividade da empresa. Nesse sentido, a presente dissertação tem por objetivo criar um sistema apto a obter um planeamento capaz de trazer benefícios à produção num caso real. De forma a caracterizar o problema, foi realizado um estudo que permitiu identificar o mesmo como um Flow-Shop Scheduling Problem (FSSP) assim como as soluções existentes para o mesmo. Destas soluções, optou-se por recorrer ao algoritmo Q-learning de forma a obter um sistema capaz de otimizar a produção. De modo a visualizar e a tornar este sistema mais fidedigno, recorreu-se ao software SIMIO para se realizarem comparações por forma a aferir os resultados. Quanto aos resultados obtidos, estes mostraram-se positivos para os diferentes testes realizados. Primeiramente, com o intuito de validar o algoritmo a utilizar recorreu-se à otimização de casos conhecidos, nos quais se obtiveram resultados próximos dos ótimos garantindo o bom funcionamento do mesmo. De seguida, modelou-se o sistema para que o mesmo representasse, de forma assertiva, o sistema real em estudo. Por último, realizaram-se otimizações no planeamento do caso real que resultaram em melhorias significativas do mesmo. Em suma, o sistema mostrou-se capaz de obter soluções que otimizam e beneficiam o sistema real. Contudo, o algoritmo demostrou algumas limitações e identificaram-se pontos do sistema passiveis de serem otimizados para que seja possível obter melhores resultados.

The growth and development of Industry has been notorious over the last few years due, largely, to the industrial revolutions that have taken place. These revolutions in- creased industry’s competitiveness and, consequently, it is necessary to consider aspects that enhance success compared to other competitors on the market. Production planning is crucial, and, when done properly it brings several benefits. Good planning allows expanding production’s capacity, minimize losses and, conse- quently, increase company’s competitiveness. In that regard, this dissertation aims to create a system capable of achieve a planning capable of bringing benefits to a real pro- duction case. To characterize the problem, a study was carried out to identify the problem as a Flow-Shop Scheduling Problem (FSSP) as well as the existing solutions for it. From these solutions, we chose to use the Q-learning algorithm to obtain a system capable of optimiz- ing production. To visualize and to make this system more reliable, the software SIMIO was used to carry out comparisons to assess the results. As for the obtained results, they were positive for the different tests performed. First, to validate the used algorithm, we resorted to the optimization of known cases, in which the obtained results were close to the optimal, ensuring its proper functioning. The, the system was modelled to represent, in an assertive way, the real system under study. Finally, optimizations were carried out in the planification of the real case, resulting in significant improvements in the case. To finalize, the system proved capable of obtaining solutions that optimize and im- prove the real system. However, the algorithm revealed some limitations and some points that could be optimize so that is possible to obtain better results.