Reimplementation of the SID-PSM Derivative-Free Optimization Algorithm in Python

Abstract

This dissertation builds upon the advances made in the BoostDFO research project, regarding the improvements made on some derivative-free optimization algorithms, written in MATLAB, including their parallelization. However, this project still left room for improvement, particularly in terms of parallelization and availability of the algorithms to the scientific community, which this dissertation tackles. Derivative-free optimization methods find their use in several academic and industrial fields, including but not limited to: machine learning, chemistry, renewable energy, power grid optimization and logistics. Given that many scientific and industrial fields are populated by an intensive use of the Python programming language it turns out to be interesting to rewrite some of the MATLAB algorithms in this language and, along the way, allow for the use of cluster architectures to support its parallelism, given that performance is critical in their applications. As such, this dissertation ports the derivative-free optimization algorithm SID-PSM into Python and evaluates the performance of some of its compatible parallelism approaches. As a result of this effort, this thesis contributes a more flexible and accessible implementation of SID-PSM to the broader scientific community and paves the way for the conversion of other algorithms from the BoostDFO project by providing useful insight about the conversion process.

Esta dissertação baseia-se nos avanços feitos no projeto de pesquisa BoostDFO, sobre as melhorias feitas em alguns algoritmos de otimização sem derivadas, escritos em MATLAB, incluindo a sua paralelização.No entanto, este projeto deixou ainda espaço para melhorias, especialmente em termos de paralelização e de disponibilidade dos algoritmos à comunidade científica, de que esta dissertação trata. Os métodos de otimização sem derivadas sãoamplamente utilizadosemdiversas áreas académicas e industriais,incluindo de forma não exaustiva: aprendizagem automática, química, energia renovável, otimização da rede elétrica e logística. Dado que muitas áreas científicas e industriais fazem uso intensivo da linguagem de programação Python, torna-se interessante reescrever alguns dos algoritmos implementados emMATLAB nesta linguagem e, no caminho, permitir o uso de arquiteturas de cluster para suportar o seu paralellismo, dado que o desempenho é crítico nas suas aplicações. Como tal, esta dissertação porta o algoritmo de otimização sem derivadas SID-PSM para Python e avalia o desempenho de algumas das abordagens de paralelismo compatíveis com o mesmo. Comoresultado deste esforço, esta tese contribui com uma implementação mais flexível e acessível do SID-PSM para a comunidade científica em geral e abre caminho para a reescrita de outros algoritmos do projeto BoostDFO ao fornecer conhecimento útil acerca do processo de conversão.