APPLICATION OF A META DRIFT DETECTOR CAPABLE OF CLASSIFYING DRIFT TYPE IN SUPERVISED LEARNING PROBLEMS

Abstract

This thesis addresses the challenge of concept drift in machine learning models applied to financial use cases in a prominent financial institution, specifically Anti Money Laundering (AML). Once a machine learning model is created and trained, concept drift may affect the model performance and lose its accuracy with time. Concept drift refers to the phenomenon in which the relationship between input data and target variables change over time, often reducing the predictive performance of models. This work adapts and implements a Meta Drift Detection model to detect different types of drift in the AML predictive system. The results show that the adapted drift detection method is capable of classifying concept drifts in real-world data, offering valuable insights into model degradation. Moreover, the approach allows for timely model retraining, improving performance in detecting fraudulent activities.

O objetivo desta tese é a deteção de desvios de conceito em modelos de aprendizagem automática aplicados a casos de uso numa instituição financeira proeminente, especificamente no âmbito da Prevenção e Combate ao Branqueamento de Capitais e Financiamento do Terrorismo (BCFT). Uma vez criado e desenvolvido, o modelo de aprendizagem automática pode ser afetado por um desvio de conceito, levando à perda de performance ao longo do tempo. O desvio de conceito refere-se ao fenómeno em que a relação entre os dados de entrada e as variáveis-alvo muda com o tempo, muitas vezes reduzindo o desempenho de previsão dos modelos. Este trabalho adapta e implementa um modelo de Detecção de Desvios de conceito para detetar diferentes tipos de desvios de um modelo preditivo de BCFT. Os resultados mostram que o método adaptado de deteção de desvios é capaz de classificar desvios de conceito em dados do mundo real, oferecendo uma maior compreensão sobre a degradação do modelo. Além disso, a abordagem permite o retreino atempado do modelo, melhorando o desempenho na deteção de atividades fraudulentas.