The pincer and the rogue algorithm

Abstract

As decisões automatizadas, baseadas em algoritmos de machine learning, estão a ganhar terreno no sector segurador, considerando a reputação que detêm quanto à precisão com que preveem o exato risco dos segurados e quanto à minimização dos custos que oferecem às seguradoras. No entanto, os riscos inerentes, demasiado perturbadores para serem ignorados, têm estado no epicentro da discussão. Desde perpetuarem os preconceitos pré-existentes a facilitarem uma vigilância governamental invasiva, tudo debaixo do nariz até daqueles que as implementam, torna-se difícil ignorar os seus inevitáveis perigos por conta dos seus benefícios. Esta dissertação explora, assim, como podem as pessoas ser protegidas destas consequências nocivas das decisões automatizadas e o que as seguradoras podem e devem fazer para as ajudar, no combate ao inimigo comum. A análise encontra-se dividida em três partes. Primeiramente, é analisado o contexto das decisões automatizadas no setor segurador, sendo identificados os seus riscos numa taxonomia compreensiva, que inclui exemplos aplicáveis ao setor. Posteriormente, é abordada, de forma mais aprofundada, a posição da UE relativamente à antidiscriminação e à proteção de dados pessoais, duas das minhas principais preocupações com as decisões automatizadas. No âmbito da proteção de dados, a análise volta-se para os direitos garantidos aos titulares de dados, quando, em relação a si, é tomada uma decisão automatizada, no sentido de lhes garantir proteção na eventualidade de impactos adversos. Considerando as dificuldades de garantir na prática o direito de contestar uma decisão automatizada, a última parte desta dissertação dedica-se à interpretação do modelo de dupla proteção do RGPD relativo às decisões automatizadas, baseado nos seus mecanismos de responsabilização algorítmica. Esta dissertação termina trazendo para a discussão sobre o direito a contestar uma decisão automatizada, um ponto de vista mais prático e baseado na experiência, sugerindo uma integração proativa das Avaliações de Impacto sobre a Proteção de Dados na estratégia das seguradoras quando implementam um sistema de decisões automatizadas.

Automated decision-making based on machine learning algorithms is gaining ground in the insurance sector, as these systems have a reputation of accurately predicting the true risk of policyholders and minimizing costs for insurance companies. However, their inherent perils are on the spotlight of discussion as they are too disturbing to feel at ease with. From exacerbation of pre-existent biases to allowing excessive government surveillance, all under the noses of even the ones implementing it, it is inconceivable to disregard the inevitable hazards just on account of the benefits. This dissertation thus explores how can people be protected from the unintended harmful consequences of ADM and what insurers can and should do to help them fight a common enemy. The analysis is divided in three parts. First, analysing the ADM in insurance context and situating its hazards in a comprehensive taxonomy including examples that directly apply to the sector. Second, providing a more in-depth EU approach towards antidiscrimination and data protection (my two main concerns with ADM). In the context of data protection, the analysis turns to the rights granted to data subjects when an automated decision is taken, as to protect them in case of adverse outcomes. Considering the difficulty to grant in practice the right to contest an automated decision, the last part dedicates to an interpretation of the dual protection model of the GDPR concerning ADM, based on the Regulation’s algorithmic accountability mechanisms. This dissertation ends by proposing a more practical and experience-based point of view to the discussion on the feasibility of the right to contest, suggesting a proactive integration of Data Protection Impact Assessments in the pipelines of insurers when deciding to implement an ADM system.