A carregar...
Publicação
BIAS DISCOVERY AND MITIGATION IN MEDICAL ARTIFICIAL INTELLIGENCE
| Nome: | Descrição: | Tamanho: | Formato: | |
|---|---|---|---|---|
| 6.86 MB | Adobe PDF |
Autores
Orientador(es)
Resumo(s)
Machine-learning systems are used to improve efficiency and quality of results and
should uphold an impartiality standard above human decisions. Nevertheless, biases are
frequently observed, leading to suboptimal outcomes for specific groups. This problem
is amplified in healthcare by the field’s complexity, limitations, and implications of its
applications. The most common problem is the lack of enough samples to accurately
represent the population, resulting in impeding consequences in these specific groups.
Existing methods for evaluating these systems vary from evaluating the global per-
formance of studied groups to comparing similar samples in an instance-based analysis.
From the latter approach, the methodology of generating counterfactuals, samples modi-
fied to answer "what if..?" scenarios, has gained popularity in recent years, valued for its
interpretability and versatility.
However, despite the instance-based perspective it provides, there is a gap in how to
properly generalize this methodology. This work extends this approach by exploring novel
evaluation metrics supported by a new visualization analogous to the confusion matrix.
It also explores the plausibility of the generated counterfactuals, experimenting with the
incorporation of domain knowledge. Motivated by a prevalent issue in healthcare - data
scarcity - it analyzes the results of performing data augmentation with counterfactuals to
mitigate bias without compromising performance.
As a result, this work contributes with a new bias detection and mitigation technique
and reports promising results for ensuring more reliable decision-support systems in
healthcare.
Sistemas de aprendizagem automática são utilizados para melhorar a eficiência e a qualidade dos resultados, e deveriam manter um padrão de imparcialidade acima das decisões humanas. No entanto, é frequente observarem-se enviesamentos, que levam a decisões não adaptadas para grupos específicos. Este problema é extrapolado nos cuidados de saúde devido à complexidade, limitações e implicações nesta aplicação. Um problema recorrente é a falta de amostras suficientes para representar a população devidamente, o que resulta em consequências irreversíveis em grupos específicos. Os métodos existentes para a avaliação destes sistemas variam desde a avaliação do desempenho global dos grupos em estudo, até a comparação de amostras semelhantes em uma análise instância a instância. A partir desta última abordagem, a metodologia de geração de contrafactuais, amostras modificadas para responder a cenários "e se..?", ganhou popularidade nos últimos anos, valorizada pela sua interpretabilidade e versatilidade. No entanto, apesar da perspetiva local que proporciona, permanece uma lacuna na forma de generalizar corretamente esta metodologia. Este trabalho expande esta aborda- gem explorando novas métricas de avaliação apoiadas por uma nova visualização análoga à matriz de confusão tradicional. Também explora a plausibilidade dos contrafactuais gerados, experimentando a incorporação de conhecimento do domínio. Como resposta ao problema prevalente dos cuidados de saúde - escassez de dados - é estudado o aumento de dados com contrafactuais para mitigar o enviesamento sem comprometer o desempenho. Por conseguinte, este trabalho contribui com uma nova técnica de deteção e mitigação de enviesamentos e apresenta resultados promissores para garantir sistemas de suporte à decisão em saúde mais fiáveis.
Sistemas de aprendizagem automática são utilizados para melhorar a eficiência e a qualidade dos resultados, e deveriam manter um padrão de imparcialidade acima das decisões humanas. No entanto, é frequente observarem-se enviesamentos, que levam a decisões não adaptadas para grupos específicos. Este problema é extrapolado nos cuidados de saúde devido à complexidade, limitações e implicações nesta aplicação. Um problema recorrente é a falta de amostras suficientes para representar a população devidamente, o que resulta em consequências irreversíveis em grupos específicos. Os métodos existentes para a avaliação destes sistemas variam desde a avaliação do desempenho global dos grupos em estudo, até a comparação de amostras semelhantes em uma análise instância a instância. A partir desta última abordagem, a metodologia de geração de contrafactuais, amostras modificadas para responder a cenários "e se..?", ganhou popularidade nos últimos anos, valorizada pela sua interpretabilidade e versatilidade. No entanto, apesar da perspetiva local que proporciona, permanece uma lacuna na forma de generalizar corretamente esta metodologia. Este trabalho expande esta aborda- gem explorando novas métricas de avaliação apoiadas por uma nova visualização análoga à matriz de confusão tradicional. Também explora a plausibilidade dos contrafactuais gerados, experimentando a incorporação de conhecimento do domínio. Como resposta ao problema prevalente dos cuidados de saúde - escassez de dados - é estudado o aumento de dados com contrafactuais para mitigar o enviesamento sem comprometer o desempenho. Por conseguinte, este trabalho contribui com uma nova técnica de deteção e mitigação de enviesamentos e apresenta resultados promissores para garantir sistemas de suporte à decisão em saúde mais fiáveis.
Descrição
Palavras-chave
Bias Machine-Learning Counterfactuals Fairness Augmentation