A carregar...
Publicação
If This Do That: Interpretable Machine Learning Models For High Stakes Decision-Making
| Nome: | Descrição: | Tamanho: | Formato: | |
|---|---|---|---|---|
| 7.32 MB | Adobe PDF |
Orientador(es)
Resumo(s)
In recent years, there has been an increasing trend in the use of black-box machine
learning models in high-stakes decision making throughout different domains of society.
Even though these models might be very accurate, there is a need to understand the
reason behind the decisions, that is, a need to interpret the models. This need can be
seen in predicting the waiting time in the Emergency Department of a hospital, where
we can not simply trust a model prediction to manage a real health environment without
understanding its reasons, thus, making black-box models impracticable in this scenario.
Although multiple studies have aimed to explain black-box models, this can give the
model even more power and be misleading which is why we should avoid it in highstakes
decisions and use an interpretable model instead.
This thesis demonstrates that interpretable machine learning models can be as good
or even better than state of the art black-box models when predicting the waiting time
in the Emergency Department of a hospital. Moreover, we also propose four new rulebased
methods. To achieve this, we implemented 12 machine learning models, 6 noninterpretable
(black-box) methods (ARIMA, SARIMA, Prophet, LSTM, GRU and the
Transformer) and 6 rule-based and interpretable methods (RuleFit, SIRUS, REN, RDLL,
RDLE and RDLR), 4 of which are proposed in this work (the REN, RDLL, RDLE and
RDLR). The results obtained revealed that although some black-box models can achieve
very good predictions of the waiting times in the emergency department, in some scenarios,
interpretable models can outperform them.
Nos últimos anos, tem havido uma tendência crescente na utilização de modelos blackbox de machine learning na tomada de decisões de alto risco em diferentes domínios da sociedade. Embora estes modelos possam ser muito precisos, existe a necessidade de compreender a razão por detrás das decisões, isto é, existe uma necessidade de interpretar os modelos. Esta necessidade pode ser vista na previsão do tempo de espera no Departamento de Emergência de um hospital, onde não podemos simplesmente confiar numa previsão de um modelo para gerir um ambiente de saúde real sem compreender a sua razão, tornando assim os modelos black-box impraticáveis neste cenário. Apesar de terem sido desenvolvidos vários estudos com o objetivo de explicar os modelos black-box, isto pode dar-lhes ainda mais poder e ser enganador. Por estas razões devemos optar por usar um modelo interpretável em vez de modelos black-box. Esta tese demonstra que modelos de aprendizagem automática interpretáveis podem ser tão bons ou até mesmo melhores do que os modelos não interpretáveis considerados state-of-the-art ao prever o tempo de espera no departamento de emergência de um hospital. Além disso, esta tese propõe quatro modelos de aprendizagem automática novos baseados em regras. De forma a atingir estes objetivos, implementámos 12 modelos de aprendizegem automática, 6 dos quais não interpretáveis (black-box) (ARIMA, SARIMA, Prophet, LSTM, GRU e o Transformer) e 6 modelos interpretáveis baseados em regras (RuleFit, SIRUS, REN, RDLL, RDLE e RDLR ), 4 dos quais foram desenvolvidos e propostos nesta dissertação (REN, RDLL, RDLE e RDLR). Os resultados obtidos revelaram que, embora alguns modelos black-box consigam fazer previsões muito boas dos tempos de espera no serviço de urgência, em alguns cenários, os modelos interpretáveis são capazes de os superar.
Nos últimos anos, tem havido uma tendência crescente na utilização de modelos blackbox de machine learning na tomada de decisões de alto risco em diferentes domínios da sociedade. Embora estes modelos possam ser muito precisos, existe a necessidade de compreender a razão por detrás das decisões, isto é, existe uma necessidade de interpretar os modelos. Esta necessidade pode ser vista na previsão do tempo de espera no Departamento de Emergência de um hospital, onde não podemos simplesmente confiar numa previsão de um modelo para gerir um ambiente de saúde real sem compreender a sua razão, tornando assim os modelos black-box impraticáveis neste cenário. Apesar de terem sido desenvolvidos vários estudos com o objetivo de explicar os modelos black-box, isto pode dar-lhes ainda mais poder e ser enganador. Por estas razões devemos optar por usar um modelo interpretável em vez de modelos black-box. Esta tese demonstra que modelos de aprendizagem automática interpretáveis podem ser tão bons ou até mesmo melhores do que os modelos não interpretáveis considerados state-of-the-art ao prever o tempo de espera no departamento de emergência de um hospital. Além disso, esta tese propõe quatro modelos de aprendizagem automática novos baseados em regras. De forma a atingir estes objetivos, implementámos 12 modelos de aprendizegem automática, 6 dos quais não interpretáveis (black-box) (ARIMA, SARIMA, Prophet, LSTM, GRU e o Transformer) e 6 modelos interpretáveis baseados em regras (RuleFit, SIRUS, REN, RDLL, RDLE e RDLR ), 4 dos quais foram desenvolvidos e propostos nesta dissertação (REN, RDLL, RDLE e RDLR). Os resultados obtidos revelaram que, embora alguns modelos black-box consigam fazer previsões muito boas dos tempos de espera no serviço de urgência, em alguns cenários, os modelos interpretáveis são capazes de os superar.
Descrição
Palavras-chave
Interpretability Machine Learning Time Series Interpretable Machine Learning Rule-based Algorithms Emergency Department Waiting Times