Deep Learning in COVID-19 lung ultrasound analysis

Abstract

One of the determining factors for the COVID-19 course of treatment is disease severity. Medical imaging, particularly CT scans and X-rays, is frequently used in this assessment. However, these methods have significant downsides. Lung ultrasound has recently gained recognition as an alternative to CT scans and X-rays due to the advantages presented by the exam. Lung ultrasounds are cost-effective, portable, fast, non-invasive, easily repeat- able, and do not expose patients to radiation. These aspects are particularly relevant in the context of low-resource health care providers. This study proposes a framework for automated severity analysis of COVID-19 lung ultrasounds, intended to detect frames presenting alterations indicative of the disease and provide its subsequent severity classification. The system could be used to ease the learning process of health care providers and enable them to obtain expert-level COVID- 19 severity assessments even in low-resource situations. The pipeline is comprised of two main modules, the frame selection phase, and a frame classification phase. Due to dataset limitations, the demonstration of the entire se- quence of the pipeline is unachievable. Thus, both phases of the project were approached separately. The frame selection phase consisted of unsupervised learning methods and thus couldn’t be evaluated in this study’s context. Instead, the study offers a demonstration of this step’s procedures. As for the frame classification phase, the study optimized four CNN architectures, one for each anomaly considered for severity classification. All four models were able to accurately determine severity. Based on these findings, the study concluded that by having pre-selected informative frames, it’s possible to train a classifier to reproduce the doctor-attributed scores, which suggests the feasibility of the proposed pipeline.

Um dos principais fatores para a determinação do tratamento para COVID-19 é a severi- dade da doença. Métodos de imagiologia, em particular TACs e radiografias, são frequente- mente usados para a realização desta triagem. No entanto, estes exames têm desvantagens significativas. A ecografia pulmonar tem vindo a ser reconhecida como uma alternativa para TACs e radiografias devido às vantagens que apresenta. A ecografia pulmonar é efici- ente em termos de custos, portátil, rápida, não invasiva, facilmente repetível e não expõe os pacientes a radiação, oferecendo, ainda assim, resultados competitivos. Estes aspetos são particularmente relevantes para prestadores de cuidados com recursos limitados. Este estudo propõe uma framework para a análise automática da severidade de COVID- 19 em ecografias pulmonares, com o propósito de detetar frames que apresentem anoma- lias caraterísticas da doença e subsequentemente produzir uma classificação de severi- dade. Este sistema poderia facilitar o processo de aprendizagem de profissionais de saúde e permitir a obtenção de uma avaliação de nível especializado a prestadores de cuidados de saúde com recursos limitados. A pipeline é composta por dois módulos princípais, o modulo de seleção de frames e o módulo de classificação de frames. Devido a limitações do dataset, não foi possível demonstrar o funcionamente de toda a sequência da pipeline. Assim, as duas fases foram abordadas individualmente. A fase de seleção de frames consiste na aplicação de métodos de aprendizagem não supervisionada e, por isso, não pode ser avaliada no contexto deste estudo. Em vez disto, é oferecida uma demonstração dos processos deste módulo. Quanto à fase de classificação de frames, foram otimizadas quatro Convolutional Neural Networks, uma para cada uma das quatro anomalias consideradas na avaliação de severidade. Todos os quatro modelos demonstraram conseguir determinar a severidade das frames com elevada taxa de sucesso. Com base nos resultados obtidos, foi possível concluir que tendo frames infromati- vas pré-selecionadas, é possível treinar um classificador para reproduzir a pontuação atribuída pelos médicos, o que sugere a vialibilidade futura do sistema proposto.