Towards High-Fidelity ECG Generation: Evaluation via Quality Metrics and Human Feedback

Abstract

The Electrocardiogram (ECG) is a powerful diagnostic tool that offers valuable insights into the complex functioning of the heart. Despite its widespread use, researchers face significant challenges in accessing openly shared ECG datasets due to privacy concerns and data scarcity. In response, synthetic data generated through Deep Learning (DL) models has emerged as a promising solution. However, evaluating synthetic medical data solely with general quality metrics may not be sufficient, as medical data must be both realistic and clinically relevant. This dissertation aims to overcome such challenges by advancing high-fidelity ECG data generation and evaluation, presenting an approach for generating realistic ECG signals using a diffusion model and introducing a novel evaluation metric based on a DL evaluator model. The initial phase of this research focused on refining the state- of-the-art Structured State Space Diffusion (SSSD-ECG) model through hyperparameter optimization. The fidelity of the generated synthetic dataset was assessed using both quantitative metrics and feedback from medical experts. Additionally, the diversity and utility of the synthetic signals were assessed to ensure comprehensive evaluation. The evaluator model was developed to classify individual synthetic ECG signals into four quality levels and was trained on a custom-developed quality dataset specifically designed for the generation of 12-lead ECG signals. Regarding the goal of generating high-fidelity ECG data, both the evaluation metrics and expert feedback indicate that the SSSD-ECG model was successful. In correlation studies, the evaluator model demonstrated alignment with the fidelity metrics. Overall, this research addresses key challenges in the generation and evaluation of synthetic ECG data, contributing with a novel approach for generating realistic ECG signals, the development of a quality dataset, and a new metric for classifying synthetic ECG data into distinct quality levels.

O Eletrocardiograma (ECG) é uma ferramenta de diagnóstico que oferece informações valiosas sobre o funcionamento do coração. Apesar da sua ampla utilização, os investiga- dores enfrentam desafios no acesso a conjuntos de dados de ECG, devido a preocupações de privacidade e à escassez de dados. Como solução surgem os dados sintéticos gerados através de modelos de Aprendizagem Profunda (AP). Contudo, avaliar dados médicos sintéticos apenas com métricas gerais de qualidade é insuficiente, já que estes devem ser tanto realistas como clinicamente relevantes. Esta dissertação aborda os desafios na geração e avaliação de dados de ECG realistas, apresentando uma abordagem de geração que utiliza um modelo de difusão e introdu- zindo uma nova métrica de avaliação baseada num modelo avaliador de AP. A fase inicial desta pesquisa centrou-se no aprimoramento do modelo da literatura Structured State Space Diffusion (SSSD-ECG) através da otimização de hiperparâmetros. A fidelidade do conjunto de dados sintéticos gerado foi avaliada utilizando métricas quantitativas e feed- back de médicos. Adicionalmente, a diversidade e a utilidade dos sinais sintéticos foram avaliadas para garantir uma avaliação abrangente. O modelo avaliador foi desenvolvido para classificar individualmente sinais de ECG sintéticos em quatro níveis de qualidade, sendo treinado com um conjunto de dados de qualidade desenvolvido especificamente para a geração de sinais de ECG de 12 derivações. Relativamente ao objetivo de gerar dados de ECG realistas, tanto as métricas como o feedback dos especialistas indicam que o modelo SSSD-ECG foi bem-sucedido. Em estudos de correlação, o modelo avaliador demonstrou alinhamento com as métricas de fidelidade. Concluindo, este projeto aborda desafios relevantes na geração e avaliação de dados de ECG sintéticos, contribuindo com uma abordagem inovadora para gerar sinais realistas, com o desenvolvimento de um conjunto de dados de qualidade e uma nova métrica para classificar dados sintéticos de ECG em níveis de qualidade distintos.