Deep Learning Approach for the Segmentation of Spinal Structures in Ultrasound Images

Abstract

Scoliosis, characterized by a three-dimensional deformation of the spine with a curvature exceeding 10° in the coronal plane, presents a diagnostic challenge. Conventionally, the gold standard for scoliosis diagnosis and spinal curvature measurement relies on X-ray imaging and the calculation of Cobb Angles. However, the ionizing radiation associated with X-rays poses potential risks, including the development of cancer. Moreover, the frequent use of X-rays for monitoring scoliosis progression or treatment outcomes increases the cumulative risk of these adverse effects. In contrast, ultrasound imaging emerges as a promising alternative. It is devoid of ionizing radiation, cost-effective, and highly portable, offering the potential for increased scoliosis screening and detection. Nonetheless, ultrasound spine imaging encounters challenges, notably low contrast and speckled noise, which compromise image quality. In this research endeavour, the application of cutting-edge deep learning techniques to address the challenges present in ultrasound images was studied. A novel deep learning model, known as the Hybrid Attention Recurrent Residual U-Net (Hybrid R2AU-Net), is proposed. It is specifically designed for segmenting spine structures in ultrasound spine images. The Hybrid R2AU-Net is a five-layer deep learning model that includes dense connections, Recurrent Residual Blocks (RecRes Blocks), and attention mechanisms in its architecture. The outcomes of this study were highly encouraging. The Hybrid R2AU-Net outperformed alternative deep learning models, delivering superior results with a Dice Score of 85.2%, a Jaccard Index of 74.3%, and a Detection Rate of 92.4%. In the future, these remarkable achievements underscore the potential of the Hybrid R2AU-Net to be seamlessly integrated into an automated scoliosis diagnosis system, promising a more radiation-free and efficient approach to scoliosis management.

A escoliose é uma deformação tridimensional da coluna associada a uma curvatura superior a 10° no plano coronal. A referência clínica para a medição do grau de curvatura da coluna consiste na utilização de imagens por raio-X para cálculo dos ângulos de Cobb. Contudo, a radiação ionizante associada às imagens de raio-X constitui um risco à saúde humana,incluindo nomeadamente o possível desenvolvimento de cancro.Adicionalmente, a frequente utilização do raio-X para acompanhamento da progressão da doença ou eficácia do tratamento constituem um risco cumulativo e um aumento da probabilidade do aparecimento destes efeitos secundários. A imagem por ultrassom, por outro lado, apresenta-se como uma promissora alternativa. Este tipo de imagem médica não utiliza radiação ionizante, apresenta um baixo custo e pode ser portátil. O seu uso poderá tornar mais acessível o acompanhamento e diagnóstico da escoliose. Contudo, as imagens de ultrassom da coluna apresentam baixo contraste e bastante ruído, o que implica uma redução da qualidade desta imagem. Neste projeto, foram estudados alguns dos componentes das arquiteturas de deep learning mais recentemente desenvolvidas e como é que estes melhoram a qualidade das imagens de ultrassom. É proposto um novo modelo de deep learning, denominado de Hybrid Attention Recurrent Residual U-Net (Hybrid R2AU-Net). Este modelo foi especificamente desenvolvido para a segmentação das estruturas ósseas da coluna presentes em imagens de ultrassom da mesma. Na sua arquitetura, o Hybrid R2AU-Net inclui componentes como uma conexão densa entre encoder e decoder, blocos residuais recurrentes e mecanismos de atenção. Os resultados do presente estudo são bastante promissores. O Hybrid R2AU-Net apresenta uma melhor performance do que outros modelos de deep learning presentes na literatura, com um Dice Score de 85.2%, um Jaccard Index de 74.3% e um Detection Rate de 92.4%. Estes resultados permitem concluir que o Hybrid R2AU-Net apresenta um grande potencial para, no futuro, ser incluído num sistema automático de diagnóstico de escoliose.