Enhancing Spinal Magnetic Resonance Image Resolution with Deep Learning

Abstract

Medical imaging plays a crucial role in diagnosing and planning the treatment of vari- ous medical conditions. While Magnetic Resonance Imaging (MRI) is highly effective in visualizing soft tissue structures, its spatial resolution is often insufficient for detailed anatomical assessments. This limitation is particularly evident in cases such as lumbar disc herniations, where precise visualization of anatomical features is critical for accurate diagnosis and treatment. As a result, Computed Tomography (CT) scans are frequently employed to complement MRI by offering enhanced information on bone structures. The enhancement of MRI resolution is crucial to reducing dependence on CT, however, achiev- ing this improvement is constrained by hardware-related trade-offs. Recent advances in deep learning-based Super-Resolution (SR) techniques have emerged as a promising approach to overcoming these limitations and enhancing MRI resolution, potentially mitigating the need for supplemental CT imaging. Three state-of-the-art SR models, Fast Super-Resolution Convolutional Neural Network (FSRCNN), Residual Dense Network (RDN) and Enhanced Super-Resolution Generative Adversarial Network (ESRGAN), were implemented and rigorously tested. The primary objective was to improve the clarity of spinal MRI images, surpassing the traditional Bicubic Interpolation (BCI) method and enabling a clearer view of finer anatomical details. After extensive optimisation, ESRGAN proved to be the most effective model, offering superior perceptual quality and detail recovery. While RDN achieved better results in pixel-to-pixel metrics such as Peak Signal-to-Noise Ratio (PSNR), Spatial Correlation Coefficient (SCC), Structural Similarity Index (SSIM), Gradient Magnitude Similarity Deviation (GMSD), and Visual Information Fidelity (VIF), ESRGAN excelled in free- reference metrics like Signal-to-Noise Ratio (SNR) and the perceptual metric Perceptual Image Quality Evaluator (PIQE), striking a better balance between noise reduction and perceptual detail preservation, making it the preferred model. When applied to high-quality high-resolution images, ESRGAN showed a tendency to prioritise denoising, focusing more on noise reduction rather than upsampling. However, when trained on images with minimal noise, the model was able to focus on upsampling, and successfully increasing the resolution. Furthermore, ESRGAN output displayed fewer spatial artefacts, as reflected by its lower PIQE score, although the visual results were comparable to those of BCI. The study also tested ESRGAN’s generalisability across various degradation scenarios and different imaging modalities, including CT scans and grey-scale natural images. ESRGAN demonstrated good adaptability, effectively handling degradation patterns and consistently outperforming BCI in the SSIM, GMSD and VIF metrics. The increased resolution achieved by ESRGAN paves the way for future advancements in anatomical segmentation and structural reconstruction. This enhancement in resolution holds the potential to enable more precise techniques, particularly in clinical applications. By providing clearer visualisation, especially in cases such as lumbar disc herniations, this improvement could greatly aid in surgical planning and contribute to better patient outcomes.

A imagiologia médica desempenha um papel indispensável no diagnóstico e planeamento do tratamento de várias condições médicas. Embora a Ressonância Magnética (RM) seja bastante eficaz na visualização de tecidos moles, a sua resolução espacial é frequentemente insuficiente para avaliações anatómicas detalhadas. Esta limitação é particularmente evi- dente em casos como as hérnias discais lombares, em que a visualização precisa das caraterísticas anatómicas é fundamental para um diagnóstico e tratamento mais correto. Como resultado, os exames de Tomografia Computadorizada (CT) são frequentemente utilizados para complementar a RM oferecendo informações melhoradas sobre as estrutu- ras ósseas. A melhoria da resolução da RM é crucial para reduzir a dependência da CT, no entanto, a obtenção desta melhoria é limitada por compromissos relacionados com o hard- ware. Avanços recentes em técnicas de Deep Learning (DL) baseadas em Super-Resolução (SR) surgiram como uma abordagem promissora para superar essas limitações e melhorar a resolução de RM, potencialmente mitigando a necessidade de imagens suplementares de CT. Três modelos de SR encontrados na literatura, Fast Super-Resolution Convolutional Dense Network (FSRCNN), Residual Neural Network (RDN) e Enhanced Super-Resolution Generative Adversarial Network (ESRGAN), foram implementados e rigorosamente testados. O princi- pal objetivo foi melhorar a clareza das imagens de RM da coluna vertebral, superando o método tradicional de Interpolação Bicúbica (BCI) e permitindo uma visualização mais nítida dos detalhes anatómicos. Após uma extensa otimização, o ESRGAN provou ser o modelo mais eficaz, oferecendo uma qualidade perceptiva e uma recuperação de detalhes superior. Enquanto RDN obteve melhores resultados em métricas pixel-a-pixel, como Peak Signal-to-Noise Ratio (PSNR), Spatial Correlation Coefficient (SCC), Structural Similarity Index (SSIM), Gradient Magnitude Similarity Deviation (GMSD), e Visual Information Fidelity (VIF), o ESRGAN destacou-se em métricas de referência livre, como Signal-to-Noise Ratio (SNR) e a métrica percetual Perceptual Image Quality Evaluator (PIQE), alcançando um melhor equilíbrio entre a redução de ruído e a preservação de detalhes perceptuais, tornando-o o modelo preferido. Quando aplicado a imagens de alta-resolução e de alta qualidade, o ESRGAN mostrou uma tendência para priorizar a remoção de ruído, focando-se mais na redução do mesmo do que no aumento da amostragem. No entanto, quando treinado em imagens com ruído mínimo, o modelo conseguiu concentrar-se na sobreamostragem e aumentar a resolução com sucesso. Além disso, os resultados obtidos pelo ESRGAN demonstraram a presença de menos artefactos espaciais, refletido pelo baixo valor de PIQE, embora a qualidade visual fosse comparável à do BCI. O estudo também testou a capacidade de generalização do ESRGAN em vários cenários de degradação e diferentes modalidades de imagem, incluindo CT e imagens naturais na escala de cinzentos. O ESRGAN demonstrou uma boa adaptabilidade, lidando eficazmente com os padrões de degradação e superando consistentemente o BCI nas métricas de SSIM, GMSD e VIF. O aumento da resolução obtido pelo ESRGAN abre o caminho a futuros avanços na segmentação anatómica e na reconstrução estrutural. Este aumento de resolução tem o potencial de permitir técnicas mais precisas, nomeadamente em aplicações clínicas. Ao proporcionar uma visualização mais clara, especialmente em casos como as hérnias discais lombares, esta melhoria pode optimizar o planeamento cirúrgico e, em última análise, conduzir a melhores resultados para os doentes.