Developing End-to-End, Deep Learning-Based Chatbots for Healthcare Support in Portuguese

Abstract

Access to healthcare is a fundamental human right, crucial for individual and societal well- being. Unfortunately, barriers such as financial constraints and geographical limitations often make this access not universally straightforward. Simultaneously, healthcare systems worldwide are increasingly burdened by growing patient demand and limited resources. The constant development of fields like artificial intelligence allows the emergence of solutions like chatbots which can support a variety of health-related tasks enhancing both patient and medical experience. This thesis focuses on the proposal of an architecture for the development of informative Healthcare-specific chatbots in the Portuguese language. The proposal employs Large Language Models, Retrieval Augmented Generation, and Prompt Engineering combined with medical-certified documentation to perform accurate and trustable conversational tasks with language accessible to the patient. Further, a web interface allows the users to interact with the system. The architecture was validated in the medical domains of Deep Brain Stimulation and Parkinson’s Disease, and Cardiothoracic Surgery. Among different configurations of models and system parameters, the best-performing configuration involved the LLAMA3- 8B model with a chunk size of 256 tokens, achieving an average BERTScore of 0.7795 when evaluated on a reference corpus. To support the chatbot’s performance, two sets of validated question-answer pairs in Portuguese were introduced: 23 pairs related to Deep Brain Stimulation and Parkinson’s Disease, and 139 pairs addressing Cardiothoracic Surgery. These domain-specific datasets, vetted by healthcare professionals, represent a valuable resource for future advancements in medical chatbot applications.

O acesso a cuidados de saúde é um direito humano e crucial para o bem-estar individual e social. Infelizmente, obstáculos como condições financeiras e limitações geográficas frequentemente dificultam este acesso de maneira significativa.Simultaneamente, os sis- temas de saúde estão cada vez mais sobrecarregados. O constante desenvolvimento de campos como a inteligência artificial permite o surgimento de soluções como os chatbots, que podem apoiar uma série de tarefas relacionadas com a saúde, melhorandotanto a experiência do paciente como a do médico. Esta tese centra-se na proposta de uma arquitetura para o desenvolvimento de chatbots informativos específicos da área da saúde em língua portuguesa. A proposta emprega Large Language Models, Retrieval Augmented Generation e Prompt Engineering combinados com documentação médica certificada para realizar tarefas de conversação precisas e confiáveis com linguagem acessível ao paciente. Além disso, uma interface Web permite ao utilizador interagir com o sistema. A arquitetura foi validada nos domínio médicos da estimulação cerebral profunda e da doença de Parkinson, e da Cirurgia Cardiotorácica. Entre as diferentes configurações de modelos e parâmetros do sistema, a configuração com melhor desempenho envolveu o modelo LLAMA3-8B com uma dimensão de 256 tokens, obtendo um BERTScore médio de 0,7795 quando avaliada num corpus de referência. Adicionalmente, foram introduzidos dois conjuntos de pares pergunta-resposta em português: 23 pares relacionados com a Estimulação Cerebral Profunda e a Doença de Parkinson, e 139 pares relacionados com a Cirurgia Cardiotorácica. Estes conjuntos, avaliados por profissionais de saúde, representam um recurso valioso para futuros avanços nas aplicações de chatbot médico.