A carregar...
Publicação
Intelligent Model Adaptation: A Study of the Application of Deep Neural Networks Repair Techniques in Transfer Learning
| Nome: | Descrição: | Tamanho: | Formato: | |
|---|---|---|---|---|
| 946.71 KB | Adobe PDF |
Orientador(es)
Resumo(s)
Deep Neural Networks (DNNs) are widely used across various applications but often exhibit
unexpected behaviours. Current methods, including systematic retraining, have limitations,
such as resource intensity and a lack of control over localized changes. Transfer Learning (TL)
offers improvements but introduces its own challenges, including domain adaptation and bias
correction. Search-based repair techniques are presented as a potential solution to mitigate
these issues.
This work explores the integration of search-based repair techniques into TL for DNNs, a novel
approach with untapped potential. The main objective is to enhance TL efficiency and
accuracy. To achieve this, a new framework that combines the search-based repair technique
Arachne with TL, named IMA (Intelligent Model Adaptation), is developed and benchmarked
against traditional TL methods using the Cifar-10 dataset. Overall, the preliminary results
reveal that integrating DNN repair techniques has the potential to achieve comparable or
enhanced TL performance, whilst highlighting the need for further experimentation and
framework optimization.
Redes Neuronais Profundas são amplamente utilizadas em várias aplicações. No entanto, apresentam frequentemente comportamentos inesperados, nomeadamente erros na previsão. Os métodos actuais, como por exemplo retreinar a rede neuronal, têm limitações ao nível da necessidade de elevados recursos computacionais e da falta de controlo relativamente às mudanças efectadas nos pesos da rede no decorrer do retreino. Transfer learning (TL) oferece melhorias mas ao mesmo tempo introduz alguns desafios, tais como a adaptação a um novo domínio de tarefa e a correcção de enviesamentos. As ténicas de reparação baseadas em pesquisa posicionam-se como uma potencial solução para mitigar os problemas referidos. Assim, este trabalho explora a integração de técnicas de reparação baseadas em pesquisa no processo de TL em redes neuronais profundas. O principal objectivo prende-se com o aumento da eficiência e precisão de TL, e para atingir este objectivo, uma nova framework que combina a técnica de Arachne com TL foi desenhada e implementada. A nova framework, designada como IMA (em português, Adaptação Inteligente do Modelo) foi avaliada e comparada com métodos tradicionais de TL com recurso ao dataset Cifar-10. Resultados preliminares indicam que a integração de técnicas de reparação de redes neuronais tem potencial para atingir um desempenho semelhante ou superior comparativamente a TL. No entando, destaca-se a necessidade de experimentação adicional e optimização da framework antes de se retirarem conclusões mais definitivas.
Redes Neuronais Profundas são amplamente utilizadas em várias aplicações. No entanto, apresentam frequentemente comportamentos inesperados, nomeadamente erros na previsão. Os métodos actuais, como por exemplo retreinar a rede neuronal, têm limitações ao nível da necessidade de elevados recursos computacionais e da falta de controlo relativamente às mudanças efectadas nos pesos da rede no decorrer do retreino. Transfer learning (TL) oferece melhorias mas ao mesmo tempo introduz alguns desafios, tais como a adaptação a um novo domínio de tarefa e a correcção de enviesamentos. As ténicas de reparação baseadas em pesquisa posicionam-se como uma potencial solução para mitigar os problemas referidos. Assim, este trabalho explora a integração de técnicas de reparação baseadas em pesquisa no processo de TL em redes neuronais profundas. O principal objectivo prende-se com o aumento da eficiência e precisão de TL, e para atingir este objectivo, uma nova framework que combina a técnica de Arachne com TL foi desenhada e implementada. A nova framework, designada como IMA (em português, Adaptação Inteligente do Modelo) foi avaliada e comparada com métodos tradicionais de TL com recurso ao dataset Cifar-10. Resultados preliminares indicam que a integração de técnicas de reparação de redes neuronais tem potencial para atingir um desempenho semelhante ou superior comparativamente a TL. No entando, destaca-se a necessidade de experimentação adicional e optimização da framework antes de se retirarem conclusões mais definitivas.
Descrição
Dissertation presented as the partial requirement for obtaining a Master's degree in Data Science and Advanced Analytics, specialization in Data Science
Palavras-chave
Deep learning Transfer learning DNN repair Search-based repair techniques Arachne Aprendizagem profunda Aprendizagem por transferência Reparação de redes neuronais profundas Ténicas de reparação baseadas em pesquisa Arachne SDG 9 - Industry, innovation and infrastructure