A carregar...
Publicação
Neuroevolution under unimodal error landscapes : an exploration of the semantic learning machine algorithm
| Nome: | Descrição: | Tamanho: | Formato: | |
|---|---|---|---|---|
| 609.46 KB | Adobe PDF |
Autores
Orientador(es)
Resumo(s)
Neuroevolution is a field in which evolutionary algorithms are applied with the goal
of evolving Artificial Neural Networks (ANNs). These evolutionary approaches can be
used to evolve ANNs with fixed or dynamic topologies. This paper studies the Semantic
Learning Machine (SLM) algorithm, a recently proposed neuroevolution method
that searches over unimodal error landscapes in any supervised learning problem,
where the error is measured as a distance to the known targets. SLM is compared with
the topology-changing algorithm NeuroEvolution of Augmenting Topologies (NEAT)
and with a fixed-topology neuroevolution approach. Experiments are performed on a
total of 6 real-world datasets of classification and regression tasks. The results show
that the best SLM variants outperform the other neuroevolution approaches in terms
of generalization achieved, while also being more efficient in learning the training data.
Further comparisons show that the best SLM variants also outperform the common
ANN backpropagation-based approach under different topologies. A combination of
the SLM with a recently proposed semantic stopping criterion also shows that it is
possible to evolve competitive neural networks in a few seconds on the vast majority
of the datasets considered.
Neuro evolução é uma área onde algoritmos evolucionários são aplicados com o objetivo de evoluir Artificial Neural Networks (ANN). Estas abordagens evolucionárias podem ser utilizadas para evoluir ANNs com topologias fixas ou dinâmicas. Este artigo estuda o algoritmo de Semantic Learning Machine (SLM), um método de neuro evolução proposto recentemente que percorre paisagens de erros unimodais em qualquer problema de aprendizagem supervisionada, onde o erro é medido como a distância com os alvos conhecidos previamente. SLM é comparado com o algoritmo de alteração de topologias NeuroEvolution of Augmenting Topologies (NEAT) e com uma abordagem neuro evolucionária de topologias fixas. Experiências são realizadas em 6 datasets reais de tarefas de regressão e classificação. Os resultados mostram que as melhores variantes de SLM são mais capazes de generalizar quando comparadas com outras abordagens de neuro evolução, ao mesmo tempo que são mais eficientes no processo de treino. Mais comparações mostram que as melhores variantes de SLM são mais eficazes que as abordagens mais comuns de treino de ANN usando diferentes topologias e retro propagação. A combinação de SLM com um critério semântico de paragem do processo de treino também mostra que é possível criar redes neuronais competitivas em poucos segundos, na maioria dos datasets considerados.
Neuro evolução é uma área onde algoritmos evolucionários são aplicados com o objetivo de evoluir Artificial Neural Networks (ANN). Estas abordagens evolucionárias podem ser utilizadas para evoluir ANNs com topologias fixas ou dinâmicas. Este artigo estuda o algoritmo de Semantic Learning Machine (SLM), um método de neuro evolução proposto recentemente que percorre paisagens de erros unimodais em qualquer problema de aprendizagem supervisionada, onde o erro é medido como a distância com os alvos conhecidos previamente. SLM é comparado com o algoritmo de alteração de topologias NeuroEvolution of Augmenting Topologies (NEAT) e com uma abordagem neuro evolucionária de topologias fixas. Experiências são realizadas em 6 datasets reais de tarefas de regressão e classificação. Os resultados mostram que as melhores variantes de SLM são mais capazes de generalizar quando comparadas com outras abordagens de neuro evolução, ao mesmo tempo que são mais eficientes no processo de treino. Mais comparações mostram que as melhores variantes de SLM são mais eficazes que as abordagens mais comuns de treino de ANN usando diferentes topologias e retro propagação. A combinação de SLM com um critério semântico de paragem do processo de treino também mostra que é possível criar redes neuronais competitivas em poucos segundos, na maioria dos datasets considerados.
Descrição
Dissertation presented as the partial requirement for obtaining a Master's degree in Information Management, specialization in Knowledge Management and Business Intelligence
Palavras-chave
Semantic Learning Machine NEAT Neuroevolution