A carregar...
Publicação
Analysis of the proficiency of fully-connected neural networks in the process of classifying digital images : benchmark of different classification algorithms on high-level image features from convolutional layers
| Nome: | Descrição: | Tamanho: | Formato: | |
|---|---|---|---|---|
| 31.56 MB | Adobe PDF |
Autores
Orientador(es)
Resumo(s)
Over the course of research on Convolutional Neural Network (CNN) architectures,
little modifications have been done to the fully-connected layers at the end of the networks.
In image classification, these neural network layers are responsible for creating
the final classification results based on the output of the last layer of high-level image
filters. Before the breakthrough of CNNs, these image filters were handcrafted, and
any classification algorithm was applied to their output. Because neural networks
use gradients to learn their weights subject to the classification error, fully-connected
neural networks are a natural choice for CNNs. But the question arises: Are fullyconnected
layers in a CNN superior to other classification algorithms? After the network
is trained, the approach is to benchmark di↵erent classification algorithms on
CNNs by removing the existing fully-connected classifier. Thus, the flattened output
from the last convolutional layer is used as the input for multiple benchmark classification
algorithms. To ensure the generalisability of the findings, numerous CNNs
are trained on CIFAR-10, CIFAR-100 and a subset of ILSVRC-2012 with 100 classes.
The experimental results reveal that multiple classification algorithms are capable of
outperforming fully-connected neural networks in di↵erent situations, namely Logistic
Regression, Support Vector Machines, eXtreme Gradient Boosting, Random Forests
and K-Nearest Neighbours. Furthermore, the superiority of individual classification
algorithms depends on the underlying CNN structure and the nature of the classification
problem. For classification problems with multiple classes or for CNNs that
produce many high-level image features, other classification algorithms are likely to
perform better than fully-connected neural networks. It follows that it is advisable to
benchmark multiple classification algorithms on high-level image features produced
from the CNN layers to improve performance or model size.
Desde a criação da arquitetura da Rede Neural Convolucional (CNN), poucas modificações foram feitas nas camadas totalmente conectadas (fully-connected) no final das redes. Na classificação de imagens, estas mesmas camadas são responsáveis por criar os resultados finais da classificação, com base no output da última camada de filtros de imagem de alto nível (high-level image filters). Antes do avanço das CNNs, estes filtros de imagem eram feitos à mão e qualquer algoritmo de classificação era aplicado ao seu output. Como as redes neuronais aprendem os seus pesos gradualmente com gradientes sujeitos a um erro, as redes neuronais totalmente conectadas são uma escolha natural para as CNNs. No entanto, a superioridade das camadas totalmente conectadas numa CNN em relação a outros algoritmos de classificação é contestada. Depois da rede neural ser treinada, a abordagem passa por comparar diferentes algoritmos de classificação em CNNs, removendo o atual classificador totalmente conectado. Deste modo, o output achatado (flattened output) da última camada convolucional é usado como input para vários algoritmos de benchmarking. Para assegurar a generalização dos resultados, várias CNNs são treinadas no CIFAR-10, no CIFAR-100 e num subconjunto do ILSVRC-2012. Os resultados experimentais revelam que múltiplos algoritmos são capazes de superar redes neuronais totalmente conectadas, nomeadamente Regressão Logística, Support Vector Machines, XG Boosting, Random Forests e K-Nearest Neighbours. Além disso, a superioridade de cada algoritmo depende da estrutura subjacente da CNN e da natureza do problema de classificação. Para problemas com várias classes de output ou para CNNs que produzem muitos recursos de imagem de alto nível, outros algoritmos de classificação provavelmente terão um desempenho melhor do que redes neuronais totalmente conectadas. Segue-se que é aconselhável comparar vários algoritmos em recursos de imagem de alto nível produzidos a partir das camadas da CNN, para melhorar o desempenho ou o tamanho do modelo.
Desde a criação da arquitetura da Rede Neural Convolucional (CNN), poucas modificações foram feitas nas camadas totalmente conectadas (fully-connected) no final das redes. Na classificação de imagens, estas mesmas camadas são responsáveis por criar os resultados finais da classificação, com base no output da última camada de filtros de imagem de alto nível (high-level image filters). Antes do avanço das CNNs, estes filtros de imagem eram feitos à mão e qualquer algoritmo de classificação era aplicado ao seu output. Como as redes neuronais aprendem os seus pesos gradualmente com gradientes sujeitos a um erro, as redes neuronais totalmente conectadas são uma escolha natural para as CNNs. No entanto, a superioridade das camadas totalmente conectadas numa CNN em relação a outros algoritmos de classificação é contestada. Depois da rede neural ser treinada, a abordagem passa por comparar diferentes algoritmos de classificação em CNNs, removendo o atual classificador totalmente conectado. Deste modo, o output achatado (flattened output) da última camada convolucional é usado como input para vários algoritmos de benchmarking. Para assegurar a generalização dos resultados, várias CNNs são treinadas no CIFAR-10, no CIFAR-100 e num subconjunto do ILSVRC-2012. Os resultados experimentais revelam que múltiplos algoritmos são capazes de superar redes neuronais totalmente conectadas, nomeadamente Regressão Logística, Support Vector Machines, XG Boosting, Random Forests e K-Nearest Neighbours. Além disso, a superioridade de cada algoritmo depende da estrutura subjacente da CNN e da natureza do problema de classificação. Para problemas com várias classes de output ou para CNNs que produzem muitos recursos de imagem de alto nível, outros algoritmos de classificação provavelmente terão um desempenho melhor do que redes neuronais totalmente conectadas. Segue-se que é aconselhável comparar vários algoritmos em recursos de imagem de alto nível produzidos a partir das camadas da CNN, para melhorar o desempenho ou o tamanho do modelo.
Descrição
Dissertation presented as the partial requirement for obtaining a Master's degree in Data Science and Advanced Analytics
Palavras-chave
Convolutional Neural Networks CNN Neural Networks Computer Vision Image Classification Image Features CIFAR-10 CIFAR-100 ILSVRC-2012 Rede Neural Convolucional Rede Neural Visão Computacional