A carregar...
Publicação
Justifying the Output of Neural Networks by Guiding the Training with Ontologies
| Nome: | Descrição: | Tamanho: | Formato: | |
|---|---|---|---|---|
| 4.74 MB | Adobe PDF |
Autores
Orientador(es)
Resumo(s)
Symbolic systems provide an interpretable way to solve tasks using automated reasoning
over symbolic data, such as a set of observed high-level concepts, according to an ontology.
However, the raw data available for many practical uses of Artificial Intelligence, such as
image classification, is not symbolic and therefore inappropriate for such systems. Neural
networks show good results in tasks involving such raw data but lack interpretability.
A system could take advantage of both properties by using neural networks to identify
high-level concepts and symbolic systems to generate explanations. This way we can
provide justifications for the output of the neural network. Existing approaches in this
paradigm, such as Concept Mapping, require training data to be labeled with high-level
concepts. Concept Mapping uses these labels to train mapping networks, which extract
the high-level concepts from the hidden activations of an existing already-trained network.
These labels are typically not present in datasets and represent a significant work overhead
to be created. In this work, we experiment with a new alternative approach that does
not require these additional labels for training. Our approach consists of training a new
network composed of two parts. The first part identifies the high-level concepts given
raw data. The second part solves the task given the high-level concepts. The high-level
concepts identified in the first part are used to generate justifications, based on an ontology,
for the output of the network. We evaluate the accuracy of both parts of the resulting
network as well as the produced justifications, comparing with the results of Concept
Mapping.
Os sistemas simbólicos providenciam uma forma interpretável de resolver tarefas com recurso a raciocínio automático sobre dados simbólicos, como um conjunto de conceitos de alto nível observados, de acordo com uma ontologia. No entanto, os dados brutos disponíveis para muitos usos práticos de Inteligência Artificial, como classificação de imagens, não são simbólicos e são portanto inapropriados para estes sistemas. As redes neuronais demonstram bons resultados em tarefas que envolvem estes dados brutos mas falham a nível da interpretabilidade. Um sistema pode tirar partido de ambas as propriedades ao usar redes neuronais para identificar os conceitos de alto nível e sistemas simbólicos para gerar explicações. Deste modo podemos fornecer justificações para os resultados da rede neuronal. As abordagens existentes neste paradigma, como o Mapeamento de Conceitos, requerem que os dados de treino estejam anotados com os conceitos de alto nível. O Mapeamento de Conceitos usa essas anotações para treinar redes de mapeamento, que extraem os conceitos de alto nível das ativações internas de uma rede neuronal existente e já treinada. Estas anotações não estão tipicamente presentes nos conjuntos de dados e produzi-las representa uma carga de trabalho extra significativa. Nesta tese, experimentamos uma nova abordagem alternativa que não precisa destas anotações adicionais para treinar. A nossa abordagem consiste em treinar uma nova rede composta por duas partes. A primeira parte identifica os conceitos de alto nível a partir dos dados brutos. A segunda parte resolve a tarefa a partir dos conceitos de alto nível. Os conceitos de alto nível identificados na primeira parte são usados para gerar justificações, baseadas numa ontologia, para o resultado da rede. Avaliámos a exatidão de ambas as partes da rede resultante e das justificações produzidas, comparando com os resultados do Mapeamento de Conceitos.
Os sistemas simbólicos providenciam uma forma interpretável de resolver tarefas com recurso a raciocínio automático sobre dados simbólicos, como um conjunto de conceitos de alto nível observados, de acordo com uma ontologia. No entanto, os dados brutos disponíveis para muitos usos práticos de Inteligência Artificial, como classificação de imagens, não são simbólicos e são portanto inapropriados para estes sistemas. As redes neuronais demonstram bons resultados em tarefas que envolvem estes dados brutos mas falham a nível da interpretabilidade. Um sistema pode tirar partido de ambas as propriedades ao usar redes neuronais para identificar os conceitos de alto nível e sistemas simbólicos para gerar explicações. Deste modo podemos fornecer justificações para os resultados da rede neuronal. As abordagens existentes neste paradigma, como o Mapeamento de Conceitos, requerem que os dados de treino estejam anotados com os conceitos de alto nível. O Mapeamento de Conceitos usa essas anotações para treinar redes de mapeamento, que extraem os conceitos de alto nível das ativações internas de uma rede neuronal existente e já treinada. Estas anotações não estão tipicamente presentes nos conjuntos de dados e produzi-las representa uma carga de trabalho extra significativa. Nesta tese, experimentamos uma nova abordagem alternativa que não precisa destas anotações adicionais para treinar. A nossa abordagem consiste em treinar uma nova rede composta por duas partes. A primeira parte identifica os conceitos de alto nível a partir dos dados brutos. A segunda parte resolve a tarefa a partir dos conceitos de alto nível. Os conceitos de alto nível identificados na primeira parte são usados para gerar justificações, baseadas numa ontologia, para o resultado da rede. Avaliámos a exatidão de ambas as partes da rede resultante e das justificações produzidas, comparando com os resultados do Mapeamento de Conceitos.
Descrição
Palavras-chave
Neuro-symbolic Explainable Artificial Intelligence Neural Networks Deep Learning Description Logics