Uso de medidas de complexidade de dados na exploração de redes neurais artificiais
Data
2021
Autores
Zorzi, Lucas Pancotto 
Orientadores
Lorena, Ana Carolina
Tipo
Dissertação de mestrado
Título da Revista
ISSN da Revista
Título de Volume
Resumo
Research in Artificial Neural Networks (ANNs) has intensified in recent years due to the good performance achieved by deep neural networks in various applications, such as games, image and video analysis and natural language processing. Despite the highlighted results, there are still some criticisms and difficulties in the use of ANNs. The first is the fact that it is a ”black box” technique, in which the knowledge extracted from the data is not directly interpretable. Another difficulty is the process of adjusting the network hyperparameters, such as its architecture, number of neu- rons and learning rate. In general this process is driven empirically or by the use of search and optimization algorithms that can be costly. In this work we use measures that extract estimates of the complexity of the classification problem to support the understanding of ANNs. The idea is to monitor the data transformations performed at each network layer, evidencing possible changes in the original complexity of the problem. These investigations contribute to a better understanding of the processing done by ANNs, which may be interesting in the sense of improving its interpretabi- lity. Experimentally, we verified an increased class separability by the layers of the ANNs.
As pesquisas em Redes Neurais Artificiais (RNAs) têm se intensificado nos últimos anos devido ao bom desempenho alcançado por redes neurais profundas em diver- sas aplicações, como em jogos, análise de imagens e vídeos e processamento de lin- guagem natural. Apesar dos resultados destacados, ainda existem algumas críticas e dificuldades no uso de RNAs. O primeiro é o fato de se tratar de uma técnica “caixa- preta”, em que o conhecimento extraído dos dados não é diretamente interpretável. Outra dificuldade é o processo de ajustar a rede de maneira adequada, como sua arquitetura, número de neurônios e parâmetros de aprendizado. Em geral esse pro- cesso é conduzido empiricamente ou pelo uso de algoritmos de busca e otimização que podem ser custosos. Neste trabalho empregam-se medidas que extraem estima- tivas da complexidade do problema de classificação no suporte ao entendimento de RNAs. A ideia é monitorar as transformações dos dados realizadas a cada camada da rede, evidenciando possíveis alterações na complexidade original do problema. Es- sas investigações contribuem para um melhor entendimento do processamento feito pelas RNAs, o que pode ser interessante no sentido de melhorar a sua interpretabili- dade. Experimentalmente, verificou-se que a separabilidade das classes é aumentada pelo processamento das RNAs, camada a camada.
As pesquisas em Redes Neurais Artificiais (RNAs) têm se intensificado nos últimos anos devido ao bom desempenho alcançado por redes neurais profundas em diver- sas aplicações, como em jogos, análise de imagens e vídeos e processamento de lin- guagem natural. Apesar dos resultados destacados, ainda existem algumas críticas e dificuldades no uso de RNAs. O primeiro é o fato de se tratar de uma técnica “caixa- preta”, em que o conhecimento extraído dos dados não é diretamente interpretável. Outra dificuldade é o processo de ajustar a rede de maneira adequada, como sua arquitetura, número de neurônios e parâmetros de aprendizado. Em geral esse pro- cesso é conduzido empiricamente ou pelo uso de algoritmos de busca e otimização que podem ser custosos. Neste trabalho empregam-se medidas que extraem estima- tivas da complexidade do problema de classificação no suporte ao entendimento de RNAs. A ideia é monitorar as transformações dos dados realizadas a cada camada da rede, evidenciando possíveis alterações na complexidade original do problema. Es- sas investigações contribuem para um melhor entendimento do processamento feito pelas RNAs, o que pode ser interessante no sentido de melhorar a sua interpretabili- dade. Experimentalmente, verificou-se que a separabilidade das classes é aumentada pelo processamento das RNAs, camada a camada.