Usando medidas de dificuldade de instâncias em curriculum learning
Data
2023-05-29
Autores
Nunes, Gustavo Henrique 
Tipo
Dissertação de mestrado
Título da Revista
ISSN da Revista
Título de Volume
Resumo
As Redes Neurais Profundas (Deep Learning Networks) têm apresentado resultados no estado da arte em diversas tarefas desafiadoras, como na análise e classificação de imagens, vídeos e texto. Contudo, o seu treinamento é em geral custoso e a obtenção de melhores resultados preditivos depende de diversos fatores. Uma das alternativas propostas na literatura para acelerar o treinamento dessas redes e obter um bom desempenho preditivo é o Curriculum Learning (CL). No CL, os dados disponíveis para treinamento das redes são apresentados de maneira ordenada, em que observações de menor grau de dificuldade são apresentadas primeiro e o nível de dificuldade das observações apresentadas é progressivamente aumentado. Neste trabalho propõe-se o uso de medidas de dificuldade de instâncias (instance hardness measures - IHM), conhecidas na literatura por oferecerem diferentes perspectivas do nível de dificuldade de cada observação em um conjunto de dados, para realizar essa ordenação. Os resultados experimentais obtidos para o conjunto CIFAR-100 demonstram que a utilização do CL trouxe a maior acurácia preditiva em dez das vinte superclasses do conjunto de dados. Na sequência, a metodologia tradicional de treinamento Vanilla alcançou a maior acurácia preditiva em oito superclasses e uma ordenação aleatória (Random) se sobressaiu em duas. Com o intuito de verificar se os resultados poderiam ser melhorados, foram executados diversos experimentos adicionais, em que foi variado o parâmetro de apresentação de novas instâncias durante o treinamento, alterada a rede de extração de características e avaliada a utilização de métodos de agregação de medidas. Esses experimentos melhoraram ainda mais as acurácias preditivas em superclasses que o CL já havia trazido os melhores resultados, mas em superclasses que o Vanilla se saiu melhor isso não ocorreu.