Ciência da Computação

URI Permanente para esta coleção

https://hdl.handle.net/11600/61189

Navegar

Navegando Ciência da Computação por Autor "Galindo, Yuri Oliveira [UNIFESP]"

Agora exibindo 1 - 1 de 1
  • Imagem de Miniatura
    Item
    Acesso aberto (Open Access)
    Renovando estudos comportamentais para o modelo CLIP
    (Universidade Federal de São Paulo, 2022-02) Galindo, Yuri Oliveira [UNIFESP]; Faria, Fabio Augusto [UNIFESP]; http://lattes.cnpq.br/3828728429230356; http://lattes.cnpq.br/4028438063488666
    Redes neurais são capazes de atingir níveis altíssimos de desempenho em problemas como reconhecimento de imagem quando testadas em condições controladas, como 90% de acerto no desafio ImageNet. No entanto, ao testar esses modelos em condições adversas observamos uma falta de robustez — o desempenho cai ao lidar com variações, como por exemplo a variação natural presente em um novo conjunto de dados. Um caso extremo dessa falta de robustez é demonstrado nos exemplos adversariais — imagens que são alteradas com modificações imperceptíveis para humanos mas capazes de enganar o modelo, que faz classificações erradas com altíssima confiança. Embora não haja explicações definitivas para a existência de exemplos adversariais e a falta de robustez das redes neurais, alguns estudos apontam possíveis culpados, como a dependência excessiva na textura dos objetos (humanos utilizam primariamente a forma), e a dependência em regularidades pequenas que se aplicam para um conjunto reduzido de imagens mas que podem induzir ao erro no caso geral. O CLIP (Contrastive Language-Image Pre-training) é um novo modelo de rede neural que apresenta uma melhora considerável na robustez quando testado em imagens de novas distribuições, mas se mostra ainda vulnerável a ataques adversariais. Esse novo modelo se diferencia dos seus predecessores em alguns pontos-chave, como a quantidade de imagens no conjunto de dados, arquitetura, e método de treinamento. Os experimentos que buscam explicar os problemas de robustez a existência de exemplos adversariais se baseiam principalmente em modelos Resnet, treinados na base de dados Imagenet. Dessa forma, o CLIP apresenta uma oportunidade ideal de verificar se as conclusões apresentadas por esses estudos continuam pertinentes, ou se elas se aplicavam apenas aos modelos anteriores. Assim, buscamos fortalecer a relação entre a teoria e a parte empírica da área de exemplos adversariais e robustez, estendendo o conhecimento atual ao atualizar as hipóteses existentes para um modelo novo. Realizamos três experimentos utilizando o CLIP, baseados em experimentos existentes: medição do viés de textura, verificação da vulnerabilidade a perturbações de diferentes frequências, e geração de imagens para verificação de features robustas. Nos dois primeiros experimentos observamos que o CLIP obtém comportamento mais robusto do que os modelos anteriores, indicando uma correlação entre a melhora nesses aspectos e a melhora do modelo ao ser testado em novas distribuições. No entanto, no terceiro experimento não observamos comportamento robusto — indicando que essa característica pode estar ligada apenas a exemplos adversariais. Com esses resultados, conseguimos entender melhor quais características parecem estar relacionadas com melhor desempenho em dados de novas distribuições, e quais parecem estar relacionadas apenas com vulnerabilidade a exemplos adversariais. Se trata de uma contribuição para o entendimento de redes neurais, e que pode indicar direções promissoras para modelos futuros.