Desenvolvimento e teste de uma ferramenta de avaliação da qualidade dos dados e da confiabilidade dos voluntários para um projeto de ciência cidadã

Abstract

Remote sensing data, satellite images mainly, are becoming more widespread due to the advancement of technologies and the way to make data available. Such data, along with remote sensing techniques are important tools to analyze and understand phenomena and temporal changes related to our planet as urban sprawl, changes in climate and changes in forest cover. Recently, scientific research projects that involve volunteers to examine or collect data is becoming popular, boosted by advances related to resource access information and communication technology, allowing the creation of new projects in this line, known for Citizen Science. An important aspect to consider when engaging volunteers is to determine whether the data generated or reviewed by them can be used safely and with a good degree of reliability in scientific activities, what characterizes the problem to be investigated. This work explores the analysis of data collected by a Citizen Science system applied to the forests monitoring, which implies the use of innovative techniques to extract and validate the results, given the nature of the collected data. Results of actual data provided by the volunteers show that, with statistical tests, it is possible to classify volunteers according to the hit rate, to identify malicious behavior and create a ranking that can be used to accelerate the tasks conclusion. In addition, it is possible to sort the tasks according to difficulty level, assigning hard tasks to the top-ranked volunteers or increase the score of volunteers who accomplish hard tasks, for example. Finally, this work proposes a metric to calculate the index of agreement between polygons delineated by volunteers and polygons of reference, which allows to classify volunteers and assess the quality of their contributions.

Dados de sensoriamento remoto, principalmente imagens de satélites, são cada vez mais difundidos devido ao avanço de tecnologias e a forma de disponibilizar dados. Tais dados, juntamente com técnicas de sensoriamento remoto são importantes ferramentas para analisar e compreender fenômenos e alterações temporais relacionados ao nosso planeta como ocupação urbana, mudanças no clima e alterações na cobertura florestal. Recentemente, projetos de pesquisas científicas que envolvem voluntários para analisar ou coletar dados vem ganhando força, impulsionados pelos avanços relacionados ao acesso de recursos de tecnologia da informação e comunicação, permitindo o surgimento de novos projetos nessa linha, conhecida por Ciência Cidadã. Um aspecto importante a se considerar ao envolver voluntários é determinar se os dados gerados ou analisados por eles podem ser utilizados com segurança e com um bom grau de confiabilidade em atividades científicas, o que caracteriza o problema a ser investigado. Este trabalho explora a análise de dados reais coletados por um sistema de Ciência Cidadã aplicado ao monitoramento de florestas, o qual implica no uso de técnicas inovadoras para extração e validação de resultados, dada a natureza dos dados coletados. Resultados de dados reais fornecidos pelos voluntários demonstram que é possível classificar voluntários quanto ao índice de acerto, identificar comportamentos maliciosos além de estabelecer um ranking que pode ser utilizado na aceleração da conclusão das tarefas. Além disso, podese classificar as tarefas quanto à dificuldade, sendo possível atribuir tarefas mais difíceis a voluntários mais bem classificados ou elevar a pontuação de voluntários que executam tarefas mais difíceis, por exemplo. Por fim, foi proposta uma métrica para calcular o índice de concordância entre polígonos delineados por voluntários e polígonos de referência, o que permite classificar voluntários e avaliar a qualidade de suas contribuições.