Data quality monitoring at scale with automated anomaly detection: a profiling-based framework

Página do item simplificado
dc.contributor.advisorBerton, Lilian [UNIFESP]
dc.contributor.advisorLatteshttp://lattes.cnpq.br/9064767888093340pt_BR
dc.contributor.authorPereira, Rafael Leinio [UNIFESP]
dc.contributor.authorLatteshttp://lattes.cnpq.br/6805465873224981pt_BR
dc.date.accessioned2023-04-03T12:52:42Z
dc.date.available2023-04-03T12:52:42Z
dc.date.issued2023-02-27
dc.description.abstractEmbora a cultura orientada por dados e abordagens de Inteligência Artificial sejam empregadas em várias organizações, é sabido que ainda existem muitos desafios na criação de uma operação de dados eficiente. Uma das principais barreiras é obter dados de alta qualidade. Embora mais dados tragam mais oportunidades no contexto de produtos analíticos e de aprendizado de máquina, cobrir essa gama crescente de ativos com verificações de qualidade torna-se um problema real de escalabilidade. Então a grande questão é: como criar um serviço de qualidade de dados eficiente que cubra o maior número possível de conjuntos de dados, não exija muito ajuste manual, possa lidar com escalabilidade e com resultados fáceis de interpretar? Esta dissertação explora como construir uma operação de monitoramento de qualidade de dados baseada em perfis com computação de métricas, otimização de modelos, detecção de anomalias e geração de relatórios com alta explicabilidade. Ao empregar as ferramentas mais recentes para processamento de dados e AutoML alinhadas com padrões modernos de plataforma de dados, foi possível desenvolver um framework fácil de usar para capacitar desenvolvedores e usuários de dados a construir essa solução. Os testes foram realizados considerando dois conjuntos de dados reais de e-commerce comparando os resultados com outro framework comum na literatura. Os resultados mostram que nossa proposta foi capaz de alcançar uma precisão muito melhor, mantendo uma pontuação de recall alta, o que é importante para minimizar falsos alertas de anomalia.pt_BR
dc.description.abstractWhile the data and AI-driven culture emerge in several organizations, it is well known that there are still many challenges in creating an efficient data operation. One of the main barriers is achieving high-quality data. While more data brings more opportunities within the context of analytics and machine learning products, covering this growing range of assets with quality checks becomes a real scalability issue. So the big question is: how to create an efficient data quality service that covers as many datasets as possible, does not require a lot of manual tuning, can handle scalability, and with results that are easy to interpret? This dissertation explores how to build a profiling-based data quality monitoring operation with metrics computation, model optimization, anomaly detection, and generation of reports with high explainability. By employing the most recent tools for data processing and AutoML aligned with modern data platform patterns it was possible to develop an easy-to-use framework to empower developers and data users to build this solution. Tests were performed considering two real e-commerce datasets comparing the results with another common framework in the literature. The results show that our proposal was able to achieve much better accuracy while maintaining a high recall score, which is important to minimize false anomaly alerts.pt_BR
dc.description.sponsorshipNão recebi financiamentopt_BR
dc.emailadvisor.customlberton@unifesp.brpt_BR
dc.format.extent103 f.pt_BR
dc.identifier.urihttps://repositorio.unifesp.br/handle/11600/67320
dc.languageengpt_BR
dc.publisherUniversidade Federal de São Paulopt_BR
dc.rightsinfo:eu-repo/semantics/openAccesspt_BR
dc.subjectData Qualitypt_BR
dc.subjectData Profilingpt_BR
dc.subjectMetrics Repositorypt_BR
dc.subjectAutomated Anomaly Detectionpt_BR
dc.subjectTime Seriespt_BR
dc.titleData quality monitoring at scale with automated anomaly detection: a profiling-based frameworkpt_BR
dc.typeinfo:eu-repo/semantics/masterThesispt_BR
unifesp.campusInstituto de Ciência e Tecnologia (ICT)pt_BR
unifesp.graduateProgramCiência da Computaçãopt_BR
unifesp.knowledgeAreaSistemas de Informaçãopt_BR
unifesp.researchAreaSistemas Inteligentespt_BR
Arquivos
Pacote Original
Agora exibindo 1 - 1 de 1
Imagem de Miniatura
Nome:
Mestrado_Rafael_Leinio___PPGCC.pdf
Tamanho:
5.48 MB
Formato:
Adobe Portable Document Format
Descrição:
Dissertação de mestrado
Baixar
Licença do Pacote
Agora exibindo 1 - 1 de 1
Imagem de Miniatura
Nome:
license.txt
Tamanho:
5.71 KB
Formato:
Item-specific license agreed upon to submission
Descrição:
Baixar
Coleções
PPG - Ciência da Computação