Data quality monitoring at scale with automated anomaly detection: a profiling-based framework
Data
2023-02-27
Autores
Pereira, Rafael Leinio [UNIFESP]
Orientadores
Berton, Lilian [UNIFESP]
Tipo
Dissertação de mestrado
Título da Revista
ISSN da Revista
Título de Volume
Resumo
Embora a cultura orientada por dados e abordagens de Inteligência Artificial sejam empregadas em várias organizações, é sabido que ainda existem muitos desafios na criação de uma operação de dados eficiente. Uma das principais barreiras é obter dados de alta qualidade. Embora mais dados tragam mais oportunidades no contexto de produtos analíticos e de aprendizado de máquina, cobrir essa gama crescente de ativos com verificações de qualidade torna-se um problema real de escalabilidade. Então a grande questão é: como criar um serviço de qualidade de dados eficiente que cubra o maior número possível de conjuntos de dados, não exija muito ajuste manual, possa lidar com escalabilidade e com resultados fáceis de interpretar? Esta dissertação explora como construir uma operação de monitoramento de qualidade de dados baseada em perfis com computação de métricas, otimização de modelos, detecção de anomalias e geração de relatórios com alta explicabilidade. Ao empregar as ferramentas mais recentes para processamento de dados e AutoML alinhadas com padrões modernos de plataforma de dados, foi possível desenvolver um framework fácil de usar para capacitar desenvolvedores e usuários de dados a construir essa solução. Os testes foram realizados considerando dois conjuntos de dados reais de e-commerce comparando os resultados com outro framework comum na literatura. Os resultados mostram que nossa proposta foi capaz de alcançar uma precisão muito melhor, mantendo uma pontuação de recall alta, o que é importante para minimizar falsos alertas de anomalia.
While the data and AI-driven culture emerge in several organizations, it is well known that there are still many challenges in creating an efficient data operation. One of the main barriers is achieving high-quality data. While more data brings more opportunities within the context of analytics and machine learning products, covering this growing range of assets with quality checks becomes a real scalability issue. So the big question is: how to create an efficient data quality service that covers as many datasets as possible, does not require a lot of manual tuning, can handle scalability, and with results that are easy to interpret? This dissertation explores how to build a profiling-based data quality monitoring operation with metrics computation, model optimization, anomaly detection, and generation of reports with high explainability. By employing the most recent tools for data processing and AutoML aligned with modern data platform patterns it was possible to develop an easy-to-use framework to empower developers and data users to build this solution. Tests were performed considering two real e-commerce datasets comparing the results with another common framework in the literature. The results show that our proposal was able to achieve much better accuracy while maintaining a high recall score, which is important to minimize false anomaly alerts.
While the data and AI-driven culture emerge in several organizations, it is well known that there are still many challenges in creating an efficient data operation. One of the main barriers is achieving high-quality data. While more data brings more opportunities within the context of analytics and machine learning products, covering this growing range of assets with quality checks becomes a real scalability issue. So the big question is: how to create an efficient data quality service that covers as many datasets as possible, does not require a lot of manual tuning, can handle scalability, and with results that are easy to interpret? This dissertation explores how to build a profiling-based data quality monitoring operation with metrics computation, model optimization, anomaly detection, and generation of reports with high explainability. By employing the most recent tools for data processing and AutoML aligned with modern data platform patterns it was possible to develop an easy-to-use framework to empower developers and data users to build this solution. Tests were performed considering two real e-commerce datasets comparing the results with another common framework in the literature. The results show that our proposal was able to achieve much better accuracy while maintaining a high recall score, which is important to minimize false anomaly alerts.