Aplicação de técnicas de inteligência artificial ao desenvolvimento de um sistema de apoio à decisão para doença celíaca
Arquivos
Data
2011-02-22
Autores
Tenório, Josceli Maria 
Orientadores
Marin, Heimar de Fatima
Tipo
Dissertação de mestrado
Título da Revista
ISSN da Revista
Título de Volume
Resumo
Introduction: the diagnosing of celiac disease involves some complexity due to its multiple symptoms, signs, risk groups, presentation and the wide possibility of differential diagnosis. In order to confirm the diagnosis of celiac disease, it is required to perform the biopsy or the small intestine, the gold standard. Objective: to develop a decision making support system, in web environment, including an automated classifier to recognize cases of celiac disease, to be previously selected among experimental models drawing upon techniques of artificial intelligence. Methods: a web system was implemented to support an electronic protocol designed to help with celiac disease investigation and collect clinical data. A preliminary assessment of this system usability was performed through the analysis of a questionnaire based on the System Usability Scale (SUS) completed by 10 direct users of the web system implemented. A retrospective database with 178 cases was build for training the automated classifier. A total of 270 automated classifiers available in the software Weka 3.6.1 were tested using 5 artificial intelligence techniques – decision tree, K-nearest-neighbor, Bayesian classifier, support vector machine and artificial neural networks. The parameters area under the receiver operating characteristic curve (AUC), sensitivity, specificity and correctness rate were used, in the order above, as criteria to select the classification algorithm to be implemented in the web system. The algorithm with the largest AUC was included in the web system whose software was named SADCEL. A database with 38 clinical cases was built to assess the diagnostic power this software. The diagnostic hypothesis obtained from SADCEL was compared with those reached by the specialists participating in the study using Kappa Statistic. Results: the preliminary usability score attained by the web system was 83.5 ± 10.0 (excellent). The Bayesian classifying algorithm AODE F1 had the best performance scoring 80.0% for correctness, 0.78 for sensitivity, 0.84 for specificity and 0.84 for AUC. Compared with the study gold standard, SADCEL achieved an accuracy of 84.2% with a level of agreement with the diagnostic gold standard rated as k = 0.68 (p-value < 0.0001), indicative of good level of agreement. The level of agreement between the specialist diagnostic hypothesis and the diagnostic gold standard was rated as k = 0.64 (p-value < 0.0001). The agreement between the specialist and SADCEL diagnostic hypotheses was rated as k = 0.46 (p-value) indicative of moderate level of agreement. Conclusion: the level of accuracy attained by the classifying algorithm incorporated in this study´s web system evidences the potential usefulness of SADCEL in helping with diagnosing celiac disease in clinical set. This study is, thus, expected to be a contribution towards the establishing of a computational means of diagnosing the celiac disease.
Introdução: o diagnóstico da doença celíaca é um processo complexo devido à multiplicidade dos sintomas, sinais, grupos de risco, formas de apresentação e intersecção dos sintomas com outras doenças. Para a confirmação da suspeita diagnóstica, é imprescindível a realização da biopsia do intestino delgado, o padrão-ouro. Objetivo: desenvolver um sistema de apoio à decisão, em ambiente web, integrado a um classificador automático para reconhecimento dos casos de doença celíaca. Métodos: um sistema web foi construído para suportar um protocolo eletrônico esquematizado para atendimento e registro dos dados clínicos dos pacientes. Uma avaliação preliminar de usabilidade foi realizada. Uma base de dados de retrospectiva com 178 casos clínicos para treinamento foi construída. Foram testados 270 classificadores automáticos disponíveis no software Weka 3.6.1, utilizando cinco técnicas de inteligência artificial, a saber, árvores de decisão, classificador bayesiano, k-vizinhos próximos, máquinas de vetor de suporte e redes neurais artificiais. As métricas analisadas foram área sob a curva ROC, sensibilidade, especificidade e taxa de acerto, utilizadas nessa sequência como critério para seleção do algoritmo a ser implantado no sistema web. O algoritmo com maior AUC foi selecionado e acoplado ao sistema web, gerando o software intitulado SADCEL. Uma base de dados de teste foi construída, com 38 casos clínicos, para a avaliação do SADCEL em relação à utilidade diagnóstica. A hipótese diagnóstica apontada pelo SADCEL foi comparada às indicadas pelos especialistas durante a realização da consulta por meio de estatística kappa. Resultados: o sistema web foi avaliado pelos usuários com nível excelente de usabilidade, com SUS-score de 83,5 ± 10,0. Na fase de treinamento, as melhores métricas foram apresentadas pelo algoritmo AODE F-1, do tipo classificador bayesiano, com taxa de acerto 80,0%, sensibilidade 0,78, especificidade 0,80 e AUC 0,84. Comparado ao padrão ouro, o SADCEL alcançou uma precisão de 84,2% com um nível de concordância diagnóstica de k = 0,68 (p <0,0001), o que indicou um bom nível de concordância. A mesma taxa de acerto foi obtida na comparação entre as indicações do diagnóstico dos especialistas e o padrão-ouro, com k = 0,64 (p-value <0,0001). Entre a indicação do especialista e do SADC, obteve-se k = 0,46 (p-value = 0,0008), o que indica concordância moderada. Conclusão: o nível de precisão alcançado pelo algoritmo de classificação automática integrado ao sistema web evidencia a utilidade potencial da SADCEL no auxílio ao diagnóstico de doença celíaca
Introdução: o diagnóstico da doença celíaca é um processo complexo devido à multiplicidade dos sintomas, sinais, grupos de risco, formas de apresentação e intersecção dos sintomas com outras doenças. Para a confirmação da suspeita diagnóstica, é imprescindível a realização da biopsia do intestino delgado, o padrão-ouro. Objetivo: desenvolver um sistema de apoio à decisão, em ambiente web, integrado a um classificador automático para reconhecimento dos casos de doença celíaca. Métodos: um sistema web foi construído para suportar um protocolo eletrônico esquematizado para atendimento e registro dos dados clínicos dos pacientes. Uma avaliação preliminar de usabilidade foi realizada. Uma base de dados de retrospectiva com 178 casos clínicos para treinamento foi construída. Foram testados 270 classificadores automáticos disponíveis no software Weka 3.6.1, utilizando cinco técnicas de inteligência artificial, a saber, árvores de decisão, classificador bayesiano, k-vizinhos próximos, máquinas de vetor de suporte e redes neurais artificiais. As métricas analisadas foram área sob a curva ROC, sensibilidade, especificidade e taxa de acerto, utilizadas nessa sequência como critério para seleção do algoritmo a ser implantado no sistema web. O algoritmo com maior AUC foi selecionado e acoplado ao sistema web, gerando o software intitulado SADCEL. Uma base de dados de teste foi construída, com 38 casos clínicos, para a avaliação do SADCEL em relação à utilidade diagnóstica. A hipótese diagnóstica apontada pelo SADCEL foi comparada às indicadas pelos especialistas durante a realização da consulta por meio de estatística kappa. Resultados: o sistema web foi avaliado pelos usuários com nível excelente de usabilidade, com SUS-score de 83,5 ± 10,0. Na fase de treinamento, as melhores métricas foram apresentadas pelo algoritmo AODE F-1, do tipo classificador bayesiano, com taxa de acerto 80,0%, sensibilidade 0,78, especificidade 0,80 e AUC 0,84. Comparado ao padrão ouro, o SADCEL alcançou uma precisão de 84,2% com um nível de concordância diagnóstica de k = 0,68 (p <0,0001), o que indicou um bom nível de concordância. A mesma taxa de acerto foi obtida na comparação entre as indicações do diagnóstico dos especialistas e o padrão-ouro, com k = 0,64 (p-value <0,0001). Entre a indicação do especialista e do SADC, obteve-se k = 0,46 (p-value = 0,0008), o que indica concordância moderada. Conclusão: o nível de precisão alcançado pelo algoritmo de classificação automática integrado ao sistema web evidencia a utilidade potencial da SADCEL no auxílio ao diagnóstico de doença celíaca
Descrição
Citação
TENÓRIO, Josceli Maria. Aplicação de técnicas de inteligência artificial ao desenvolvimento de um sistema de apoio à decisão para doença celíaca. 2011. 129 f. Dissertação (Mestrado) - Escola Paulista de Medicina, Universidade Federal de São Paulo (UNIFESP), São Paulo, 2011.