A prova prática de ultrassonografia é uma ferramenta eficiente para avaliação de competências de residentes de Radiologia?
Data
2020-10-08
Autores
Puchnick, Andrea 
Orientadores
Regacini, Rodrigo
Tipo
Tese de doutorado
Título da Revista
ISSN da Revista
Título de Volume
Resumo
Purpose: To evaluate the efficiency and effectiveness of the practical ultrasound test as a competence assessment tool for radiology residents, verifying the learning curve, the knowledge assessment and the instrument applicability by different evaluators. Methods: A longitudinal and observational study evaluated the radiology resident’s performance in a practical ultrasound test. It was adopted as an instrument of competence assessment, a structured and objective test composed of nine items, addressing the routine examination of the upper abdomen and cervical region. Five stations were used, each one them with an ultrasound device, a volunteer “patient” and an evaluator. The adequate and inadequate criteria of each item were discussed before application to homogenize the evaluation. All residents were evaluated on the same day within 15 minutes. One point was assigned to each item considered adequate and half a point to regulate (only in the 1st item). The final sum of the points was transformed into a mean proportional to 10. The means were correlated with the number of procedures performed by residents in their daily routine. Results: The overall mean of R1 was 6.3, R2 was 8.1 and R3 was 8.2. There was a statistically significant difference between R1 means compared to R2 and R3 means (p<0.001), but there was no significant difference between R2 and R3 means (p=1.000). There is a linear, moderate and positive correlation between the residents means and the number of exams (r=0.470, p<0.001). There were no differences between the evaluators, except for the item that asked the resident to make a longitudinal section of the aorta and demonstrate its relationship with the left renal vein. The overall given means by the evaluators ranged from 7.3 to 8.1, with no significant differences between them (p=0.568). Conclusion: The objective structured ultrasound test is a valid, reliable and easily applicable assessment tool. The radiology resident was able to demonstrate all competencies assessed with a significantly higher learning curve at the beginning of his training.
Objetivo: Avaliar a eficiência e eficácia da prova prática de ultrassonografia como instrumento de avaliação de competências de residentes de radiologia, verificando a curva de aprendizado, a avaliação do conhecimento e a aplicabilidade do instrumento por diferentes avaliadores. Métodos: Estudo longitudinal e observacional que avaliou o desempenho dos residentes de radiologia e diagnóstico por imagem na prova prática de ultrassonografia. Foi adotado, como instrumento de avaliação de competências, uma prova estruturada e objetiva composta por nove itens, abordando o exame de rotina do abdome superior e da região cervical. Foram utilizadas cinco estações, cada uma com um aparelho de ultrassom, um voluntário “paciente” e um avaliador. Os critérios de adequado e inadequado de cada item foram discutidos antes da aplicação para homogeneizar a avaliação. Todos os residentes foram avaliados no mesmo dia em até 15 minutos. Foi atribuído 1 ponto para cada item considerado adequado e meio ponto para regular (apenas no 1º item). A soma final dos pontos foi transformada em média proporcional a 10. As médias foram correlacionadas com o número de procedimentos realizados na rotina diária pelos residentes. Resultados: A média geral dos R1 foi 6.3, dos R2 foi 8.1 e dos R3 foi 8.2. Houve diferença estatisticamente significante entre as médias dos R1, quando comparadas à dos R2 e R3 (p<0.001), mas não houve diferença significativa entre as médias dos R2 e R3 (p=1.000). Existe uma correlação linear, moderada e positiva, entre a média da prova e o número médio de exames (r=0.470, p<0.001). Não houve divergências entre os avaliadores, com exceção do item que pedia para o residente fazer um corte longitudinal da aorta e demonstrar sua relação com a veia renal esquerda. As médias dadas pelos avaliadores variaram de 7.3 a 8.1, sem diferenças significativas entre elas (p=0.568). Conclusão: A prova prática de ultrassonografia é um instrumento eficiente, confiável e de fácil aplicação. O residente de radiologia foi capaz de demonstrar todas as competências avaliadas com uma curva de aprendizado significativamente maior no início do seu treinamento.
Objetivo: Avaliar a eficiência e eficácia da prova prática de ultrassonografia como instrumento de avaliação de competências de residentes de radiologia, verificando a curva de aprendizado, a avaliação do conhecimento e a aplicabilidade do instrumento por diferentes avaliadores. Métodos: Estudo longitudinal e observacional que avaliou o desempenho dos residentes de radiologia e diagnóstico por imagem na prova prática de ultrassonografia. Foi adotado, como instrumento de avaliação de competências, uma prova estruturada e objetiva composta por nove itens, abordando o exame de rotina do abdome superior e da região cervical. Foram utilizadas cinco estações, cada uma com um aparelho de ultrassom, um voluntário “paciente” e um avaliador. Os critérios de adequado e inadequado de cada item foram discutidos antes da aplicação para homogeneizar a avaliação. Todos os residentes foram avaliados no mesmo dia em até 15 minutos. Foi atribuído 1 ponto para cada item considerado adequado e meio ponto para regular (apenas no 1º item). A soma final dos pontos foi transformada em média proporcional a 10. As médias foram correlacionadas com o número de procedimentos realizados na rotina diária pelos residentes. Resultados: A média geral dos R1 foi 6.3, dos R2 foi 8.1 e dos R3 foi 8.2. Houve diferença estatisticamente significante entre as médias dos R1, quando comparadas à dos R2 e R3 (p<0.001), mas não houve diferença significativa entre as médias dos R2 e R3 (p=1.000). Existe uma correlação linear, moderada e positiva, entre a média da prova e o número médio de exames (r=0.470, p<0.001). Não houve divergências entre os avaliadores, com exceção do item que pedia para o residente fazer um corte longitudinal da aorta e demonstrar sua relação com a veia renal esquerda. As médias dadas pelos avaliadores variaram de 7.3 a 8.1, sem diferenças significativas entre elas (p=0.568). Conclusão: A prova prática de ultrassonografia é um instrumento eficiente, confiável e de fácil aplicação. O residente de radiologia foi capaz de demonstrar todas as competências avaliadas com uma curva de aprendizado significativamente maior no início do seu treinamento.