Estudo dos itens de múltipla escolha de um teste de progresso aplicado em um curso de estética de uma universidade paulistana

Abstract

Introduction: Tests with multiple choice items are useful for evaluating a larger number of students and can cover different content in addition to favoring a faster revision. The items that compose a test need to be well crafted to ensure the quality of the evaluation. Objectives: To analyze and discuss the quality of the multiple choice items of the Progress Test prepared by teachers of an Aesthetics course at a higher education institution in São Paulo. Methodology: Descriptive study with qualitative and quantitative analysis of 100 items prepared by teachers of a course of Aesthetics, from a higher education institution in São Paulo, present in a Progress Test applied in 2017. Regarding the taxonomic level and the technical quality of the items a matrix for qualitative analysis was elaborated and carried out by three evaluators. The quantitative analysis was based on the Classical Theory of Tests to measure the reliability of the test, the degree of difficulty, discrimination index of the items and the functionality of the distractors. Results: The taxonomic analysis on the range of the evaluated knowledge identified 16% of the items belonging to factual knowledge, 67% to conceptual knowledge and 17% to procedural knowledge. The cognitive grasp of the items were 38% to remember, 56% to understand, 2% to apply and 4% to analyze. Regarding the technical quality in the guidelines used in the elaboration of said items, 44% of the items are in agreement with the guidelines and 56% of the items presented flaws in these guidelines. In the analysis by the Classical Theory of Tests, the reliability had coefficient alpha of 0.835 demonstrating that there is good internal consistency. The average difficulty (P) was 0.496 and the bisserial-point correlation of the test was 0.240 characterizing a test of medium difficulty and positive discrimination. Of the 400 distractors analyzed, 73% were functional distractors and 27% were considered nonfunctional distractors. Conclusion: The analyzed items evaluated predominantly the category of conceptual knowledge at level of understanding. About half of the items had flaws in the writing guidelines. The test had a good reliability index. The average difficulty of the items was adequate and attention should be drawn to the discrimination index in order to improve this parameter for the items in general, and the functionality of the distractors, in order to produce distractors with better discrimination power, a factor that is also related to the guidelines for the writing of items. As products resulting from this research form a protocol for evaluating items and a workshop proposal to be offered to the teachers of the course.

Introdução: Os testes elaborados com itens de múltipla escolha são uteis para avaliar um número maior de estudantes e podem abranger diferentes conteúdos além de favorecer uma correção mais rápida. Os itens que compõem um teste precisam ser bem elaborados para assegurar a qualidade da avaliação. Objetivos: Analisar e discutir a qualidade dos itens de múltipla escolha do Teste de Progresso elaborados por docentes de um curso de Estética, em uma instituição de ensino superior paulistana. Metodologia: Estudo descritivo, com análise qualitativa e quantitativa de 100 itens elaborados por docentes de um curso de Estética, de uma instituição de ensino superior paulistana, presentes em um Teste de Progresso aplicado em 2017. Em relação ao nível taxonômico e a qualidade técnica dos itens foi elaborada uma matriz para análise qualitativa que foi realizada por três avaliadores. A análise quantitativa foi pela Teoria Clássica dos Testes para aferir a confiabilidade do teste, o grau de dificuldade, índice de discriminação dos itens e a funcionalidade dos distratores. Resultados: A análise taxonômica das dimensões do conhecimento avaliado identificou 16% dos itens pertencentes ao conhecimento factual, 67% conhecimento conceitual e 17% conhecimento procedimental. O domínio cognitivo dos itens foram 38% lembrar, 56% entender, 2% aplicar e 4% analisar. Em relação à qualidade técnica nas diretrizes utilizadas na elaboração de itens, 44% dos itens estão em acordo com as diretrizes e 56% dos itens apresentaram falhas nessas diretrizes. Na análise pela Teoria Clássica dos Testes, a confiabilidade teve coeficiente alfa de 0,835 demonstrando que há boa consistência interna. A média da dificuldade (P) foi 0,496 e da correlação ponto-bisserial do teste foi 0,240 caracterizando um teste de média dificuldade e discriminação positiva. Dos 400 distratores analisados 73% são distratores funcionais e 27% foram considerados distratores não funcionais. Conclusão: Os itens analisados avaliaram predominantemente categoria do conhecimento conceitual em nível de entendimento. Cerca de metade dos itens apresentaram falhas nas diretrizes para redação de itens. O teste apresentou um bom índice de confiabilidade. A média de dificuldade dos itens foi adequada e deve ser chamada a atenção ao índice de discriminação no intuito de melhorar esse parâmetro para os itens de forma geral, e a funcionalidade dos distratores, no sentido de produzir distratores com melhor poder de discriminação, fator que também está relacionado com as diretrizes para a redação de itens. Como produtos resultantes desta pesquisa forma elaborados um protocolo para avaliação de itens e uma proposta de oficina a ser oferecida aos professores do curso.