Construção e validação de um instrumento de avaliação de cursos modalidade a distância

Nenhuma Miniatura disponível
Data
2017-08-31
Autores
Okagawa, Fabiana Silva [UNIFESP]
Orientadores
Cunha, Isabel Cristina Kowal Olm [UNIFESP]
Tipo
Tese de doutorado
Título da Revista
ISSN da Revista
Título de Volume
Resumo
OBJECTIVES: To construct and validate an instrument of evaluation of higher level courses offered in the distance modality. METHODS: This is a methodological research with a quantitative approach guided by Pasquali's theoretical framework and composed of two stages. The first stage selected quality criteria of distance learning courses for the construction of the pre-test with the project approved through the Triangulation of Experts and as questions by the Delphi Method. On the second stage, it was applied in two lato sensu courses of specialization offered by distance. The analysis of the data, as continuous measurements, were presented from averages, standard deviations and measures of position and profile of the participants, as well as items that used Likert scales (1 to 4) for absolute and related frequencies. The reliability of the scale was verified through Confirmatory Factor Analysis and a discriminant validity of the constructs through observations on the scale of 0 to 10 of course indication by Spearman's Correlation. RESULTS: Eleven references (national and international) gave rise to the pre-test composed by 70 criteria and stratified into six categories. The validation of the construction changed, excluded and inserted new criteria, giving rise to a instrument composed by 60 questions that was submitted to the expert panel. In the first Cycle Delphi 17 judges validated 55 (91.6%) questions and suggested inclusion of one. In the second cycle 12 judges validated the others. Cronbach's alphas were 0.93 and 0.80, respectively. The total number of responses analyzed after applying the instrument in the two courses was 221, however, not always the subjects answered all the questions proposed. The first course covered the six categories of the instrument and the second only four, since its pedagogical structure does not include the presence of teachers and tutors. After adjusting the instrument, the adjustment indexes were more favorable (CFI = 0.806, TLI = 0.770 and RMSEA = 0.088). The positive association between the variables was found, the best mean (p < 5%) refers to the correlation between the practical aspects of the course and the indication by the students. CONCLUSION: This study produced a validated, and reliable instrument for the evaluation of higher level courses offered at a distance, which can be applied in courses with different pedagogical designs and is not limited to a specific area of knowledge.
OBJETIVOS: Construir e validar um instrumento de avaliação de cursos de nível superior ofertados na modalidade a distância. MÉTODOS: Trata-se de uma pesquisa metodológica com abordagem quantitativa orientada pelo referencial teórico de Pasquali e composta por duas etapas. A primeira etapa selecionou critérios de qualidade de cursos a distância para construção do pré-teste que teve o construto validado por meio da Triangulação de Especialistas e as questões pelo Método Delphi. Na segunda etapa o instrumento foi aplicado em dois cursos lato sensu de especialização ofertados a distância. Na análise dos dados, as medidas contínuas foram apresentadas a partir de médias, desvios-padrão e medidas de posição e o perfil dos participantes, bem como os itens que utilizaram escalas de Likert (1 a 4) por frequências absolutas e relativas. A confiabilidade da escala foi verificada por meio da Análise Fatorial Confirmatório e a validade discriminante dos construtos formados pelas médias das questões observadas e a escala de 0 a 10 de indicação do curso pela Correlação de Spearman. RESULTADOS: Onze referenciais (nacionais e internacionais) deram origem ao pré-teste composto por 70 critérios e estratificado em seis categorias. A validação do construto alterou, excluiu e inseriu novos critérios, originando um instrumento composto por 60 questões que foi submetido ao crivo de especialistas. No primeiro ciclo Delphi 17 juízes validaram 55 (91,6%) questões e sugeriram inclusão de uma. No segundo ciclo 12 juízes validaram as demais. Os alfas de Cronbach foram de 0,93 e 0,80, respectivamente. O total de respostas analisadas após aplicação do instrumento nos dois cursos foi de 221, contudo, nem sempre os sujeitos responderam a todas as questões propostas. O primeiro curso abrangeu as seis categorias do instrumento e o segundo apenas quatro, uma vez que sua estrutura pedagógica não contempla professores e tutores presenciais. Após adequação do instrumento os índices de ajuste foram mais favoráveis (CFI = 0,806; TLI = 0,770 e RMSEA = 0,088). Constatou-se a associação positiva entre as variáveis, a melhor média (p < 5%) se refere à correlação entre os aspectos práticos do curso e a indicação pelos discentes. CONCLUSÃO: O estudo produziu um instrumento validado e com a confiabilidade aferida, de avaliação cursos de nível superior ofertados a distância, que pode ser aplicado em cursos com diferentes desenhos pedagógicos e não se limita a uma área especifica de conhecimento.
Descrição
Citação