Uma das maneiras de utilizar o método comparative judgement (leia mais sobre no primeiro post da série) é usando o site www.nomoremarking.com. Apesar de oferecer serviços pagos, o site pode ser utilizado gratuitamente por professores, pesquisadores ou interessados em geral no uso de comparative judgement. Além de oferecer um FAQ bem útil e uma boa interface com as principais informações para realizar a análise dos dados, o site permite a exportação de todos os dados para formatos amigáveis e os algoritmos por trás estão disponíveis publicamente como pacotes do R ou explicados no blog de um dos responsáveis.

Depois de fazer o cadastro, uma leitura no support da página explica como proceder, mas os passos principais são:

  1. Criar os textos de introdução e apresentação da sua task (isso será mostrado para os juízes a quem você enviar o link)
  2. Fazer o upload (no menu Candidates) dos candidatos (os itens que serão comparados)
  3. No menu Judges, definir quantas comparações cada juiz deve fazer (tenha em mente que eles sugerem que o total de comparações deve ser igual a 10 vezes o número de candidatos e que pode ocorrer de algum juiz ser excluídos por baixa concordância com o resultado do grupo)
  4. Enviar o link para os juízes
  5. Acompanhar os resultados (dos juízes e dos candidatos) a medida que as respostas foram entrando no sistema (é necesśario clicar no botão Refresh no menu Setting)

A recomendação deles é de que qualquer juiz com infit (uma medida de desvio acumulado em relaçãoàs decisões do grupo) superior a 1.3 seja excluído e que candidatos com infit superior a 1.3 seja tratados de forma separada.

Uma outra funcionalidade permitida pelo site é usar a ordenação para gerar algo mais próximo d qe seria uma nota. Para isso, você precisa definir candidatos que serão usados como referência para essa atribuição de nota. Algo como "esse cara é um 5", "esse cara é um 6" e assim por diante. Com isso feito para várias notas diferentes, o sistema calcula qual seria a not de cada um dos candidatos. Infelizmente não posso entrar em mais detalhes porque não usei esse funcionalidade.

O funcionamento geral do algoritmo segue o que é discutido em [1]. Um detalhe interessante é que o sistema usado no site não faz o pareamento de candidatos de forma aleatória, mas tenta levar em conta as comparações que podem ser mais útil. Basicamente, depois de um tanto de comparações, não adianta muito comparar o líder com o último colocado, pois este vai muito provável perder denovo, mas é mais útil comparar o sétimo com o oitavo, que estão pertinho e podem eventualmente trocar de posições. Por conta disso não é necesśario fazer absolutamente todas as comparações possíveis.

No próximo post explico o uso que fiz do julgamento comparado para validar uma parte do meu instrumento de coleta de dados da minha pesquisa de pós-doutorado.

Referências

[1] POLLITT, A. The method of Adaptive Comparative Judgement. Assessment in Education: Principles, Policy & Practice, v. 19, n. 3, p. 281–300, ago. 2012.

About this post

Date: 30 Apr 2019

Author: Leonardo Barichello

Tags:

português pesquisa

rss

Subscribe to my RSS:
barichello.coffee/rss