comparative judgement, parte 3

02 May 2019 / Leonardo Barichello

Na minha pesquisa de pós-doutorado, me proponho a analisar como o conhecimento do futuro professor de matemática evolui ao longo de sua licenciatura (e possivelmente nos primeiros anos de sua atuação profissional). Para isso, e com base em refererências como [1], decidi conceber um instrumento com questões em três formatos:

  1. Questões de matemática elementar de natureza procedimental
  2. Questões de matemática elementar de natureza conceitual
  3. Questões ambientalizadas em situações de sala de aula e que explicitamente envolvam conteúdos matemáticos

A terceira categoria é composta por questões inpiradas em trabalhos como [2], já a primeira e a segunda podem ser vistas como extremos de um contínuo, que vai das questões muito procedimentais até as questões muito conceituais. Ao conceber as questões das duas primeiras categorias me peguei questionando se as questões eram de fato conceituais ou procedimentais ou se eu estava variando outros componentes como a dificuldade da questão.

A ideia que surgiu para obter algum nível de validação dessas questões como sendo procedimentais ou conceituais foi utilizar comparative judgement: dados um conjunto de questões criadas por mim, será que a ordenação gerada via comparative judgement por um grupo de pessoas envolvidas com ensino de Matemática e formação de professores coincide com a minha expectativa?

Com essa pergunta em mente, fiz o upload de 26 questões para o nomoremarking.com e consegui a participação de 12 juízes, cada um fazendo 30 comparações. Em conversas com eles, a sensação foi de que cada comparação levou em torno de 30 segundos, a média foi de 22 segundos mas com desvio padrão de 30 segundos.

Após a remoção de 2 juízes que tiveram alto nível de desvio do grupo, o resultado está mostrado abaixo. O eixo superior mostra uma escala de 0 a 100 gerada pelo algoritmo em que os valores representam o "nível de conceitualidade" de uma questão (perto de 100 muito conceitual, perto de 0 muito procedimental).

questões no eixo

Os números são apenas identificadores de cada questão. As bolinhas vermelhas representam questões que eu concebi como procedimentais, enquanto que as azuis são as conceituais. O arranjo em linhas serve apenas para agrupar as questões por topicos (no meu instrumento, sempre terei uma conceitual e uma procedimental para cada tópico).

Uma análise visual rápida mostra que o ordenamento do comparative judgement confirmou a minha expectativa para a grade maioria das questões, com exceção da 34 e da 18. Também fica clara a ocorrência de dois grandes grupos: um com questões que vão de 0 a cerca de 600 e outro de que vai de 600 em diante. Além disso, no geral, o distanciamento entre uma questão procedimental e outra conceitual no mesmo tópico foi superior a 250, com exceção do tópico classificação de queadriláteros e do par 18 e 19 (frações) e 10 e 23 (área e perímetro).

Tendo isso em vista, removi as questões 10 e 18 da minha base de questões e fiquei com a necessidade de criar uma questão mais procedimental para o tópico classificação de quadrilátero e validá-la como procedimental. Aproveitando essa nova rodada de comprative judgement, inclui também questão no conteúdo "álgebra 1", emque a distância entre a questão procedimental e conceitual não era muito grande. Como resultado, obtive duas questões mais procedimentais, uma para cada um desses tópicos.

Referências

LI, Y.; KULM, G. Knowledge and confidence of pre-service mathematics teachers: the case of fraction division. ZDM, v. 40, n. 5, p. 833–843, dez. 2008.

MA, L. Knowing and teaching elementary mathematics: teachers’ understanding of fundamental mathematics in China and the United States. Mahwah, N.J: Lawrence Erlbaum Associates, 1999.

comparative judgement, parte 2

30 Apr 2019 / Leonardo Barichello

Uma das maneiras de utilizar o método comparative judgement (leia mais sobre no primeiro post da série) é usando o site www.nomoremarking.com. Apesar de oferecer serviços pagos, o site pode ser utilizado gratuitamente por professores, pesquisadores ou interessados em geral no uso de comparative judgement. Além de oferecer um FAQ bem útil e uma boa interface com as principais informações para realizar a análise dos dados, o site permite a exportação de todos os dados para formatos amigáveis e os algoritmos por trás estão disponíveis publicamente como pacotes do R ou explicados no blog de um dos responsáveis.

Depois de fazer o cadastro, uma leitura no support da página explica como proceder, mas os passos principais são:

  1. Criar os textos de introdução e apresentação da sua task (isso será mostrado para os juízes a quem você enviar o link)
  2. Fazer o upload (no menu Candidates) dos candidatos (os itens que serão comparados)
  3. No menu Judges, definir quantas comparações cada juiz deve fazer (tenha em mente que eles sugerem que o total de comparações deve ser igual a 10 vezes o número de candidatos e que pode ocorrer de algum juiz ser excluídos por baixa concordância com o resultado do grupo)
  4. Enviar o link para os juízes
  5. Acompanhar os resultados (dos juízes e dos candidatos) a medida que as respostas foram entrando no sistema (é necesśario clicar no botão Refresh no menu Setting)

A recomendação deles é de que qualquer juiz com infit (uma medida de desvio acumulado em relaçãoàs decisões do grupo) superior a 1.3 seja excluído e que candidatos com infit superior a 1.3 seja tratados de forma separada.

Uma outra funcionalidade permitida pelo site é usar a ordenação para gerar algo mais próximo d qe seria uma nota. Para isso, você precisa definir candidatos que serão usados como referência para essa atribuição de nota. Algo como "esse cara é um 5", "esse cara é um 6" e assim por diante. Com isso feito para várias notas diferentes, o sistema calcula qual seria a not de cada um dos candidatos. Infelizmente não posso entrar em mais detalhes porque não usei esse funcionalidade.

O funcionamento geral do algoritmo segue o que é discutido em [1]. Um detalhe interessante é que o sistema usado no site não faz o pareamento de candidatos de forma aleatória, mas tenta levar em conta as comparações que podem ser mais útil. Basicamente, depois de um tanto de comparações, não adianta muito comparar o líder com o último colocado, pois este vai muito provável perder denovo, mas é mais útil comparar o sétimo com o oitavo, que estão pertinho e podem eventualmente trocar de posições. Por conta disso não é necesśario fazer absolutamente todas as comparações possíveis.

No próximo post explico o uso que fiz do julgamento comparado para validar uma parte do meu instrumento de coleta de dados da minha pesquisa de pós-doutorado.

Referências

[1] POLLITT, A. The method of Adaptive Comparative Judgement. Assessment in Education: Principles, Policy & Practice, v. 19, n. 3, p. 281–300, ago. 2012.

comparative judgement, parte 1

29 Apr 2019 / Leonardo Barichello

Imagine que você quer ordenar por peso alguns sacos de areia sem ter uma balança disponível. Você pode levantar cada um deles e estimar o seu peso ou pode comprar 2 a 2 e ir ordenando localmente até que o todo esteja ordenado. Essa segunda estratégia resume bem a técnica chamada de comparative judgement, ou julgamento comparado.

A premissa fundamental do julgamento comparado é a de que serem humanos, em muitas situações, são melhores em comparar duas entidades uma em relação à outra do que fazer julgamentos absolutos, atribuindo algo como uma nota, especialmente quando o critério em vista não pode ser colocado de forma objetiva ou precisa.

Isso vem sendo aplicado academicamente, em diversos contextos, desde a década de 1920. Especificamente em Educação Matemática, um grupo de pesquisadores britânicos exploraram recentemente o uso dessa técnica para avaliar questões de natureza mais conceitual, uma vez que estas costumam ter uma formulação mais aberta, o que dificuldade a correção com base em conjunto de orientações. A ideia é a seguinte:

  • Uma questão conceitual (como, por exemplo, "Explique o que são frações equivalentes como se fosse para alguém que nunca estudou esse assunto") é proposta para um grupo de estudantes, que a respondem de maneira bastante livre
  • As respostas (chamadas de candidatos) são arquivadas e apresentadas duas a duas para um juiz (alguém que tenha conhecimento sobre o assunto como, nesse caso, um professor) que deve dizer apenas qual delas é melhor (fazer um julgamento, saundo a nomenclature técnica)
  • Depois de realizadas várias comparações, um algoritmo é capaz de ordenar todas as respostas atribuindo um valor de 0 a 100 no qual 100 é a melhor respostas e 0 a pior.

Em [1] você encontra três exemplos similares a este discutidos em profundidade.

Alguns pontos precisam ser esclarecidos:

  • O algoritmo consegue lidar com julgamentos diferentes usanod um modelo probabilístico discutido em [2]
  • Por conta do item anterior, cada julgamento pode precisar ser feito mais do que uma vez. Porém, com cerca de 10 vezes o número de candidatos, a escala estabiliza. Isso significa que se tivermos 30 respostas, são necessários 300 julgamentos (enquanto que o total de julgamentos diferentes possíveis seria da ordem de 450)
  • É possível medir a consistência de cada juiz em relação ao grupo (basicamente, o quanto os julgamentos desse juiz são iguais ao que o grupo como um todo decidiu) e o erro da valor atribuído a cada questão (basicamente, o quanto os vários juízes divergiram nos julgamentos que envolveram uma determinada questão)

Os aspectos técnicos sobre o funcionamento da técnica podem ser lidos em [2], mas algumas características interessantes e sistematicamente reportadas na literatura acadêmica são:

  • Um expert realiza uma comparação muito mais rapidamente do que uma avaliação absoluta quando o critério não admite formulação bem objetiva, portanto, julgamento comparado é econômico nessas situações
  • Juízes diferentes apresentam um bom grau de concordância ao fazerem julgamentos comparados, bastando que seja expert no assunto sendo julgado
  • No âmbito da Educação Matemática especificamente, os valores atribuídos pelo algoritmo se correlacionam bem com outras medidas de caráter conceitual

A técnica me chamou a atenção em um evento na Inglaterra e decidi utilizá-la para validar uma parte do instrumento que vou usar na minha pesquisa de pós-doutorado, mas isso fica para o próximo post.

O segundo post dessa série já pode ser lido em barichello.coffee/blog/comparative-judgement-2.

Referências

[1] BISSON, M.-J. et al. Measuring Conceptual Understanding Using Comparative Judgement. International Journal of Research in Undergraduate Mathematics Education, v. 2, n. 2, p. 141–164, jul. 2016.

[2] POLLITT, A. The method of Adaptive Comparative Judgement. Assessment in Education: Principles, Policy & Practice, v. 19, n. 3, p. 281–300, ago. 2012.

cannoli em São Paulo

29 Apr 2019 / Leonardo Barichello

Eu já tinha comido cannoli algumas vezes, mas fiquei encantado em Genova, quando provei o cannoli de um bar que se declarava siciliano: massa sequinha, leve e crocante e um recheio que não devia ser mais do que ricotta (não a brasileira, mas a versao mais pastosa do sul da Itália) e açucar (o "sabor" influenciava apenas em umas lasquinhas que era colocadas na ponta do doce). Uma delícia!

cannoli em genova

Inspirado por essa matéria da Veja SP, decidi caçar essa iguaria em Sampa.

A primeira tentativa (Gioia café) foi frustrante, pois peguei o lugar fechado duas vezes em horários que o Google Maps achava que ele estaria aberto.

A segunda foi no Zena Caffè. O lugar é bem metidinho e tem um clima bem gourmet, que não bate com a minha expectativa de uma comida tradicional do sul da Itália, mas tudo bem. O cannoli estava bom, mas tinha seus problemas. Massa muito firme, recheio com pouco gosto de queijo e foram servidos (são 2 por prato) em cima de uma bolinha do recheio (pura decoração), que acabou por amolecer a parte de baixo da massa.

A terceira veio meio por acaso e não está lista da Veja SP, mas deveria: Cannoli Don Biondo. Encontrei a barraquinha na feira de domingo no Parque da Independência. A barraca chamou a atenção por estar totalmente vazia (nenhum produto "de mostruário"). Bom sinal, pois o cara deve montar na hora. Batemos um pouco de papo com o Luís, que parecia saber do que estava falando e aumentou minha curiosidade quando mencionou que faz a própria ricota. Um ponto que quase me desanimou foi o fato dele oferecer muitos sabores, do tradicional ricotta a coisas como nutella e maracujá. Como sou um tanto purista com comida italiana, torci um pouco o nariz, mas o prospecto de comer um canolli montado ali na minha frente com recheio de ricotta me convenceu.

E vale muito a pena!

cannoli em SP

O recheio é super gostoso (o limão siciliano sobressai, mas sem ficar muito forte) e ainda tem o sabor da ricotta e a massa estava impecável! Pra coroar, o preço era bem razoável.

Recomendo muito!



1 2 3 4 5 6 7 next ... end
rss

Subscribe to my RSS:
barichello.coffee/rss

Search

Tags

english português música poesia coffee Ireland mathematics education café music movie opinion duas versões two versions research methodology recipe política matemática opinião nottingham visualization linux food educação programação receita viagem arte educação matemática beer libreoffice amsterdam pesquisa free software video vídeo mobile tourism coding restaurant comic software livre art restaurante turismo comida