Uso da teoria de resposta ao item para a identificação de respondentes inconsistentes

Abstract

O âmbito do estudo aqui presente são 10 estatísticas de ajuste individual que identificam os respondentes de exames de múltipla escolha cujas respostas não condizem com o padrão esperado nos modelos de Teoria de Resposta ao Item (TRI). Nesse sentido, buscou-se identificar quais os indivíduos poderiam ser classificados como incoerentes e, para isso, realizou-se estudos de simulação de Monte Carlo sobre os dados a fim de testar a hipótese de que o respondente apresenta padrões de respostas incoerentes. Por conseguinte, a partir de simulações comparam-se os resultados obtidos pelas 10 estatísticas onde é possível re-estimar os parâmetros do modelo proposto para os dados, obtendo dessa forma um modelo mais preciso para as possíveis respostas. A análise foi realizada considerando duas possíveis estratégias: na primeira, foram utilizados os parâmetros gerados pelo ML3P e na segunda, considerou-se o parâmetro de acerto ao acaso igual a 0,25 para todos os itens. Inicialmente, a primeira análise permitiu concluir que as estatísticas de quadrado médio identificavam um número superior de indivíduos incoerentes quando comparado ao valor obtido pelas estatísticas de índice de cautela. Além disso, observou-se que os parâmetros de discriminação e dificuldade do item sofriam grandes impactos pelos respondentes incoerentes. Posteriormente, para a segunda análise, a conclusão obtida para as estatísticas de ajuste individual foram as mesmas, porém, com relação aos parâmetros, observou-se que não houve grandes mudanças com a retirada dos indivíduos incoerentes.