Mão com caneta fazendo prova

As recentes notícias que o MEC pretende adotar um mecanismo anti-chute, estão dando o que falar aos interessados em prestar a prova para o novo Enem. Basicamente, a proposta é evitar que o candidato consiga se valer do fator “sorte” na hora de resolver as 180 questões que serão aplicadas. O MEC pretende fazer isto aplicando um conceito denominado Teoria da Resposta ao Item (TRI).

O que é TRI?

Pesquisando no Wikipédia, encontrei a seguinte resposta:

A Teoria da Resposta ao Item, muitas vezes abreviada apenas por TRI, é uma modelagem estatística utilizada (…) principalmente na área de avaliação de habilidades e conhecimentos. (…) A aplicação mais freqüente da Teoria da Resposta ao Item são as avaliações de habilidades e conhecimentos em testes de múltipla escolha.

A definição acima não explica como funciona a TRI, mas mostra que, por ser utilizada em testes de múltipla escolha, pode ser aplicada pelo novo Enem. Aliás, atualmente ela é utilizada nos testes do Sistema de Avaliação da Educação Básica (SAEB).

Como funciona?

Por ser um modelo estatístico, a TRI agrega um valor a cada questão, dependendo da dificuldade. Assim, as questões mais difíceis valem mais do que as questões fáceis ou de valor médio.

O prof. Jean Piton, em seu blog, através de um exemplo prático, mostra como é aplicada a TRI:

Vamos supor que você esteja fazendo uma prova de Matemática que foi elaborada a partir da TRI. São 50 questões de múltipla escolha (A,B,C,D e E).

Você realiza a prova e responde todas as questões. Você, conversando com um colega resolve comparar as soluções e digamos que de 50 questões você acerte 20, e seu colega também acerte 20. Em alguns dias, você recebe sua nota, que no caso da TRI podemos chamar de escore. Seu escore é de 40 pontos e de seu colega 50 pontos. Mas, isso é possível?

Esse é um ponto importante. Para cada questão da prova é atribuído um grau de dificuldade diferente (além dos parâmetros discriminação e “chute”. Ver detalhes em Lord (1980)). Por simplicidade, vamos supor que você tenha acertado 15 questões consideradas como fáceis e 5 como médias, e seu colega tenha acertado 15 questões fáceis, 2 médias e 3 difíceis. Como as questões possuem graus diferentes, é natural que o escore final seja diferente (…).

Este exemplo esclarece muita coisa. O problema é que ele não pode ser utilizado para entender o novo Enem, já que ainda faltam dados para compreender como vai ser o sistema utilizado pelo MEC. O MEC já divulgou o grau de dificuldade das 180 questões aplicadas este ano: 25% terão nível de dificuldade fácil; 50% terão nível de dificuldade médio; e 25% terão nível de dificuldade difícil.

Como vai ser aplicada?

O MEC também não explica como vai ser identificado se o aluno chutou ou não. Aparentemente, vai ser aplicado um dado estatístico baseado no seguinte raciocínio: o candidato que erra a questões mais fáceis não pode acertar as questões mais difíceis. Isto significa que o sistema vai identificar que, candidatos de baixa habilidade, se acertarem uma questão difícil, podem, por probabilidade, ter recorrido ao chute.

É neste ponto que a polêmica ocorre, pois alguns candidatos argumentam que estes dados podem facilitar a fraude e manipulação dos resultados, pois, a princípio, qualquer acerto pode ser considerado chute. Na minha opinião, como existem mais perguntas que respostas – e o site do novo Enem ainda não responde a estas perguntas -, penso que o melhor é esperar a aplicação da primeira prova e ver os resultados práticos.