Análise do Funcionamento das Questões da Prova de Ciências da Natureza do Enem 2009 e 2010

## Análise do Funcionamento das Questões da Prova de Ciências da Natureza do Enem 2009 e 2010

## Ewout ter Haar e André Yamin 1 2

## Resumo

Investigamos com métodos quantitativos o funcionamento das questões da prova de Ciências da Natureza do Exame Nacional do Ensino Médio, o ENEM, de 2009 e 2010, a partir dos microdados disponibilizados pelo INEP. Usamos vários indicadores e visualizações gráficas para buscar indícios de um eventual mau funcionamento de questões. Usamos estatísticas descritivas da teoria clássica de testes (índice de dificuldade, o índice de discriminação e a correlação ponto bisserial), as curvas características empíricas de item (a probabilidade de acerto do item em função do número total de acertos) e ajustes ao modelo de dois parâmetros da teoria da resposta ao item (TRI). Estes indicadores e as visualizações gráficas das curvas características apontam para várias questões com indícios de mau funcionamento. Encontramos questões nas quais a probabilidade de acerto independe do nível de proficiência. Para algumas questões a probabiliade de acerto é até maior para indivíduos de menor proficiência, o contrário do esperado para uma boa questão. As questões assim identificadas devem ser agora submetidas a outras metodologias de investigação para entender a razão do seu mau funcionamento.

Palavras-chave : Avaliação, Análise de Itens, TRI, ENEM, Ensino Médio

## Introdução

Assim como a educação em geral, a avaliação educacional em larga escala representa um grande desafio. Uma avaliação educacional pode ter vários objetivos: classificar alunos ou ajudar na sua formação. Pode ser usada para avaliar cursos e instituições, ou avaliar metodologias pedagógicas. Uma avaliação pode ter consequências importantes para o sujeito (credenciamento, processos de seleção) ou servir para fins de pesquisa e orientação dos processos pedagógicos.

A maneira mais comum para viabilizar uma avaliação em larga escala é o uso de testes padronizados com questões de múltipla escolha. A confecção das questões deve se adequar aos objetivos e a finalidade da avaliação. Entender como fazer uma 'boa questão' (no contexto de determinados objetivos e finalidades) se torna cada vez mais importante na medida em que testes padronizados ganham importância nos ambientes educacionais.

Buscamos portanto uma metodologia que avalia o instrumento de avaliação, para que possamos implementar melhorias e também para responsabilizar as organizações que as desenvolvem. Neste trabalho, focamos nas questões do Exame Nacional do Ensino Médio, o ENEM e nas questões da área de Ciências da Natureza.

- O Enem se tornou nos últimos anos um exame com objetivo de ranqueamento dos alunos e com finalidade de classificação (um exame do tipo 'alto impacto' ou high stakes ), sobretudo após sua reformulação em 2009 e com a

\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_

proposta do Ministério de Educação de utilizá-lo 'como forma de seleção unificada nos processos seletivos das universidades públicas federais' (MEC, 2009). Assim, é apropriado investigar como as questões do ENEM se adequem a estes objetivos.

- O nosso trabalho é complementar ao desenvolvido por LEITE RAMALHO e BELTRÁN NÚÑEZ, 'Aprendendo com o ENEM' (2011). Os autores deste livro fazem uma análise pedagógica das questões do ENEM de 2009 sob o olhar da interdisciplinaridade, uso de situações-problema, conteúdo conceitual e outras perspectivas. A nossa abordagem foca no funcionamento das questões, usando os microdados fornecidos pela INEP (INEP, Microdados Para Download).

## Metodologia e Resultados

Avaliar questões somente pode ser feito dentro do contexto da avaliação e levando em conta os objetivos e finalidade da mesma. A experiência e conhecimento específico de especialistas da área é imprescindível na confecção da questão e também posteriormente, na avaliação do seu funcionamento dentro do exame.

No entanto, métodos estatísticos e quantitativos acerca do funcionamento de uma questão (ou item , na terminologia da área e a expressão que usaremos a partir de agora) podem ajudar na identificação de erros e acertos na elaboração de itens e questões objetivas.

Existe uma literatura extensa acerca da avaliação da qualidade de itens de testes padronizados. Recomendamos o trabalho de DING e BEICHNER (2009) para um resumo sucinto das várias possibilidades e DING et al., (2006) para uma aplicação na área de Ensino de Física.

Faremos uma breve revisão dos principais métodos estatísticos para a análise de questões do tipo teste, a teoria clássica de testes e a teoria de resposta ao item. Aplicamos estes métodos às provas de Ciências da Natureza do ENEM de 2009 e 2010 (INEP, Microdados Para Download). Em todas as análises abaixo, usamos uma amostra aleatória de aproximadamente 0,25% da provas válidas (N = 6614 e 8811 para a prova de 2009 e 2010 resp.) 1

## Estatísticas Descritivas (Teoria Clássica de Testes)

A chamada Teoria Clássica de Testes (TCT, assim chamada para distinguíla da Teoria de Resposta ao Item, discutida brevemente abaixo) define alguns índices que caracterizam um item. Um indicador da dificuldade de um item i é a fração de acertos deste item

<!-- formula-not-decoded -->

Veja na figura GLYPH&lt;31&gt;1 (esquerda) a fração de acertos para os dez itens mais difíceis.

\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_

<!-- image -->

Figura 1: Esquerda: Indice de dificuldade em ordem crescente para as provas de Ciências da Natureza (CN) do ENEM de 2009 e 2010 (somente os 10 itens mais difíceis de cada prova). Direita: índice de discriminação (diferença de acertos entre primeiro e último quartil) em ordem crescente para as duas provas.

<!-- image -->

A fração de acertos por si só não necessariamente indica problemas com um item, porque a dificuldade assim definida depende da distribuição de proficiência do grupo a qual o item foi aplicado e também porque um item difícil não é necessariamente um item ruim. Porém, pode-se argumentar que itens com frações de acerto muito abaixo de 0,2 (a fração de acertos atingido por respostas dadas aleatoriamente) devem ser investigados melhor.

O segundo indicador padrão na TCT de itens é o índice de discriminação ou a diferença entre os acertos de um determinado item para os melhores alunos (segundo o seu número total de acertos) e os piores. Uma diferença pequena levanta suspeitas sobre o bom-funcionamento do item, já que se espera que os alunos com muitos acertos na prova como um todo, acertem este item mais do que os alunos com poucos acertos. Calculamos

<!-- formula-not-decoded -->

com N ± 25% número de acertos para primeiro e último quartil de estudantes. Calculamos este índice para todos os 45 itens da prova CN. Mais uma vez, mostramos somente os 10 itens com valores mais baixos na figura 1, direita.

A chamada correlação ponto bisserial ( point biserial correlation ) é um indicador do grau de consistência de um item com o resto da prova. Usamos a seguinte definição: (DING; BEICHNER, 2009)

<!-- formula-not-decoded -->

onde X 1,0 é a média total para o grupo que acertou (1), ou não acertou (0), este item, σ x é o desvio padrão do total da prova e P é o a fração de acertos para este item. Um valor pequeno para este indicador significa que há uma correlação baixa entre os acertos deste item com os acertos total da prova e levanta suspeitos sobre o bom funcionamento do item. Segundo DING et al. (2006) 'o critério amplamente

\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_

adotado' é que esta correlação deve ser maior do que 0,2. Mostramos na figura 2 (esquerda) os dez itens com os valores mais baixas. Ressaltamos o fato que em ambas as provas mais do que 10 questões ficaram com este indicador abaixo de 0,2, um valor insatisfatório.

Figura 2: Esquerda: os item em ordem da sua correlação ponto bisserial. Direita: índice de discriminação derminado via o parámetro do ajuste da regressão logística da figura 3.

<!-- image -->

Com uma amostra grande suficiente é viável ir além das simples estatísticas resumidas. Podemos colocar os participantes em faixas ( bins ) de número de acertos total e para cada item contar o número de acertos que este grupo obteve. Assim obtem-se 'Curvas Características do Item' empíricas (CCI empírica) como mostrado na figura 3.

Figura 3: Curvas caracteríscticas empíricas dos itens 11 (esquerda) e 25 (direita) da prova ENEM 2010. As barras de erro são os erros padrões do número de acertos no bin e a curva é o ajuste de uma regressão logística.

<!-- image -->

\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_

Note que estas curvas são diferentes das CCIs obtidas via a Teoria de Resposta ao item (TRI) onde a escala horizontal é uma estimativa de um traço latente ou 'habilidade' (veja discussão embaixo). Na figura 3 o eixo horizontal representa o número de acertos dos alunos na faixa. Para a finalidade de caracterizar itens este método é perfeitamente adequada, sem precisar todo aparelho estatístico e conceitual do TRI.

Na figura 3 mostramos dois itens da prova de 2010 com funcionamento bem diferentes. Uma CCI em conformidade com a expectativa de uma questão que discrimina bem entre indivíduos com número de acertos diferentes é a do item 11 de 2010 (figura 3, esquerda). Por outro lado, o item 25 parece até ser não-monotônico para número de acertos intermediários.

Para ir além da simples conferência visual (embora que o mérito deste método não deve ser desprezado), ajustamos uma regressão logística aos pontos (figura 3, linhas contínuas). A derivada da função no ponto de inflexão é mais um indicador poder de discriminação do item e valores baixas são indícios de problemas. Na figura 2, direita mostramos os 10 itens com o valor mais baixo para este parâmetro.

## Teoria de Resposta ao Item

As curvas características estimadas pela Teoria de Resposta ao Item (TRI) 2 aperfeiçoam a análise simples descrita acima. A TRI não supõe que a habilidade do estudante é bem estimada pelo seu simples número de acertos. Ao invés disso, a TRI assume (entre outras coisas) que um parámetro unidimensional 'habilidade' pode ser estimado simultaneamente com as curvas características dos itens. Na forma que é usado pelo ENEM, a curva característica (a probabildade de acerto em função da 'habilidade' θ ) é modelado pela função

<!-- formula-not-decoded -->

onde o parâmetro b representa a dificuldade do item, a indica a discriminação do item e c a probabilidade de acerto para indivíduos com baixa 'habilidade' θ (ou 'Escore ENEM').

Não temos conhecimento da publicação das propriedades dos itens do ENEM pelo INEP. Assim, submetemos a nossa amostra à análise TRI usando o pacote 'ltm' (RIZOPOULOS, 2006) feito para o ambiente de software estatístico R. Usamos um modelo de dois parâmetros ( c = 0 no modelo acima) porque o modelo de 3 parâmetros tinha dificuldades de estabilidade numérica.

O nosso ajuste do modelo TRI se aproxima bem à análise do INEP, como pode ser visto em figure 4 (esquerda). Os pontos na figura 4 representam a CCI empírica,

veja DE ANDRADE; TAVARES; DA CUNHA VALLE, 2000 e BAKER, 2001 para textos introdutórios e PLANINIC; IVANJEK; SUSAC, 2010 ou WANG; BAO, 2010 para aplicações ao 'Force Concept Inventory'.

\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_

como em figura 3, mas usando o 'Escore ENEM' (padronizado) dos alunos dado pelo INEP. Traçamos na mesma figura a curva correspondendo à CCI usando os parâmetros obtidos pelo nosso 'ajuste TRI' (os parâmetros a e b na Eq. 4) que nós fizemos, usando somente os padrões de resposta fornecido pelo INEP.

O modelo de dois parâmetros ajusta-se bem a maioria dos itens (figura 4, esquerda). Para uma minoria dos itens o modelo logístico (Eq. 4) do TRI padrão parece não funcionar bem (veja figura 4, direita para um exemplo). Nestes casos o parâmetro de discriminação fica até negativo, indicando que indivíduos de alta 'habilidade' tiveram uma probabilidade menor de acerto do que indivíduos com baixa 'habilidade'. Neste tipo de item talvez um ajuste a um modelo não-paramétrico (RAMSAY, 1991) é necessário para captar bem o comportamento para os indivíduos com alta 'habilidade'.

A informação sobre os itens trazido pela nossa análise feita via TRI é, num certo sentido, redundante porque a correlação com os outros índices é quase perfeita, em particular com o índice obtido via regressão logística do número de acertos (figura 2, direita).

Figura 4: Curvas Características dos dos itens 11 (esquerda) e 25 (direita) da prova de Ciências da Natureza do ENEM 2010. As curvas contínuas representam a Eq. 4 ( c= 0 ) com os parâmetros obtidos pela nossa ajuste usando TRI.

<!-- image -->

## Discussão

Os indicadores discutidos apontam para várias questões com indícios de mau funcionamento, como a Q25 da prova CN de 2010 (figura 3 e 4, direita). Adotamos o critério que um item com baixa discriminação (a curva característica é próximo a horizontal ou tem até derivada negativa) é problemático. Uma curva característica do item pode ficar horizontal simplesmente porque o item é muito difícil (ou, muito fácil). Acreditamos, no entanto, que um item como a da figura 4 direita, que só funciona para os 2 ou 3 porcento mais 'hábil' da população, (e mesmo assim, precariamente)

\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_

não é um bom item para uma prova universal como o ENEM, por mais seletiva que a prova pretenda ser.

Entre as 45 questões analisadas de cada prova, exemplos de itens suspeitos de 2010 são: 27, 25, 10 21 e 5. Para 2009 os itens 31, 27, 30, 44, e 23 também mostram indícios de mau-funcionamento . 3

O próximo passo na análise dos itens é agora entender porque não funcionaram bem. Nas figuras 5 e 6 mostramos o padrão de resposta e os enunciados para dois itens aparentemente problemáticos. Possíveis explicações para o malfuncionamento incluem distratores plausíveis (questão 31 de 2009) ou um enunciado de difícil interpretação (item 25 de 2010).

<!-- image -->

Figura 5: Esquerda: o padrão de resposta para o item 31 da Prova CN de 2009. Direita: item 25 (questão 70 no caderno da prova) da prova CN de 2010

<!-- image -->

\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_

Figura 6: Esquerda: a questão 31 da Prova de Ciências da Natureza do ENEM 2009. Direita: a questão 25 da prova de 2010 (CN, numerado como 70 no caderno da prova).

<!-- image -->

<!-- image -->

<!-- image -->

<!-- image -->

<!-- image -->

Em conclusão, usamos as técnicas de análise da teoria clássica de testes, gráficos das curvas características empíricas e ajustes usando a teoria de resposta ao item para identificar alguns itens que aparentemente não funcionaram bem na provas de 2009 e 2010 da prova de Ciências da Natureza do ENEM. Os indicadores discutidos, sobretudo aqueles que medem o poder de discriminação de um item, possuem alta correlação entre si, levantando suspeitas de mau funcionamento sobre os mesmos itens do ENEM de 2009 e 2010.

A metodologia de avaliaçã de questões e itens de provas exposta acima pode ser aplicada a outras provas também. Os indicadores de consistência com o resto da prova (como a correlação ponto biserial, Eq. 3) ou discriminação (como o D 25 da Eq. 2) da teoria clássica de testes são simples de calcular. Ambientes virtuais de aprendizagem como Moodle colocam estes indicadores à alcance de qualquer educador.

Se houver uma amostra grande suficiente, a análise dos CCI (via os CCI empíricas ou usando TRI tradicional ou não-paramétrico) também é relativamente simples com os pacotes de software livre disponíveis hoje em dia. Estas CCIs podem fornecer informações mais detalhadas sobre o funcionamento de itens.

Este trabalho agora deve prosseguir levantando mais questões com potenciais problemas, usando outras provas, para uma análise mais detalhada e qualitativa, para esclarecer possíveis razões do mau funcionamento de determinadas questões.

\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_

## Referências

BAKER, F. B. The basics of item response theory . [S.l.] ERIC, 2001.

DE ANDRADE, D. F.; TAVARES, H. R.; DA CUNHA VALLE, R. Teoria da Resposta ao Item: conceitos e aplicações. ABE, Sao Paulo , 2000.

DING, L. et al. Evaluating an electricity and magnetism assessment tool: Brief electricity and magnetism assessment. Physical Review Special Topics - Physics Education Research , v. 2, n. 1, p. 010105, 15 mar. 2006.

DING, L.; BEICHNER, R. Approaches to data analysis of multiple-choice questions. Physical Review Special Topics - Physics Education Research , v. 5, n. 2, p. 020103, 2009.

INEP. Microdados para download . Disponível em:

&lt;http://portal.inep.gov.br/web/guest/basica-levantamentos-acessar&gt;. Acesso em: 29 jul. 2012.

INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA. Exame Nacional do Ensino Médio (ENEM)GLYPH&lt;31&gt;: fundamentação teórico-metodológica . Brasília, DF: INEP, 2005.

LEITE RAMALHO, B.; BELTRÁN NÚÑEZ, I. Aprendendo com o ENEM . [S.l: s.n.].

MEC. Proposta Novo Enem . Disponível em:

&lt;http://portal.mec.gov.br/index.php?Itemid=310&amp;id=13318&amp;option=com\_content&gt;. Acesso em: 17 jul. 2012.

PLANINIC, M.; IVANJEK, L.; SUSAC, A. Rasch model based analysis of the Force Concept Inventory. Physical Review Special Topics - Physics Education Research , v. 6, n. 1, p. 010103, 10 mar. 2010.

RAMSAY, J. Kernel smoothing approaches to nonparametric item characteristic curve estimation. Psychometrika , v. 56, n. 4, p. 611-630, 1991.

RIZOPOULOS, D. ltm: An R Package for Latent Variable Modeling and Item Response Analysis. Journal of Statistical Software , p. 1, nov. 2006.

WANG, J.; BAO, L. Analyzing force concept inventory with item response theory. American Journal of Physics , v. 78, n. 10, p. 1064, 2010.

\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_