ANÁLISE DE CONCENTRAÇÃO DO ITEM PARA IDENTIFICAÇÃO DE DISTRATORES NO ENEM

1

## ANÁLISE DE CONCENTRAÇÃO DO ITEM PARA IDENTIFICAÇÃO DE DISTRATORES NO ENEM

## ITEM CONCENTRATION ANALYSIS FOR IDENTIFICATION OF DISTRACTORS IN ENEM

## Renato Pacheco Villar 1 , Maurício Urban Kleinke 2

1 UNICAMP / PECIM / Colégio Bandeirantes, renatopvillar@gmail.com 2 UNICAMP / IFGW, kleinke@ifi.unicamp.br

## Resumo

A análise quantitativa, a partir do uso de índices, no estudo de avaliações de larga escala tem sido utilizado para compreender características da prova, problemas educacionais, diferenças de rendimentos entre candidatos de grupos diferentes, entre outros. O uso de índices da teoria clássica dos testes (TCT) como o índice de facilidade do item (IFI) combinado com o índice de concentração do item (ICI) foi proposto por Bao e Redish (2001) e podem informar sobre características típicas de itens como existência de modelos múltiplos em um determinado conceito a partir de distratores fortes. Estes modelos múltiplos podem apontar para possíveis lacunas de aprendizagem, concepções alternativas dos alunos ou má formulação do item. Este trabalho tem como objetivo aplicar a combinação de índices propostos por Bao e Redish em itens do ENEM, na busca, por modelos errados a partir de itens com fortes distratores em diferentes grupos sociais.

Palavras-chave : Índice de Concentração, Capital Cultural, ENEM

## Abstract

The quantitative analyses in the study of large-scale assessments has been used to understand the characteristics of the test, educational problems, differences in income between candidates from different groups, among others. The use of indexes of classical test theory as the score combined with the concentration factor was proposed by Bao and Redish (2001) and can inform about typical item characteristics as existence of multiple models in a given concept from strong distractors. These multiple models can point to possible learning gaps, alternative conceptions of students or poor formulation of the item. This work aims to apply the combination of indexes proposed by Bao and Redish in ENEM items, in the search for the wrong models from items with strong distractors in different social groups.

Keywords : Concentration Factor, Cultural Capital, ENEM

## Introdução

A avaliação é uma prática presente em todos os campos da atividade humana. Segundo Vianna (1997), uma avaliação deve esclarecer controvérsias, diminuir dúvidas sobre falsos pressupostos e possibilitar ações que resultem da compreensão do objeto avaliado. As avaliações em larga escala surgiram no Brasil nos anos 90 e

hoje está consolidada em provas como ENEM, prova Brasil, entre outras (ALVES, 2013). O uso de índices para determinar o desempenho dos estudantes também podem ser utilizados para compreender diferenças sociais, analisar itens, compreender problemas na educação entre outros. Kleinke (2017), por exemplo, apresenta a relação entre o nível socioeconômico do candidato e seu desempenho no ENEM. Neste trabalho foi observado que o desempenho de alunos de classe alta é, em média, o dobro da classe baixa. Villar e Kleinke (2018) mostraram através dos índices que, em itens de física experimental, quando o contexto do item é mais próximo do aluno, o desempenho de todos os candidatos é melhor. Contudo, nestes itens, observa-se uma maior diferença no desempenho dos candidatos em função da escolaridade dos seus pais.

A escolaridade dos pais do candidato mostra-se um fator decisivo no sucesso dos candidatos, tanto na sua aprovação para o ensino superior, como na sua vida profissional posterior. Bourdieu (2002) introduz o conceito de capital cultural e destaca que apesar de o êxito escolar ter relação com a renda e classe social do candidato, diferentemente do que muitos afirmam, ele não está estritamente relacionado com a classe social do estudante. A carga cultural que o mesmo carrega, que está associada ao nível de instrução de seus familiares é muitas vezes mais decisivo, ou seja, segundo Bourdieu (2015) 'a ação do meio familiar sobre o êxito escolar é quase exclusivamente cultural.'.

Diversos são os índices utilizados para estudar uma avaliação. Destacamos neste trabalho o índice de facilidade do item (IFI) e o índice de concentração do item (ICI) (ALAGUMALAI e CURTIS, 2005; BAO e REDISH, 2001).

- O índice de facilidade do item é dado pela porcentagem de alunos que assinalam a alternativa correta do mesmo, ou seja, 𝐼𝐹𝐼 = $% & , onde 𝑛( é o número de candidatos que escolheram a alternativa correta e 𝑁 o número total de candidatos.
- O índice de concentração do item (ICI) foi proposto por BAO e REDISH (2001) para quantificar quão espalhado em torno de uma alternativa é a resposta dos alunos

<!-- formula-not-decoded -->

Em que 𝑚 é a quantidade de alternativas do item, N o número de candidatos da amostra e no número de candidatos que escolheu uma determinada alternativa. Neste relação, quando todos os candidatos escolherem a mesma alternativa temos o valor máximo, ou seja, ICI = 1 e quando as m alternativas são escolhidas com a mesma frequência, temos o valor mínimo, ICI = 0 .

A combinação de índices pode nos trazer mais informações sobre o item do que os índices trabalhados separadamente. Neste sentido, Bao e Redish (2001) propõe em seu trabalho a combinação os índices ICI e IFI e obter uma função do tipo

<!-- formula-not-decoded -->

Podemos obter os limites superior e inferior desta função, e assim, obter a região possível onde os itens de uma prova como ENEM podem estar localizados num gráfico de ICI. X IFI. Quanto mais espalhado entre as 5 alternativas estiver a escolha dos candidatos, menor será o valor de ICI. Neste sentido, esta função apresenta o seu limite inferior quando todas as alternativas escolhidas, diferentes da correta, têm a

mesma frequência de escolha, isto é, cada uma das alternativas apresenta frequência 3-565 7 , ficando assim, com o termo dentro da raiz

<!-- formula-not-decoded -->

Substituindo na função e organizando os termos, ficamos com a função que descreve a curva dos valores mínimos:

Para o limite superior, temos a curva descrita por assinalação de apenas duas alternativas, a correta e mais uma, e frequência zero de escolha entre as demais alternativas. Matematicamente falando, temos apenas assinalada a alternativa IFI e uma segunda com frequência 1-IFI, o que modifica o termo dentro da raiz para

, que substituindo na função e reorganizando os

termos obtemos:

<!-- formula-not-decoded -->

Estas funções de máximo e mínimo delimitam a região possível onde um item de uma prova de múltipla escolha pode se encontrar no gráfico de ICI x IFI.

Os autores sugerem ainda uma forma de classificar os itens de acordo com o padrão de respostas combinando os dois índices e determinando intervalos para IFI e ICI apresentado na tabela 1.

Tabela 1: Categorias de IFI e ICI (BAO e REDISH, 2001)

Combinando o ICI com o IFI podemos identificar diferentes padrões de respostas. Caso as respostas estejam concentradas apenas em uma resposta, chamaremos de modelo único (correto ou incorreto). Caso as respostas estejam divididas principalmente em duas alternativas, uma correta e uma errada, temos um exemplo de dois modelos dominantes (dois errados ou um certo e um errado). Caso as respostas estejam distribuídas em mais alternativas, os autores classificam como se não existisse nenhum modelo predominante.

Tabela 2: Implicação da combinação do IFI com o ICI.

As regiões descritas na Tabela 2 estão apresentadas no Gráfico 1.

Gráfico 1: Combinação do IFI com ICI com as regiões: um modelo, dois modelos ou múltiplos modelos.

<!-- image -->

Este trabalho tem como objetivo aplicar a ferramenta que relaciona o ICI com IFI para facilitar a identificação de distratores em itens de provas de múltipla escolha, destacando aqueles cujos distratores são mais fortes do que a alternativa correta. Neste sentido, pretende-se responder a seguinte pergunta de pesquisa:

Como a relação entre os índices ICI e IFI podem contribuir explicitação de lacunas de aprendizagem a partir de da identificação distratores fortes nos itens de múltipla escolha na prova do ENEM?

## Metodologia

Calculamos os índices IFI e ICI para as questões do ENEM de 2013 para os candidatos concluintes do ensino médio que não foram desclassificados (não zeraram a redação ou a prova de algum dos dias), o que nos fornece um total de 1.190.007 candidatos e, posteriormente, dos candidatos deste grupo cujos pais tem ensino superior completo (100.701 candidatos). Distribuímos os itens no gráfico de IFI x ICI para ambos os grupos analisados e classificamos cada item de acordo com os critérios propostos por Bao e Radish (2001). Por fim, contamos em quantos itens o padrão de respostas dos alunos é compatível com um modelo único, dois modelos e aleatório e analisamos os itens de física de cada região, buscando identificar as possíveis causas das escolhas.

Para ilustrar o ganho em utilizar a combinação de índices na identificação de padrões de resposta, utilizamos itens do ENEM que obtiveram mesmo valor para o IFI, mas valores distintos de ICI. Além disso, alguns itens de física selecionados para ilustrar o comportamento das respostas dos alunos em cada uma das regiões propostas por Bao e Radish (2001).

## Resultados e Discussões

Calculamos os índices ICI e IFI para os itens da prova de ciências da natureza do ENEM de 2013 para todos os concluintes do ensino médio e para os concluintes do ensino médio cujos pais têm ensino superior completo (tabela 3) e plotamos o gráfico ICI x IFI para cada um dos casos (Gráfico 2 e Gráfico 3).

Tabela 3: Classificação dos itens do ENEM 2013 a partir da combinação de IFI e ICI nos concluintes do ensino médio e nos concluintes do ensino médio cujos pais têm ensino superior completo

É possível observar nos gráficos que os itens concentram-se principalmente na região de respostas aleatórias para ambos os grupos, porém isso é mais evidente quando analisamos as respostas de todos os candidatos. Este resultado é esperado devido a grande quantidade de candidatos analisados e com perfis muito distintos.

<!-- image -->

Gráfico 2: Resposta aos itens de ciências da natureza dos candidatos concluintes do ensino médio

<!-- image -->

Gráfico 3: Resposta aos itens de ciências da Natureza dos candidatos concluintes do ensino médio cujos pais têm ensino superior.

Verifica-se na Tabela 4 que aproximadamente 87% dos itens de ciências da natureza do ENEM são respondidos de forma aleatória pelos alunos concluintes do ensino médio. Apenas 1 item entre os 45 é respondido de acordo com o modelo único correto. Este item corresponde a um item de Biologia em que toda a informação para responder o item encontra-se no enunciado, não sendo necessário conhecimento prévio para sua resolução, apenas interpretação de texto e diagrama.

Tabela 4: quantidade de itens em cada categoria para os grupos analisados

Quando analisamos o grupo de estudantes concluintes do ensino médio cujos pais têm ensino superior completo, verificamos que o número de questões respondidas de forma aleatória cai para aproximadamente 58% do total. Neste grupo, percebe-se um deslocamento das questões para as demais regiões onde o IFI é maior. Percebe-se neste grupo que a prova tem como padrão de resposta mais modelos corretos do que no grupo anterior.

Para ilustrar a vantagem de se utilizar a combinação dos índices na análise dos itens, utilizaremos os itens Q56 e Q57, que apresentam valores semelhantes de IFI, porém ICI distinto. Enquanto a questão Q56 é classificada como dois modelos (errado prevalecendo), a questão Q57 apresenta padrão de respostas aleatória. As questões devem ser analisadas de forma distinta, já que uma possui um distrator muito forte enquanto na outra diversos modelos são utilizados. Rodrigues (2014) aponta que o item Q57 apresenta erros conceituais de física e, portanto, não apresenta resposta correta. Este pode ser um motivo que explique a dispersão das respostas nas alternativas erradas.

Figura 1: Itens Q56 e Q57 com as frequências de escolha das alternativas pelos candidatos concluintes do ensino médio.

<!-- image -->

O item Q52 apresenta um ICI próximo ao item Q56, porém o comportamento do padrão de respostas é completamente diferente. Neste caso, a alternativa correta (modelo correto) é o mais escolhido entre as alternativas, aparecendo para o grupo de concluintes do ensino médio, as alternativas C e D como modelos fracos, ou seja, distratores fracos. Quando analisamos no grupo de alunos com pais com ensino superior completo estas alternativas praticamente zeram, sendo o item classificado como 'Um modelo' para este grupo.

Figura 2: Q52 e as frequências de escolhas nas alternativas para os concluintes do ensino médio e concluintes cujos pais têm ensino superior completo

<!-- image -->

Por fim, para ilustrar uma questão onde o padrão de resposta dos candidatos está concentrado em dois modelos, com o modelo errado prevalecendo, utilizaremos o item Q48. Neste item Villar e Kleinke (2018) já destacaram que a preferência pela alternativa D pode estar associada ao senso comum de que objetos escuros esquentam mais do que claros, permanecendo quente por mais tempo. Além disso, quando observamos o padrão de resposta de todos os concluintes do ensino médio, observamos que a resposta correta E, apresenta aproximadamente a mesma frequência de escolha que a alternativa B, o que classifica este item neste grupo como padrão de resposta aleatória, diferentemente do grupo de alta escolaridade, que o modelo correto aparece com uma frequência maior.

Figura 3: Q48 e as frequências de escolhas nas alternativas para os concluintes do ensino médio e concluintes cujos pais têm ensino superior completo

<!-- image -->

## Conclusão

Existem regiões características no gráfico de ICI x IFI em que é possível identificar com facilidade itens em avaliações com distratores fortes. Destacamos que saber apenas a taxa de acerto de um item através da IFI não nos fornece informação suficiente para aferir lacunas de aprendizagem ou possíveis falhas na elaboração do item. Neste sentido, podemos concluir que relação entre os índices ICI e IFI podem contribuir identificação de distratores fortes nos itens de múltipla escolha.

Itens que se encontram na região 'B-A' apresentam um distrator muito forte, ou seja, um modelo errado predominante. Itens na região 'B-M' apresenta um ou mais distratores mais fortes do que a alternativa correta, porém a escolha está espalhada entre as alternativas. Já na região 'A-A' observamos alta concentração nas respostas, assim como na região 'B-A', porém, ao invés de um distrator forte, a escolha pelo modelo correto é predominante. Por fim, na região 'M-M', onde os itens apresentam alta frequência na alternativa correta, mas distratores igualmente procurado pelos estudantes.

## Referências

ALVES, Maria T. G. A.; SOARES, José F. Contexto escolar e indicadores educacionais: condições desiguais para a efetivação de uma política de avaliação educacional. Educação e Pesquisa, São Paulo, v. 39, n. 1, p. 177-194, jan./mar. 2013.

ALAGUMALAI, Sivakumar; CURTIS, David D. Classical test theory. In: Applied Rasch measurement: A book of exemplars. Springer Netherlands, 2005. p. 1-14.

BAO, Lei; REDISH, Edward F. Concentration analysis: A quantitative assessment of student states. American Journal of Physics, v. 69, n. S1, p. S45-S53, 2001.

BOURDIEU, P., A escola conservadora: as desigualdades frente à escola e à cultura. In: NOGUEIRA, M. A.; CATANI, A. Escritos de Educação. (4a Ed.). Petrópolis: Vozes, 2002.

BOURDIEU, P. A. Escritos de educação. NOGUEIRA, M. A.; CATANI, A. (org.). 16. ed. Petrópolis, RJ: Vozes, 2015

KLEINKE, M. U. Influência do status socioeconômico no desempenho dos estudantes nos itens de física do ENEM 2012. Revista Brasileira de Ensino de Física, v. 39, n. 2, e2402, 2017.

RODRIGUES, E. V. Uma revisão da questão da garrafa PET da prova do ENEM 2013. Caderno Brasileiro de Ensino de Física, v. 31, n. 2, p. 411-418, ago. 2014.

VIANNA, Heraldo M. Avaliação educacional e o avaliador. Tese de Doutorado. Pontifícia Universidade Católica de São Paulo. São Paulo, 1997.

VILLAR, Renato P.; Kleinke, Maurício U. Física experimental no ENEM: a influência da escolaridade dos pais. XVII Encontro de Pesquisa em Ensino de Física (XVII EPEF), Campos do Jordão, SP, 2018.