Os itens de Física do Exame Nacional do Ensino Médio: Avaliação ou Seleção?

## Os itens de Física do Exame Nacional do Ensino Médio: Avaliação ou Seleção?

## The Physics items of the National High School Exam: Evaluation or Selection?

## Fernando 1 , Maria Regina D. Kawamura 2

1 Instituto Federal do Mato Grosso - Campus GTA, fernando.augusto@ifmt.edu.br,

2 Instituto de Física - Universidade de São Paulo, kawamura@if.usp.br

## Resumo

O Enem (Exame Nacional do Ensino Médio) configura-se como principal instrumento de acesso ao Ensino Superior, público e privado. Ao mesmo tempo, também, se acredita poder constituir-se como avaliação, contribuindo para a elaboração de políticas públicas e, por conseguinte, à melhoria da qualidade da educação. Para tanto, diversos trabalhos discutem o desempenho dos participantes em algumas edições do Enem, através do comportamento estatístico dos itens. Frente a essa aparente dualidade, buscamos investigar a relação entre avaliação e seleção, considerando os itens de Física no Enem de 2009 a 2019, a partir do desempenho de todos os participantes nesse período. Com essa abordagem, pretende-se analisar o caráter do próprio instrumento que o Enem representa. Trata-se, ainda, de investigar se existiria alguma relação entre a dificuldade dos itens e as competências às quais estão associados. Os resultados atestam que a quantidade de itens muito difíceis é significativa, comparada a outros percentuais de acertos, o que reforça o papel seletivo do exame; porém, afasta o seu papel avaliador. Em relação às competências e os itens muito difíceis, não foi possível constatar correlações. Por fim, salientamos que este tipo de análise tende a contribuir para, em primeiro lugar, evidenciar as dificuldades dos participantes e, para além disso, orientar futuras possíveis reelaborações do exame, tanto no conteúdo, quanto na forma. Em um desenho mais contundente, explicita que a culpabilização sobre um eventual mau desempenho dos alunos, que muitas vezes recai somente sobre os docentes, pode ser resultado da própria estrutura do exame.

Palavras-chave: Enem (Exame Nacional do Ensino Médio), Índice de facilidade, desempenho dos participantes, Ensino de Física.

## Abstract

The Enem (National High School Exam) is the main instrument for accessing higher education, public and private. At the same time, it also believes to contribute to the elaboration of public policies and, consequently, to the improvement of the quality of education, through the evaluation of the participants' performance. For this, several works discuss the performance of participants in some editions of the Enem, through the statistical behavior of the

items. Faced with this apparent duality, we seek to investigate the relationship between evaluation and selection, considering the Physics items in the Enem from 2009 to 2019, based on the performance of all participants in this period. With this approach, the character of the instrument that Enem represents is intended. It is also a matter of investigating whether there is any relationship between the difficulty of the items and the skills to which they are associated. The results attest that the amount of very difficult items is significant, compared to other percentages of correct answers, which reinforces the selective role of the exam; however, it removes its evaluative role. Regarding competences and very difficult items, it was not possible to find correlations. Finally, we emphasize that this type of analysis of correct answers tends to contribute, first of all, to highlight the difficulties of the participants and, in addition, to guide future possible reelaborations of the exam, both in terms of content and form. In a more forceful design, it explains that the blame for an eventual poor performance of the students, which often falls only on the professors, can be the result of the very structure of the exam.

Keywords : Enem (National High School Exam), Ease Index, Participants' Performance, Physics Teaching.

## Introdução

De um modo geral, as questões sobre avaliações vêm sendo largamente discutidas nos últimos vinte anos, explicitando-se, cada vez mais, as possibilidades de suas diferentes contribuições, para além de produzir apenas meras medidas classificatórias (LUCKESI, 2011; PERRENOUD, 1998). Em especial, a importância de analisarmos as avaliações, notadamente o Exame Nacional do Ensino Médio (Enem), gira em torno de sua relevância e de sua posição, muitas vezes central, nas decisões de políticas educacionais e no balizamento de mudanças na pasta educativa das últimas décadas. Assim, a avaliação se converteu, simultaneamente, em princípio orientador e elemento constitutivo de grande parte das políticas educacionais no âmbito governamental, acentuando, adicionalmente, o debate e a própria literatura da avaliação educacional.

Por outro lado, sabe-se que o Enem passou a exercer uma relação, quiçá de pressão, sobre o currículo das escolas de Ensino Médio, em face do fato de que paulatina e crescentemente tenha assumido a feição de um grande vestibular nacional. Isso ocorre, sobretudo, quando a imensa maioria das universidades e faculdades, públicas e privadas, tem assumido seus resultados como critério para seleção de alunos no acesso à educação superior e a quantidade de inscritos torna-se significativa.

Não obstante, poderia se aventar que a estrutura do Enem atualmente se configure somente como um instrumento de acesso ao Ensino Superior. Porém, a existência do Sistema de Avaliação da Educação Básica (Saeb), no qual alunos da 3ª série do Ensino Médio participam respondendo às provas de leitura e de resolução de problemas, a priori, não parece contribuir para o debate de forma mais ampla, quando, entre outros aspectos, existe a possibilidade de analisar o desempenho dos inscritos (recém-formados ou não) nas áreas como

Ciências da Natureza e suas Tecnologias ou Ciências Humanas e suas Tecnologias.

No âmbito do Ensino de Física, Silva & Kawamura (2018), após uma categorização de mais de cinquenta trabalhos, publicados em eventos e revistas da área, no período de 2010 a 2017, procuram identificar as contribuições da Área de Ensino de Física para discutir essas questões.

Em particular, ressaltam que uma há grande presença de investigações que incluem levantamentos de dados estatísticos:

... encontram-se trabalhos que focam de maneira geral no desempenho dos estudantes, seja para compreender o Ensino de Física, seja para compreender o comportamento estatístico dos itens, seja para analisar as alternativas dos respondentes (GONÇALVES JUNIOR, BARROSO, 2012, MENDONÇA et al, 2013, HAAR, YAMIN, 2013, MARCOM, KLEINKE, 2014, entre outros). (SILVA & KAWAMURA, 2018, p. 4 e 5)

De modo geral, os trabalhos analisados discutem diversos fatores associados ao desempenho dos alunos, inclusive possíveis encaminhamentos para o ensino, além de características do exame (MARCOM, 2019). Outros trabalhos, que permeiam este viés mais voltado para a análise de dados, têm trazido contribuições expressivas, acrescentando novos elementos. Por exemplo, Nakamura, Villar e Kleinke (2021) apontam/questionam características de itens, que poderiam ser simultaneamente seletivos e avaliativos. Ou ainda, Villar, Nakamura e Kleinke (2021), investigam o desempenho de itens de Física, pela Teoria Clássica dos Testes (TCT) em função do nível de processo cognitivo exigido. Em particular, estes últimos focam numa análise dos concluintes do Ensino Médio, o que parece, por um lado, contribuir para uma compreensão mais clara dos 'conhecimentos adquiridos' na Educação Básica; porém, por outro, dificultam uma compreensão mais geral sobre o papel do instrumento para todos os participantes.

Diante da dicotomia desse exame, evidenciada por inúmeras abordagens, neste trabalho, buscamos investigar a relação entre avaliação e seleção, considerando o conjunto de itens de Física no Enem de 2009 a 2019, a partir do desempenho de todos os participantes. Em particular, uma avaliação diagnóstica e uma avaliação seletiva têm funções diferentes e requerem instrumentos diferentes. Ou seja, a primeira implica em uma ampla cobertura dos objetivos da aprendizagem, que pode envolver o acerto ou dificuldade frente a situações colocadas e, geralmente, pode sinalizar posteriores ações pedagógicas. Já para a avaliação seletiva, trata-se de comparar o desempenho de alunos de diferentes grupos/perfis, sendo o índice de discriminação um dentre possíveis indicadores e sem uma preocupação imediatamente pedagógica/formativa. (LUCKESI, 2011; PERRENOUD, 1998). Além disso, outro fator que poderia trazer contribuições na relação entre essas duas perspectivas é investigar, também, eventuais influências entre os níveis de dificuldade encontradas pelos participantes e as competências às quais estão associados, o que poderia sinalizar aspectos específicos para a construção do instrumento e as políticas de melhoria do ensino.

## Metodologia

Definiu-se, como corpo de investigação, os resultados fornecidos pelo INEP (Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira) para os onze anos a serem considerados.

Primeiramente, foi realizada uma classificação, para cada ano, dos itens de Ciências da Natureza e suas Tecnologias que são estritamente de Física, ou seja, não contemplam, para a resolução, conhecimentos propriamente interdisciplinares. Disso decorreu a seguinte tabela com a quantidade de itens:

Tabela 1 - Quantidade de itens de Física no Enem ao longo dos anos

Nesse processo, houve algumas indefinições, já que há conhecimentos que podem corresponder a mais de uma área. Em geral, esperava-se que fossem em torno de 15 itens por ano/prova, o que de fato prevaleceu, embora tenha havido variações.

Para cada um dos itens selecionados, foram identificadas as competências e habilidades a ele associado, tal como apresentado no banco de microdados do Enem. Em seguida, baseados na TCT (Teoria clássica de Testes), foram determinados os índices de dificuldade, dados pela proporção de acertos (PASQUALI, 2013). Ainda que o INEP utilize a TRI (teoria de resposta ao item), para estabelecer os resultados dos participantes, entende-se que, para a análise a que se propõe neste trabalho, a TCT, oferece consistência e disposição estatística suficiente (ANDRADE, LAROS & GOUVEIA, 2010; PITONGONÇALVES & ALMEIDA, 2018).

Em relação à porcentagem de acertos, o item é maior quanto mais 'fácil' é o item, e, por isso, muito pesquisadores, inclusive Pasquali (2013), tendem a chamar o índice de Índice de Facilidade . No nosso caso, para facilitar o diálogo com outras pesquisas, optamos também por chamar de Índice de Facilidade . Ainda, para o cálculo, consideramos todos os sujeitos que realizaram a prova e que não zeraram em nenhuma das áreas do conhecimento.

Para classificar cada item utilizamos da classificação proposta por Gronlund (1974): percentuais de acerto de 80% a 100% caracterizam o item como muito fácil; de 60% a 79,9%, caracterizam o item como fácil; de 40% a 59,9%, o item é de média facilidade; de 20% a 39,9%, o item é considerado difícil; e de 0% a 19,9%, caracterizam o item como muito difícil.

Por fim, para a classificação quanto à competência, utilizamos daquilo que já estava apresentada nos microdados do Enem para a Prova Azul, referente à matriz de competências de Ciências da Natureza e suas Tecnologias (https://download.inep.gov.br/download/enem/matriz\_referencia.pdf). Embora sejam oito competências, aquelas que se referem mais explicitamente à Física são as C1, C2, C3, C5 e C6.

## Resultados

## A) Itens e acertos

Inicialmente, para o Índice de facilidade , foi construída a Tabela 2 com o índice de acertos ao longo dos anos para todos os 151 itens.

Tabela 2 - Número de itens de Física para cada percentual de acerto ao longo dos anos.

Como podemos observar, além da quantidade de itens fáceis ou muito fáceis serem pequenas ao longo dos anos, apenas 15% de todos os itens tiveram índice de acerto maior que 60% e, de forma geral, poderiam ser considerados adequados. Por outro lado, a quantidade de itens muito difíceis é considerável ao longo dos anos, sendo que mais de 60% de todos os itens tiveram índice de acerto menor que 40%. Portanto, em conjunto, 60% dos itens não foram respondidos corretamente, deduzindo-se que eram difíceis para os participantes.

É notório que a quantidade de questões que classificamos como muito difícil em vários anos são significativas. Por isso, apresentaremos a Tabela 3 com algumas destas questões com o índice de acertos, competência e habilidade que está discriminada nos microdados do Inep e uma justificativa preliminar para seus possíveis baixos itens de acerto. São apenas alguns exemplares, para que se possa inferir razões para o baixo índice de acerto.

Tabela 3 - Exemplos de itens com baixo acerto, de alguns dos anos de aplicação do Enem

De modo geral, pode-se perceber que, algumas vezes, os itens de baixo Índice de facilidade, dizem respeito a temas não trabalhados no Ensino Médio, a aspectos apresentados de forma muito complexa, à exigência de raciocínios ou cálculos que ultrapassam o tempo médio disponível para a resolução de cada item, a condições de apresentação dos problemas de forma pouco claras, etc.

## B) Itens, acertos e competências

Devido a quantidade significativa de itens, optamos por analisar as competências correspondentes somente às faixas dos extremos, ou seja, aos itens muito difíceis e aos itens muito fáceis. Antes, a partir do Tabela 4, podemos observar a distribuição das competências ao longo dos anos:

Tabela 4 - Quantidade de vezes que cada competência foi contemplada nos itens de Física ao longo dos anos.

A quantidade de itens que consideram as competências 3 e 4 são ínfimas. Assim, a continuação das análises se dará somente através das competências 1, 2, 5 e 6. Salientamos que a competência 6 é a mais específica para Física, corroborando com a porcentagem maior de itens que contemplam esta competência. Por conseguinte, buscando encontrar relações entre os acertos e as competências, obtém-se as seguintes Tabelas 5 e 6:

Tabela 5 -Quantidade de itens muito difíceis separados por competência

Tabela 6 - Quantidade de itens muito

fáceis separados por competência

A porcentagem de distribuição das competências para os itens muito difíceis Tabela 5 é relativamente semelhante à distribuição total, apresentada na Tabela 4 das provas ao longo dos anos, diferentemente do que ocorre com os itens muito fáceis.

Não há uma coerência ou relação aparente, entre determinadas competências e os itens mais fáceis ou mais difíceis, pois, principalmente os últimos estão relacionados a distribuição total de competências ao longo dos anos. No entanto, apesar de percentuais semelhantes, em números absolutos os resultados apresentam diferenças significativas. Por exemplo, o total de muito fáceis relativas à competência específica de Física (C6), ao longo de todos os anos, foi de apenas 6 itens.

## Conclusão

Constatamos que a quantidade de questões com índice de acertos menor que 40% é considerável ao longo dos anos. Esse aspecto pode, a priori, reforçar um possível papel como instrumento de seleção, mas, ao contrário, distancia-se cada vez mais do seu papel como indicador da qualidade de ensino. Desse ponto de vista, tende a não coadunar com aquilo que se espera de uma avaliação que se propõe a dialogar com os conhecimentos e as práticas desenvolvidas em sala de aula. Esse aspecto é ainda mais preocupante quando projetamos o Enem como um instrumento de acesso a um Ensino Superior, que se pretende vir a ser cada vez mais abrangente e democrático.

Ainda assim, é necessário verificar com mais detalhes cada um dos itens, pois pode ter havido 'erros' nas formas de elaboração das questões, como os já apontados por alguns autores (HAAR & YAMIM, 2013; RODRIGUES, 2014; SILVEIRA, et al, 2015; entre outros). Esse aspecto poderia ter contribuído para dificultá-las, sendo responsáveis por alguns percentuais encontrados.

Quanto a possíveis relações entre competência e índice de acertos, observamos que há uma coerência entre a quantidade de itens com índice de acertos baixo (item muito difícil) e a quantidade de itens presentes no instrumento que estão na competência 6, tendo em vista ser esta competência específica para a Física.

Esse conjunto de considerações reforça a presença do Enem como um instrumento de avaliação altamente seletiva, visando o ensino superior. E, portanto, não poderia ser considerado como avaliação de desempenho dos participantes que finalizam o ensino médio, nem ser utilizado para ranqueamento de escolas ou como parâmetro para avaliar o desempenho de professores em suas aulas de Física.

Ademais, salientamos também que com esse tipo de análise, explicitando acertos pela TCT, ou outras que coadunam com este procedimento, compromete-se a duplicidade de funções do Enem enquanto política pública, impondo uma maior reflexão.

Por outro lado, ao evidenciar as reais dificuldades dos participantes, esses aspectos podem vir a orientar futuras possíveis elaborações do exame, tanto no conteúdo, quanto na forma, reconsiderando essas políticas. Uma análise crítica dos resultados, como a que estamos propondo, pode também contribuir para a melhoria do exame, no que diz respeito a quantidade de itens com acertos baixos. E, numa perspectiva mais contundente, explicitar que a culpabilização pelo mau desempenho dos alunos, que, muitas vezes recai somente sobre as escolas e os docentes, pode ser também resultado da própria estrutura do exame e da falta de testagens apropriadas.

## Referências

ANDRADE, J. M.; LAROS, J. A.; GOUVEIA, V.V. O uso da teoria de resposta ao item em avaliações educacionais: diretrizes para pesquisadores. Aval. psicol. , Porto Alegre, v. 9, n. 3, p. 421-435, dez. 2010.

GRONLUND, Norman Edward. A elaboração de testes de aproveitamento escolar. São Paulo: EPU, 1974.

HAAR, E., YAMIN, A., Análise do Funcionamento das Questões da Prova de Ciências da Natureza do Enem 2009 e 2010. Anais XX SNEF . SP, SBF, 2013.

LUCKESI, C. C. Avaliação da aprendizagem: componente do ato pedagógico. São Paulo: Cortez, 2011.

MARCOM, G. S. O ENEM, indicadores formativos e o ensino de física . Tese (Doutorado) - Universidade Estadual de Campinas, Campinas, 2019.

NAKAMURA, T.M.; VILLAR, R.P.; KLEINKE, M.U., Questão conceitual também pode ser difícil: em busca de questões do ENEM sobre circuitos elétricos que avaliem e selecionem simultaneamente, XIII Encontro Nacional de Pesquisa em Educação em Ciências (XIII ENPEC), 2021.

NOGUERA, Viviana Elizabeth Romero; BRANCO, Kalinka Regina Lucas Jaquie Castelo; CIFERRI, Cristina Dutra de Aguiar. Análise de desempenho das mulheres no Enem. BrazilianJournal o fDevelopment , Curitiba, v. 6, n. 6, p. 35716-35737, jun. 2020.

PASQUALI, L. Psicometria: Teoria dos testes na Psicologia e na educação , Petrópolis, RJ: Vozes. 5ªed., 2013.

PERRENOUD, P. Avaliação: da excelência à regularização das aprendizagens: entre duas lógicas . Porto Alegre, Artmed, 1998.

PITON-GONÇALVES, J.; ALMEIDA, A. M. Análise da dificuldade e da discriminação de itens de Matemática do ENEM. REMAT , Bento Gonçalves, RS, v. 4, n. 2, p. 38-53, 2018. DOI: 10.35819/remat2018v4i2id3060.

ROGRIUES, E.V., Uma revisão da questão da garrafa PET da prova ENEM 2013, Cad. Brasileiro de Ensino de Física , v. 31, n. 2, p.421-428, ago. 2014.

SILVA, F.A & KAMAMURA, M.R.D., Reflexões sobre o Enem: contribuições da pesquisa em Ensino de Física, XVII Encontro de Pesquisa em Ensino de Física (EPEF), Campos do Jordão, São Paulo, 2018.

SILVEIRA, F.L., BARBOSA, M. C. B. SILVA, R. Exame Nacional do Ensino Médio (ENEM): Uma análise crítica. Revista Brasileira de Ensino de Física [online]. 2015, v. 37, n. 1 [Acessado 4 Março 2022] , 1101.

VILLAR, R.P.; NAKAMURA, T.M.; KLEINKE, M.U., Taxonomia de Bloom Revisada e sua relação com o desempenho nos itens de Física do ENEM, XIII ENPEC , 2021.