SOBRE AS QUESTÕES DE FÍSICA NO ENEM DE 2009 A 2012

## SOBRE AS QUESTÕES DE FÍSICA NO ENEM DE 2009 A 2012 ON THE ENEM ITEMS FROM 2009 TO 2012

## Gustavo Rubini 1 , José Christian Lopes , Marcelo Shoey de O. Massunaga , 2 3 Marta F. Barroso 4

1

Universidade Federal do Rio de Janeiro / LIMC e PEMAT, gustavorubini@if.ufrj.br 2 Universidade Federal do Rio de Janeiro / PEF e Colégio Pedro II, profjcfisica@gmail.com 3 Universidade Estadual do Norte Fluminense / LCFIS, shoey@uenf.br 4 Universidade Federal do Rio de Janeiro / IF, marta@if.ufrj.br

## Resumo

O Exame Nacional do Ensino Médio (Enem) é importante para os estudantes por ser a principal forma de acesso ao ensino superior no país. Os dados do desempenho individual dos estudantes nos anos de 2009 a 2012 estão disponíveis na página eletrônica do Inep. A avaliação conjunta das questões e do desempenho dos estudantes permite uma discussão sobre a aprendizagem no país com base nas evidências disponíveis dessas avaliações. Neste trabalho, são estudadas as provas de Ciências da Natureza no Enem 2009 a 2012. Faz-se uma análise do conteúdo das questões, obtém-se os percentuais de acertos e de escolhas das alternativas pelos alunos, e calculam-se os parâmetros dos itens e os escores individuais utilizando o modelo logístico de 3 parâmetros. Os resultados indicam que as provas apresentam itens majoritariamente qualitativos, que o desempenho dos alunos é fraco no geral e particularmente em física, principalmente para os alunos que cursaram o ensino médio na rede pública estadual. São apresentadas algumas inferências relativas ao desempenho dos alunos em questões envolvendo raciocínios cognitivos de grau mais elevado, com conexão entre fatos e conceitos, características da resolução dos problemas, e em questões que envolvem conhecimento sobre atividades práticas.

Palavras-chave : Ensino de Física, Enem, avaliação de larga escala, .

## Abstract

The Nacional High School Test (Enem) is a high stake assessment, as it constitutes the main entrance way to universities in Brazil. The microdata from 2009 to 2012 are avaliable at the Inep website. The analysis of the items combined with the results from students allow a discussion about learning processes which is based on evidence from these assessments. This paper presents studies on the Natural Science exam from 2009 to 2012. The content of the items is analyzed, the number of correct answers and the alternatives choosen are calculated, and the item parameters and scores of students are measured by means of a logistic model with 3 parameters. The results show that the exams are composed mainly of qualitative questions, that the students present a weak result, particularly in Physics. Some inferences related to the content of the items are presented: students have greater difficulties with questions with cognitive reasoning of higher degree, with questions requiring conections between facts and concepts, characteristics of solving problems, and in questions involving knowledge about practical activities.

## Keywords : Physics Education, Enem, large scale assessment

## Introdução

Avaliações em larga escala assumem um papel cada vez mais importante na definição de políticas públicas. O Enem é um exame que é estabelecido em 1998 com objetivos bem definidos, a autoavaliação de alunos ao final do ensino médio e propondo-se a avaliar competências relacionadas a domínios cognitivos. Em 2005, passa a servir como mecanismo de acesso ao financiamento estudantil em instituições de ensino superior privadas, aumentando enormemente o número de participantes. Em 2009, como parte do processo de expansão e reestruturação do ensino superior público (Bucci e Mello, 2013a; Bucci e Mello, 2013b), passa a ser utilizado como mecanismo de classificação para o ensino superior público federal. Com isso, seus objetivos mudam. As concepções formuladoras da prova e de sua análise modificam-se profundamente: segundo o documento elaborado pelo MEC, em comum acordo com a Associação Nacional dos Dirigentes das Instituições Federais de Ensino Superior (Brasil 2009), a prova deveria conter não apenas habilidades, mas também um conjunto de conteúdos associados a elas. A Matriz de Referência passa a ter quatro dimensões avaliativas: domínios cognitivos, competências, habilidades e objetos de conhecimento.

Essas mudanças impactam na realização do Enem, que passa a ser composto por quatro provas e uma redação. A metodologia de atribuição de escores aos estudantes torna-se a Teoria da Resposta ao Item - TRI (Hambleton 1991), e a prova é elaborada com um grande número de questões de múltipla escolha (Haladyna 2004) extraídas de um banco de itens composto a partir de critérios e modelos definidos pelo INEP (Brasil 2010), inicialmente por professores em geral da educação básica e a partir de 2011 por equipes constituídas por docentes das instituições de ensino superior públicas e privadas.

Todas essas mudanças trazem profundas consequências para os estudantes do ensino médio, em particular para os que desejam continuar os estudos no nível superior. E para os docentes da educação básica e do ensino superior, uma pergunta fundamental: se os dados decorrentes do desempenho dos estudantes nas provas do Enem forem analisados, pode-se obter informações confiáveis e relevantes sobre o que os alunos aprendem em ciências da natureza e em particular em física na educação básica?

A princípio, o Enem, mesmo não apresentando todas as características de uma avaliação em larga escala (Britton 2007), ao não ser obrigatória (universal) e também não ser amostral, é uma avaliação de grande importância para os estudantes - sendo, portanto, respondida com seriedade pelos estudantes.

O objetivo deste trabalho é obter informações mais precisas e detalhadas sobre a aprendizagem dos estudantes em física ao final do ensino médio, a partir do estudo das questões (das suas características, suas qualidades e defeitos) e do desempenho dos estudantes nessas questões.

Para isso, os dados disponíveis publicamente são analisados, tanto o conteúdo da prova quanto os denominados microdados, ou seja, os arquivos contendo as informações das respostas individuais de cada estudante nos diversos questionários e nas questões individuais da prova. Apresenta-se um balanço geral da análise das questões de Física da prova de Ciências da Natureza do Enem no período 2009 a 2012.

## Metodologia

O INEP disponibiliza em sua página as provas do Enem e os microdados relativos ao questionário sócio-econômico e das respostas dos candidatos aos exames aplicados em 2009 a 2012. Esses dados foram preparados e validados para utilização para os anos entre 2009 e 2012.

Foram escolhidos os dados relativos à prova principal do Enem, para os alunos que se declaram concluintes do ensino médio no ano de realização da prova e que fizeram todas as provas. Todos os dados (incluindo escores e respostas por questão individuais) foram adequados à numeração das provas de cor azul.

A análise dos dados foi feita usando técnicas elementares de estatística (freqüências, correlações) e com a parametrização dos itens feita com base no modelo de 3 parâmetros da Teoria da Resposta ao Item (TRI), com utilização de programas estatísticos: o SPSS[1] e o R[2].

A análise qualitativa das questões utilizou classificações disciplinares e de conteúdo a partir de categorias estabelecidas anteriormente (Gonçalves Jr 2014). A principal categoria utilizada foi a disciplina associada às questões. A prova de Ciências da Natureza não discrimina as questões como sendo de Física, Biologia ou Química no ensino médio. Com base no texto das questões, as questões que exigiam, para a escolha da alternativa correta, conhecimentos contidos na lista de objetos de conhecimento da disciplina e correspondiam a habilidades presentes na Matriz de Referência do Enem. Essa classificação, bem como todas as demais utilizadas, foram feitas de forma independente e tornadas comuns pelos pesquisadores.

## Resultados gerais

Os exames, entre 2009 e 2012, revelam uma participação crescente: 4,1 milhões inscritos em 2009 a 5,8 milhões em 2012. Desses, comparecem às provas cerca de 70% (de 2,4 a 4,2 milhões), e cerca de 35% são concluintes do ensino médio no ano de realização do exame (940 a 1300 mil de 2009 a 2012).

Na Tabela 1, apresentam-se informações relativas às notas dos concluintes de acordo com a Teoria da Resposta ao Item (TRI) bem como das notas baseadas no número de acertos, em uma escala de 0 a 10. Os escores fornecidos pelo Inep (normalizadas para média 500 e desvio padrão 100 em 2009) não fornecem um bom indicativo do desempenho dos estudantes; o total de acertos revela que o desempenho dos estudantes é abaixo do desejável.

Tabela 1 . Valores de tendência central e dispersão para os concluintes do ensino médio na prova de Ciências da Natureza, ao longo dos anos.

Em relação ao tipo de dependência administrativa da escola em que o aluno concluiu o ensino médio no período entre 2009 e 2012, são de escolas públicas cerca de 78% dos estudantes: da rede federal, 2%, de escolas públicas estaduais

75%, de escolas públicas municipais 1%. As escolas privadas correspondem a 22% do total. Os resultados revelam uma grande diferença no desempenho desses grupos. Na Tabela 2, apresentam-se os valores da média e do desvio padrão tanto no escore TRI quanto na nota clássica (total de acertos, calculado com valores entre 0 e 10) com a discriminação do tipo de escola. Observa-se que a rede estadual tem o resultado praticamente um desvio padrão abaixo da média da rede federal, e abaixo da média da rede privada.

Tabela 2 . O desempenho dos estudantes das redes pública federal, estadual e municipal e da rede privada, com a média e desvio padrão do escore TRI e do total de acertos, nos anos de 2009 a 2012, na prova de Ciências da Natureza do Enem.

- O desempenho dos estudantes da rede federal (menos de 2% do total) são significativamente melhores, tanto em termos globais quanto do ponto de vista do percentual de acertos das questões. Esse resultado é apresentado de forma clara para o ano de 2011 em Lopes (Lopes, 2015).

## Resultados: o percentual de acertos de questões

Para fazer uma análise mais detalhada dos resultados, foram selecionadas algumas questões para discussão.

A questão 17 da prova de 2009 tem seu texto apresentado na Figura 1. O percentual de acerto nesta questão é muito baixo (6%). Esta questão exige um complexo raciocínio, com passos cognitivos e lógicos em sequência, utilização de conceitos disciplinares (a expressão para a aceleração centrípeta e o conceito de velocidade), de interpretação de texto e de unidades. É tema presente em vários dos livros didáticos do ensino médio. E avalia uma das competências pretendidas para o estudante ao final do ensino médio, a capacidade de resolver problemas.

Figura 1 . Questão 17 da prova azul de Ciências da Natureza do Enem 2009.

<!-- image -->

Na Figura 2, apresenta-se a questão 47 da prova de 2012. Essa questão aborda o conceito de pressão (força / área). O percentual de acertos na questão é de 43%, e as opções (B) e (E) são escolhidas por cerca de 50% dos candidatos; essas alternativas indicam a redução da pressão, com justificativas incorretas.

Um dos problemas ambientais vivenciados pela agricultura hoje em dia é a compactação do solo, devida ao intenso tráfego de máquinas cada vez mais pesadas, reduzindo a produtividade das culturas.

Uma das formas de prevenir o problema de compactação do solo é substituir os pneus dos tratores por pneus mais

- (A) largos, reduzindo a pressão sobre o solo. (Gabarito)
- (B) estreitos, reduzindo a pressão sobre o solo.
- (C) largos, aumentando a pressão sobre o solo.
- (D) estreitos, aumentando a pressão sobre o solo.
- (E) altos, reduzindo a pressão sobre o solo.

Figura 2 . Questão 47 da prova azul de Ciências da Natureza do Enem 2012

Na Figura 3, apresenta-se o texto da questão 55 da prova de 2012. Esta questão exige do candidato conhecer as condições de equilíbrio (resultante das forças e resultante dos torques nulos). O percentual de acertos é baixo (7%), e a alternativa (C) recebeu 48% das escolhas, Seu percentual de acerto foi muito baixo (7,0% opção D). A opção C apresentou o maior percentual de escolha (48,0%); provavelmente a condição de equilíbrio rotacional é desconhecida pelos alunos.

Figura 3. Questão 55 da prova azul de Ciências da Natureza - ENEM 2012

<!-- image -->

Na Figura 4, indica-se a questão 72 da prova de 2012, um exercício convencional de cinemática. O percentual de acerto é de 42%, ou que 58% dos candidatos desconhecem conceitos simples da física que costuma ser ensinada no nível médio.

Uma empresa de transportes precisa efetuar a entrega de uma encomenda o mais breve possível. Para tanto, a equipe de logística analisa o trajeto desde a empresa até o local da entrega. Ela verifica que o trajeto apresenta dois trechos de distâncias diferentes e velocidades máximas permitidas diferentes. No primeiro trecho, a velocidade máxima permitida é de 80 km/h e a distância a ser percorrida é de 80 km. No segundo trecho, cujo comprimento vale 60 km, a velocidade máxima permitida é 120 km/h.

Supondo que as condições de trânsito sejam favoráveis para que o veículo da empresa ande continuamente na velocidade máxima permitida, qual será o tempo necessário, em horas, para a realização da entrega?

(A) 0,7 (B) 1,4

(C) 1,5 (Gabarito)

(D) 2,0 (E) 3,0

Figura 4 . Questão 72 da prova azul de Ciências da Natureza - ENEM 2012

Na Tabela 3, apresenta-se, para estas quatro questões, o percentual de escolha de cada uma das alternativas. A classificação utilizada, questões qualitativas e quantitativas, foi descrita por Gonçalves Jr (Gonçalves Jr 2012; Gonçalves Jr e Barroso 2014). Nestas questões, observa-se que o fato da questão ser de um ou outro tipo não é a única categoria para prever o desempenho dos candidatos.

Tabela 3. Percentual de escolha das alternativas nas questões (* para o gabarito)

Na Figura 5, apresenta-se o texto da questão 70 da prova de Ciências da Natureza do Enem 2011. A resposta correta é escolhida por 34% dos alunos. Chama a atenção a escolha de 40% dos candidatos pela escolha que envolve a ligação do fio no vidro. Esta questão, se tomada em conjunto com outros indicadores (da análise do desempenho dos alunos no Pisa de Ciências, por exemplo), permite uma inferência: que as atividades práticas simples, como por exemplo ligar uma bateria a uma lâmpada, não foram entendidas pelos estudantes ao final do ensino médio.

Figura 5 . A questão 70 da prova azul de Ciências da Natureza do Enem 2011.

<!-- image -->

A discussão de outras questões, e a combinação de características de questões, permite a realização de inferências que descrevem melhor as características da aprendizagem em física ao final do ensino médio no país.

## Resultados: a dificuldade das questões

Um outro resultado permite completar a avaliação do desempenho dos alunos nas questões. Curvas características dos itens são curvas que apresentam a probabilidade de acerto nas questões (itens) como função da aptidão (expressa pelo escore TRI) para cada uma das questões (Hambleton, 1991).

Nas figuras 6 a 9, apresentam-se as curvas características de todas as questões da prova de Ciências da Natureza, obtidas para os concluintes do ensino médio.

<!-- image -->

Figuras 6 e 7. Curvas características dos itens das provas de Ciências da Natureza do Enem 2009 e do Enem 2010, respectivamente

<!-- image -->

<!-- image -->

Figuras 8 e 9. Curvas características dos itens das provas de Ciências da Natureza do Enem 2011 e do Enem 2012, respectivamente

<!-- image -->

A observação dessas figuras revela que algumas das questões parecem inadequadas para o modelo logístico de 3 parâmetros; apresentam, por exemplo, discriminação negativa (quase todas são associadas à disciplina de Física). A discriminação corresponde à inclinação da curva no ponto de inflexão. Ou seja, os alunos com melhor desempenho diminuem a probabildade de acerto na questão, o que revela problemas - ou de aprendizagem, ou de elaboração da questão. Não há informações relativas à retirada dessas questões no cômputo do escore dos alunos.

Algumas questões, como por exemplo a questão 17 da prova de 2009 e a questão 60 da prova de 2011, apresentam um índice de dificuldade muito elevado. O índice de dificuldade, grosso modo, corresponde ao escore que um candidato deve possuir para ter 50% de probabilidade de acertar a questão sob estudo.

O coeficiente de correlação entre os escores disponibilizados pelo Inep e os obtidos neste trabalho, estimados com o pacote mirt, variou entre 0,963 e 0,999, dependendo da edição. Este resultado confirma que os parâmetros dos itens, ainda que calculados de maneira independente, são próximos aos utilizados pelo Inep.

## Comentários finais

Neste trabalho foram apresentados resultados que fazem parte de um projeto de diagnóstico da aprendizagem em Física no Brasil a partir dos dados existentes de avaliações de larga escala e outras.

A avaliação combinada do desempenho dos estudantes nos itens, bem como do desempenho global nas provas de Ciências da Natureza do Enem, revela as dificuldades que a aprendizagem de física no nível médio encontra no país. O processo de aprendizagem em física no ensino médio é deficiente, em particular na rede pública estadual (que concentra 75% dos estudantes).

A análise das questões e do desempenho dos alunos revela que para os estudantes concluintes do ensino médio no país todas as questões de Física das provas do Enem são difíceis, independentemente do tema abordado. Pode-se também inferir que as questões nas quais os estudantes revelam maior grau de dificuldade são as que envolvem resolução de problemas (com mais de um passo cognitivo no processo de resolução), as que envolvem domínio ou exposição a atividades práticas, as que envolvem raciocínios quantitativos, as que envolvem conexão entre diversas linguagens (verbais e não verbais), e questões que envolvem uma compreensão conceitual mais aprofundada. Esse estudo poderia fornecer subsídios para uma reflexão mais global sobre os encaminhamentos curriculares e em formação de professores para a melhoria do quadro.

A pergunta sobre se é possível avaliar como os estudantes estão aprendendo física no ensino médio tem portanto uma resposta positiva - apesar dos diversos problemas encontrados pelo Enem.

## Agradecimentos

Este trabalho recebeu apoio da CAPES / Programa Observatório da Educação 2010.

## Notas

[1] SPSS - Statistical Package for the Social Sciences, programa disponibilizado atualmente pela IBM.

[2] R Core Team (2014). R: A language and environment for statistical computing. R Foundation for Statistical Computing, Vienna, Austria. URL: &lt;http://www.R-project.org/&gt;.

## Referências

BRASIL. MEC/SESU. Termo de Referência. Novo Enem e Sistema de Seleção Unificada. 2009. Disponível em http://www.andifes.org.br/?p=16329. Acesso em 14.abril.2015

BRASIL. Ministério da Educação / Instituto Nacional de Estudos e Pesquisas Educacionais Anisio Teixeira. Guia de Elaboração e Revisão de Itens - vol.I. 2010. Disponível em

http://download.inep.gov.br/outras\_acoes/bni/guia/ guia\_elaboracao\_revisao\_itens\_2012.pdf. Consultado em 15/03/2013.

BRITTON, E.D.; SCHNEIDER, S.A. Large-Scale Assessments in Science Education. In: Abell, S.K. e Lederman, N.G. (ed.). Handbook of Research on Science Education. Mahwah: Lawrence Earlbaum Associates, 2007. p. 1007-1040.

BUCCI, M.P.D.; MELLO, P.B. Democratização e Acesso à Educação Superior - Parte I.(Grupo Estratégico de Análise da Educação Superior no Brasil, 7). Rio de Janeiro: FLACSO-Brasil, 2013a.

\_\_\_\_\_\_. Democratização e Acesso à Educação Superior - Parte II. (Grupo Estratégico de Análise da Educação Superior no Brasil, 8). Rio de Janeiro: FLACSO-Brasil, 2013b.

CHALMERS, R., P. (2012). mirt: A Multidimensional Item Response Theory Package for the R Environment. Journal of Statistical Software, 48(6), 1-29.

GONÇALVES Jr, W.G. Avaliações em Larga Escala e o Professor de Física. 2012. Dissertação de Mestrado do Programa de Ensino de Física - Instituto de Física, Universidade Federal do Rio de Janeiro, Rio de Janeiro. 2012.

GONÇALVES JR.,W.P; BARROSO, M.F. As questões de física e o desempenho dos estudantes no ENEM. Revista Brasileira de Ensino de Física, v.36, n.1, 1402 (2014).

HALADYNA, T.M. Developing and Validating Multiple-Choice Test Items. 3rd ed. Mahwah: Lawrence Earlbaum Associates, 2004.

HAMBLETON, R.; SWAMINATHAN, R.; ROGERS, H.J. Fundamentals of Item Response Theory. Newbury Park: SAGE Publications, 1991.

LOPES, J.C. As questões de física do ENEM 2011. (2015). Dissertação de Mestrado do Programa de Ensino de Física - Instituto de Física, Universidade Federal do Rio de Janeiro, Rio de Janeiro, 2015.