É POSSÍVEL AVALIAR O QUE OS ALUNOS APRENDEM EM FÍSICA USANDO O ENEM?

## É POSSÍVEL AVALIAR O QUE OS ALUNOS APRENDEM EM FÍSICA USANDO O ENEM?

Gustavo Rubini 1 , Marcelo Shoey de O. Massunaga 2 , Marta F. Barroso 3

1

Universidade Federal do Rio de Janeiro/LIMC, gustavorubini@if.ufrj.br 2 Universidade Estadual Norte Fluminense/Laboratório de Ciências Físicas, shoey@uenf.br 3 Universidade Federal do Rio de Janeiro/Instituto de Física, marta@if.ufrj.br

## Resumo

O Exame Nacional do Ensino Médio é um exame de alta procura e grande interesse para os alunos ao final do ensino médio, já que a partir de 2009 ele constitui-se em uma das principais formas de entrada ou de financiamento para o ensino superior. Os dados do desempenho individual dos estudantes nos anos de 2009 a 2012 estão disponíveis na página eletrônica do INEP. A avaliação conjunta das provas e do desempenho dos estudantes em suas questões pode permitir uma avaliação de como está se dando a aprendizagem em física no país com base nas evidências. Neste trabalho, apresentamos algumas das informações que podem ser obtidas desta avaliação: quais as características dos estudantes que participam dela, como são as questões de física nas provas, como é o desempenho dos estudantes nelas, tanto do ponto de vista da análise do percentual de acertos quanto da escolha de distratores, bem como as características psicométricas dos itens. Os resultados indicam que as provas são longas, que estão mudando de forma evidenciando aos poucos uma maior cobrança de conteúdos específicos, que são majoritariamente qualitativas, que o desempenho dos alunos é muito fraco no geral e mais fraco em temas que envolvem situações problema que poderiam ser resolvidas a partir dos conhecimentos previstos no ensino médio brasileiro. Principalmente, observa-se um desempenho mais fraco em questões que envolvem raciocínios cognitivos de grau mais elevado, com a conexão entre fatos e conceitos, características da resolução dos problemas.

Palavras-chave : Ensino de física, Enem, avaliação

## Introdução

Avaliações em larga escala assumem um papel cada vez maior na definição de políticas públicas e de estabelecimento de metas em educação. O Enem é um dos exames que surgem em nosso país com um objetivo bem definido, apenas para autoavaliação de alunos e com uma proposta de avaliação de competências relacionadas a domínios cognitivos, em 1998, que evolui aos poucos para um conjunto de testes com objetivos híbridos, muitas vezes contraditórios. Passa em 2005 a servir como mecanismo de acesso ao financiamento estudantil em escolas superiores privadas, e em 2009, como parte do processo de expansão e reestruturação do ensino superior público, a servir de importante mecanismo de classificação para o ensino superior público federal. Com isso, seus objetivos

\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_

26 a 30 de janeiro de 2015

mudam. As concepções formuladoras da prova e de sua análise modificam-se profundamente: segundo o documento elaborado pelo MEC, em comum acordo com a Associação Nacional dos Dirigentes das Instituições Federais de Ensino Superior, a prova deveria conter não apenas habilidades, mas também um conjunto de conteúdos associados a elas. A Matriz de Referência passa a ter o que se costuma denominar de dimensões, em número de quatro: domínios cognitivos, competências, habilidades e objetos de conhecimento.

Essas mudanças impactam na realização do Enem. Com quatro provas e uma redação, usando a metodologia de atribuição de escores por meio da Teoria da Resposta ao Item - TRI (Hambleton 1991), utiliza um grande número de questões de múltipla escolha (Haladyna 2004) extraídas de um banco de itens, elaborados a partir de critérios e modelos definidos pelo INEP (Brasil 2009), inicialmente por professores em geral da educação básica e a partir de 2011 por equipes constituídas por docentes das instituições de ensino superior públicas e privadas.

Todas essas mudanças trazem profundas consequências para os estudantes do ensino médio, em particular para os que desejam continuar os estudos no nível superior. E para os docentes da educação básica e do ensino superior, uma pergunta fundamental: se os dados decorrentes do desempenho dos estudantes nas provas do Enem forem analisados, pode-se obter informações confiáveis e relevantes sobre o que os alunos aprendem de ciências e em particular de física na educação básica?

A princípio, o Enem, mesmo não apresentando todas as características de uma avaliação em larga escala (Britton 2007), ao não ser obrigatória (isto é, universal) e também não ser amostral, é uma avaliação de grande importância para os estudantes - e portanto, ao contrário de outras avaliações de sistema existentes e aplicadas nos diversos sistemas de ensino no país, é feita com grande seriedade pelos estudantes.

- O objetivo deste trabalho é então analisar as possibilidades de obter informações sobre a aprendizagem dos estudantes em física a partir do estudo das questões (das suas características, suas qualidades e defeitos) e do desempenho dos estudantes nessas questões.

Para isso, os dados disponíveis publicamente são estudados em detalhe, tanto o conteúdo da prova quanto pelos denominados micro dados, ou seja, os arquivos contendo as informações das respostas individuais de cada estudante tanto aos diversos questionários quanto às questões individuais da prova. Esse trabalho é uma continuidade de outros já apresentados (Gonçalves Jr 2014, Gonçalves Jr 2012), e aqui apresenta-se um balanço geral da análise das questões de Física das provas de Ciências da Natureza do Enem 2009, 2010, 2011 e 2012.

## Metodologia

- O INEP disponibiliza em sua página as provas do Enem e, a partir de 2012, os micro dados relativos ao questionário sócio-econômico e das respostas dos candidatos aos exames aplicados em 2009, 2010, 2011 e 2012. Os arquivos

\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_

contendo os dados, por aluno e por questão, foram preparados e validados para todos os anos entre 2009 e 2012.

Para a montagem dos bancos de dados validados, foram escolhidos os dados relativos à prova principal do Enem, em geral denominados 'participantes' nas tabelas, e os dados relativos aos alunos que se declaram concluintes do ensino médio no ano de realização do Enem. Todos os dados foram adequados à numeração das provas correspondentes às provas azuis.

A análise qualitativa das questões utilizou classificações propostas por Gonçalves Jr (Gonçalves Jr 2014), com a identificação disciplinar entre outras.

Todos os dados foram trabalhados a partir de análises estatísticas simples (descritiva e correlações). Também foram utilizados modelos numéricos de análise de Teoria da Resposta ao Item - TRI (com o programa R), o que permitiu obter os parâmetros da TRI para os itens e a construção das curvas características empíricas e do modelo para os itens.

## Resultados

A Tabela 1 apresenta os dados numéricos gerais sobre os exames de 2009 a 2012. Percebe-se um aumento no número de inscritos ao longo dos anos. 'Participantes' são os candidatos inscritos que participaram da versão principal da prova - nota-se uma grande proporção de candidatos faltosos. 'Concluintes' são os participantes que se autodeclararam como concluintes do ensino médio no ano de aplicação do exame. Apesar do aumento absoluto de concluintes a razão concluintes/participantes apresenta uma tendência de queda.

Tabela 1. Dados numéricos gerais sobre o Enem. Os participantes são os que participaram da versão principal da prova, e os concluintes são, desses participantes, os que se autodeclaram concluintes no formulário de inscrição.

A partir destes primeiros números, foi feita uma filtragem da base de dados selecionando-se apenas os estudantes concluintes. A Tabela 2 apresenta as informações a respeito das notas destes concluintes de acordo com a Teoria da Resposta ao Item (TRI) divulgadas pelo INEP, bem como das notas baseadas na Teoria Clássica dos Testes (TCT) que utiliza o número de acertos como critério de pontuação; esta pontuação (de 0 a 45) foi normalizada para uma escala de 0 a 10. As notas da TRI, normalizadas para uma média 500, não nos permitem por si só

\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_

constatar o desempenho dos estudantes. Porém ao olharmos a nota da TCT percebemos que os estudantes apresentam um desempenho muito abaixo do desejável.

Tabela 2 . Valores de tendência central e dispersão para os concluintes do ensino médio na prova de Ciências da Natureza, ao longo dos anos.

Fonte: INEP, Microdados do Enem 2009 a 2012, adaptado.

Foram selecionadas quatro questões de física das provas de Ciências da Natureza para discussão: a questão 17 da prova de 2009, e as questões 47, 55 e 72 da prova de 2012 (a numeração refere-se à prova azul).

Reproduzimos na Figura 1 a questão 17 da prova de 2009, na Figura 2 a questão 47 da prova de 2012, na Figura 3 a questão 55 da prova de 2012. Em seguida, apresentamos os percentuais de resposta dos concluintes para cada uma das opções (Tabela 3) e comentamos os resultados encontrados.

O Brasil pode se transformar no primeiro país das Américas a entrar no seleto grupo das nações que dispõem de trens-bala. O Ministério dos Transportes prevê o lançamento do edital de licitação internacional para a construção da ferrovia de alta velocidade Rio-São Paulo. A viagem ligará os 403 quilômetros entre a Central do Brasil, no Rio, e a Estação da Luz, no centro da capital paulista, em uma hora e 25 minutos. Disponível em: http://oglobo.globo.com. Acesso em: 14 jul. 2009.

Devido à alta velocidade, um dos problemas a ser enfrentado na escolha do trajeto que será percorrido pelo trem é o dimensionamento das curvas. Considerando-se que uma aceleração lateral confortável para os passageiros e segura para o trem seja de 0,1 g, em que g é a aceleração da gravidade (considerada igual a 10 m/s 2 ), e que a velocidade do trem se mantenha constante em todo o percurso, seria correto prever que as curvas existentes no trajeto deveriam ter raio de curvatura mínimo de, aproximadamente,

A 80 m.

B 430 m.

C 800 m.

D 1.600 m.

E 6.400 m.

Figura 1 . Questão 17 da prova azul de Ciências da Natureza - ENEM 2009

\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_

Um dos problemas ambientais vivenciados pela agricultura hoje em dia é a compactação do solo, devida ao intenso tráfego de máquinas cada vez mais pesadas, reduzindo a produtividade das culturas.

Uma das formas de prevenir o problema de compactação do solo é substituir os pneus dos tratores por pneus mais

A largos, reduzindo a pressão sobre o solo.

B estreitos, reduzindo a pressão sobre o solo.

C largos, aumentando a pressão sobre o solo.

D estreitos, aumentando a pressão sobre o solo.

E altos, reduzindo a pressão sobre o solo.

Figura 2 . Questão 47 da prova azul de Ciências da Natureza - ENEM 2012Figura 3. Questão 55 da prova azul de Ciências da Natureza - ENEM 2012

<!-- image -->

Uma empresa de transportes precisa efetuar a entrega de uma encomenda o mais breve possível. Para tanto, a equipe de logística analisa o trajeto desde a empresa até o local da entrega. Ela verifica que o trajeto apresenta dois trechos de distâncias diferentes e velocidades máximas permitidas diferentes. No primeiro trecho, a velocidade máxima permitida é de 80 km/h e a distância a ser percorrida é de 80 km. No segundo trecho, cujo comprimento vale 60 km, a velocidade máxima permitida é 120 km/h.

Supondo que as condições de trânsito sejam favoráveis para que o veículo da empresa ande continuamente na velocidade máxima permitida, qual será o tempo necessário, em horas, para a realização da entrega?

A 0,7

B 1,4

C 1,5

D 2,0

E 3,0

Figura 4 . Questão 72 da prova azul de Ciências da Natureza - ENEM 2012

\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_

Tabela 3. Percentual de respostas de cada questão - respostas corretas destacadas com *.

A questão 17 de 2009 aborda um problema complexo, bem contextualizado, e presente em boa parte dos livros didáticos do ensino médio. No entanto, sua resolução exige que o estudante faça uma sequência de operações cognitivas que envolvem lembrar a expressão para a aceleração centrípeta, interpretar o que significa uma aceleração confortável de 0,1g, utilizar o conceito de velocidade como deslocamento por intervalo de tempo e executar um cálculo. Portanto, essa questão avalia a capacidade de resolver problemas de forma não elementar. O resultado da questão é surpreendente, pois nenhum dos distratores (com exceção do primeiro) pode ser associado com erros em qualquer dos passos. Essa questão foi objeto de estudo de um trabalho de conclusão de curso de Duarte (Duarte 2013), que a aplicou em escolas de nível médio e superior, e que concluiu que mesmo no ensino superior esta questão revela-se difícil.

A questão 47 de 2012 aborda o conceito de pressão (força/área). A opção certa, e escolhida por 43% dos concluintes, é a letra A, que relaciona corretamente que um aumento de área implica em uma diminuição da pressão exercida por uma força constante. Entretanto é curioso notar que as opções B (32,5%) e E (17,3%) também foram escolhidas por uma parcela significativa dos estudantes - ambas apresentam o resultado esperado de uma menor pressão para prevenir o problema apresentado no enunciado, porém com justificativas incorretas. Uma questão bastante simples, até mesmo intuitiva, ainda é respondida erroneamente por mais da metade dos estudantes brasileiros.

A questão cn55 de 2012 avalia as condições de equilíbrio de um corpo extenso - para respondê-la corretamente é preciso saber que tanto a resultante das forças quanto a resultante dos torques sobre a porta deve ser nula. Seu percentual de acerto foi muito baixo (7,0% - opção D). A opção C apresentou o maior percentual de escolha (48,0%) - é provável que os estudantes tenham raciocinado apenas em termos de equilíbrio de forças e ignorado a soma dos torques. As opções A (20,4%) e B (20,5%) também atraíram uma grande parcela dos concluintes - em ambos os casos os estudantes não apenas ignoraram os torques como a própria força peso (que não está representada nos diagramas).

\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_

A questão cn72(2012) é uma questão convencional de cinemática sobre movimento uniforme em dois trechos distintos - para resolvê-la basta calcular o tempo gasto em cada trecho e somá-los. A resposta correta, letra C, é a opção com maior percentual de escolha (42,3%). A opção D contou com 23,9% de escolha, mesmo não sendo possível encontrar o raciocínio que levaria a esse resultado. A opção B foi escolhida por 15,6% dos concluintes - provavelmente dividiram a distância total percorrida (140km) pela média simples das velocidades (120km/h + 80 km/h= 100km/h) o que não poderia ser feito pois a duração dos intervalos de tempo é diferente.

## Considerações Finais

A avaliação combinada do desempenho dos estudantes nos itens, bem como do desempenho global nas provas de Ciências da Natureza do Enem, revela as dificuldades que a aprendizagem de física no nível médio encontra no país. A análise detalhada dessas questões e desses resultados nos permitem inferir muitos dados a respeito dos processos de ensino e aprendizagem, e a princípio esse estudo poderia fornecer subsídios para uma reflexão mais global sobre os encaminhamentos curriculares e em formação de professores para a melhoria do quadro.

Muitos dos resultados obtidos não puderam ser apresentados aqui, mas as curvas características dos itens e os resultados detalhados de todas as questões da prova estão disponíveis.

- A pergunta sobre se é possível avaliar como os estudantes estão aprendendo física no ensino médio tem portanto uma resposta positiva - apesar dos diversos problemas encontrados pelo Enem.

## Agradecimentos

- O trabalho apresentado foi desenvolvido dentro do projeto 'Avaliações Educacionais e o Ensino de Ciências e Matemática', apoiado pela CAPES dentro do Programa Observatório da Educação 2010.

## Referências

BRASIL. Ministério da Educação / Instituto Nacional de Estudos e Pesquisas Educacionais Anisio Teixeira. Guia de Elaboração e Revisão de Itens - vol.I . 2010. Disponível em http://download.inep.gov.br/outras\_acoes/bni/guia/ guia\_elaboracao\_revisao\_itens\_2012.pdf. Consultado em 15/03/2013.

BRITTON, E.D.; SCHNEIDER, S.A. Large-Scale Assessments in Science Education. In: Abell, S.K. e Lederman, N.G. (ed.). Handbook of Research on Science Education . Mahwah: Lawrence Earlbaum Associates, 2007. p. 1007-1040.

\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_

DUARTE, L.P.A. Estudo de um item do ENEM 2009. Trabalho de conclusão de curso de Licenciatura em Física, UFRJ, 2013.

GONÇALVES Jr, W.G. Avaliações em Larga Escala e o Professor de Física . 2012. Dissertação de Mestrado do Programa de Ensino de Física - Instituto de Física, Universidade Federal do Rio de Janeiro, Rio de Janeiro. 2012. Disponível em http://www.if.ufrj.br/~pef/producao\_academica/dissertacoes/ 2012\_Wanderley\_Goncalves/dissertacao\_Wanderley\_Goncalves.pdf. Consultado em 15/03/2013.

GONÇALVES JR.,W.P; BARROSO, M.F. As questões de física e o desempenho dos estudantes no ENEM . Revista Brasileira de Ensino de Física, v. 36, n. 1, 1402 (2014).

HALADYNA, T.M. Developing and Validating Multiple-Choice Test Items. 3rd ed. Mahwah: Lawrence Earlbaum Associates, 2004.

HAMBLETON, R.; SWAMINATHAN, R.; ROGERS, H.J. Fundamentals of Item Response Theory . Newbury Park: SAGE Publications, 1991.

\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_