REFLEXÕES SOBRE O ENEM: CONTRIBUIÇÕES DA PESQUISA EM ENSINO DE FÍSICA

## REFLEXÕES SOBRE O ENEM: CONTRIBUIÇÕES DA PESQUISA EM ENSINO DE FÍSICA

## REFLECTIONS ABOUT THE ENEM: CONTRIBUTIONS OF RESEARCH IN PHYSICAL TEACHING

Fernando Augusto Silva , Maria Regina D. Kawamura 1 2

1 IFUSP/ Programa de Pós Graduação Interunidades Ensino de Ciências, fernando.augusto.silva@usp.br

2 IFUSP / Departamento de Física Experimental, mrkawamura@if.usp.br

## Resumo

O ENEM vem assumindo um papel cada vez mais importante no âmbito educacional brasileiro, na medida em que vem se propondo a cumprir uma dupla função: gerar informações sobre a educação básica e, principalmente, constituir-se como seleção de acesso às instituições de ensino superior. O objetivo deste trabalho é buscar resgatar as contribuições e reflexões da área de Pesquisa em Ensino de Física sobre essa avaliação. Para isso, investigamos as comunicações em congressos e artigos em revistas, no período entre 2010 e 2017, com a proposta de identificar, destacar e sistematizar as possíveis contribuições e preocupações das discussões. Isso nos parece especialmente importante dado a crescente atenção da área a esse exame e dadas as possíveis transformações pelas quais deve vir a passar, considerando as novas propostas de Ensino Médio e a BNCC. Foi possível identificar três focos principais de atenção, relativos respectivamente a análises do instrumento (itens da prova), à proposta do exame como um todo e às suas dimensões políticas. O quadro delineado aponta certa evolução das preocupações, inicialmente mais analíticas. É possível perceber a necessidade de uma reformulação do exame, tendo em vista as políticas públicas de acesso ao Ensino Superior e sua dependência dos resultados do ENEM.

Palavras-chave : ENEM, Avaliação Externa, IES, contextualização

## Abstract

ENEM has been assuming an increasingly important role in the Brazilian educational field, since it has been proposing to fulfill a dual function: to generate information about basic education and, mainly, to constitute itself as a selection of access to higher education institutions. The objective of this work is to seek to rescue the contributions and reflections of the Research area in Physics Teaching about this evaluation. For this, we investigated communications in congresses and articles in journals, in the period between 2010 and 2017, with the proposal to identify, highlight and systematize the possible contributions and concerns of the discussions. This seems especially important given the increasing attention of the area to this examination and given the possible changes that must occur, considering the new proposals of High School and the BNCC. It was possible to identify three main focuses of attention, related respectively to the analysis of the instrument (test items), the examination proposal as a whole and its political dimensions. The picture outlined points to a certain

evolution of concerns, initially more analytical. It is possible to perceive the need for a reformulation of the exam, in view of the public policies of access to Higher Education and its dependence on the ENEM results.

## Keywords : ENEM, External Evaluation, IHE, contextualization

## Introdução

A avaliação educacional vem sendo cada vez mais considerada um dos aspectos indispensáveis para contribuir diretamente para o processo de ensino e aprendizagem. Nesse âmbito, a avaliação em larga escala (ou avaliação externa), tem potencialmente o papel de informar aos gestores, sociedade e comunidade escolar (professores, coordenadores e diretores), através de seus resultados e diagnósticos, parâmetros relevantes para posteriores ações de melhoria na qualidade da educação (KLEIN e FONTANIVE, 1995, SOUSA e OLIVEIRA, 2010, WERLE, 2011, ALAVARSE et al, 2012, BONAMINO e SOUSA, 2012, SILVA, 2015, entre outros).

Em particular, o Exame Nacional do Ensino Médio (ENEM), sob a coordenadoria do INEP , implementado a partir de 1998, vem assumindo um papel 1 cada vez mais importante no sistema educacional. Embora não seja uma avaliação obrigatória e também não ser amostral, pretende realizar um diagnóstico de toda a educação. Mas, ao mesmo tempo, vem cumprindo uma dupla função: gerar informações sobre a educação básica e, principalmente, constituir-se como seleção de acesso às instituições de ensino superior.

Pela abrangência dessa avaliação, que nos últimos anos tem envolvido em torno a sete milhões de alunos, surge a necessidade de uma reflexão mais aprofundada, levando em conta a dupla função mencionada, especialmente sobre as formas pelas quais essas funções vêm sendo efetivadas. Nesse sentido, nos indagamos sobre quais têm sido as análises e as contribuições oriundas das pesquisas no âmbito acadêmico, particularmente no Ensino de Física, sobre essa questão.

- O objetivo dessa investigação é identificar, localizar e sistematizar de que forma vem ocorrendo a discussão sobre o ENEM na área de Pesquisa em Ensino de Ciências/Física. Uma vez que as contribuições podem ser de diferentes âmbitos e aspectos, a proposta é sistematizar os trabalhos com foco na natureza das investigações, buscando identificar possíveis articulações, além das principais preocupações e resultados que vêm sendo apresentados.

Em especial, consideramos essa discussão bastante relevante dada as possíveis transformações pelas quais devem vir a passar tanto o Ensino Médio, como sua avaliação, diante das novas propostas de reforma do Ensino Médio e de uma nova BNCC (Base Nacional Comum Curricular).

## Metodologia

Para reunir investigações ou reflexões relativas ao ENEM, na área de Pesquisa em Ensino de Ciências/Física, buscamos artigos publicados em revistas

da área, entre 2013 e 2017, assim como de comunicações em simpósios e encontros, entre 2010 e 2017. Dessa forma, foram identificados e analisados os trabalhos apresentados no Encontro de Pesquisa em Ensino de Física (EPEF), no Simpósio Nacional de Ensino de Física (SNEF), e no Encontro Nacional de Pesquisa em Educação em Ciências (ENPEC) , além de artigos publicados em revistas . 2 3 Consideramos que as mudanças ocorridas a partir de 2009 no ENEM foram decisivas, por um lado, para aumentar o interesse dos participantes e, por outro, para o aparecimento de novas indagações trazidas para a pesquisa. Dessa forma, delimitamos o período dos trabalhos a partir de 2010, sendo que esse conjunto passou a constituir-se no corpus de nossa análise. A construção do panorama das principais tendências foi realizada, a partir da leitura de todos os trabalhos da amostra. O trabalho de análise e sistematização foi realizado em duas etapas.

Em uma primeira etapa, foi elaborada uma matriz síntese, com dados diretos e inferências, diretamente decorrentes dos nossos objetivos. Essa etapa pode ser considerada como mais descritiva.

Em uma segunda etapa, a natureza da investigação foi analisada com auxílio da Análise de Conteúdo (Bardin, 2011), que se caracteriza como ' um conjunto de técnicas de análise das comunicações ' (pp.37) em que a organização da análise deve consistir em pré-análise, exploração do material e tratamento dos resultados, inferência e interpretação. Dessa etapa, foi possível identificar a presença de três amplas categorias de investigação - numa delas houve uma subdivisão -, como, portanto, categorias a posteriori. Essa etapa pode ser considerada como mais analítica.

A partir destas duas primeiras etapas, outras análises podem ser realizadas, como, por exemplo, as possíveis articulações entre os diferentes tipos de investigação, o objetivo/função do ENEM enfatizado e as contribuições apresentadas pelos respectivos autores. Porém, por ser considerada como mais conceitual, na medida em que é necessário trazer referenciais relacionados às avaliações externas, não há espaço suficiente para esta discussão neste trabalho.

- O desenvolvimento do trabalho como um todo foi sempre orientado pela perspectiva de obter um panorama do conjunto dos trabalhos, de forma sistematizada, mas aberta. Pretende-se que esse panorama, para além de apenas descritivo, possa trazer subsídios para novas considerações e apropriações, tendo como meta discussões sobre os rumos futuros dos desdobramentos do ENEM.

## Análise e discussão

Uma busca nos anais dos eventos e nas revistas da área nos permitiu localizar um total de 51 trabalhos sobre o tema, em um período de sete anos. A Tabela 1 apresenta a quantidade de trabalhos ao longo dos anos . 4

Tabela 1 - Quantidade de trabalhos apresentados em congressos e simpósios ou em revistas de 2010 a 2017 . 5

Conforme pode ser observado na Tabela 1, os anos ímpares se destacam na quantidade de trabalhos, principalmente porque nestes anos há a realização de dois eventos (SNEF e ENPEC). Além disso, a maior parte de trabalhos se concentra no ENPEC, provavelmente devido à característica do evento de abranger todas as áreas das Ciências da Natureza.

Com relação à primeira etapa, foi elaborada uma matriz síntese, contemplando três dimensões. Buscou-se identificar (i) O objetivo/função do ENEM enfatizado; (II) A natureza da investigação, incluindo tipo de abordagem, aspectos analisados e principais resultados e (iii) Principais contribuições apresentadas pelos autores.

Na segunda etapa, no que diz respeito à natureza dos trabalhos produzidos, a análise de conteúdo permitiu identificar três diferentes categorias, a saber: dimensão do instrumento de avaliação, dimensão da proposta do ENEM e dimensão da eficácia.

## 1 - Dimensão do instrumento de avaliação

- 1A -Análise da estrutura dos itens (Por exemplo, contextualização, interdisciplinaridade, objetos do conhecimento, competência, habilidade, conceitos abordados, tamanho do texto, mudanças após 2009.).
- 1B - Análise nos itens, mas com relação ao desempenho dos estudantes (análises estatísticas, estudo dos distratores, etc.).

Em relação à primeira subcategoria proposta (1A), encontram-se um conjunto de trabalhos que analisam, por exemplo, aspectos relacionados com a contextualização, questões relativas à interdisciplinaridade, predominância de abordagens qualitativas/quantitativas, aspectos relativos à memorização, análise das situações-problema, identificação dos objetos de conhecimento abordados, análise de itens referentes a alguns conteúdos específicos (como Astronomia, Física Moderna e Contemporânea, Cinemática ou Energia, etc.), sendo estes e outros aspectos concentrados nas análises dos itens (PEIXOTO, LINHARES, 2010, PEREIRA, MARTINS, AUTH, 2011, SILVA, MARTINS, 2013, SILVA et al, 2015, SILVA, IACHEL, 2017, entre outros).

Ainda em relação ao instrumento, porém relacionados a subcategoria 1B, encontram-se trabalhos que focam de maneira geral no desempenho dos estudantes, seja para compreender o Ensino de Física, seja para compreender o

comportamento estatístico dos itens, seja para analisar as alternativas dos respondentes (GONÇALVES JUNIOR, BARROSO, 2012, MENDONÇA et al, 2013, HAAR, YAMIN, 2013, MARCOM, KLEINKE, 2014, entre outros).

Salientamos que, em muitos dos trabalhos não é realizado apenas uma estratégia de análise do/com o ENEM, que, aqui está correlacionada a uma determinada categoria. Pois, assim como pôde ser observado na subcategoria acima (1B), para analisar o desempenho dos estudantes, foi necessário caracterizar o item em diferentes aspectos, para compreender mais e melhor o desempenho em determinado item.

- 2 - Dimensão da Proposta do Enem: o foco não são os itens, mas a prova e/ou a sua proposta (comparação entre os conteúdos abordados e currículos, comparação com livro didático, comparação entre compreensões em trabalhos anteriores sobre a contextualização).
- A Dimensão da Proposta do ENEM inclui trabalhos com um propósito diferente da primeira categoria, pois não está focado somente nos itens, mas na prova e suas possíveis comparações com outros aspectos da educação, como o vestibular, livros didáticos ou trabalhos que discutem alguns aspectos de artigos sobre o ENEM, ou que utilizam itens do ENEM para exemplificar determinada teoria (CONCHETI, LEITE, 2011, JALOTO, MARTINS, 2013, PELLEGRIN, 2017, MOETO, PEREIRA, MENEZES, 2017, entre outros).
- 3 -Dimensão da Eficácia: foco numa análise socioeconômica de desempenho, estrutura geral e qualidade dos itens, etc.

Esta categoria compreende trabalhos que discutem em que medida o ENEM é eficaz, ou seja, responde às funções que lhe são atribuídas. Isso envolve aspectos de naturezas diferentes, seja com um caráter mais técnico operacional, como a qualidade do item ou a dimensionalidade dos itens, seja discutindo a estrutura da prova e seu potencial de seleção em relação ao desempenho de estudantes de diferentes níveis socioeconômicos (OLIVEIRA, 2014, VIGGIANO, MATTOS, 2015, SILVEIRA, BARBOSA, SILVA, 2015, KLEINKE, 2017, entre outros). São trabalhos que, em geral, não focam no Ensino de Física especificamente, mas nos resultados dos desempenhos dos estudantes nos itens de Física.

De certa forma, todas estas categorias não são essencialmente independentes, mas dialogam. Entretanto, acreditamos que há um limiar de diferenciação, originada da classificação para cada uma das categorias apresentadas em frequência na Tabela 2.

Tabela 2: Quantidade de trabalhos para cada categorização.

Como se nota, metade dos trabalhos, correspondentes à primeira categoria, focam numa análise direta dos itens em relação a sua estrutura, buscando talvez compreender, por um lado, a estrutura do exame (ou o que se pede de Física) e por outro, obter maiores subsídios para uma intervenção mais concreta nas aulas de Física. Tem, portanto, em última instância, uma preocupação que podemos considerar pedagógica.

Em relação à segunda categoria, poucos analisam o ENEM articulado com outros aspectos educacionais, predominando a preocupação em relação a uma comparação com o vestibular.

Os itens da terceira categoria, relativos à eficácia, são itens que em geral tem como foco criticar a política pública que vem sendo realizada pelo ENEM. Destaca-se que os trabalhos dessa categoria começaram a ser divulgados nos encontros somente após 2014. Antes, como já mencionado, o foco estava mais na estrutura dos itens.

Por fim, nota-se que a quantidade de trabalhos apresentados através das categorias é maior que a quantidade de trabalhos, pois muitos estão relacionados a mais de uma categoria.

## Considerações

Por um lado, particularmente no que tange à Física, o ENEM torna-se, cada vez mais, o único parâmetro para gestores, sociedade e comunidade escolar apropriar-se de seus resultados, tendo em vista que a maioria das avaliações de larga escala (Nacionais ou Estaduais), focam/ condensam/ minimizam nas disciplinas de Língua Portuguesa e Matemática.

Por outro lado, o ENEM visa avaliar o conhecimento dos estudantes mediante competências e habilidades desenvolvidas ao longo da escolaridade básica (INEP, 2009) e os trabalhos apresentados buscam, em geral, compreender de que forma estes conhecimentos estão presentes neste exame.

Num panorama geral dos trabalhos, notamos uma transformação ao longo dos anos em relação à preocupação das pesquisas da área. Pois, primeiramente os trabalhos se concentravam consideravelmente em analisar os itens e sua estrutura em relação a vários aspectos, como já mencionados. Contudo, mais recentemente há trabalhos que analisam aspectos para além do item e trazem contribuições que superam aspectos essencialmente pedagógicos.

A partir das categorias levantadas, notamos que a maioria dos trabalhos se propõe a analisar a estrutura do item, aspectos estes que são muito relevantes quando a preocupação se concentra no processo de ensino e aprendizagem e nas possíveis contribuições para o mesmo. Porém, poucos são os trabalhos que analisam o ENEM num âmbito mais geral, da necessidade de uma reformulação do exame, tendo em vistas as políticas públicas de acesso ao Ensino Superior e sua dependência dos resultados do ENEM.

Destacamos que muitos dos trabalhos trouxeram contribuições efetivas de mudanças, principalmente quanto à implementação de mais questões contextualizadas. Porém, tendo em vista o processo complexo em que o ENEM se enquadra, restringir-se à contextualização não soluciona efetivamente as questões do processo de ensino e aprendizagem nem contempla a disparidade existente entre estudantes de diferentes níveis socioeconômicos.

Consideramos, assim, por um lado, que os trabalhos revelam as necessidades e demandas de uma determinada época, numa determina sociedade, e que certamente são aquelas que interessam a certas classes e organizações estrategicamente situadas, por outro, revelam também a complexidade de um processo avaliativo e da constituição de uma política de

avaliação, com seus múltiplos determinantes. Salientamos, então, que é necessário, em particular para o Ensino de Física, mais análises e que estas devam ir além da imprescindível análise da estrutura dos itens, focando aspectos mais gerais oriundos de políticas públicas e que relacionem com mais profundidade o professor, o currículo e o papel da avaliação.

## Referências

ALAVARSE, O.M.; BRAVO, M. H.; MACHADO, C. Avaliação como Diretriz das Políticas Educacionais dos Governos Federal, Estaduais e Municipais: o caso brasileiro. In: III Congresso Ibero-Americano de Política e Administração da Educação . Zaragoza, 2012.

BARDIN, L. Análise de conteúdo . São Paulo: Edições 70, 2011.

BONAMINO, Alice; SOUSA, Sandra Três gerações de avaliação da educação básica no Brasil: interfaces com o currículo da/na escola. Educação e Pesquisa. 2012 , vol.38, n.2.

CONCHETI, A.,F., LEITE C., O livro didático de Física e suas atividades: uma análise da presença das competências gerais do ENEM no estudo das Leis de Newton e suas aplicações. In: Anais do XIX SNEF . São Paulo: SBF, 2011.

GONÇALVES JUNIOR, W.P., BARROSO, M.F., ENEM: os itens e o desempenho dos estudantes em 2009. In: XIV EPEF , Maresias, 2012.

HAAR, E., YAMIN, A., Análise do Funcionamento das Questões da Prova de Ciências da Natureza do Enem 2009 e 2010. In: Anais do XX SNEF. São Paulo, SBF, 2013.

INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA-INEP. Sobre o Enem. Brasília: INEP , 2009.

KLEIN, R.; FONTANIVE, N.S.F. Avaliação em larga escala: uma proposta inovadora. Em Aberto , Brasília, DF, ano 15, n.66, p. 29-34, abr./jun. 1995.

KLEINKE, M., Influência do status socioeconômico no desempenho dos estudantes nos itens de física do Enem 2012. RBEF , vol.39, n.2, e2402, 2017.

MARCOM, G.S., KLEINKE, M.U., Questões do ENEM e suas relações com o ensino de Física. In: Anais do X ENPEC . Rio de Janeiro: ABRAPEC, 2015.

MARCOM, G.S., KLEINKE, M.U., O ENEM como instrumento de análise do Ensino de Física. In: XV EPEF , Maresias, 2014.

MARTINS, I., JALOTO, A., Os sentidos de contextualização no ENEM: uma análise de trabalhos apresentados nas edições do ENPEC entre 2007 e 2011. In: Anais IX ENPEC . Rio de Janeiro: ABRAPEC, 2013.

MENDONÇA, D.B.A et al, Análise do desempenho de alunos do Ensino Médio na resolução de problemas de Física do ENEM: reflexões acerca do contexto. In: Anais IX ENPEC . Rio de Janeiro: ABRAPEC, 2013.

MOETO, Cecília Borges, Pereira, Isabela Lopes, Menezes, Paulo Henrique Dias, A influência dos processos seletivos das Universidades sobre os currículos de Física da escola básica: estudo comparativo entre as questões de Física do ENEM e de um programa de ingresso em universidade pública. In: Anais do XI ENPEC . Rio de Janeiro. ABRAPEC, 2017.

OLIVEIRA, B. A., A qualidade das questões de Física no ENEM e no Problema da dimensionalidade da prova de Ciências da Natureza e suas Tecnologias. In: XV EPEF , Maresias, 2014.

PEIXOTO, K.C.Q.C, LINHARES, M.P., Novo ENEM: o que mudou? Uma investigação dos conceitos de Física abordados no Exame. In: XII EPEF , Águas de Lindóia, 2010.

PELLEGRIN, T.P., A mediação 'dia a dia/cotidiano' na apropriação dos conhecimentos científicos e suas manifestações nas questões de Ciências da Natureza do ENEM, XI ENPEC , Florianópolis, 2017.

PEREIRA, P.H, MARTINS, D.C., AUTH, M.A., Exame Nacional do Ensino Médio: análise das questões relacionadas à Física. In: XIII EPEF , Foz do Iguaçu, 2011.

RUBINI, G., MASSUNAGA, M.S.O., BARROSO, M.F., É possível avaliar o que os alunos aprendem em Física usando o ENEM?. In: Anais do XXI SNEF . São Paulo: SBF, 2015.

SILVA, V.A. et al, Física Moderna e Contemporânea (FMC) no Exame Nacional do Ensino Médio (ENEM): em busca de questões explícitas ou implícitas. In: Anais do XXI SNEF . São Paulo: SBF, 2015.

SILVA, V.A., MARTINS, M.I., Análise dos objetos de conhecimento de Física nas provas do Exame Nacional do Ensino Médio (ENEM). In: Anais IX ENPEC . Rio de Janeiro: ABRAPEC, 2013.

SILVA, M.R., IACHEL G., Análise da presença de Astronomia no Exame Nacional do Ensino Médio, entre os anos de 2009 e 2016. In: Anais do XI ENPEC . Rio de Janeiro. ABRAPEC, 2017.

SILVA, F.A. O SARESP e o professor de Física: contribuições, sentidos e perspectivas. Dissertação de Mestrado . Instituto de Física, Universidade de São Paulo, 2015.

SILVEIRA, F.L., BARBOSA, M. C. B., SILVA, R., Exame Nacional do Ensino Médio (ENEM): Uma análise crítica. RBEF , vol. 37, n.1, e1101, 2015.

SOUSA, F.F.G et al, A temática Energia em 12 anos de ENEM. In: Anais do XIX SNEF . São Paulo: SBF, 2011.

SOUZA, S.M.Z.L. e OLIVERIA, R.P, Sistemas estaduais de avaliação: uso dos resultados, implicações e tendências. Cadernos de Pesquisa , v.40, n.141, pp793- 822, set/dez, 2010.

VIGGIANO, E., MATTOS, C., A influência de características socioeconômicas no desempenho de participantes na prova de Ciências da Natureza do Enem 2012. In: Anais do X ENPEC . Rio de Janeiro: ABRAPEC, 2015.

WERLE, F.O.C., Políticas de avaliação em larga escala na educação básica: do controle de resultados à intervenção nos processos de operacionalização do ensino. Ensaio: aval. pol. públ . Educ., Rio de Janeiro, v. 19, n. 73, p. 769-792, out./dez, 2011.