MAPEAMENTO DOS ITENS DE FÍSICA DO ENEM ENTRE 2009 E 2017

## MAPEAMENTO DOS ITENS DE FÍSICA DO ENEM ENTRE 2009 E 2017

## MAPPING ENEM PHYSICS ITEMS BETWEEN 2009 AND 2017

Prof. Dr. Guilherme Stecca Marcom 1 , Prof. Dr. Maurício Urban Kleinke 2

1 Secretaria de Educação do Estado de São Paulo/E.E. Prof. Luiz Galhardo - PEI, gui.marcom@gmail.com

2 Instituro de Física 'Gleb Wataghin'/DFA/UNICAMP, kleinke@ifi.unicamp.br

## Resumo

Ao longo dos anos o Exame Nacional do Ensino Médio (ENEM), sofreu grandes transformações, sendo a principal delas sua total reestruturação em 2009. Desde então, distinções disciplinares foram verificadas com mais facilidade dentro dos itens que compõem as provas. Essa disciplinarização possibilitou diferentes estudos sobre o ENEM com enfoque nos itens de Física, estes trabalhos varreram um amplo espectro de temas relacionados a avaliação, qualidade dos itens, Ensino de Física entre outros. Deste modo, buscamos com esse trabalho compreender duas características dos itens de Física do ENEM, a saber: Tipos de itens e Índice de Acerto e Facilidade. A pesquisa teve como objetivo realizar esse mapeamento de forma história, sendo assim analisamos os itens de Física desde o primeiro exame em 2009 a até 2017. Para a seleção e classificação dos itens foi utilizada a classificação por pares, como também a Taxionomia de Smith e colaboradores (2010) na caracterização do tipo de item. Para as análises estatísticas utilizamos o programa SPSS 22, que possibilitaram determinar o Índice de Acerto dos itens. Os resultados apontaram que no total de 131 itens de Física 57% são do tipo Conceitual e 43% do tipo Algoritmo, contudo a partir de 2014 o número de itens do tipo Algoritmo vem sendo superior aos Conceituais. Com relação aos Índices de Acerto, foi observado que em sua maioria são abaixo dos 50%. De acordo com nosso referencial metodológico para análise da dificuldade do item (FERGUISON, 1981), 72% dos itens de Física são considerados difíceis. Esses resultados representam um panorama histórico dos itens de Física presentes no ENEM, desde sua reformulação. Acreditamos que análise e investigações mais profundas sobre esses itens permitirão uma melhor compreensão do que de fato esses itens estão avaliando.

Palavras-chave : ENEM, Histórico, Itens de Física, Desempenho

## Abstract

Over the years, the National High School Examination (ENEM) has undergone major changes, the main one being its total restructuring in 2009. Since then, disciplinary distinctions have been more easily verified within the items that make up the tests. This disciplinarization enabled different studies about ENEM with a focus on Physics items, these works covered a wide spectrum of topics related to assessment, quality of items, Physics Education, among others. In this way, we seek with this work to understand two characteristics of the items of Physics of ENEM, namely: Types of items and Index of Hit and Facility. The research aimed to carry out this mapping in a

historical way, so we analyzed the Physics items from the first exam in 2009 until 2017. For the selection and classification of the items, the classification by pairs was used, as well as the Taxonomy of Smith and employees (2010) in characterizing the type of item. For statistical analysis, we used the SPSS 22 program, which made it possible to determine the items' Hit Ratio. The results showed that in a total of 131 Physics items 57% are of the Conceptual type and 43% of the Algorithm type, however since 2014 the number of items of the Algorithm type has been higher than the Conceptual ones. Regarding the Hit Ratios, it was observed that most of them are below 50%. According to our methodological framework for analyzing the item's difficulty (FERGUISON, 1981), 72% of the Physics items are considered difficult. These results represent a historical overview of the Physics items present in ENEM, since its reformulation. We believe that further analysis and investigation of these items will allow a better understanding of what these items are actually evaluating.

Keywords : ENEM, History, Physics Items, Performance.

## Introdução

- O Exame Nacional do Ensino Médio (ENEM) foi criado com o objetivo de avaliar a formação geral ao término educação básica (INEP, 2002), sendo que essa formação geral poderia ser compreendida como uma formação com as competências básicas necessárias para o exercício da cidadania. Contudo, dentro de uma reforma da política universitária federal, iniciada em 2007, que incluiu a ampliação das vagas e criação de novos cursos (Reuni); modificações no acesso ao ensino público superior federal (lei das cotas e o sistema unificado de vagas, Sisu), o papel do ENEM foi completamente modificado, sendo transformado no exame nacional de acesso às universidades federais, dentre outras funções.
- A partir dessa transformação esse 'Novo ENEM' é um elemento fundamental nas políticas de acesso ao ensino superior, seja por sua participação no sistema MEC-Sisu para preenchimento de vagas na rede pública, seja pela seleção de bolsas de estudos ou de financiamento para universidade privadas, associado aos programas Pró-Uni e FIES (AGUIAR, 2016).

Dentre as principais mudanças estruturais que o exame sofreu a matriz de referência foi fortemente modificada. A partir desse momento o ENEM passou a apresentar competências especificas de Física, induzindo assim o surgimento de trabalhos em áreas específicas de ensino a partir dos dados do Enem (BARROSO, RUBINI E SILVA, 2018; NASCIMENTO, CAVALCANTI e OSTERMANN, 2018; KLEINKE, 2017; MARCOM e KLEINKE, 2017; MARCOM e KLEINKE, 2016; DA SILVA e MARTINS, 2014).

Esses trabalhos apresentam diferentes apontamentos sobre os itens de Física, alguns sobre a sua qualidade focando na existência de possíveis erros de fundamentos de Física, tanto no contexto proposto como também nas alternativas; para os autores erros como os observados diminuem a qualidade do exame o que por sua vez interfere em suas finalidades. (SILVEIRA; STILCK; BARBOSA, 2014; BASSALO, 2011).

Outros autores descrevem os itens a partir da Taxionomia Revisada de Bloom (TRB) (DA SILVA e MARTINS, 2014; HERNANDES e MARTINS, 2013) observaram que, entre os anos de 2009 e 2013, 53% dos itens de Física

apresentavam características do domínio do conhecimento conceitual e 31% do domínio procedimental ao mesmo tempo que os processos cognitivos que mais se destacam são entender (49%) e aplicar (23%).

Os trabalhos analisam as características discriminatórias dos itens (NASCIMENTO, CAVALCANTI e OSTERMANN, 2018; KLEINKE, 2017; MARCOM e KLEINKE, 2017), observam como o gênero do candidato aumenta as possibilidades de sucesso, como também a influência do perfil socioeconômico no desempenho das questões.

Por fim, damos destaque aos trabalhos que estudam e os erros cometidos pelos participantes e suas relações com o Ensino de Física (BARROSO, RUBINI E SILVA, 2018; MARCOM e KLEINKE, 2016; GONÇALVES JR e BARROSO, 2014). Esses trabalhos apontam para um conjunto de erros repetitivos; os quais apresentam como suas origens diferentes tópicos: a utilização de concepções prévias ou não científicas; dificuldades com o modelamento matemático; problemas de leitura e interpretação de gráficos e imagens, entre outros.

Todos esses trabalhos auxiliam a compreender algumas características dos itens de Física no ENEM desde sua reformulação, contudo em muitos momentos esses trabalhos centraram em um conjunto reduzido de anos de aplicação do exame. Deste modo, o objetivo desse trabalho é obter uma visão histórica dos itens de Física desde sua reformulação, apontando duas características desse exame, os tipos de item presentes na prova e o Índice de Acerto desses itens.

## Metodologia

Para a identificação dos itens de Física, uma das formas conhecidas é a classificação por pares (BORG e GALL, 1989; GONSALVES JR e BARROSO, 2014; OLIVEIRA et al, 2013; SMITH et al, 2010). Essa metodologia consiste na categorização dos itens de Física por um conjunto de especialistas da disciplina, os quais os classificam de forma independente e realizam uma análise do nível de coincidência dessa classificação, isso reflete a confiabilidade da categorização. Para medir a concordância entre os pares compara-se, a partir de uma razão, quantos itens foram classificados como sendo da mesma categoria em relação ao total, gerando assim um valor numérico numa escala de 0 a 1. Segundo Borg e Gall (1989) valores de concordância acima de 0,7 são considerados alto, aumentando a confiabilidade da classificação.

Após a identificação dos itens de Física, os classificamos a partir da Taxionomia de Smith e colaboradores (2010) a qual se estrutura em dois níveis: o nível primário que abarca três domínios do conhecimento e o nível secundário que contempla dez classes distintas. O nível primário ou de domínio é composto por três formas de domínio do conhecimento: a Definição, o Algoritmo e o Conceitual (SMITH et al, 2010). Os itens do domínio Definição são aqueles, nos quais, os alunos têm de lembrar, reconhecer e aplicar uma definição para uma determinada pergunta (SMITH et al, 2010). Por outro lado, os itens do domínio Algoritmo são aqueles em que os alunos necessitam utilizar informações dentro de uma estrutura lógica de resolução que pode ser tanto matemática, quanto conceitual (SMITH et al, 2010). O último domínio, o Conceitual, representa as questões nas quais os alunos são induzidos a utilizar uma forma de pensamento não-algorítmica (SMITH et al, 2010), essa forma de conhecimento tem como característica a aplicação ou explicação de um determinado conceito. Esse domínio Conceitual se diferencia do domínio

Definição, pois para resolver problemas 'conceituais' o aluno deve mobilizar um conjunto de saberes mais avançados e não apenas simples definições.

Posteriormente, analisamos estatisticamente os itens utilizando os parâmetros Índice de Acerto e Facilidade do item. Esses dois parâmetros estão fortemente ligados a Teoria Clássica dos Testes, a qual analisa de forma global o desempenho de um indivíduo a partir no número de itens acertados, sendo que todos os itens detêm o mesmo peso dentro do exame (PASQUALI, 2009).

- O Índice de Acerto nada mais é que a taxa de acerto de uma população em um determinado item, ou seja, o número de pessoas que acerta o item dividido pelo número de pessoas que o faz (PRIMI, 2012 e RODRIGUES, 2006). O valor obtido para o IA variam de zero a um, quando próximo de zero o índice indica um item difícil e próximo de um indica um item fácil (COMVEST, 2012).

Como esse parâmetro é a base para analisar quão fácil ou difícil foi o item, existem diversas escalas para a realização de tal tarefa, para isso utilizamos a escala proposta por Ferguison (1981), em que itens fáceis devem possuir um IA maior que 0,7, enquanto itens difíceis possuem um IA menor que 0,3, sendo a faixa intermediaria destinada aos itens de média dificuldade.

## Resultados e Discussão

Após a classificação dos itens de Física, foram identificados 131 entre 2009 e 2017, com uma concordância na classificação por pares de aproximadamente 90%. Isso representa uma média 15 itens por ano, o que indica uma distribuição igualitária de itens nas provas de Ciências da Natureza. Desse total, contabilizamos 75 itens classificados como sendo do Domínio Conceitual, ao longo desses nove anos selecionados, e 56 classificados como sendo do Domínio Algoritmo.

Esses números de itens classificados em cada Domínio indica uma predominância por questões mais conceituais, o que pode refletir uma preferência dos produtores do exame por esse tipo de conhecimento. A confiabilidade da classificação foi de aproximadamente 85%, indicado muita confiabilidade.

Contudo, para realizarmos tal afirmação é necessário observamos essa distribuição de itens do Domínio Algoritmo e Conceitual de forma temporal, sendo assim apresentamos a Tabela 1 que indica quantos itens de cada domínio estão presentes temporalmente no ENEM.

Tabela 1 - Número de itens de Física presentes no Domínio Algoritmo e Conceitual na série temporal do ENEM

Fonte: Produzidos pelo autor durante a pesquisa

De acordo com a Tabela 1, fica evidente não existir uma manutenção, na série temporal do ENEM, como relação ao número de itens de Física em cada domínio. Ao mesmo tempo é observado que existe nessa série temporal um maior número de itens no Domínio Conceitual. Contudo, quando analisamos ano a ano

constatamos que até 2014 o número de itens do tipo Conceitual é superior ao Algoritmo. Após esse ano, a situação inverte, o que pode indicar uma mudança nas características do exame, gerando um aumento dos itens do tipo Algoritmo.

Partindo para discussão sobre os índices de acerto, apresentamos a Figura 1 que indica graficamente os IAs tanto dos itens do Domínio Conceitual quanto do Algoritmo, seguindo a série história da prova.

Figura 1 - Gráfico dos Índices de Acerto nos itens de Física classificados no Domínio Algoritmo e Conceitual, dentro da série histórica do ENEM

<!-- image -->

Observa-se que os índices de acerto dos itens são em sua maioria abaixo dos 50%. Em números absolutos, em 120 itens os candidatos tiveram um IA abaixo de 0,5, indicando uma grande dificuldade dos candidatos em resolver os itens propostos. De acordo com nosso referencial metodológico para análise da dificuldade do item (FERGUISON, 1981), 48 itens do Domínio Conceitual (aproximadamente 64%) são considerados difíceis. No Domínio Algoritmo a porcentagem de itens difíceis sobe para 82%. Indicando que 72% dos itens de Física são considerados difíceis.

Os resultados apresentados na Figura 1 indicam uma característica importante dos itens de Física, a dificuldade das questões, o que pode refletir uma percepção por parte dos candidatos não só da disciplina, como também do exame. Ao mesmo tempo, tal resultado pode ser um indicador para o próprio Ensino de Física, revelando uma possibilidade formativa do próprio ENEM. Contudo, para além desses resultados, a discussão que se sucede é o que de fato o exame busca avaliar, uma vez que, não se observa uma coerência na distribuição do número de itens em cada tipo, como também com o passar dos anos o exame tem se tornado cada vez mais difícil para os candidatos.

## Conclusão

Esse trabalho teve como objetivo mapear historicamente os itens de Física do ENEM, investigando duas características, a saber: Tipos de Itens e Índice de Acerto e Facilidade do Item. Para isso, analisamos apenas as prova a partir de 2009, primeiro ano do exame após sua reformulação. Para essa análise, identificamos primeiramente que de 2009 até 2017 o exame contou com 131 itens de Física, sendo que 43% foram classificados como sendo do tipo Algoritmo e 57% como sendo tipo Conceitual.

Esse resultado indica que, numa visão geral sobre o exame, os itens do tipo Conceitual predominaram em todos esses anos, contudo numa análise ano a ano, observamos que após 2014 o número de itens do tipo Algoritmo foi sempre superior. Acreditamos que esse resultado reflete uma não padronização histórica do exame, enquanto ao tipo de conhecimento físico que está sendo avaliado.

Nosso outro resultado, referente ao Índice de Acerto e Facilidade dos itens, revelaram que o exame, no que compete ao conhecimento físico, tem se tornado cada vez mais difícil desde sua reformulação. Dos 131 itens de Física, 72% são considerados difíceis a partir da escala utilizada.

Desta forma, esse trabalho apresenta um panorama histórico dos itens de Física presentes no ENEM, desde sua reformulação. Acreditamos que análise e investigações mais profundas sobre esses itens permitirão uma melhor compreensão do que de fato esses itens estão avaliando. Essas análises são necessárias ao ENEM, pois é sem dúvida um dos exames mais relevantes no país, principalmente a população, pois fornece a mesma a possibilidade do ingresso ao Ensino Superior. Da mesma forma, que enquanto avaliação do Ensino Médio o ENEM tem possibilidades formativas importantes relacionadas ao ensino, não só de Física como também das outras disciplinas.

## Referências

AGUIAR, V. Um balanço das políticas do governo Lula para a educação superior: continuidade e ruptura. Revista de Sociologia e Política, v. 24, n. 57, p. 113-126. 2016.

BARROSO, M. F.; RUBINI, G.; DA SILVA, T. Dificuldades na aprendizagem de Física sob a ótica dos resultados do ENEM/Physics learning difficulties from the perspective of ENEM results. arXiv preprint arXiv:1802.09880 , 2018.

BASSALO, J. M. F. Questões de Física do ENEM/2009. Caderno Brasileiro de Ensino de Física , Florianópolis, v. 28, n. 3, p. 325-355, ago. 2011.

BORG, W. R. e GALL, M. D. Educational Research: An Introduction. (5ª ed.) New York: Longman. 1989. 939 p.

COMVEST (2012). Comissão Permanente para Vestibulares. Análise e caracterização estatística das provas Vestibular Unicamp 2012 . Disponível em: &lt;http://www.comvest.unicamp.br/estatisticas/2012/distrib\_notas/pdf/estatisticas2012. pdf&gt;. Acesso em 14 de julho de 2018.

DA SILVA, Vailton Afonso; MARTINS, Maria Inês. Análise de questões de Física do ENEM pela taxonomia de Bloom revisada. Ensaio Pesquisa em Educação em Ciências , v. 16, n. 3, 2014.

FERGUSON, G. A. (1981). Statistical Analysis in Psychology and Education . New York: McGraww-Hill. International Editions - Psychology Series, apud PRIMI, Ricardo. Psicometria: fundamentos matemáticos da teoria clássica dos testes. Avaliação Psicológica , v.11, n.2, p. 297 - 307. 2012.

GONÇALVES JR, W. P.; BARROSO, M. F. Os itensde física e o desempenho dos estudantes no ENEM. Revista Brasileira de Ensino de Física , São Paulo, v. 36, n. 1, p. 1-11, jan./mar. 2014.

HERNANDES, J. S.; MARTINS, M. I. Categorização de questões de Física do Novo ENEM. Caderno Brasileiro de Ensino de Física, Florianópolis, v. 30, n. 1, p. 58-83, 2013

INEP. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP). ENEM (Exame Nacional do Ensino Médio): Documento Básico. Brasília, 2002.

KLEINKE, Maurício Urban. Influência do status socioeconômico no desempenho dos estudantes nos itens de física do ENEM 2012. Rev. Bras. Ensino Fís. , São Paulo, v. 39, n. 2, e2402, 2017.

MARCOM, G. S.; KLEINKE, M. U.. Gênero e status socioeconômico: reflexões sobre o desempenho dos candidatos na prova de ciências da natureza do ENEM 2014. Perspectiva Sociológica, v. 19, p. 44-52, 2017.

MARCOM, G. S; KLEINKE, M. U. Análises dos distratores dos itens de Física em Exames de Larga Escala. Caderno Brasileiro de Ensino de Física , Florianópolis, v. 33, n. 1, p. 72-91, abr. 2016.

NASCIMENTO, M. M.; CAVALCANTI, C.; OSTERMANN, F. Uma busca por questões de Física do ENEM potencialmente não reprodutoras das desigualdades socioeconômicas. Rev. Bras. Ensino Fís. , São Paulo, v. 40, n. 3, e3402, 2018.

OLIVEIRA. C. F; MARCOM, G. S.; KLEINKE, M. U.; GEBARA, M. A. Contextualização e Desempenho em exames de Ciências da Natureza: O 'Novo ENEM'. In: Encontro Nacional de Pesquisa em Educação em Ciências, 2013, Águas de Lindóia. Anais... . Águas de Lindóia. 2013.

PASQUALI, L.. Psicometria. Revista da Escola de Enfermagem , São Paulo, vol. 43, n. especial, p. 992 - 999. 2009.

PRIMI, R. Psicometria: fundamentos matemáticos da teoria clássica dos testes. Avaliação Psicológica , v.11, n.2, p. 297 - 307. 2012.

RICARDO, E. C. Discussão acerca do ensino por competências: problemas e alternativas. Cadernos de Pesquisa , v.40, n.140, p. 605 - 628, 2010.

SILVA, V. A.; MARTINS, M. I. Análise de questões de física do ENEM pela Taxonomia de Tloom revisada. Ens. Pesqui. Educ. Ciênc. (Belo Horizonte) , Belo Horizonte, v. 16, n. 3, p. 189 - 202, 2014.

SILVEIRA, F. L.; BARBOSA, M. C. B.; SILVA, R. Exame Nacional do Ensino Médio (ENEM): Uma análise crítica. Revista Brasileira de Ensino de Física , São Paulo, v. 37, n. 1, p. 1101, mar. 2015.

SMITH, K. C.; NAKHLEHB, M. B.; BRETZC, S. L. An expanded framework for analyzing general chemistry exams. Chemistry Education Research and Practice , v. 11, p. 147 - 153. 2010.