CONTRUTOS DA PROVA DE FÍSICA DO ENEM DE 2017 POR ANÁLISE FATORIAL EXPLORATÓRIA

## CONTRUTOS DA PROVA DE FÍSICA DO ENEM DE 2017 POR ANÁLISE FATORIAL EXPLORATÓRIA

## CONSTRUCTS OF THE ENEM PHYSICS ASSESMENT 2017 BY EXPLORATORY FACTORIAL ANALYSIS.

## Renato Pacheco Villar 1 , Maurício Urban Kleinke 2

1 UNICAMP / PECIM / Colégio Bandeirantes, renatopvillar@gmail.com 2 UNICAMP / IFGW, kleinke@ifi.unicamp.br

## Resumo

O Exame Nacional do Ensino Médio (ENEM) é um dos maiores exames de larga escala do mundo. Este exame permite o estudo das correlações entre variáveis socioeconômicas e o desempenho dos candidatos. Apesar do desempenho apresentar relação forte com a classe social do candidato, a dependência é maior com o capital cultural que o candidato possui, o qual está fortemente associada ao nível de instrução de seus familiares. Os principais erros dos candidatos estão associados aos mais diversos fatores, o que dificulta na compreensão do construto da prova do ponto de vista dos estudantes. A análise fatorial exploratória pode ser utilizada quando não se possui uma teoria prévia ou evidências empíricas suficientes que explicitem como os itens de um determinado questionário/exame devem ser agrupados ou avaliados. Este trabalho tem como objetivo identificar as características associadas ao ensino de física presentes nos agrupamentos dos itens (fatores) por análise fatorial exploratória.

Palavras-chave : Análise Fatorial, Capital Cultural, Bourdieu

## Abstract

The ENEM is one of the largest large-scale exams in the world. This exam allows the study of the correlations between socioeconomic variables and the candidates' performance. Although performance has a strong relationship with the candidate's social class, the dependence is greater on the candidate's cultural capital, which is strongly associated with the level of education of his family members. The main mistakes of the candidates are associated with the most diverse factors what difficulty in understanding the exam construct from the students' point of view. Exploratory factor analysis should be used when there is no previous theory or sufficient empirical evidence to explain how the items in a given questionnaire / exam should be grouped or evaluated. This work aims to identify the characteristics associated with the teaching of physics present in the groupings of the items (factors) by exploratory factor analysis.

Keywords : Factorial Analysis, Cultural Capital, Bourdieu.

## Introdução

O Exame Nacional do Ensino Médio (ENEM) é um dos maiores exames de larga escala do mundo. No ano de 2017 foram mais de 6 milhões de candidatos que

se inscreveram para a prova, dos quais cerca de 1,1 milhões eram concluintes do Ensino Médio e compareceram nos dois dias do exame (INEP, 2019). Alguns autores (MARCOM, 2016; KLEINKE, 2017; VILLAR, 2018) defendem que este exame se apresenta como um importante instrumento diagnóstico para investigar lacunas de aprendizagem no ensino de física a partir da análise dos itens e das alternativas erradas assinaladas pelos candidatos.

- O ENEM permite também estudar correlações entre variáveis socioeconômicas e o desempenho dos candidatos (KLEINKE, 2017). Neste sentido, Nascimento (2018), reforça que diferenças socioeconômicas influem fortemente no desempenho dos candidatos, porém o efeito de ser detentor de um capital cultural alto pode compensar o efeito de possuir um capital econômico baixo. Bourdieu (2002) já apontava o impacto do fator cultural como crucial para explicar a desigualdade em meados do século XX

'O capital cultural constitui o elemento da bagagem familiar que teria o maior impacto na definição do destino escolar. [...] A posse do capital cultural favoreceria o êxito escolar, [...] porque propiciaria um melhor desempenho nos processos formais e informais de avaliação' (NOGUEIRA e NOGUEIRA, 2002)

Ou seja, apesar do desempenho apresentar relação forte com a classe social do candidato, a dependência é maior com o capital cultural que o candidato possui, o qual está fortemente associada ao nível de instrução de seus familiares.

As correlações entre desempenho e fatores associados ao ensino de física podem ser observadas de forma biunívoca ou, de maneira mais complexa, estabelecendo relações entre as diversas variáveis que compõe o universo de análise. Uma das ferramentas estatísticas para este tipo de análise é a análise fatorial exploratória (TABACHNICK, 2007). Esta ferramenta permite explicitar quais seriam as variáveis mais relevantes no padrão de resposta de um item de física para candidatos concluintes do ensino médio, agrupando os itens que 'caminham juntos', ou seja, apresentam a mesma estrutura subjacente. Isto permite reduzir um grande número de itens, por exemplo, as questões relativas à física na prova do ENEM, em agrupamentos menores (HONYOU, 2018). Segundo Brown (2006), a análise fatorial exploratória deve ser utilizada quando não se possui uma teoria prévia ou evidências empíricas suficientes que explicitem como os itens de um determinado questionário/exame devem ser agrupados ou avaliados.

- O uso da análise fatorial exploratória é muito comum em questionários, para desenvolvimento, avaliação e refinamento de instrumentos psicológicos e sociais de avaliação (DAMÁSIO, 2012). Ela nos permite identificar traços latentes (fatores) em um questionário, agrupando itens com padrão de resposta semelhante a fim de identificar os construtos presentes (LAROS, 2005). De forma similar, esta técnica pode ser aplicada aos itens de uma prova para agrupar aqueles que são respondidos de forma similar pelo grupo analisado (DEVILLIS, 2016).

Isto posto, este trabalho tem como objetivo identificar as características associadas ao ensino de física presentes nos agrupamentos dos itens (fatores) por análise fatorial exploratória. Além disso, buscamos compreender as diferenças nos

construtos da prova de física em função da escolaridade dos pais dos candidatos (ensino fundamental, médio e superior). A pergunta de pesquisa deste trabalho é:

Quais as características similares dos itens que se agrupam por análise fatorial?

## Metodologia

Foram analisados os candidatos concluintes do ensino médio que comparecerem nos dois dias de prova e que obtiveram nota maior do que zero na redação, sendo esse recorte formado por um total de 1.167.212 candidatos entre dos mais de 6 milhões de candidatos inscritos para a edição de 2017 do ENEM. Além disso, foram selecionados da prova de ciências da natureza deste ano 13 itens que necessitam de conceitos físicos para sua resolução.

Dada a forte relação entre desempenho escolar e Capital Cultural, separaremos os candidatos em função da escolaridade do pai e da mãe em três grupos: o primeiro com ambos os pais apenas com ensino fundamental completo (EF), o segundo com ensino médio (EM) e o terceiro os pais têm ensino superior (ES).

Utilizamos a análise fatorial exploratória nos 13 itens de física do ENEM, para criar agrupamentos de forma a analisar não mais os itens individualmente, mas agora as características associadas ao ensino de física dos agrupamentos gerados (fatores). Para caracterização dos itens, calculamos a taxa de acerto (ALAGUMALAI, 2005) e construímos os gráficos de frequência de escolha das alternativas em cada um dos grupos.

## Resultados e discussão

Ao aplicar a análise fatorial exploratória para a prova de física do ano de 2017, observamos que, quando consideramos todos os candidatos concluintes do ensino médio, os 13 itens podem ser reduzidos a 4 agrupamentos de itens (fatores), apresentados a Tabela 1. Estes agrupamentos são fruto de padrões de respostas semelhantes dentro do conjunto analisado.

Tabela 1: Agrupamentos dos itens de física por análise fatorial e taxa de acerto

O fator 1 é o que apresenta a maior covariância entre itens e, portanto, que melhor representa o perfil médio da população analisada. Além disso, este agrupamento apresenta a maior taxa de acerto média. Vale a pena observar que os outros agrupamentos de itens apresentam taxa média de acerto baixa, próximas da resposta aleatória (0,2). Neste sentido, olharemos apenas para o fator 1, identificando as características associadas ao ensino de física dos itens que o compõe.

Ao analisarmos o fator 1 notamos que todos os itens são qualitativos e, para sua resolução, o candidato deve interpretar um texto e um gráfico ou figura. Estas características conduzem a um conjunto de itens associados a 'leitura de gráfico/figura e texto'. Neste fator os itens não exigem do candidato manipulação de fórmulas nem resultados de manipulações numéricas/algébricas.

Nota-se que os itens de 'leitura de gráfico/figura e texto' são o que apresentam a maior taxa de acerto entre os agrupamentos, porém o item Q111, do segundo agrupamento, apresenta índice de acerto maior do que os itens Q103 e Q123, o que indica que quantidade de acertos não é o que determina os agrupamentos e sim as correlações nos padrões de respostas entre os candidatos do grupo.

A seguir, apresentaremos os itens, assim como as respostas dadas nas alternativas para os grupos analisados. O primeiro gráfico de cada item corresponde a frequência de escolha das alternativas para todos os concluintes do ensino médio.

O segundo gráfico apresenta a frequência de escolha nas alternativas para os grupos EF, EM e ES, para investigar as diferentes percepções da prova.

<!-- image -->

<!-- image -->

<!-- image -->

<!-- image -->

<!-- image -->

<!-- image -->

<!-- image -->

<!-- image -->

Quadro 1: Questões que compõe o fator 1 e as frequências de escolha das alternativas.

<!-- image -->

Observa-se que todos os itens que compõe o agrupamento 'leitura de gráfico/figura e texto' apresentam alta taxa de acerto, porém a distribuição das respostas depende da estrutura apresentada pelo item e dos conceitos físicos envolvidos. O item Q99, por exemplo, apresenta a maior taxa de acerto entre todos os itens de física. Ele faz uma comparação entre os espectros de emissão dos diferentes tipos de lâmpada e pergunta qual das lâmpadas apresenta a maior eficiência, sendo a resposta correta a lâmpada LED. Apesar de espectro de emissão ser um conceito físico complexo, a alternativa correta coincide com uma ideia do senso comum, já que é de conhecimento geral que lâmpadas de LED são mais econômicas e eficientes do que as demais, não sendo, portanto, necessária nem a leitura do gráfico para resolução da questão.

Percebe-se uma diferença clara na distribuição das alternativas do item Q103, que apesar de alto índice de acerto, é perceptível uma maior diferença entre a taxa de acerto dos grupos EF, EM e ES, o que indica que a resolução de uma questão interdisciplinar como esta depende do capital cultural do candidato.

Na busca por compreender como que os itens que compõe os agrupamentos variam entre os grupos analisados, aplicou-se a análise fatorial para as respostas aos itens de física do ENEM nos grupos EF, EM e ES (Tabela 2). Podemos observar que o nível de instrução dos pais interfere nos agrupamentos (fatores). No grupo ES observa-se que existem apenas 3 fatores e não 4, como no caso geral e nos grupos EF e EM. Quanto menor o número de fatores, maior a quantidade de itens por fator e, portanto, mais correlacionados são os itens da prova.

Além disso, a separação dos itens por fator no grupo ES sugere seguir uma lógica de agrupamento por nível de dificuldade dos itens, onde o fator 1 representa as questões fáceis, o fator 2 as intermediárias e o fator 3 as difíceis. Dos quatro itens que compunham o fator 'leitura de gráfico/figura e texto', três deles estão presentes no fator 1 de todos os grupos, quando analisados separadamente. Apenas o item Q123 não está presente no grupo EF.

Analisando o padrão de respostas, observa-se que no grupo EF apesar de a alternativa B ser a mais escolhida entre os candidatos, este item apresenta padrão de resposta mais próximo de aleatório, já que a diferença, para este grupo, entre a escolha pelas alternativas B, C e D, é pequena.

Tabela 2: Agrupamentos dos itens de física por análise fatorial e taxa de acerto dos grupos EF, EM e ES, respectivamente.

<!-- image -->

<!-- image -->

Além disso, para este grupo, observa-se a entrada do item Q108, que nos grupos ES e EM compõe o fator 2. Este item apresenta distratores diferentes para grupos diferentes, o que faz com que o padrão de resposta em cada grupo seja distinto. Este item exige, além da leitura de gráfico e texto, a aplicação da relação entre tensão e corrente em um circuito simples e perceber que o enunciado pede o quadruplo da resistência do gráfico. Observamos nas frequências das escolhas dos itens que ocorre uma inversão de preferência (padrão de respostas) entre os diferentes grupos, o que faz com que a análise fatorial agrupe este item em diferentes fatores nos diferentes grupos analisados.

Quadro 2: Item Q108 e as frequências de escolha das alternativas.

<!-- image -->

Neste item, a presença de manipulações de fórmulas torna o item com diferentes dificuldades entre os grupos EF, EM e ES. Na busca por itens potencialmente não geradores de desigualdades sociais Nascimento (2018) já destacava para este fato.

## Conclusões

A análise fatorial se mostra como uma ferramenta importante no agrupamento dos itens da prova por semelhança de padrão de resposta dos candidatos. Esta

ferramenta pode auxiliar na identificação das principais dificuldades apresentadas pelos candidatos e identificação dos construtos da prova. Observa-se que a quantidade de fatores no grupo ES é menor do que nos demais grupos e que estes fatores apresentam maior coerência.

Observa-se ainda que, apesar de existir uma relação forte entre a taxa de acerto e o agrupamento dos itens, a taxa de acerto não é a característica que faz com que as questões se agrupem em um mesmo fator. A análise fatorial exploratória auxilia no processo de elucidar as diferentes dificuldades dos diferentes grupos ou até possíveis problemas na elaboração de itens. Como exemplo temos o Q108 que, para o grupo ES, é respondido com mesmo padrão de resposta dos demais itens do fator 1, o que não ocorre para os demais grupos.

## Referências

ALAGUMALAI, Sivakumar; CURTIS, David D. Classical test theory. In: Applied Rasch measurement: A book of exemplars. Springer Netherlands, 2005.

BOURDIEU, P., A escola conservadora: as desigualdades frente à escola e à cultura. In: NOGUEIRA, M. A.; CATANI, A. Escritos de Educação. (4a Ed.). Petrópolis: Vozes, 2002.

BROWN, T. A. Confirmatory Fator analysis for applied research. New York: The Guilford Press. 2006.

DAMÁSIO, Bruno Figueiredo. Uso da análise fatorial exploratória em psicologia. Avaliaçao Psicologica: Interamerican Journal of Psychological Assessment, v. 11, n. 2, p. 213-228, 2012.

DEVELLIS, Robert F. Scale development: Theory and applications. Sage publications, p. 115-158. 2012.

INEP. Microdados ENEM 2017. Disponível em: &lt;http://portal.inep.gov.br/microdados&gt;, acesso 10 jan. 2020

LAROS, Jacob A. O uso da análise fatorial: algumas diretrizes para pesquisadores. Análise fatorial para pesquisadores, v. 1, p. 145, 2005.

MARCOM, Guilherme Stecca; KLEINKE, Maurício Urban. Análises dos distratores das questões de Física em Exames de Larga Escala. Caderno Brasileiro de Ensino de Física, v. 33, n. 1, p. 72-91, 2016.

NASCIMENTO, Matheus Monteiro; CAVALCANTI, Cláudio; OSTERMANN, Fernanda. Uma busca por questões de Física do ENEM potencialmente não reprodutoras das desigualdades socioeconômicas. Rev. Bras. Ensino Fís., São Paulo , v. 40, n. 3, e3402, 2018 .

NOGUEIRA, C. M. M.; NOGUEIRA, M. A. A sociologia da educação de Pierre Bourdieu: limites e contribuições. Educação &amp; Sociedade, v. 23, n. 78, p. 15-36, 2002.

TABACHNICK, Barbara G.; FIDELL, Linda S.; ULLMAN, Jodie B. Using multivariate statistics. Boston, MA: Pearson, 2007.

VILLAR, Renato P.; KLEINKE, Maurício U. Física experimental no ENEM: a influência da escolaridade dos pais. XVII Encontro de Pesquisa em Ensino de Física (XVII EPEF), Campos do Jordão, SP, 2018.