Contribuições da prova de Ciências da Natureza para o processo de elitização do Exame Nacional do Ensino Médio

## CONTRIBUIÇÕES DA PROVA DE CIÊNCIAS DA NATUREZA PARA O PROCESSO DE ELITIZAÇÃO DO EXAME NACIONAL DO ENSINO MÉDIO

## THE CONTRIBUTION OF SCIENCE TEST TO ELITIZATION PROCESS OF THE NATIONAL HIGH SCHOOL EXAM

## Matheus Monteiro Nascimento 1 , Cláudio Cavalcanti 2 , Fernanda Ostermann 3

1 Doutorando do PPGEnFís do Instituto de Física da UFRGS, matheus.monteiro@ufrgs.br 2 Instituto de Física da UFRGS, claudio.cavalcanti@ufrgs.br 3 Instituto de Física da UFRGS, fernanda.ostermann@ufrgs.br

## Resumo

Todo resultado de um exame de larga escala tem como característica principal a relação com as chamadas condições sociais. Em geral, estudantes com situação econômica e cultural favoráveis tendem a ter um desempenho mais satisfatório nessas provas. Quando esses exames são utilizados como critério de seleção para algum tipo concurso, como é o caso do Exame Nacional do Ensino Médio (ENEM), é de se esperar que os candidatos com melhor desempenho sejam aqueles provenientes de contextos familiares prósperos para o desenvolvimento escolar. Alguns resultados de pesquisa indicam que o ENEM contribui com a manutenção das desigualdades sociais, pois seleciona para os cursos de maior prestígio os candidatos de elevado nível socioeconômico, dando um caráter elitista para um sistema de seleção que tem como objetivo principal a democratização do acesso ao ensino superior. Nesse sentido, as desigualdades sociais tendem a se manter inalteradas, afinal, os candidatos oriundos de famílias que, por imposições econômicas, culturais e sociais, não conseguem transmitir para os filhos elementos importantes para o sucesso escolar, tendem a não alcançar o score mínimo para ingressar no ensino superior. Sabendo disso, este artigo trata de uma investigação que tem por objetivo principal determinar qual das disciplinas, que fazem parte da prova de Ciências da Natureza, mais contribui para tornar o ENEM uma seleção elitizada. De três anos analisados, Física e Biologia, em 2015 e 2009 respectivamente, assumiram esse papel. Em 2012 as três disciplinas contribuíram igualmente para a elitização do exame.

Palavras-chave : ENEM, desigualdades, exame de larga escala, Ciências.

## Abstract

Every result of a large-scale exam has as main characteristic its relation with the social conditions. In general, students with good economic and cultural situation has better performance in these exams. When these tests are used as selection criteria for a kind of competition, such as National High School Exam (ENEM), it is expected a better performance of the candidates with high

socioeconomic status. Some research results indicate that the ENEM contributes to keep unchanged social inequalities influences, since it selects for the most prestigious courses the candidates of high socioeconomic level, giving an elitist character to a selection system whose main objective is the democratization of access to the higher education. In this sense, social inequalities tend to keep unchanged, since candidates from families who, because of economic, cultural and social impositions, cannot transmit to their children elements that are important for school success, tend not to reach the minimum score to gain access to higher education. From this starting point, this paper performs an investigation whose main objective is determine which of the disciplines that takes part of the Natural Science test, contributes most to reinforce elitism on ENEM. Of the three years analyzed, Physics and Biology, in 2015 and 2009 respectively, assumed this role. In 2012 these three disciplines also contributed to elitism of the exam.

Keywords : ENEM, inequalities, large-scale exams, Science.

## INTRODUÇÃO

Um dos maiores desafios contemporâneos para os jovens do ensino médio é a seleção para o ensino superior. Até o ano de 2009, a única alternativa para o ingresso às universidades públicas brasileiras era o tradicional exame vestibular. Uma das críticas a esse sistema era que os jovens estudantes, oriundos de camadas populares e de escolas públicas estaduais, percebiam os vestibulares como algo muito distante da sua realidade, principalmente, devido ao nível avançado das provas. Pensando numa possibilidade de reverter tal quadro de exclusão, a partir de 2009, o governo federal passou a utilizar o desempenho dos alunos no Exame Nacional do Ensino Médio (ENEM) como critério de seleção para universidades públicas, sob o discurso de que esse seria 'um mecanismo de democratização do acesso às políticas públicas de educação' (BRASIL, 2015).

Nos últimos anos, pesquisas têm indicado que o ENEM acaba por não cumprir esse papel de democratização do acesso ao ensino superior, mantendo o perfil elitista dos exames tradicionais de vestibular (KLEIN et al. , 2007; KLEINKE, 2017; NASCIMENTO et al. , 2017; 2018; VIGGIANO e MATTOS, 2013). E é a partir dos itens presentes na prova que o ENEM consegue selecionar os estudantes com maior acúmulo de bens materiais e culturais. Por exemplo, Kleinke (2017), ao investigar as provas do ENEM de 2011, 2012 e 2014, conclui que a média nos itens de Física cresce em função do nível socioeconômico dos candidatos. Em consonância com o trabalho de Kleinke (2017), Nascimento et al. (2018), ao analisarem as edições de 2009, 2012 e 2015, mostraram que a prova de Física do ENEM reúne um número significativo de itens muito associados ao nível socioeconômico, contudo, destacaram a presença de algumas questões que parecem contrariar essa relação consensual. Foram identificados itens com baixa associação com o nível socioeconômico dos candidatos, indicando que estudantes de diferentes realidades sociais tiveram a oportunidade de acertar a questão. Os autores apontam que itens com essa característica podem contribuir para a redução das desigualdades sociais, afinal, estariam selecionando os candidatos apenas por proficiência em Física, e não pela favorecida condição social da primeira infância. Não se sabe, contudo, se a disciplina de Física é a única que apresenta itens

com tal característica. Dessa forma, o objetivo da presente investigação é caracterizar qual das três disciplinas que compõem a prova de Ciências da Natureza do ENEM, Biologia, Química e Física, mais contribui para a reprodução das desigualdades sociais observadas nos resultados dessa política de acesso ao ensino superior. Dito de outra maneira, o escopo desse trabalho é definir qual dessas três disciplinas possui itens menos associados ao nível socioeconômico dos candidatos.

Para realizar essa investigação, em um primeiro momento, foi definido o nível socioeconômico (NSE) dos candidatos do ENEM. Esse NSE foi construído a partir do questionário respondido pelos estudantes no momento da inscrição no exame, com o auxílio de métodos estatísticos de análise multivariada de dados em articulação com pressupostos teóricos de Pierre Bourdieu (BOURDIEU, 1986). As análises se concentraram na edição do ENEM de 2009 por dois motivos bem específicos: primeiro porque o questionário desse ano era mais rico em termos de perguntas e, em segundo lugar, a literatura da área da Educação em Ciências apresenta a maior parte das análises de provas do ENEM para esse ano.

Após a definição do NSE, que separou os candidatos em sete diferentes níveis, foram calculadas as médias na prova de Ciências da Natureza para cada um dos níveis. Conforme discussão prévia, a literatura indica que os níveis mais altos de NSE, em geral, tendem a ter uma melhor média quando comparados com os candidatos dos grupos mais baixos. Esse padrão foi observado na maioria dos itens, todavia, em algumas questões a diferença nas médias não foi tão significativa. Considerando que para cada item foram obtidas médias para sete diferentes grupos, foi preciso definir em quais dessas questões houve menor variação de média entre esses níveis. Para realizar essa investigação se utilizou o coeficiente Gini como instrumento de medida das desigualdades (SEN, 1976).

Por fim, para aferir se o item estava realmente medindo a proficiência que se propunha a medir, foi utilizado o modelo logístico de três parâmetros da Teoria da Resposta ao Item (TRI) (ANJOS e ANDRADE, 2012). Portanto, os itens constituintes da prova de Ciências da Natureza foram analisados em relação à média de acertos, à variabilidade entre os grupos - medida pelo coeficiente de Gini - e ao valor da sua discriminação.

## Quadro teórico e metodológico

Conforme enunciado na introdução do texto, a primeira etapa da investigação foi a definição do nível socioeconômico (NSE) dos candidatos. Essa etapa já foi detalhada em trabalhos anteriores (NASCIMENTO et al. , 2017; 2018), contudo, por ora, vale destacar alguns elementos dessa fase para dar sentido aos estágios seguintes da investigação.

O questionário do ENEM, que os estudantes preenchem no momento da inscrição no exame, é constituído por perguntas sobre a família, sobre a escola e sobre o seu trabalho, se houver. A partir das respostas dadas pelos candidatos às perguntas, é possível estimar, a partir de técnicas de análise estatística multivariada, as posses materiais (econômicas) e culturais, que assumem na perspectiva teórica de Pierre Bourdieu o nome de capitais. Em linhas gerais, Bourdieu (BOURDIEU, 1986; 2016; BOURDIEU e PASSERON, 2008) cria um

sistema de definição de classes sociais baseado nos capitais econômico, cultural e social dos indivíduos. Para o autor, a posição hierárquica que uma pessoa assume dentro de uma estrutura social vai depender do volume e tipo de capitais que ela possui. Diversos estudos internacionais demonstraram empiricamente que o desempenho em exames de larga escala está muito associado com os capitais bourdieusianos, como renda familiar, grau de instrução dos pais e acesso à cultura da leitura e escrita (ANDERHAG et al. , 2013; OAKES, 1990; OTOIDE, 2017; ROEHL, 2015). Dessa forma, para a presente investigação, o NSE foi definido a partir de uma combinação dos capitais econômicos e culturais dos candidatos. Os alunos foram divididos em sete grupos diferentes, hierarquicamente ajustados pelos capitais bourdieusianos que possuíam.

Após a definição do NSE e classificação dos candidatos de acordo com esses níveis, a média de acerto em cada item da prova de Ciências da Natureza, para cada um dos sete grupos de NSE foi calculada. A figura 1 ilustra as médias para os sete grupos no primeiro item de Física da prova azul de 2009. É importante destacar que os índices CE e CC correspondem, respectivamente, ao nível de capital econômico e de capital cultural do grupo. O grupo com menor volume de capitais é o CE1\_CC1, seguido pelo CE2\_CC4 e assim por diante.

Figura 1 - Médias de acerto para cada NSE em um item de Física da prova de Ciências da Natureza do ENEM.Fonte: Próprio autor a partir dos dados do INEP/2009.

<!-- image -->

É possível perceber a diferença nas médias de acertos entre os grupos, contudo, no universo de quarenta e cinco itens é preciso algum instrumento que permita a detecção dessas diferenças. Para isso, foi utilizado um indicador de desigualdades chamado de índice de Gini ou coeficiente de Gini. Esse coeficiente é utilizado para medir desigualdades e foi desenvolvido pelo italiano Corrado Gini. Ele é, geralmente, utilizado para medir desigualdades de renda, contudo, serve para a indicação de qualquer tipo de desigualdade. Seus valores variam de 0 até 1, nos quais, o zero significa igualdade total (todas as pessoas possuem a mesma renda) e o um a desigualdade máxima (toda a renda concentrada nas mãos de uma pessoa) (SEN, 1976). Com o cálculo do

coeficiente de Gini foi possível ordenar os itens da menor para a maior variabilidade de médias de acerto entre os grupos.

Após o ordenamento dos itens pelo seu coeficiente de Gini, foi necessário avaliar ainda a qualidade dessas questões. Será que o item está mesmo medindo o que estava realmente disposto a medir? De nada vale um item no qual os grupos de NSE mais baixos acertam com a mesma proporção do que os estudantes dos níveis mais altos, se a questão for muito fácil, ou mal elaborada. Uma forma de inferir a qualidade do item é a partir dos parâmetros da Teoria da Resposta ao Item (TRI). O modelo logístico de três parâmetros da TRI define três medidas associadas para cada um dos itens que constituem um teste (PASQUALI e PRIMI, 2003). O parâmetro a , chamado de discriminação e utilizado como indicador de qualidade do item (NOJOSA, 2002), revela o quão rápida é a transição da baixa para alta probabilidade de resposta certa a um item. Quer dizer, um item com alta discriminação permite que alunos com proficiência elevada tenham muitas chances de acertá-lo, de modo contrário, alunos pouco proficientes têm baixa probabilidade de acertar a questão. Já um item com baixa discriminação não separa estudantes proficientes dos não proficientes, isto é, a probabilidade de acerto dos candidatos habilidosos é muito parecida com a dos não habilidosos, configurando um item pouco revelador para um exame de seleção. A literatura indica que uma discriminação de 0,7 seria o limítrofe para um bom item (BARBETTA et al., 2014). O parâmetro b é a dificuldade do item, que corresponde à habilidade que um candidato precisa ter para garantir 50 por cento de chance acertar a questão. Por exemplo, um item com dificuldade igual 2, de uma escala que varia de -4 até 4, indica que os estudantes com esse valor de proficiência têm 50 por cento de chance de responder corretamente 1 . O parâmetro c , chamado de acerto casual, corresponde à probabilidade de acerto dos candidatos com proficiência muito baixa. Esses candidatos geralmente 'chutam' uma alternativa dentro das cinco possíveis, com isso, idealmente esse parâmetro vale 0,2, ou 20 por cento.

Na próxima seção serão apresentados os itens que se aproximaram e os que mais se afastaram desse ideal construído teoricamente. Esse modelo idealizado de item seria, então, capaz de selecionar estudantes pela sua proficiência, e não pelo volume de capitais disponíveis. Para isso, precisam ter uma boa média de acertos, baixo coeficiente de Gini e alta discriminação. Com isso, será possível determinar qual das três disciplinas que compõem a prova de Ciências da Natureza do ENEM mais contribui para a elitização do exame.

## Resultados

Após a determinação do NSE dos candidatos foram calculadas as médias para todos os 45 itens da prova de Ciências da Natureza. Para o ano 2009, dos dez itens com menor média de acertos, sete eram de Física, dois de Biologia e um de Química. Por outro lado, dos dez itens com maior média, cinco eram de Biologia, três de Física e dois de Química, sugerindo uma dificuldade maior, por parte desses estudantes, na prova de Física do que na de Biologia. Esse resultado é reforçado ao se perceber que a média geral dos itens de

Biologia é aproximadamente 40 por cento, das questões de Química 32 por cento, e da prova de Física 31 por cento.

Em relação às médias para cada um dos sete grupos de NSE, assim como ilustrado pela figura 1, se observou o padrão já apontado pela literatura, candidatos dos grupos de NSE mais elevado obtendo média de acerto maior. No entanto, alguns itens se associaram pouco com o NSE comparativamente com outras questões. Essa afirmação pode ser feita a partir das medidas do coeficiente de Gini. A tabela 1 apresenta, em ordem crescente de desigualdade, os itens da prova de Ciências da Natureza de 2009, ou seja, em ordem crescente de dependência do NSE dos candidatos.

Tabela 1 - Coeficiente de Gini, média e discriminação dos itens da prova de Ciências da Natureza do ENEM de 2009.

Fonte: Próprio autor a partir dos dados do INEP/2009.

Foram destacados em negrito os cinco itens com menor índice Gini, boa média de acertos e alta discriminação - i1, i18, i20, i14 e i3 - e também os cinco itens com maior índice Gini - i2, i33, i19, i10 e i26. Das questões com menor variabilidade entre os diferentes grupos de NSE, três foram de Física, uma de Química e uma de Biologia. Esses itens têm, portanto, a capacidade de não diferenciar os acertadores pela renda que seus pais possuem, ou pelo nível de instrução dos familiares, e sim pela proficiência desses estudantes na área

investigada. Já as cinco questões com maior coeficiente de Gini são as que mais contribuem para a elitização do ENEM, quer dizer, apenas um grupo bem específico de candidatos conseguiu acertar essas questões. Uma análise pormenorizada desses itens pode ser capaz de indicar os motivos que tenham feito esse seleto grupo acertá-los. Por questão de espaço, essa investigação não será realizada no presente trabalho. O objetivo central dessa pesquisa é identificar a disciplina, dentro da prova de Ciências da Natureza, que mais contribui para a elitização do exame. A análise dos itens de 2009 indica que a prova de Biologia é a que mais contribui para esse processo, apesar de ser a disciplina com as questões que tiveram a maior média de acertos. De certa forma, esse resultado sugere que, apesar de ser a prova na qual os alunos mais acertam os itens, é também a disciplina que os estudantes oriundos das classes superiores e altamente estimulados para os estudos conseguem se distanciar, em termos de desempenho, dos estudantes de contextos populares que não vislumbram na educação uma alternativa de ascensão social. Por outro lado, é importante destacar que, a prova de Física, apesar de ser aquela que teve o menor percentual de acertos, conseguiu reunir itens construídos dentro do modelo descrito anteriormente, com boa média, baixo índice de Gini e alta discriminação. Mas qual a característica desses itens? São todas questões que exigem conhecimento específico de Física, de caráter qualitativo e que não envolvem domínio específico da Matemática (NASCIMENTO et al. , 2018).

Para evitar possíveis interpretações arbitrárias a partir da análise de apenas um ano de aplicação do ENEM, todas as etapas metodológicas foram repetidas para os anos de 2012 e 2016. Os resultados indicaram que no ano de 2012 as médias de acertos entre as disciplinas foram mais uniformes - Biologia 33 por cento, Física 30 por cento e Química 28 por cento. Foram encontrados poucos itens com coeficiente de Gini baixo, média alta e boa discriminação, ou seja, questões que seguissem os critérios de qualidade previamente estipulados. Da mesma forma, não foi possível destacar uma disciplina que tenha contribuído mais para a elitização da prova de Ciências da Natureza, como desempenhado pela Biologia na aplicação de 2009. Quer dizer, para o ano de 2012, as três disciplinas contribuíram praticamente da mesma forma para a elitização do exame. Já no ano de 2016, o perfil observado se assemelhou bastante ao do ano de 2009, só que agora a prova de Física foi a que teve a melhor média de acertos - 30 por cento, contra 27 por cento de Biologia e 23 por cento de Química - e concentrou os itens mais relacionados com o nível socioeconômico dos candidatos. Dessa maneira, para esse ano, a prova de Física foi a que mais colaborou com a elitização do exame.

## Considerações finais

Nessa investigação procurou-se identificar qual das disciplinas que constituem a prova de CN, Biologia, Física ou Química, mais contribui para a elitização do ENEM. Essa elitização implica que estudantes oriundos de famílias com maior volume de capital econômico e cultural obtenham melhores desempenhos no exame, atingindo a média necessária para a entrada nos cursos de maior prestígio acadêmico e social. Com isso, esses estudantes, que já vieram de famílias com boa estrutura, conseguem obter melhores salários no futuro, mantendo as desigualdades sociais observadas hoje no país. Após as análises, pode-se destacar que os itens de Biologia, em 2009, e Física, em 2015,

foram os que mais contribuíram para o afastamento, em termos de desempenho, dos estudantes de alto NSE para os de baixo. Em 2012, os itens das três disciplinas tiveram o mesmo caráter elitista.

No ano de 2009 a prova de Biologia teve a maior média de acertos, o que daria a ideia de ser uma prova mais acessível para os alunos de baixo NSE. Contudo, o que se observa é que quando a prova está mais acessível, ou seja, não está muito difícil, os alunos de alto NSE conseguem se distanciar ainda mais dos estudantes com menor volume de capital. Isso também se observou em 2015, só que com a prova de Física.

Em síntese, analisar apenas a média de acertos de uma prova pode transmitir uma ideia errônea do papel seletivo desse instrumento avaliativo. Os pesquisadores do campo educacional precisam se habituar a analisar também o perfil de variação dessa média para os diferentes grupos de estudantes. Uma prova com itens que tiveram elevado percentual de acertos pode, de forma velada, servir para que os alunos dos NSE mais altos consigam se distanciar ainda mais dos outros estudantes, como observado nos exames de 2009 e 2015. Por fim, como perspectiva futura, caberia uma investigação mais detalhada do perfil dos itens aqui destacados e uma comparação da prova de Ciências da Natureza com a de Matemática.

## Referências

ANDERHAG, P.; EMANUELSSON, P.; WICKMAN, P.-O.; HAMZA, K. M. Students' Choice of Post-Compulsory Science: In search of schools that compensate for the socioeconomic background of their students. International Journal of Science Education , v. 35, n. 18, p. 3141-3160, 2013.

ANJOS, A. D.; ANDRADE, D. F. D. Teoria da Resposta ao Item com uso do R . Programa de Pós-graduaçao em Engenharia'de Produção: UFSC, 2012.

BARBETTA, P. A.; TREVISAN, L. M.; TAVARES, H.; AZEVEDO, T. C. A. D. M. Aplicação da teoria da resposta ao item uni e multidimensional. Estudos em Avaliação Educacional , v. 25, n. 57, p. 280-302, 2014.

BOURDIEU, P. The Forms of Capital. In handbook of theory and research for the sociology of education. Edited by: Richardson J. New York: Macmillan, 1986. p. 241258.

\_\_\_\_\_\_.

La distinción: criterio y bases sociales del gusto . Madrid: Taurus, 2016.

BOURDIEU, P.; PASSERON, J.-C. A reprodução: elementos para uma teoria do sistema de ensino . Tradução de DA SILVA, C. P. G. Rio de Janeiro: Vozes, 2008.

BRASIL. A segunda maior prova de acesso ao ensino superior do mundo . Disponível em: &lt;http://portal.mec.gov.br/ultimas-noticias/418-enem-946573306/31151a-segunda-maior-prova-de-acesso-ao-ensino-superior-do-mundo&gt;. Acesso em: 13 mar. de 2018.

KLEIN, R.; FONTANIVE, N.; CARVALHO, J. C. B. D. O desempenho de alunos dos Cursos Pré-vestibulares Comunitários no ENEM 2006: análise de um possível impacto da capacitação de professores. Ensaio: aval. pol. públ. Educ. , v. 15, n. 56, p. 19, 2007.

KLEINKE, M. U. Influência do status socioeconómico no desempenho dos estudantes nos itens de física do Enem 2012. Revista Brasileira de Ensino de Física , v. 39, n. 2, 2017.

NASCIMENTO, M. M.; CAVALCANTI, C.; OSTERMANN, F. Análise de Correspondência aplicada à pesquisa em Ensino de Ciências. Enseñanza de las ciencias , n. Extra, p. 1319-1324, 2017.

NASCIMENTO, M. M.; CAVALCANTI, C.; OSTERMANN, F. Uma busca por questões de Física do ENEM potencialmente não reprodutoras das desigualdades socioeconômicas. Revista Brasileira de Ensino de Física , v. 40, n. 3, 2018.

NOJOSA, R. T. Teoria da Resposta ao Item (TRI) Modelos Multidimensionais. Estudos em Avaliação Educacional , n. 25, p. 33, 2002.

OAKES, J. Multiplying inequalities: The effects of race, social class, and tracking on opportunities to learn mathematics and science. In: FOUNDATION, N. S. (Ed.). Washington, D.C., 1990. p. 152.

OTOIDE, L. In pursuit of the practice of radical equality: Rancière inspired pedagogical inquiries in elementary school science education. Cultural Studies of Science Education , v. 12, n. 2, p. 299-319, 2017.

PASQUALI, L.; PRIMI, R. Fundamentos da teoria da resposta ao item: TRI. Avaliação Psicológica , v. 2, n. 2, p. 99-110, 2003.

ROEHL, T. What PISA measures: some remarks on standardized assessment and science education. Cultural Studies of Science Education , v. 10, n. 4, p. 1215-1222, 2015.

SEN, A. Poverty: an ordinal approach to measurement. Econometrica: Journal of the Econometric Society , p. 219-231, 1976.

VIGGIANO, E.; MATTOS, C. O desempenho de estudantes no Enem 2010 em diferentes regiões brasileiras. Rev. bras. Estud. pedagog. (online) , v. 94, n. 237, p. 21, 2013.