QUAIS FORAM AS MUDANÇAS NOS ITENS DO ENEM QUE ABORDAM O CONCEITO ENERGIA ORIUNDAS DA IMPLEMENTAÇÃO DO SISU?

## QUAIS FORAM AS MUDAN˙AS NOS ITENS DO ENEM QUE ABORDAM O CONCEITO ENERGIA ORIUNDAS DA IMPLEMENTA˙ˆO DO SISU?

## WHAT ARE CHANGES AT ENERGY ISSUES OF NATIONAL SECONDARY EDUCATION EXAMINATION CAUSED BY UNIFIED SYSTEM SELECTION?

## Esdras Viggiano , Cristiano Mattos 1 2

1 Universidade de Sªo Paulo / Programa de Pós-Graduaçªo Interunidades em Ensino de CiŒncias; Universidade Federal do Triângulo Mineiro, esdras@ensinodeciencias.com

2 Universidade de Sªo Paulo/Departamento de Física, mattos@if.usp.br

## Resumo

O Exame Nacional do Ensino MØdio (Enem) foi criado em 1998 com as finalidades de avaliar o sistema educacional brasileiro e ser modalidade alternativa de acesso ao Ensino Superior. Em 2009, o Exame passou por uma modificaçªo que foi designada pelo MinistØrio da Educaçªo por 'Novo Enem'. Na ocasiªo, o Exame passou a ser um dos principais mecanismos de ingresso no Ensino Superior, sendo fundamental no Sistema de Seleçªo Unificada (SiSU). Neste trabalho, procuramos compreender como estas mudanças afetaram os itens que utilizam o conceito de energia. Escolhemos este conceito por se tratar de um conceito estruturante na física e nas suas relaçıes interdisciplinares. Neste trabalho, utilizamos categorias obtidas em trabalhos anteriores, nos quais foram feitos levantamentos sobre as formas com que o conceito de energia era abordado nas questıes Exame, desde 2004 atØ 2010. O levantamento permite que compreender o exame em dois períodos: prØ (Período A: 2004-2008) e pós-reforma (Período B: 2009-2011) do Enem. A partir dessa categorizaçªo, analisamos cada período e as modificaçıes acontecidas ao longo do tempo. Os resultados preliminares indicam que com a implementaçªo do SiSU a natureza dos itens que abordam o conceito energia vem se aproximando do modelo semelhante ao vestibular tradicional, apontando para uma contradiçªo visto que o ENEM foi criado como alternativa àquele. Aparentemente o ENEM tem se mostrado contraditório tanto à sua proposta original quanto à proposta atual, pois tem valorizado menos as discussıes de natureza social, cultural e interdisciplinar.

Palavras-chave : Enem; Conceito energia; SiSU; Avaliaçªo; Vestibular.

## Abstract

The National Secondary Education Examination (Enem) was created in 1998 with the purpose of evaluating the Brazilian educational system and to be alternative access to Higher Education. In 2009, the exam has undergone a modification that has been designated by the Ministry of Education as "New Enem". On occasion, the examination has become a major mechanism for entry into higher education, being instrumental in Unified Selection System (SiSU). In this work, we seek to understand how these changes have affected items using the concept of energy. We chose this concept because it is a pivotal concept in physics and its interdisciplinary relations. In

this study, we used categories obtained in previous works, in which surveys the ways in which the concept of energy was discussed in Exam questions from 2004 to 2010 were made. The study allows to understand the exam in two periods: pre (Period A : 2004-2008) and post Enem (Period B: 2009-2011) reform. From this categorization, we analyzed each period and the changes over time. Preliminary results indicate that with the implementation of SiSU the nature of items which address the concept energy is approaching to the traditional model of vestibulars pointing to a contradiction since the ENem was created as an alternative to that. Apparently ENEM has shown contradictory both to its original proposal and to its current proposal, it has less valued discussions concerning social, cultural and interdisciplinary issues.

Keywords : Enem; Energy concept; SiSU; Evaluation; Vestibular.

## Introduçªo e Referencial Teórico

No Brasil hÆ muito se consolidou o vestibular como principal forma de acesso ao ensino superior. Significativa parcela destes exames valorizava a utilizaçªo de conceitos de forma mecânica, em exercícios típicos e muitas vezes careciam apenas de saber substituir valores em fórmulas decoradas nos cursos preparatórios. Em 1998, o Exame Nacional do Ensino MØdio (ENEM) foi criado com duas funçıes principais: modalidade alternativa ou complementar aos Exames de acesso aos cursos Profissionalizantes Pós-MØdios e ao Ensino Superior (BRASIL, 1998, p.2) e para uma avaliaçªo externa do Sistema Educacional Brasileiro.

O documento que balizou a realizaçªo do Enem (BRASIL, 1998) sustentava o Exame em uma matriz de competŒncias e habilidades, as quais deveriam ser avaliadas na prova. Nªo havia nenhum tipo de listagem de conteœdos ou algo do tipo, criando grande contraste com os vestibulares. Em 2009, com a criaçªo do Sistema de Seleçªo Unificada (SiSU), ocorreu uma remodelagem do Exame, com a inclusªo de uma listagem de conteœdos e algumas mudanças na matriz de competŒncias e habilidades e a expansªo do uso do Enem como forma de acesso à educaçªo superior. Desde entªo, ao estudante permite-se concorrer a vagas em diversas Instituiçıes de Ensino Superior (IES). Em algumas IES, o Enem chega a ser a œnica modalidade de acesso, ou Ø parte fundamental do mesmo.

Vianna (2003) aponta que a funçªo avaliativa do sistema educacional ficou limitada, nªo avaliando todas as competŒncias e habilidades que se esperava avaliar. Aponta ainda, que nªo hÆ a divulgaçªo da atratividade de cada alternativa dos itens de provas.

Algumas pesquisas tŒm sido desenvolvidas no sentido de compreender como o Enem evoluiu ao longo do tempo. Peixoto e Linhares (2010), por exemplo, compararam as diretrizes que balizam o Exame, indicando quais os temas e enfoques mais abordados nos Exames. Silva e Prestes (2009) e Viggiano e outros (2010) trabalharam com categorias baseadas nas abordagens de CiŒncia, Tecnologia e Sociedade. Nestes trabalhos, procurou-se compreender como as questıes que envolviam conceitos físicos foram tratadas em alguns dos exames. Alguns trabalhos (por exemplo, GUARIGLIA et al., 2009; VIGGIANO et al., 2010; 2011; SOARES; OLIVEIRA, 2010) analisaram as matrizes de competŒncias e habilidades (BRASIL, 1998; 2009) que sªo utilizadas na criaçªo dos itens de cada um dos processos.

De modo geral, o conceito de energia Ø fundamental para o Ensino de CiŒncias e para o desenvolvimento das CiŒncias. Assim, podemos considerar tal conceito central na avaliaçªo feita com o Enem, considerando, principalmente, o 'Documento BÆsico do Enem' (BRASIL, 1998) e na 'Matriz de referŒncia para o Novo Enem' (BRASIL, 2009) esta assume ponto de destaque e pode ser entendido como tema transversal, incentivando a interdisciplinaridade defendida nos Parâmetros Curriculares Nacionais. Por ser um tema de grande importância, sua abordagem (em sala de aula, em avaliaçıes etc.) tambØm indica que tipo de educaçªo se pretende, seja ela transmissiva ou bancÆria ou problematizadoras e libertadora (FREIRE, 1987).

A partir de perspectivas de ensino baseado em CiŒncia, Tecnologia e Sociedade (CTS), frequentemente, o conceito energia Ø discutido do ponto de vista reflexivo e na direçªo de formaçªo de cidadªos conscientes e cientificamente capacitados para tomada de decisıes de cunho ambiental, político, econômico e social. O que a torna próxima das propostas de educaçªo problematizadora. Por outro lado, o conceito de energia tambØm pode ser tratado de forma mecânica, com estratØgias que se baseiam na memorizaçªo de fórmulas ou que apenas a incluam como pano de fundo, sem uma problematizaçªo, aproximando-se de uma abordagem bancÆria.

Alguns trabalhos tŒm investigado a energia no Enem. Guariglia et al. (2009), Viggiano et al. (2010) e Ramos (2011) estudaram este conceito no Exame com recortes baseados em abordagens CiŒncia, Tecnologia e Sociedade (CTS). Segundo Ramos (2011), dos itens que podem ser considerados como da Ærea da física, em cada um dos Exames (atØ 1998, antes da reforma), cerca de 60% abordaram o carÆter social, econômico e ambiental em articulaçªo com a energia. O autor aponta que isso Ø contraditório com as abordagens mais comuns deste conceito no Ensino BÆsico, o qual Ø o abordado na direçªo de utilizaçªo mecânica do conceito. Ainda para Ramos, as questıes sobre energia podem ser agrupadas em trŒs categorias: a) manifestaçıes da energia; b) questıes sobre eficiŒncia e consumo; e c) situaçıes energØticas que enfatizam questıes ambientais.

Viggiano, Guariglia e Mattos (2010) propuseram 5 categorias baseadas em abordagens CTS, de itens do Enem de 2004 a 2010 que abordavam o conceito energia. Viggiano, Guariglia e Mattos (2010) compararam as categorias com as habilidades presentes nos documentos norteadores do Enem. As categorias propostas por Viggiano, Guariglia e Mattos (2010, pp.3-4) foram as seguintes:

- a) Produçªo de Energia ElØtrica: questıes envolvem discussıes referentes às tecnologias de produçªo e aos fatores sociais e econômicos relacionados à produçªo de energia elØtrica;
- b) Economia Financeira: questıes ligadas aos custos contemporâneos da energia elØtrica;
- c) Historicidade: questıes que analisam a utilizaçªo de energia em um ou mais períodos;
- d) Políticas e fontes de energia menos poluentes: questıes abordam basicamente fatores ambientais,
- e) Conhecimento científico stricto sensu (cientificismo): questıes se comprometem com os processos, conceitos e, sobretudo, na aplicaçªo desconectada de problemas econômicos, sociais e ambientais, isto Ø, descontextualizada das discussıes estabelecidas em nossa sociedade, solidificadas a partir da revoluçªo tecnológica ocorrida nas œltimas dØcadas do sØculo XX.

- f) Foco difuso / Duvidosa: foco nªo se enquadrando em nenhuma das categorias anteriores, sobretudo, devido à dispersªo de conteœdos.

## Objetivo

Neste trabalho, a partir das categorias propostas por Viggiano, Guariglia e Mattos (2010), nos propomos analisar o período de 2004 a 2011 para compreender como o conceito energia vem sendo tratado no Enem. TambØm temos como objetivo compreender se houve mudança com a implantaçªo do SiSU na abordagem dos itens sobre energia.

Assim, assumimos como questªo de investigaçªo: Como as abordagens dos itens envolvendo o conceito energia mudaram com a implantaçªo do Sistema de Seleçªo Unificada?

## Metodologia

Para a anÆlise, selecionamos os itens do Enem que consideramos que envolviam o conceito energia entre os anos de 2004 e 2011. Para tanto, verificamos todas as questıes em que a palavra energia aparecia e fizemos uma leitura geral identificando aquelas que este conceito estava presente implicitamente. A partir da seleçªo, categorizamos as questıes utilizando as categorias propostas por Viggiano, Guariglia e Mattos (2010), adaptando a categoria 'difusa' para 'outra'. Entendemos que a categoria 'difusa' enquadra itens que possuem características que nªo sªo atendidas nas demais categorias, nªo sendo, necessariamente, questıes difusas como apontam os autores citados.

Assim, a amostra foi constituída com a identificaçªo de 91 questıes, que foram organizadas em dois grupos de anÆlise: Grupo A abrangendo questıes de 2004 a 2008 (antes da reforma do Enem) e Grupo B questıes relativas ao período de 2009 a 2011 (após a reforma do Enem).

Após a seleçªo das questıes e sua categorizaçªo, como mØtodo de anÆlise, utilizamos estatística descritiva, focando na descriçªo de dados em tabelas com frequŒncias relativas e absolutas de dados categóricos (AGRESTI; FINLAY, 2012). Construímos uma tabela principal na qual apresentamos as frequŒncias absoluta e relativa de cada uma das categorias. Tendo por base o nœmero de questıes por ano, assumimos este como sendo 100% para a frequŒncia total da categorizaçªo. Por exemplo, em um ano com 8 itens sobre energia, 2 desses na categoria X correspondem a 25% do total (daquele ano). Com os arredondamentos, nem sempre a soma das porcentagens de cada categorizaçªo corresponde a 100%.

O Enem Ø aplicado em diferentes cadernos de prova, com os mesmos itens, os quais sªo apresentados em ordem diferente em cada caderno. Optamos por analisar o caderno azul em todos os anos.

## AnÆlise

A seguir apresentamos exemplo de 3 das categorias presentes no Enem 2011, que tambØm tipificam os demais Exames.

## CATEGORIA (F) Outro: 2011 - QUESTˆO 07

Uma empresa norte-americana de bioenergia estÆ expandindo suas operaçıes para o Brasil para explorar o mercado de pinhªo manso. Com sede na Califórnia, a empresa desenvolveu sementes híbridas de pinhªo

manso, oleaginosa utilizada hoje na produçªo de biodiesel e de querosene de aviaçªo. MAGOSSI, E. O Estado de Sªo Paulo. 19 maio 2011 (adaptado). A partir do texto, a melhoria agronômica das sementes de pinhªo manso abre para o Brasil a oportunidade econômica de

- a) ampliar as regiıes produtoras pela adaptaçªo do cultivo a diferentes condiçıes climÆticas
- b) beneficiar os pequenos produtores camponeses de óleo pela venda direta ao varejo.
- c) abandonar a energia automotiva derivada do petróleo em favor de fontes alternativas.
- d) baratear cultivos alimentares substituídos pelas culturas energØticas de valor econômico superior.
- e) reduzir o impacto ambiental pela nªo emissªo de gases do efeito estufa para a atmosfera.

Na questªo 7 de 2011, apesar de referir-se a bioenergia, a produçªo de pinhªo manso, que Ø, implicitamente, associada à produçªo de biodiesel, nªo conseguimos categorizÆ-la em uma categoria de forma clara, sobretudo, pela franca consistŒncia nas dimensıes CTS.

## CATEGORIA (E) Conhecimento científico stricto sensu (cientificismo): 2011 - QUESTˆO 164

Muitas medidas podem ser tomadas em nossas casas visando à utilizaçªo racional de energia elØtrica. Isso deve ser uma atitude diÆria de cidadania. Uma delas pode ser a reduçªo do tempo no banho. Um chuveiro com potŒncia de 4800W consome 4,8kW por hora. Uma pessoa que toma dois banhos diariamente, de 10 minutos cada, consumirÆ, em sete dias, quantos kW? [alternativas omitidas]

Na questªo 164 de 2011, os candidatos nªo precisam saber exatamente o conceito energia, precisando saber fazer uma regra de trŒs. Bastava-se utilizar uma fórmula para se obter a resposta. Algo grave Ø que a pergunta, ao seu final, apresenta um erro dimensional: a unidade de energia Ø kWh e nªo kW, que Ø unidade de potŒncia. Isto Ø, a questªo alØm de exigir apenas aplicaçªo mecânica de uma fórmula, ainda apresenta erros conceituais.

## CATEGORIA (D) Políticas e fontes de energia menos poluentes: 2011 QUESTˆO 71

Os biocombustíveis de primeira geraçªo sªo derivados da soja, milho e cana-de-açœcar e sua produçªo ocorre atravØs (sic) da fermentaçªo. Biocombustíveis derivados de material celulósico ou biocombustíveis de segunda geraçªo - coloquialmente chamados de 'gasolina de capim' sªo aqueles produzidos a partir de resíduos de madeira (serragem, por exemplo), talos de milho, palha de trigo ou capim de crescimento rÆpido e se apresentam como uma alternativa para os problemas enfrentados pelos de primeira geraçªo, jÆ que as matØrias-primas sªo baratas e abundantes.

- DALE, B.E.; HUBER, G.W. Gasolina de capim e outros vegetais. Sci. Am.l do Brasil, Ago. 2009, n' 87 (adaptado). O texto mostra um dos pontos de vista a respeito do uso dos biocombustíveis na atualidade, os quais
- a) sªo matrizes energØticas com menor carga de poluiçªo para o ambiente e podem propiciar a geraçªo de novos empregos, entretanto, para serem oferecidos com baixo custo, a tecnologia da degradaçªo da celulose nos biocombustíveis de segunda geraçªo deve ser extremamente eficiente.
- b) oferecem mœltiplas dificuldades, pois a produçªo de alto custo, sua implantaçªo nªo gera empregos, e deve-se ter cuidado com o risco

ambiental, pois eles oferecerem os mesmos riscos que o uso de combustíveis fósseis.

- c) sendo de segunda geraçªo, sªo produzidos por uma tecnologia que acarreta problemas sociais, sobretudo decorrente do fato de a matØriaprima ser abundante e facilmente encontrada, o que impede a geraçªo de novos empregos.
- d) sendo de primeira e segunda geraçªo, sªo produzidos por tecnologias que devem passar por uma avaliaçªo criteriosa quanto ao uso, pois uma enfrenta o problema da falta de espaço para plantio da matØriaprima e a outra impede a geraçªo de novas fontes de emprego.
- e) podem acarretar sØrios problemas econômicos e sociais, pois a substituiçªo do uso de petróleo afeta negativamente toda uma cadeia produtiva na medida em que exclui diversas fontes de emprego nas refinarias, postos de gasolina e no transporte de petróleo e gasolina.

O item 71 da prova de 2011 requer do respondente que o mesmo saiba interpretar o texto, levando em conta as dimensıes política, econômica e social. Nªo sendo possível responder de imediato à questªo sem anÆlise minuciosa.

Dispomos na Tabela 1 frequŒncia absoluta e relativa de questıes em cada uma das categorias.

Tabela 1: FrequŒncia absoluta e relativa de categorizaçªo das questıes do Enem que abordam o conceito energia no período 2004 a 2011

O Período A, compreendendo período anterior à reforma, tem por mØdia 9 questıes por ano sobre energia, enquanto o Período B apresenta a mØdia de 15,7. A mØdia do Período B Ø elevada pelo nœmero de questıes em 2009. Se olharmos para a prova como um todo, a energia representa percentualmente menos na prova 2009 do que nos anos anteriores, jÆ que o nœmero total de itens por exame aumentou de 63 para 180.

Em 2008, por exemplo, os itens que versaram sobre energia representaram 19% do total de itens da prova, jÆ em 2012, representam pouco mais de 7%. Isto indica que o conceito energia continua sendo importante, mas menos valorizado.

Em 2009, todas as categorias foram identificadas nos itens, o que pode ser reflexo do alto nœmero de enunciados sobre energia. A Categoria D em 2010 teve uma drÆstica reduçªo, sendo uma das categorias que mais bem abarcam as dimensıes CTS.

Comparando os Blocos A e B, identificamos que a Categoria E foi significativamente mais frequentes no Período B em 2009 (39%), 2010 (60%) e 2011 (86%). JÆ a categoria A, no Período A, representou 14% das questıes, no Período B, 10%. Todas as categorias, exceto a categoria E, tiveram um decrØscimo relativo significativo do Período A para o B.

Quanto à Categoria E (Cientificista), nota-se que ocorreu um considerÆvel aumento na sua frequŒncia, crescendo muito do Período A para B (de 20 para 59%). E mesmo dentro do Período B, ocorre um crescimento muito expressivo ao longo do tempo, chegando a representar 86% dos itens em 2011, sendo que apenas duas questıes nªo foram categorizadas nesta categoria em 2011.

## Consideraçıes Finais

Apesar do conjunto de categorias criado por Viggiano, Guariglia e Mattos (2010) para amostra distinta da aplicada neste trabalho, Ø possível verificar que, considerando-se a anÆlise dos Enem de 2009, 2010 e 2011, os resultados ora obtidos ratificam o trabalho desses autores, os quais concluem que o Enem modificou-se consideravelmente com a implementaçªo do SiSU.

A categoria (E), aqui entendida como expressªo do tipo de questıes dos vestibulares tradicionais, baseados em expectativas de memorizaçªo. , tem um aumento de frequŒncia de itens, dando forte indício de que após a reestruturaçªo do Enem a natureza preliminar do exame mudou. Isto porque, com a implantaçªo do SiSU, os itens sobre que abordam o conceito energia tŒm se aproximado aos poucos do antigo modelo vestibulesco, destoando das premissas presentes nos documentos orientadores da Educaçªo Brasileira (BRASIL, 1996; 1999; 2002), as quais valorizam a avaliaçªo por competŒncias e habilidades. Portanto, o crescimento da categoria 'cientificista' Ø contraditório com os sentidos estabelecidos com a matriz orientadora do Enem (BRASIL, 2009), jÆ que se baseia fortemente na aplicaçªo mecânica de fórmulas e que nem sempre contemplam as competŒncias e habilidades presentes na matriz.

Os dados obtidos no que se refere à frequŒncia absoluta de questıes sobre energia no Período A, atØ 2008, concordam com o trabalho de Peixoto e Linhares (2010), que afirmam que o nœmero de itens de física aumentou com a implementaçªo do SiSU. Contudo, analisando-se os anos de 2010 e 2011, a frequŒncia relativa do conceito energia em itens diminuiu consideravelmente, chegando a 7% em 2011, contra a mØdia de 14 no Período A. Logo, entre os resultados deste trabalho, podemos apontar o decrescimento temporal da frequŒncia relativa do conceito energia nos itens do Enem, no período pós-reforma.

Portanto, a reforma do Enem trÆs contradiçıes, ao menos no que concerne aos itens que abordam o conceito energia, pois se a intençªo era a de utilizar um sistema avaliativo que cobrasse dos estudantes para alØm da utilizaçªo mecânica de conhecimento, temos o movimento contrÆrio, uma vez que acaba por valorizar ainda mais o modelo vestibular. Isso Ø preocupante, visto que o modelo, anteriormente, era restrito a cada Universidade, porØm passa a ser utilizado de forma ampla, tento em vista a abrangŒncia da utilizaçªo do Enem para acesso ao Ensino Superior Pœblico Brasileiro.

Portanto, uma resposta preliminar para nossa pergunta de pesquisa Ø a de que, com a consolidaçªo do Sistema de Seleçªo Unificada, a frequŒncia relativa dos

itens que abordam o conceito energia no Enem Ø reduzida e suas abordagens passam a ser mais cientificistas, afastando o Exame dos preceitos presentes nos documentos legais.

## ReferŒncias

AGRESTI, A.; FINLAY, B. MØtodos estatísticos para as CiŒncias Sociais. MØtodos de pesquisa. 4'ed. (traduçªo Lori Viali). Porto Alegre: Penso, 2012.

BRASIL. MinistØrio da Educaçªo e Cultura, Lei n. 9.394 de 20 de dezembro de 1996 . Estabelece as diretrizes e bases da educaçªo nacional. Brasília. 1996.

\_\_\_\_\_\_. MinistØrio da Educaçªo MEC, Secretaria de Educaçªo MØdia e Tecnológica - Semtec. Parâmetros Curriculares Nacionais para o Ensino MØdio. Brasília: MEC/Semtec, 1999.

\_\_\_\_\_\_. MinistØrio da Educaçªo MEC, Secretaria de Educaçªo MØdia e Tecnológica -Semtec. PCN+ Ensino MØdio : orientaçıes educacionais complementares aos parâmetros Curriculares Nacionais - CiŒncias da Natureza, MatemÆtica e suas Tecnologias. Brasília: MEC/Semtec, 2002.

- \_\_\_\_\_\_. MinistØrio da Educaçªo e do Desporto. Matriz de referŒncia para o Enem 2009 . Brasília: MEC, 2009.

FREIRE, P. Pedagogia do Oprimido . Rio de Janeiro: Paz e Terra, 1987.

GUARIGLIA, C.E.; VIGGIANO, E.; MATTOS, C.R. Categorias de questıes sobre energia no ENEM. In: VII Encontro Nacional de Pesquisa em Educaçªo em CiŒncias. Florianópolis. Atas... Rio de Janeiro: Abrapec, 2009.

PEIXOTO, K.C.Q.C.; LINHARES, M.P. Novo Enem: o que mudou? uma investigaçªo dos conceitos de física abordados no Exame. In: XII Encontro de Pesquisa em Ensino de Física - 'guas de Lindóia. Atas... Sªo Paulo: SBF, 2010.

RAMOS, F.A. Energia e sustentabilidade no ensino de física : leituras da matriz energØtica brasileira. 2011. Dissertaçªo (Mestrado em Ensino de Física) - Ensino de CiŒncias (Física, Química e Biologia), Universidade de Sªo Paulo, Sªo Paulo, 2011. Disponível em: < http://www.teses.usp.br/teses/disponiveis/81/81131/tde-20072011151447/es.php >. Acesso em: 10/05/2014

SANTOS, M.E.V.M. A cidadania na voz dos manuais escolares . Lisboa: Livros Horizonte, 2001.

SILVA A.M.M.; PRESTES, R.F. Conhecimentos de física nas questıes do Exame nacional do ensino mØdio. In XVIII Simpósio Nacional de Ensino de Física - SNEF 2009, Vitória. Atas... , Sªo Paulo: SBF, 2009.

SOARES; OLIVEIRA Avaliaçıes Externas no Brasil: uma anÆlise entre ENEM, SIMAVE e Vestibulares. In: XIII CIAEM - I ACME, Recife, Brasil. Atas... , 2011

VIANNA, H.M. Avaliaçıes nacionais em larga escala: anÆlises e propostas . Estudos em Avaliaçªo Educacional , n.27, jan-jun de 2003.

VIGGIANO, E.; GUARIGLIA, C.E.; MATTOS, C.R. O Exame Nacional do Ensino MØdio: avaliaçªo institucional ou seleçªo para o ensino superior?. In: V Congresso Luso Brasileiro e IX Colóquio sobre questıes curriculares, Porto (Portugal). Atas... 2010.