A QUALIDADE DAS QUESTÕES DE FÍSICA NO ENEM E O PROBLEMA DA DIMENSIONALIDADE DA PROVA DE CIÊNCIAS DA NATUREZA E SUAS TECNOLOGIAS

## A QUALIDADE DAS QUESTÕES DE FÍSICA NO ENEM E O PROBLEMA DA DIMENSIONALIDADE DA PROVA DE CIÊNCIAS DA NATUREZA E SUAS TECNOLOGIAS 1

## SOME CONCEPTUAL ERRORS PRESENT IN THE ENEM'S PHYSICS ITEMS AND THE ISSUE OF DIMENSIONALITY OF THE NATURAL SCIENCES AND THEIR TECHNOLOGIES TEST

## Bolivar Alves Oliveira 1

1 Pesquisador Independente (Pós-Doutor em Física), servidor público concursado e lotado na Diretoria de Avaliação da Educação Básica-Daeb/Instituto Nacional de Estudos Educacionais Anísio Teixeira-Inep, bolivar@cbpf.br

## Resumo

A partir de 2009, o Enem passou a ser analisado estatisticamente segundo a Teoria de Resposta ao Item-TRI, ostentando, dessa forma, conforme seus empedernidos defensores e usuários, cientificidade e confiabilidade no cálculo das proficiências dos alunos. Neste trabalho questiona-se, por um lado, a qualidade das questões de Física nas provas de Ciências da Natureza e suas Tecnologias-CNT nas últimas edições desse Exame. Tomam-se como referencial, principalmente, as análises críticas realizadas pelos professores Fernando Lang (2014) e José Maria Bassalo (2011), as quais revelam questões eivadas de erros conceituais, lógicos e em conflito com as próprias leis da Física. Em consequência, uma pergunta oportuna que se coloca é a seguinte: por que a TRI não foi capaz de detectar psicometricamente tais erros conceituais? Por outro lado, ainda segundo a Matriz de Referência de CNT do Enem, ao responder à prova de CN, o estudante deve mobilizar conhecimentos de Física, Biologia e Química de modo disciplinar ou interdisciplinar. O construto Ciências da Natureza e suas Tecnologias apresenta, portanto, uma estrutura, pelo menos, tridimensional. No entanto, a metodologia psicométrica utilizada para analisar estatisticamente as respostas dos alunos é baseada em um modelo unidimensional da TRI. Tal incoerência metodológica compromete o cálculo das proficiências e, por conseguinte, a própria classificação dos alunos que concorrem a uma vaga nas universidades. Com o objetivo de contribuir construtivamente para o aperfeiçoamento do Enem, sugere-se que tal incoerência metodológica poderia ser superada, fazendo-se uso de modelos multidimensionais da TRI. Chama-se, também, a atenção para o fato de que o uso da Psicometria não deve escamotear eventuais problemas conceituais ao se escorar em aparente cientificidade e rigor metodológico.

Palavras-chave : Enem, Questões de Física, Teoria de Resposta ao ItemTRI, Modelos unidimensionais da TRI, Modelos unidimensionais da TRI.

## Abstract

Since 2009 the Brazilian National Secondary Education Examination (Enem, Exame Nacional do Ensino Médio) is statistically analyzed within the item response theory (IRT) framework, thereby exhibiting, according to its both adamant supporters and users, a high degree of scientific character and reliability in its assessment process. In this work one raises the question about the conceptual quality underlying the physics items in the Natural Science Test over the last years. That is grounded on strident criticisms performed by Professors Fernando Lang (2014) and José Maria Bassalo (2011), which reveal the existence of serious conceptual errors, logical mistakes and inconsistencies with the laws of physics. Accordingly, an opportune issue to be raised is the following: Why does the IRT methodology has failed to capture such conceptual errors? On the other hand, according to the Reference Matrix for the Natural Science Test students should make use of disciplinary and interdisciplinary knowledge in Physics, Biology, and Chemistry upon answering the test items.The theoretical construct called Natural Sciences and their Technologies displays a three-dimensional framework. However, a unidimensional IRT model is used for statistically analyzing the students' responses. Such a methodological incoherence sets in doubts the estimates of the students' proficiencies and, accordingly, their classification in the score ranking that allows them access to college. In order to constructively improve Enem, it is suggested that such a methodological incoherence could be overcame by employing multidimensional IRT models rather than unidimensional ones. It is recalled also that the use of Psychometrics should not hide clear-cut conceptual mistakes or errors by supporting an apparent scientific character and methodological rigour.

Keywords : ENEM secondary education assessment, Physics Item, Item Response Theory, Unidimensional IRT Models, Multidimensional IRT Models.

## Introdução

Segundo o mais recente documento oficial que trata das Diretrizes Curriculares Nacionais para a Educação Básica-DCNEB (BRASIL, 2013), interdisciplinaridade e contextualização permanecem como os princípios pedagógicos estruturadores dos currículos do Ensino Médio. Interdisciplinaridade é assumida como o princípio de que

'todo conhecimento mantém um diálogo permanente com outros conhecimentos', e que 'o ensino deve ir além da descrição e constituir nos estudantes a capacidade de analisar, explicar, prever e intervir, objetivos que são mais facilmente alcançáveis se as disciplinas, integradas em áreas de conhecimento, puderem contribuir, cada uma com sua especificidade, para o estudo comum de problemas concretos, ou para o desenvolvimento de projetos de investigação e/ou de ação'.

Além de interdisciplinar, tal documento também enfatiza que o conhecimento deve ser contextualizado a fim de proporcionar aos estudantes aprendizagens relevantes e socialmente significativas.

Por outro lado, o Exame Nacional do Ensino Médio-Enem visa a avaliar o conhecimento dos estudantes mediante competências e habilidades desenvolvidas ao longo da escolaridade básica (INEP, 2009), as quais são conceituadas de forma geral da seguinte forma (INEP, 2002):

'Competências são as modalidades estruturais da inteligência, ou melhor, ações e operações que utilizamos para estabelecer relações com e entre objetos, situações, fenômenos e pessoas que desejamos conhecer'.

'As habilidades decorrem das competências adquiridas e referem-se ao plano imediato do 'saber fazer'. Por meio das ações e operações, as habilidades aperfeiçoam-se e articulam-se, possibilitando nova reorganização das competências'.

Acredita-se que o Ensino Médio orientado por habilidades e competências possa estimular, em certa medida, o trabalho interdisciplinar pedagogicamente contextualizado (PINHEIRO, OSTERMANN, 2010). Na prática, no entanto, a estrutura curricular do Ensino Médio passa ao largo dos princípios da interdisciplinaridade e da contextualização, consolidando, ao contrário, a memorização superficial dos conteúdos (MACENO et al., 2011). Os livros didáticos, por exemplo, ainda apresentam listas enormes de conteúdos das respectivas disciplinas, tais como exigidos normalmente pelos vestibulares (MACENO et al., 2011; CHIQUETTO, KRAPAS, 2012; COSTA, 2013; MOZENA, OSTERMANN, 2014). Nesse contexto, a partir de 2009 concebeu-se um novo Enem a ostentar a função - entre outras- de indutor de uma eventual reestruturação dos currículos do Ensino Médio (INEP, 2009a) em termos de quatro grandes áreas de conhecimento nos moldes das próprias Matrizes de Referências do Enem (INEP, 2012), as quais contemplam intrinsecamente ambos os princípios de interdisciplinaridade e contextualização. Dessa forma, conceitualmente, o chamado Novo Enem mantém-se o mesmo que aquele instituído originalmente em 1998 (INEP, 2009b).

As Matrizes de Referência-MR do Enem são divididas em quatro áreas de conhecimento: Ciências Humanas e suas Tecnologias-CHT; Ciências da Natureza e suas Tecnologias-CNT; Linguagens, Códigos e suas Tecnologias-LCT e Redação; Matemática e suas Tecnologias-MAT. Cada área de conhecimento engloba seus respectivos componentes curriculares. A matriz de CNT, por exemplo, compõe-se de Física, Química e Biologia. Comuns a todas as quatro áreas de conhecimento, há ainda cinco eixos cognitivos 1) dominar linguagens; 2) compreender fenômenos; 3) enfrentar situações-problema; 4) construir argumentação; e 5) elaborar propostas. Além desse domínio cognitivo, cada MR fundamenta-se em um rol específico de competências e habilidades, bem como em uma lista de conteúdos, chamados de objetos de conhecimento [INEP, 2012; PEIXOTO, LINHARES, 2010]. À guisa de exemplo, podemos citar a chamada Competência 6 da matriz de CNT: Apropriar-se de conhecimentos da Física para, em situações problema, interpretar, avaliar ou planejar intervenções científicotecnológicas. Associadas à essa competência, há as seguintes quatro habilidades: H20 - Caracterizar causas ou efeitos dos movimentos de partículas, substâncias, objetos ou corpos celestes; H21 - Utilizar leis físicas e (ou) químicas para interpretar processos naturais ou tecnológicos inseridos no contexto da termodinâmica e(ou) do

eletromagnetismo; H22 - Compreender fenômenos decorrentes da interação entre a radiação e a matéria em suas manifestações em processos naturais ou tecnológicos, ou em suas implicações biológicas, sociais, econômicas ou ambientais; H23 -Avaliar possibilidades de geração, uso ou transformação de energia em ambientes específicos, considerando implicações éticas, ambientais, sociais e/ou econômicas. A lista de objetos de conhecimento em Física é divida nos seguintes tópicos gerais: i) Conhecimentos básicos e fundamentais; ii) O movimento, o equilíbrio e a descoberta de leis físicas; iii) Energia, trabalho e potência; iv) A mecânica e o funcionamento do universo; v) Fenômenos elétricos e magnéticos; vi) Oscilações, ondas, óptica e radiação; vii) O calor e fenômenos térmicos.

Desde 2009, o instrumento de avaliação do Enem consiste em uma prova de redação e quatro provas objetivas com 45 questões (itens) de múltipla escolha cada uma, contemplando as quatro áreas de conhecimento. As questões de Física, por exemplo, são elaboradas levando-se em conta a matriz de referência de CNT. Nas provas objetivas do Enem, a proficiência (a nota) de cada aluno é calculada com base nas respostas dadas aos itens, as quais são analisadas estatisticamente segundo um modelo unidimensional da Teoria de Resposta ao Item-TRI (KARINO, BARBOSA, 2011; INEP, 2012).

Uma vez que se atribui ao Enem a função de induzir uma reformulação curricular do Ensino Médio e de fornecer uma nota a cada estudante segundo uma metodologia estatística considerada como totalmente inovadora (KARINO, BARBOSA, 2011; INEP, 2012), surge a necessidade de avaliarmos a qualidade das provas aplicadas tanto do ponto de vista pedagógico quanto metodológico.

- O intuito geral do presente estudo é, portanto, chamar a atenção de professores e pesquisadores em ensino de Física, e também de estudiosos em avaliação educacional, em geral, para a questão central da qualidade do instrumento de medida (as questões das provas), bem como para a confiabilidade ou fidedignidade dos processos avaliativos em larga escala, tal como o Enem, baseados em modelos unidimensionais da TRI.

Especificamente, este trabalho trata inicialmente da estrutura interdisciplinar da Matriz de Referência de CNT e, de modo particular, da qualidade das questões de Física nas últimas edições do Enem. Em seguida, analisa-se a questão da dimensionalidade na TRI (OLIVEIRA, 2013) e da prova de Ciências da Natureza e suas Tecnologias. Por fim, sugestões e perspectivas de pesquisa são apresentadas nas considerações finais.

## A Estrutura Interdisciplinar da Matriz de Referência de CNT e a Qualidade das Questões de Física

A Matriz de Referência de CNT é composta de 30 habilidades que se agrupam em 8 competências (INEP, 2012). As primeiras 19 habilidades, ou seja, cerca de 63% da Matriz, podem envolver competências interdisciplinares em Física, Biologia e Química. As habilidades H20, H21, H22 e H23 exploram exclusivamente a competência de apropriar-se de conhecimentos de Física, ao passo que as habilidades H24, H25, H26 e H27 são exclusivas à competência de apropriar-se de conhecimentos de Química. Por fim, ambos os conjuntos de habilidades (H28, H29, H30) e (H13, H14, H15, H16) relacionam-se às competências na disciplina Biologia. Mesmo essas competências ditas disciplinares podem incluir certo grau de

interdisciplinaridade em suas habilidades. Em especial, a H21 pode tratar de conhecimentos de Física e Química. Como consequência da natureza interdisciplinar da Matriz de CNT, há a possibilidade de uma questão ser elaborada de tal forma a satisfazer mais de uma habilidade, relacionando-se, também, a mais de uma competência. Tal caráter interdisciplinar do Enem fora altamente recomendado pelo seu Comitê de Governança:

'Por recomendação da reunião, a partir da edição de 2010, os conhecimentos de Física, Química e Biologia, associados à matriz de referência de Ciências da Natureza e suas Tecnologias, devem expressar integração crescente entre as três áreas, adequando-se à perspectiva interdisciplinar das competências e habilidades adotadas na matriz de referência correspondente' (BRASIL, 2009).

Em cada edição do Enem, das 45 questões de CNT, cerca de 15 delas envolvem algum conhecimento de Física. Marcelino Jr. (2011), por exemplo, investigou a interdisciplinaridade e a disciplinaridade nas provas de CNT do Enem 2009. Uma questão foi considerada interdisciplinar quando mobilizava para sua compreensão e resolução conhecimentos de mais de uma disciplina. No caso de exigir uma única disciplina, a questão foi considerada disciplinar. Constatou-se que na prova a interdisciplinaridade ocorreu com mais frequência entre Química e Biologia e entre Física e Química.

Pinheiro e Ostermann (2010) analisaram as duas provas de Ciências da Natureza do Enem 2009 com base nos conceitos de interdisciplinaridade e contextualização. Para isso, estabeleceram critérios, baseados em Bardin (2010), relativos à relevância de cada disciplina, ao grau de interdisciplinaridade, ao tipo de contextualização e ao assunto do contexto nas questões das provas. Concluíram que aproximadamente 90% das questões de Física eram contextualizadas, dando destaque principal a problemas sócio-ambientais e questões relacionadas à tecnologia, e que apenas cerca de 25,5% das questões possuíam características interdisciplinares.

Hernandes e Martins (2013) estudaram as questões que envolviam conhecimento de Física nas duas provas de 2009, nas duas em 2010 e na prova de 2011. Essas questões de Física, classificadas segundo as habilidades da Matriz de Referência de CNT, foram categorizadas semanticamente por cada uma das 6 competências por meio da análise de conteúdo, de Bardin (2010). Tal categorização por competências evidenciou que as questões analisadas apontavam em direção a uma física das coisas mais próximas do cotidiano que nos cerca.

Peixoto e Linhares (2010), por sua vez, analisaram os conteúdos das questões de Física de uma prova de CNT na edição de 2009, destacando a importância da contextualização e da interdisciplinaridade, os princípios, as leis e teorias físicas subjacentes, as suas respectivas competências e habilidades, bem como a necessidade do domínio do formalismo matemático para serem respondidas corretamente. Nesse contexto, vale a pena citar, também, o estudo de Soares (2011) que analisou o grau de dificuldade do cálculo matemático nas provas de CNT aplicadas em 2009, chegando à conclusão de que apenas quase 20% das questões exigiam o uso de cálculo matemático para resolvê-las.

Wanderley Gonçalves Junior e Marta Barroso (2012; 2014) fizeram uma análise descritiva das questões de Física em cinco provas do Enem: duas de 2009,

duas de 2010 e a prova de 2011. Nessa análise, verificaram, também, que na prova de 2011 cerca de 33% dos itens exclusivamente de Física exigiam alguma proficiência em Matemática para serem respondidos. Ademais, constataram que as questões que envolviam exclusivamente conhecimento de Física satisfaziam mais de uma habilidade da competência 6, provocando assim a violação do postulado da unidimensionalidade da TRI (ANDRADE, TAVARES, VALLE, 2000).

É importante ainda registrar que, embora as provas de CNT primem pela interdisciplinaridade e contextualização, várias questões apresentaram sérios erros conceituais, além de gabaritos incorretos. Destacamos as análises críticas dos professores Fernando Lang (2014) e José Maria Bassalo (2011). Este, por exemplo, mostrou que das 15 questões de Física na prova de 2009 apenas 4 delas possuíam gabarito correto. Fernando Lang (2014), por sua vez, analisou criticamente a qualidade das questões de Física na prova de Ciências da Natureza nas edições do Enem de 2012 e 2013 quanto à correção conceitual e teórica e à sua consistência com o conhecimento científico. Após mostrar os grotescos erros lógicos e conceituais, bem como as inconsistências com as leis da Física em algumas questões, notadamente, a questão que tratava da garrafa PET (Questão 57, Prova de Ciências da Natureza de 2013, Caderno Azul), concluiu que tais questões deveriam ter sido, no mínimo, anuladas. Ademais, o Prof. Lang sustentou a tese de que tais equívocos e erros conceituais são uma consequência do que ele denominou de 'contextualização a qualquer custo', o que leva inevitavelmente a enunciados irreais e inconsistentes com as leis da Física.

## A Questão da dimensionalidade na TRI

A Teoria da Resposta ao Item-TRI é uma teoria matemática probabilística muito utilizada na análise estatística de dados obtidos em avaliações educacionais em larga escala, tanto em âmbito nacional quanto internacional (o PISA, por exemplo). Visa a quantificar estatisticamente um conjunto de construtos cognitivos dos estudantes-chamados de traços latentes ou proficiências- ao responderem itens de múltipla escolha. Na terminologia da TRI, as questões das provas são chamadas de itens, a prova, de teste, e a nota, de proficiência ou traço latente.

Quanto à dimensionalidade, a TRI pode ser dividida em dois tipos conforme o número de traços latentes envolvidos: modelos unidimensionais e modelos multidimensionais (RECKASE, 2009; OLIVEIRA, 2013). Segundo os modelos unidimensionais da TRI, um teste é dito ser unidimensional quando mede apenas um fator ou construto cognitivo do aluno:

"[Os modelos unidimensionais da TRI] pressupõe[m] a unidimensionalidade do teste, isto é, a homogeneidade do conjunto de itens que supostamente devem estar medindo um único traço latente. Em outras palavras, deve haver apenas uma habilidade responsável pela realização de todos os itens da 2 prova. Parece claro que qualquer desempenho humano é sempre multideterminado ou multimotivado, dado que mais de um traço latente entra na execução de qualquer tarefa. Contudo, para satisfazer o postulado da unidimensionalidade, é suficiente admitir que haja uma habilidade dominante

(um fator dominante) responsável pelo conjunto de itens. Este fator é o que se supõe estar sendo medido pelo teste" (ANDRADE, TAVARES, VALLE, 2000).

Se o teste é de matemática, por exemplo, supõe-se que apenas o conhecimento matemático seja mensurado por itens de múltipla escolha, desde que outros fatores cognitivos (e.g., a compreensão da leitura) não possam interferir nas respostas aos itens.

Apesar de os modelos unidimensionais da TRI serem muito utilizados em avaliações em larga escala, na literatura encontram-se fortes críticas ao postulado da unidimensionalidade, sobretudo, devido ao fato de não haver critérios empíricos consensuais capazes de assegurar a validade desse postulado da TRI (VITÓRIA, ALMEIDA, PRIMI, 2006; OLIVEIRA, 2013). A proliferação de inúmeras definições de unidimensionalidade faz com que alguns autores as classifiquem segundo critérios baseados no padrão de respostas, nas teorias de traço latente e na consistência interna (LAROS, PASQUALI, RODRIGUES, 2000; VITÓRIA, ALMEIDA, PRIMI, 2006).

Vale destacar, também, recentes críticas aos fundamentos epistemológicos dos modelos unidimensionais da TRI: ao apontar algumas ambiguidades epistemológicas subjacentes ao postulado da unidimensionalidade e ao conceito de traço latente, Cristina Zukowski Tavares (TAVARES, 2012) levanta duas questões que permanecem não respondidas pela comunidade de estatísticos, psicometristas e pedagogos que trabalham com a TRI unidimensional empregada em avaliações em larga escala:

- 1) 'Se mais de uma habilidade ou traço latente compõe cada desempenho humano e pesquisadores e cientistas [estão] cientes da complexidade que traduz o registro de aprendizagens tão variadas que o indivíduo constrói nos diferentes espaços de educação formal e não formal, como uma avaliação pode se propor a medir um fator unidimensional em indivíduos com formação tão plural e multifacetada?'
- 2) 'Para satisfazer o postulado é suficiente admitir que haja uma habilidade dominante (um fator dominante) responsável pelo conjunto de itens ou questões do exame?'

A violação da unidimensionalidade leva à diminuição da validade dos modelos unidimensionais da TRI, comprometendo o cálculo das estimativas da proficiência dos alunos e dos parâmetros dos itens e, por conseguinte, dificultando a interpretação pedagógica de seus escores (LAROS, PASQUALI, RODRIGUES, 2000). Para superar essas indesejadas consequências, modelos multidimensionais da TRI têm sido propostos e investigados pela comunidade de psicometristas ao longo dos últimos 50 anos (RECKASE, 2009; OLIVEIRA, 2013). Além desse aspecto técnico-operacional, a relevância pedagógica dos modelos multidimensionais da TRI tem sido enfatizada, por exemplo, por Francisca Dussaillant (2003) com base em dois estudos realizados por pesquisadores americanos:

- '[...] se ha verificado que ciertas disciplinas son claramente multidimensionales, lo que atenta contra el requisito de unidimensionalidad de las pruebas. Por ejemplo, hay estudios que han demostrado que algunas pruebas de ciencias presentan varias dimensiones relevantes. Un estudio del NELS (National Educational Longitudinal Study), prueba de evaluación de la educación en Estados Unidos, detectó que las preguntas de la prueba

apuntaban a tres dimensiones diferentes, claramente identificables. Éstas se denominaron 'razonamiento y conocimientos básicos', 'razonamiento científico cuantitativo' y 'razonamiento espacial-mecánico'' (DUSSAILLANT, 2003).

No contexto brasileiro, a importância da determinação da dimensionalidade para a validade dos modelos psicométricos utilizados nas avaliações em larga escala, tais como o Saeb, o Enem e o Enade, tem sido objeto de estudo há quase 15 anos (LAROS, PASQUALI, RODRIGUES, 2000; NOJOSA, 2002; VENDRAMINI, 2005). De forma pioneira, Laros, Pasquali e Margarida Rodrigues (LAROS, PASQUALI, RODRIGUES, 2000) analisaram a unidimensionalidade das onze provas do Saeb aplicadas em 1997 (Saeb-1997). Com exceção da prova de Português aplicada na oitava série, verificaram estatisticamente que todas as outras dez provas poderiam ser consideradas unidimensionais. Os autores afirmaram ainda que psicometricamente

'é mais fácil construir provas unidimensionais na área de Matemática do que na área de Português' (LAROS, PASQUALI, RODRIGUES, 2000).

No entanto, nenhuma explicação pedagógica foi fornecida pelos autores.

Quanto ao problema da dimensionalidade do (antigo) Enem, vale citar o trabalho pioneiro de Ronald Targino Nojosa (2002), publicado em 2002, em que os dados do Enem de 1999 foram analisados segundo modelos multidimensionais da TRI. Segundo o autor, isso foi possível porque o Enem era um exame interdisciplinar. Tal princípio da interdisciplinaridade fundamenta as Matrizes de Referência que, por sua vez, servem de base para a construção dos itens, exigindo dessa forma dos estudantes mais de uma proficiência (traço latente) no momento de responderem aos itens da prova.

Já os dados do Enade, realizado em 2004, foram analisados por Claudette Vendramini (2005) com base em um modelo de traço latente multidimensional da TRI, o chamado Modelo de Rasch Multidimensional para Aprendizagem e MudançaMRMAM.

A partir de 2009, a prova objetiva de Ciências da Natureza e suas Tecnologias-CNT, composta de 45 questões de múltipla escolha envolvendo conhecimentos disciplinares e interdisciplinares em Física, Biologia e Química, passou a ser analisada estatisticamente segundo um modelo unidimensional da Teoria de Resposta ao Item-TRI (INEP, 2012b). Portanto, a nota que se obtém nessa prova mede o conhecimento do estudante em Ciências da Natureza e suas Tecnologias, e não em Física, por exemplo.

## A Dimensionalidade da Prova de CNT

Uma questão metodológica de suma importância para a correta aplicação e interpretação da Psicometria em avaliações educacionais é a determinação da dimensionalidade de cada prova ou teste por meio de uma técnica estatística chamada de análise fatorial (LAROS, PASQUALI, RODRIGUES, 2000; NOJOSA, 2002; FURR, BACHARACH, 2014).

- O construto teórico Ciências da Natureza e suas Tecnologias possui 3 dimensões disciplinares: a Física, a Biologia e a Química. Para responder à prova de

CNT, o aluno deve, portanto, mobilizar conhecimentos disciplinares e interdisciplinares nessas 3 dimensões, assumindo-se que o conhecimento matemático e a compreensão textual não interfiram nessas dimensões. No entanto, para calcular as proficiências dos alunos que prestam o Enem, assume-se o modelo psicométrico chamado de logístico de 3 parâmetros (ANDRADE, KARINO, 2012; INEP, 2012b; KARINO, BARBOSA, 2011), o qual pressupõe a validade do postulado da unidimensionalidade da TRI. Do ponto de vista teórico, como justificar que algo multidimensional possa ser reduzido a uma medida unidimensional? Do ponto de vista empírico, a questão que se coloca é a seguinte: tal postulado da unidimensionalidade é confirmado pelas respostas dos alunos? Infelizmente, desde 2009 nenhum relatório psicométrico e pedagógico do Enem foi publicado. Soa, portanto, bastante incoerente que um estudo sobre a dimensionalidade das provas do Enem não tenha sido realizado antes do cálculo das proficiências, pois conforme afirmam Laros, Pasquali e Rodrigues, em seu relatório do Saeb de 1997,

'O uso da TRI depende de um pressuposto que deve ser verificado antes de se proceder a qualquer análise, trata-se da unidimensionalidade dos itens' (LAROS, PASQUALI, RODRIGUES, 2000).

Seria razoável, portanto, que a análise dimensional confirmasse uma estrutura, pelo menos, tridimensional da prova de CNT, sugerindo, por conseguinte, o uso de modelos multidimensionais da TRI para o cálculo das proficiências dos alunos. No entanto, nenhuma recomendação nessa direção foi feita. Ao contrário, a proficiência foi calculada simplesmente supondo-se a validade da hipótese do modelo unidimensional de 3 parâmetros da TRI. O procedimento metodologicamente correto deveria ter sido, então, primeiro, determinar a dimensionalidade da prova via análise fatorial para, em seguida, fazer uso de modelos multidimensionais da TRI a fim de se calcular as proficiências.

Infere-se, portanto, do postulado da unidimensionalidade da TRI que o aluno, ao responder à prova, mobiliza conhecimentos de algo abstrato relacionado a Ciências da Natureza e suas Tecnologias, e não conhecimentos disciplinares e interdisciplinares em Física, Biologia e Química. Agregar em uma única dimensão algo que é multidimensional vai de encontro aos próprios preceitos de disciplinaridade e interdisciplinaridade subjacentes à Matriz de Referência e às próprias provas de CNT. Aqui, cabe uma citação de Edgar Morin:

'A inteligência que só sabe separar rompe o caráter complexo do mundo em fragmentos desunidos, fraciona os problemas e unidimensionaliza o multidimencional. É uma inteligência cada vez mais míope, daltônica e vesga; termina a maior parte das vezes por ser cega, porque destrói todas as possibilidades de compreensão e reflexão...' (MORIN, 2007, p. 19).

- O Enem, baseado nos modelos unidimensionais da TRI, parece, equivocadamente, querer unidimensionalizar o que é objetivamente multidimensional.

## Considerações Finais e Perspectivas de Pesquisa

Do ponto de vista metodológico, um dos pontos de suma relevância destacados por alguns estudiosos em avaliação educacional - notadamente, a

Profª Bernadete Gatti (2014)é a necessidade de as avaliações serem desenvolvidas e implementadas dentro dos critérios de rigor metodológico e cientificidade quanto ao uso da TRI para que as próprias avaliações em larga escala possam ser consideradas válidas e confiáveis (GATTI, 2014; LUCKESI, 2012). Tais critérios parecem estar ausentes no Enem.

- O caráter interdisciplinar da Matriz de Referência de CNT do Enem sugere fortemente uma estrutura multidimensional para o traço latente ou proficiência de cada aluno ao responder a prova dessa área do conhecimento. Seria mais razoável pensar que a prova de CNT demandasse dos alunos uma proficiência, pelo menos, tridimensional envolvendo conhecimentos dos fenômenos físicos, químicos e biológicos. Modelos unidimensionais da TRI são, portanto, incompatíveis com o caráter interdisciplinar da Matriz de Referência de CNT do Enem. Assumir simplesmente a validade do modelo logístico de três parâmetros, sem verificar a hipótese da unidimensionalidade, certamente configura um procedimento metodologicamente incoerente. Tal incoerência metodológica compromete o cálculo das proficiências e, por conseguinte, a própria classificação dos alunos que concorrem a uma vaga nas universidades.

A fim de assegurar confiabilidade e cientificidade às análises estatísticas, sugere-se, por coerência metodológica, o uso de modelos multidimensionais da TRI para o cálculo das proficiências, bem como para tornar as interpretações pedagógicas dos resultados mais confiáveis e relevantes (RECKASE, 2009; OLIVEIRA, 2013).

Do ponto de vista pedagógico, dada a importância do Enem no atual cenário educacional brasileiro, neste trabalho chamamos a atenção para a necessidade de as questões da prova, disciplinares ou interdisciplinares, primarem pela correção conceitual e consistência com respeito ao conhecimento científico (LANG, 2014). Questões defeituosas devem ser anuladas. O não reconhecimento dos erros se configura como uma 'irresponsabilidade intelectual e pedagógica', uma vez que tais questões defeituosas estão sendo utilizadas em sala de aula (LANG, 2014).

Por que tais erros conceituais não foram detectados pela análise estatística baseada na TRI? Para ostentar o status de cientificidade pretendido, o Enem deveria pautar pela transparência e publicidade de seus relatórios técnico-pedagógicos. No entanto, desde 2009 nenhum relatório dessa natureza foi publicado oficialmente.

Não é forçoso afirmar que a publicação desses relatórios será fundamental para a transparência de todo o Enem, possibilitando auditorias de órgãos competentes da Administração Pública, bem como análises e estudos de pesquisadores interessados. Além disso, tal procedimento contribuirá para que esse Exame se torne provido de cientificidade e transparência, princípios necessários a toda avaliação educacional.

Para finalizar, as seguintes perspectivas de pesquisa podem ser vislumbradas:

- (i) estudar criticamente os conceitos de habilidade, competência, interdisciplinaridade e contextualização presentes nos documentos oficiais (publicados) do MEC e do Inep, bem como

(ii) analisar mais profundamente o conceito de dimensionalidade em Psicometria (via análise fatorial e modelos multidimensionais da TRI) e sua eventual aplicação em várias avaliações educacionais.

## Referências

ANDRADE, D. F., KARINO, K. Teoria de resposta ao item . Nota Técnica. Brasília: INEP, 2012.

ANDRADE, D. F., TAVARES, H. R., VALLE, R. C. Teoria da resposta ao item: conceitos e aplicações . São Paulo: Associação Brasileira de Estatística-ABE, 2000.

BARDIN, L. Análise de conteúdo. 5. ed. Lisboa: Edições 70, 2010.

BASSALO, J. M. F. Questões de Física do Enem/2009. Cadernos Brasileiros de Ensino de Física, v. 28, n. 2, p. 325-355, ago. 2011.

BRASIL. MINISTÉRIO DA EDUCAÇÃO. Diretrizes Curriculares Nacionais para a Educação Básica. Brasília: MEC, 2013.

BRASIL. MINISTÉRIO DA EDUCAÇÃO. Comitê de Governança. Matriz de referência do Enem 2009. Brasília: MEC, 2009. Disponível em: < http://portal.mec.gov.br/dmdocuments/matriz\_referencia\_novoenem.pdf >. Acesso em: 25 de março de 2014.

CHIQUETTO, M. J.; KRAPAS, S. Examinando exames: análise dos vestibulares que nortearam o livro Fundamentos da Física. Cadernos Brasileiros de Ensino de Física, v. 29, n. 1, p. 33-51, 2012.

COSTA, F. K. B. Os conceitos de habilidades e competências subjacentes ao Enem e o livro didático do 1º Ano. 134f. Dissertação (Mestrado Profissional em Ensino de Ciências e Matemática). Centro de Ciências, Universidade Federal do Ceará, Fortaleza, 2013.

DUSSAILLANT, F. Técnicas de medición en pruebas de admisión a las universidades, Estudios Públicos, 90, 91-144, 2003.

FURR, R. M.; BACHARACH, V. R. Psychometrics: An Introduction. Los Angeles: SAGE Publications, 2014.

GATTI, B. A. Possibilidades e fundamentos de avaliações em larga escala: primórdios e perspectivas contemporâneas. In: Vinte e cinco anos de Avaliação de Sistemas Educacionais no Brasil. V.1. Bauer, A.; Gatti, B. A.; Tavares, M. R. (Orgs). Florianópolis: Insular, 2013.

GONÇALVES Jr., W.P., BARROSO, M. F. Enem: os itens e o desempenho dos estudantes em 2009. Anais do XIV Encontro de Pesquisa em Ensino de Física. SBF: São Paulo, 2012.

GONÇALVES Jr., W.P., BARROSO, M. F. As questões de física e o desempenho dos estudantes no ENEM. Revista Brasileira de Ensino de Física, v. 36, n. 1, 1402, 2014.

INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA. Documento básico do Enem. Brasília: INEP, 2002.

INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA. Exame nacional do Ensino Médio (Enem): fundamentação teóricoMetodológica. Brasília: INEP, 2005.

INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA-INEP. Sobre o Enem. Brasília: INEP, 2009a. Disponível em: < http://portal.inep.gov.br/web/enem/sobre-o-enem >. Acesso em: 25 de março de 2014.

INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA. Textos teóricos metodológicos: Enem 2009. Brasília: INEP, 2009b.

INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA. Matriz de referência Enem. Brasília: Inep, 2012a. Disponível em: < http://download.inep.gov.br/educacao\_basica/enem/downloads/2012/matriz\_referencia\_ene m.pdf >. Acesso em: 25 de março de 2014.

INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA. Entenda a sua nota no Enem: guia do participante. Brasília: INEP, 2012b.

KARINO, C.; BARBOSA, M. T. Procedimento de cálculo das notas do Enem. Nota Técnica. Brasília: INEP, 2011.

LANG, F. Análise crítica da qualidade das questões de Física na prova de Ciências da Natureza nas edições do Enem de 2012 e 2013. Texto apresentado no Ciclo de Colóquios sobre o Enem e a Reformulação do Ensino Médio na sede do Inep, no dia 26 de março de 2014, em Brasília. Disponível em: < http://www.if.ufrgs.br/~lang/Textos/Ancritquestfis\_INEP.pdf >. Acesso em: 28 de março de 2014.

LAROS, J., PASQUALI, L., RODRIGUES, M. Análise da unidimensionalidade das provas do SAEB. Relatório do Centro de Pesquisa em Avaliação Educacional (CPAE). UnB: Brasília, 2000.

MACENO, N. G.; et al. A matriz de referência do Enem 2009 e o desafio de recriar o currículo de Química na Educação Básica. Química Nova, v. 33, n. 3, p. 153-159, 2011.

MARCELINO Jr., C. A. C. A interdisciplinaridade nas questões do Enem 2009. In: Aprendendo com o Enem: reflexões para melhor se pensar o ensino e a aprendizagem das ciências naturais e da matemática. Núñez, I. B.; Ramalho, B. L. et al. (Orgs). Brasília: Liber Livro Editora, 2011.

MORIN, E. Educação e complexidade: os sete saberes e outros ensaios. 4. ed. São Paulo: Cortez, 2007.

MOZENA, OSTERMANN. Integração curricular por áreas com extinção das disciplinas no Ensino Médio. Revista Brasileira de Ensino de Física, v. 36, n. 1, p. 1403, 2014.

NOJOSA, R. T. Teoria da resposta ao item (TRI): modelos multidimensionais. Estudos em Avaliação Educacional, n. 25, p. 123-166, 2002.

OLIVEIRA. B. A. O conceito de dimensionalidade na teoria de resposta ao item: aspectos pedagógicos e psicométricos. Projeto de Pós-Doutorado aprovado pela Comissão de Pesquisa, sob a supervisão do Prof. Dr. Nílson Machado da FEUSP, 2013.

PINHEIRO, N. C.; OSTERMANN, F. Uma análise comparativa das questões de Física no Novo Enem e em provas de vestibular no que se refere aos conceitos de interdisciplinaridade e contextualização. XII Encontro de Pesquisa em Ensino de Física. Águas de Lindóia: SBF, 2010.

RECKASE, M. D. Multidimensional item response theory. New York, NY: Springer, 2009.

SOARES, W. C. Grau de dificuldade do cálculo matemático nas perguntas da prova do Enem 2009 na área de conhecimento de ciências naturais. In: Aprendendo com o Enem: reflexões para melhor se pensar o ensino e a aprendizagem das ciências naturais e da matemática. Núñez, I. B.; Ramalho, B. L. et al. (Orgs). Brasília: Liber Livro Editora, 2011.

TAVARES, C. Z. Teoria da resposta ao item: uma análise crítica dos pressupostos epistemológicos. Relatório apresentado à Comissão de Pesquisa da Faculdade de Educação da USP como requisito do Programa de Pós-Doutorado em Educação, 2012.

VENDRAMINI, C. M. M. Avaliação multidimensional de desempenho do estudante. Avaliação-Revista da Rede de Avaliação Institucional da Educação Superior, 10, 2740, 2005.

VITÓRIA, F., ALMEIDA, L. S., PRIMI, R. Unidimensionalidade em testes psicológicos: conceito, estratégias e dificuldades na sua avaliação. PSIC - Revista de Psicologia da Vetor Editora, 7, 1-7, 2006.