UMA PROPOSTA DE MATRIZ DE REFERÊNCIA PARA O ENADE DA LICENCIATURA EM FÍSICA

## UMA PROPOSTA DE MATRIZ DE REFERÊNCIA PARA O ENADE DA LICENCIATURA EM FÍSICA

## A PROPOSAL TO MATRIX REFERENCE FOR THE ENADE DEGREE IN PHYSICS

## João Paulo de Castro Costa , Maria Inês Martins 1 2

1

Centro Federal de Educação Tecnológica de Minas Gerais, joaopaulo.fisico@gmail.com 2 Pontificia Universidade Católica de Minas Gerais, ines@pucminas.br

## Resumo

Trata-se de proposta de Matriz de Referência (MR) para o componente específico do ENADE da Licenciatura em Física. Foram analisadas as portarias e as questões das edições de 2005, 2008 e 2011, consubstanciadas nas Diretrizes Curriculares Nacionais para os cursos de Física. Os aspectos do perfil profissional esperado e os recursos (competências e habilidades) requeridos nos Exames foram extraídos das respectivas portarias. As questões foram localizadas nas MR, possibilitando uma análise da frequência dos perfis e recursos requeridos, dos conteúdos (objetos de conhecimento) privilegiados e do índice de facilidade das questões, acordado com o relatório síntese disponibilizado pelo INEP. Em relação ao nível de dificuldade, a maioria das questões foi classificada como de nível médio ou difícil, sendo a prova de 2011, a mais difícil dos três exames, com 72% dos itens considerados 'difíceis'. Pretende-se ampliar a atualização de docentes de Física do ensino superior acerca do Exame, possibilitando-lhes refletir sobre a complexidade do ENADE e incorporar os seus pressupostos em sua práxis .

Palavras-chave : ENADE, Matriz de Referência, Licenciatura em Física.

## Abstract

This study deals with a proposal of a Reference Matrix (RM) for the specific component of the ENADE of the Physics bachelor's degree. Ordinances and questions from the 2005, 2008 and 2011 exam were analyzed according to the National Curricular Directives for the Physics courses. Aspects of the expected professional profile and the resources (skills and abilities) required in the Exams were extracted from the referred ordinances. The questions were localized in the RM, enabling an analysis of the frequency of the profiles and required resources, of the privileged contents (knowledge objects) and the index of easiness in the questions, agreed with the summary report provided by the National Institute of Studies and Research (INEP). Regarding the level of difficulty, most questions were classified as medium or hard, and the 2011 exam was considered the most difficult one, with a percentage of 72% of 'difficult' items. This work aims at broadening professor's knowledge about the exam, enabling them to reflect on the complexity of the Exam and also incorporate their assumptions to their praxis.

Keywords : ENADE, Matrix Reference, Degree in Physics.

## Introdução

A avaliação dos cursos superiores no Brasil respeita a Lei 10.861/2004 (BRASIL, 2004), Lei do Sistema Nacional de Avaliação da Educação Superior (SINAES) cujo escopo compreende avaliar as Instituições de Ensino Superior (IES), os cursos e o desempenho dos alunos, através do Exame Nacional de Desempenho dos Estudantes (ENADE). O Exame é aplicado desde 2004, é componente curricular obrigatório dos cursos de graduação, avaliando, a partir de 2010, somente o rendimento de alunos concluintes.

Os cursos de Física foram avaliados em 2005, 2008 e 2011 e cada edição do ENADE foi circunstanciada por uma Portaria INEP - 172/2005 (BRASIL, 2005); 128/2008 (BRASIL, 2008) e 219/2011 (BRASIL, 2011a) -contemplando os requisitos avaliados no Exame: os objetivos, os recursos (competências e habilidades) e os objetos de conhecimento (OC) comuns à área de Física, bem como os específicos da Licenciatura e do Bacharelado.

A Prova específica para a Licenciatura em Física ancora-se nas Diretrizes Curriculares Nacionais (DCN) para a Formação de Professores (BRASIL, 2002a) e para a área de Física (BRASIL, 2002b). Destacam-se nas DCN: perfil esperado dos egressos; as capacidades / recursos (competências e habilidades) a serem desenvolvidas e os objetos de conhecimento (conteúdos) a serem explorados durante a formação dos alunos.

As publicações sobre o ENADE são relativamente novas, pois o exame teve sua primeira aplicação em 2004, sendo as licenciaturas em Física avaliadas, pela primeira vez, no ano de 2005.

CAVALCANTE et al. (2009) realizaram uma análise das questões objetivas da prova de Licenciatura, avaliadas no ano de 2005, refletindo a partir das DCN sobre a relação entre a teoria e a prática docente nas questões dessa prova. Os autores analisam as questões da prova licenciatura em Física identificando em cada uma delas: o conhecimento do conteúdo de Física, o conhecimento pedagógico ou as duas competências na mesma questão. Das oito questões objetivas da Licenciatura, apenas duas contemplavam o conhecimento pedagógico; as outras seis preocupavam-se em avaliar o conhecimento físico, em questões contextualizadas em situações na prática docente.

Na mesma perspectiva, HIGA et al. (2012) analisaram as questões objetivas e discursivas das provas do ENADE 2005 e ENADE 2008, analisando os itens e categorizando-os em conhecimento do conteúdo (de Física) e em conhecimentos pedagógicos do conteúdo , este nas subcategorias: 'documentos curriculares', 'estratégias didáticas' e 'conhecimento prévio dos aprendizes'. A análise, mais uma vez, evidenciou os conteúdos de Física sendo mais privilegiados que os conteúdos pedagógicos. Na prova de 2005 das dez questões avaliadas para a Licenciatura em Física, apenas três contemplavam o conhecimento pedagógico, referindo-se aos documentos curriculares, estratégias de ensino (relacionadas às práticas experimentais) e problemas nas aulas de Física. Observa-se uma mudança no exame de 2008, havendo, 'um equilíbrio entre um número de questões em cada uma dessas 2 principais categorias' (Conhecimento do Conteúdo e Conhecimento Pedagógico do Conteúdo) (HIGA et al., 2012).

O ENADE como outros exames nacionais de larga escala da Educação Básica [Exame Nacional do Ensino Médio (ENEM), Exame Nacional para

Certificação de Competências de Jovens e Adultos (ENCCEJA) e a Prova BRASIL] estrutura-se em uma matriz de referência de habilidades e competências que norteia a elaboração da prova e a constituição de Bancos Nacionais de Itens. Segundo Griboski (2012):

O BNI da Educação Superior é concebido, portanto, como um acervo de questões elaboradas a partir de matrizes de conteúdos, competências e habilidades pré-definidos pelas Comissões Assessoras de Área, que permitem a montagem das provas para estimar com a maior precisão possível a proficiência dos estudantes. [GRIBOSKI, 2012, grifo nosso]

Como a matriz de referência do ENADE não é pública propõe-se, em uma engenharia reversa, recuperar as Matrizes de Prova, através da alocação das questões em suas células. As Matrizes, cujas colunas representam os aspectos do perfil profissional, e as linhas, os recursos ou capacidades (correspondentes às competências/habilidades) previstos nas portarias, possibilitam melhor compreender o ENADE, o nível de dificuldade das questões avaliadas, os processos e conteúdos envolvidos, os aspectos do perfil profissional e os recursos mobilizados na resolução dos itens.

## A Matriz de Referência (MR) para a prova do ENADE

Foram analisados 90 (noventa) itens do núcleo do componente específico Comum e do componente específico para a Licenciatura, extraídos das três edições do ENADE (BRASIL, 2005b, 2008b, 2011b). A opção pela Licenciatura fundamentase na relevância do Exame para a formação de professores, sobretudo para o Ensino de Física.

Os itens analisados foram resolvidos pelos autores, observando as palavraschave e comandos de construção, os objetos de conhecimento e a complexidade da questão. O índice de facilidade (indicador fácil, médio e difícil) da questão foi retirado dos relatórios síntese divulgado pelo MEC (BRASIL, 2007, 2010, 2013). A Portaria Normativa 219/2011 (BRASIL, 2011a) traz os conteúdos Gerais e Específicos, denominados objetos de conhecimento (OC), resumidos para a Licenciatura (Quadro 1) bem como os aspectos do perfil profissional (P) e competências e habilidades (Quadro 2), denominados recursos (R):

Quadro 1 - Objetos de Conhecimento do conteúdo específico no ENADE Fonte: Elaborado pelos autores com dados extraídos de BRASIL (2011a)

Quadro 2 - Aspectos do Perfil Profissional e Recursos (competências e habilidades) Fonte: Elaborado pelos autores com dados extraídos de BRASIL (2011a)

Os itens avaliados serão nomeados com a seguinte sigla 'número do item' 'tipo de item - O(Objetivo)/D(Discursivo)' 'conteúdo - G(Geral)L(Específico para a Licenciatura)' 'objeto de conhecimento'. Por exemplo: 09OGb -Item 09 O bjetivo do conteúdo específico G eral com o OC ( b ): 'Mecânica' . O índice de facilidade (fácil, médio e difícil), extraído dos relatórios síntese, é verificado na legenda.

Uma matriz de referência (MR) consiste em uma relação entre dois parâmetros da cognição. A MR do ENEM (Exame Nacional do Ensino Médio), por exemplo, consiste em uma relação entre cinco eixos cognitivos e trinta competências por área, que avaliam, nesse caso, o desempenho do estudante no Ensino Médio. O ENADE avalia o desempenho dos estudantes no Ensino Superior, no que diz

respeito aos conhecimentos específicos e às competências e habilidades desenvolvidos ao longo do curso.

Nessa perspectiva, construímos as propostas de Matrizes de Referências MR05, MR08 e MR11 apresentadas respectivamente nos quadros 03, 04 e 05, com dois parâmetros da cognição: os aspectos do perfil profissional identificados de P1 a P11 e os recursos de R1 a R10 (habilidades e competências gerais dos estudantes egressos do curso de Física) e de R11 a R17 (específicos para os graduandos em Licenciatura em Física).

Quadro 03 - MR ENADE 2005 (Portaria Inep 219/2011) Legenda: FÁCIL -MÉDIA -DIFÍCIL - *Questão Anulada Fonte: Elaborado pelos autores

P1

P2

P3

P5

P5

P6

P7

P8

P9

P10

P11

26OGf

28OGf

29OGf

19OGa

49DLb

R1

R2

20OGd

R3

23OGe

R4

R5

16OGc

R6

R7

42OLa

R8

25OGe

R9

17OGc

R10

30DGc

R11

46OLd*

R12

R13

R14

43OLd

R15

50DLd

R16

R17

47OLb

Quadro 04 - MR ENADE 2008 (Portaria Inep 219/2011)

Legenda:

FÁCIL

-

MÉDIA

-

DIFÍCIL

- *Questão Anulada

Fonte: Elaborado pelos autores

41OLa

45OLd

44OLb

48OLb

18OGc

22OGe

11OGb

12OGb

13OGb

14OGb

15OGc

21OGd

24OGe

27OGf

Quadro 05 - MR ENADE 2011 (Portaria Inep 219/2011) Legenda: FÁCIL -MÉDIA -DIFÍCIL - *Questão Anulada Fonte: Elaborado pelos autores

As matrizes de referência foram construídas localizando os itens nas células, respeitando o predominante aspecto do perfil profissional e o recurso requeridos, e para a realização dessa tarefa verificaram-se os comandos e a forma que o item é resolvido. A MR fornece uma visão geral da estrutura da prova, podendo observar em quais células ocorre maior incidência dos itens, quais recursos e perfis mais avaliados dos estudantes no exame . 1

Observa-se que 19% dos itens avaliados encontram-se na célula P2xR9. Trata-se de questões clássicas, a maior parte contextualizada, que exige cálculos matemáticos de situações físicas ou uso de equações matemáticas. O cruzamento P1xR1 concentra 8% de itens, cuja resolução não requer cálculos matemáticos e, sim, conceitos e princípios da Física, além do conteúdo específico (OC).

Verifica-se ainda a concentração de itens (11%) requerendo 'Representação e interpretação de propriedades físicas em gráficos' (R5), distribuídas nos perfis P1, P2 e P3, avaliando se o estudante tem 'experiência laboratorial e computacional'. Já o cruzamento P2xR3 aparece somente em uma questão por edição do exame em que o estudante deve ser capaz de operacionalizar matematicamente o fenômeno (P2) e interpretar os resultados decorrentes da realização de um experimento (R3).

No componente específico da Licenciatura em Física há 6 (seis) itens (20%) na célula P1xR12, que avaliam o recurso R12. Tais itens tratam dos PCN e das avaliações aplicadas em nível nacional. Reitera-se que os recursos requeridos pelo estudantes na resolução são as competências e habilidades que desenvolvem durante seu curso de graduação e os objetos de conhecimento (OC) são os conteúdos programáticos contidos nas disciplinas da grade curricular. Diferentes OC podem ser avaliados em um mesmo recurso e vice-versa.

Observa-se que ao longo dos exames há redução de itens sobre OC relacionados à Mecânica e um aumento de itens sobre os conteúdos de Eletricidade e Magnetismo. No componente específico Licenciatura o aumento é percebido no

OC Políticas Educacionais requisitado, em 2011, em cinco questões. O número de itens sobre os conteúdos Gerais de Termodinâmica, Física Ondulatória e Óptica Física, Física Moderna e conteúdos da Licenciatura relacionados aos Fundamentos Históricos da Física e Metodologia do Ensino de Física, manteve-se constante nos três exames.

Verifica-se também a ausência do conteúdo geral Estrutura da Matéria tanto no Núcleo Comum como na Licenciatura. No exame de 2005, dois itens contemplaram o domínio dos conteúdos relativos à resolução de problemas e a organização curricular para o ensino de Física, o que não persistiu em exames posteriores.

Quanto ao nível de dificuldade em 2005, apenas uma questão (3%) foi classificada como fácil, sendo os demais itens considerados médios (60%) e difíceis (37%), demonstrando uma dificuldade, por parte dos estudantes, na resolução dos itens. Os exames de 2008 e 2011 apresentaram uma questão (3%) fácil. Os demais itens foram, em 2008, 59% de dificuldade média e 28% difíceis, enquanto que em 2011, o mais difícil das três edições, 72% e 25% dos itens foram, respectivamente, classificados como difíceis e médios.

## Considerações Finais

A elaboração e análise da MR permite observar como a estrutura do exame vem se modificando com o passar dos anos em relação ao índice de facilidade da prova, os objetos de conhecimento focalizados e a densidade de itens nos cruzamentos (células) dos aspectos do perfil profissional com os recursos requeridos em cada item. Tal quadro de análise permite refletir se o estudante egresso do curso de graduação desenvolve as competências e habilidades exigidas pelas portarias dos cursos para uma boa prática profissional.

Os Projetos Pedagógicos dos cursos de graduação são concebidos em consonância com as Diretrizes Curriculares Nacionais. Observa-se, entretanto, que há perfis e recursos previstos nas DCN e, consequentemente no ENADE, que não têm sido requeridos no exame. Entretanto os projetos podem não focalizar o que vem sendo avaliado pelo Exame e essa reflexão pode acontecer através da construção da matriz de referência, em que se observa a densidade de células com maior e menor frequência de itens.

Não se trata, portanto, 'treinar' os estudantes para o ENADE, mas de familiarizá-los durante a sua formação no mesmo nível de complexidade das questões avaliadas nos exames, baseados nas orientações contidas nas DCN, bem como os aspectos do perfil profissional e os recursos (competências e habilidades) requeridos.

## Referências

BRASIL. Ministério da Educação. Resolução CNE/CP 1/2002. Diretrizes Curriculares Nacionais para os Cursos de Formação de Professores da Educação Básica . Brasília: MEC, 2002a.

BRASIL. Ministério da Educação. Resolução CNE/CES 9/2002. Diretrizes Curriculares Nacionais para os Cursos de Bacharelado e Licenciatura Física . Brasília: MEC, 2002b.

BRASIL. Lei nû10.861, de 14 de abr. 2004. Institui o Sistema Nacional de Avaliação da Educação Superior - SINAES e dá outras providências. Diário Oficial da União , Brasília, 15 abr. 2004. Seção 1, p. 3/4.

BRASIL. Instituto Nacional de Estudos e Pesquisas Anísio Teixeira. Portaria nû 172/2005. Diário Oficial da União , Brasília, n. 165, p. 63, ago. 2005a.

BRASIL. INEP. ENADE . Brasília, 2005b. 36 p. Disponível em: <http://download.inep.gov.br/ download/enade/2005/provas/FISICA.pdf>. Acesso em: 15 set. 2011.

BRASIL. INEP. Enade 2005 - Relatório Síntese : área de Física. Brasília, 2007. Disponível em: <http://download.inep.gov.br/download/enade/2005/relatorios/Fisica. pdf>. Acesso em: 26 nov. 2012.

BRASIL. Instituto Nacional de Estudos e Pesquisas Anísio Teixeira. Portaria nû 128. Diário Oficial da União , Brasília, n. 153, p. 9-10, ago. 2008a.

BRASIL. INEP. ENADE . Brasília, 2008b. 28 p. Disponível em: <http://download.inep.gov.br/ download/Enade2008 \_RNP/FISICA.pdf>. Acesso em: 15 set. 2011.

BRASIL. INEP. Enade 2008 - Relatório Síntese : Física. Brasília, 2010. 188 p. Disponível em: <http://download.inep.gov.br/educacao\_superior/enade/relatorio\_ sintese/2008/2008\_rel\_sint\_fisica.pdf>. Acesso em: 26 nov. 2012.

BRASIL. Instituto Nacional de Estudos e Pesquisas Anísio Teixeira. Portaria nû 219/2011. Diário Oficial da União , Brasília, n. 142, p. 16-17, jul. 2011a.

BRASIL. INEP. ENADE . Brasília, 2011b. Disponível em: <http://download.inep.gov.br /educacao\_superior/enade/provas/2011/FISICA.pdf>. Acesso em: 15 set. 2011.

GRIBOSKI, Claudia Maffini. O ENADE como indutor da qualidade da Educação Superior. Est. Aval. Educ . São Paulo. V.23, n.53, p.178-195, set./dez. 2012.

BRASIL. INEP. Enade 2011 - Relatório Síntese : Física. Brasília, 2013. 275 p. Disponível em: <http://download.inep.gov.br/educacao\_superior/enade/relatorio\_ sintese/2011/2011\_rel\_fisica.pdf>. Acesso em: 08 abr. 2013.

CAVALCANTE, N.S.M.; MARTINS, R.B.; GARCIA, M.D.; HIGA, I. A Relação entre a teoria e prática docente e as questões de Física do ENADE: uma reflexão a partir das Diretrizes Curriculares Nacionais para a formação dos professores da educação básica. In: Simpósio Nacional de Ensino de Física, 18., 2009, Vitória, Anais... Espírito Santo: SBF, 2009.

COSTA, João Paulo de Castro. As questões do ENADE para a Licenciatura em Física . 2013. Dissertação (Mestrado em Ensino) - Pontifícia Universidade Católica de Minas Gerais, Belo Horizonte, 2013.

HIGA, I.; LYZNIK, C.; CAVALCANTE, N.S.M.; GARCIA, N.M.D. O ENADE para os cursos de Licenciatura em Física (Edições 2005 e 2008): que conhecimentos avaliam?. In: Encontro de Pesquisa em Ensino de Física, 14., 2012, Maresias, Atas... São Paulo: SBF, 2012.