Questões objetivas do componente específico do ENADE 2014 para a Licenciatura em Física: identificação de fragilidades curriculares a partir do Relatório de Curso

## QUESTÕES OBJETIVAS DO COMPONENTE ESPECÍFICO DO ENADE 2014 PARA A LICENCIATURA EM FÍSICA: identificação de fragilidades curriculares a partir de Relatório de Curso

## OBJECTIVE QUESTIONS OF PARTICULAR COMPONENT ENADE 2014 FOR THE TEACHING PHYSICS DEGREE: curriculum weaknesses identification based on Course Report

## Maria Ines Martins , João Paulo de Castro Costa 1 2

1

Pontifícia Universidade Católica de Minas Gerais, ines@pucminas.br 2 Centro Federal de Educação Tecnológica de Minas Gerais, joaopaulo.fisico@gmail.com

## Resumo

Trata-se de análise de questões objetivas do Componente Específico do Exame Nacional de Desempenho dos Estudantes (ENADE) para a Licenciatura em Física, observando-se o desempenho dos alunos, divulgado pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP) em Relatório de Curso, por Unidade de Observação (UO). Uma UO consiste em uma área de avaliação de uma Instituição de Educação Superior (IES), em um município. Na presente análise, focalizam-se as questões de múltipla escolha do componente específico da última edição do Exame para a licenciatura em Física, o ENADE 2014 e o desempenho dos concluintes desta área em uma UO, que obteve conceito ENADE 4, numa escala de 1 a 5. Entende-se que a UO escolhida possibilita a análise pretendida, pois não se observa no questionário de percepção sobre a prova, falta de comprometimento significativo dos formandos, sobretudo pelo seu tempo de permanência no Exame. Constam do CE da prova da Licenciatura em Física, 27 (vinte e sete) questões objetivas, distribuídas em 7 (26%) itens de interpretação e 20 (74%) itens de resposta múltipla. Para os itens de prova, com índice de discriminação superior a 20%, estudou-se a dispersão de respostas entre distratores (alternativas erradas) que atraíram ao menos 20% dos respondentes, procurando entender fragilidades de conteúdos (conceituais ou procedimentais) a serem reconsiderados na matriz curricular do Curso em questão. Observam-se na UO estudada fragilidades vinculadas ao conteúdo de máquinas térmicas e à percepção da ciência como construção histórico-social e efeitos da radiação solar. Entende-se que esta sistemática de análise pode subsidiar mudanças curriculares dos cursos de Graduação.

Palavras-chave : Licenciatura em Física, ENADE, Relatório de Curso, questões objetivas, distratores.

## Abstract

This analysis deals with objective questions of the Student Performance National Examination (ENADE) specific component for the teaching Physics degree, observing student performance, released by the National Educational Studies Institute Anisio Teixeira (INEP) in an Observation Unit (UO) Course Report. An UO is an evaluation area of a Higher Education Institution (IES) in a municipality. In the present analysis we focus the objective questions from the specific component at the

latest edition teaching Physics degree examination, ENADE 2014, observing the undergraduate performance in an OU, which obtained ENADE concept 4 on a scale of 1 to 5. it is understood that the chosen UO enables the analysis because we do not observe student lack of commitment in the exam perception questionnaire, especially for the time spent in the examination. There are 27 (twenty seven) objective questions, distributed in 7 (26%) interpretation items and 20 (74%) multiple response items. We studied distractors (incorrect alternatives) that attracted at least 20% of the respondents, in order to observe misunderstandings content (conceptual or procedural) to be reconsidered in the course curriculum. We observed in the chosen UO misunderstandings related to contents as 'thermal machines' and 'science perception as a historical-social construction'. We consider that the systematic analysis presented can subsided curriculum changes of undergraduate courses.

Keywords: Degree in Physics, ENADE, Course Report, objective questions, distractors.

## Introdução

A avaliação dos cursos superiores no Brasil integra-se ao Sistema Nacional de Avaliação da Educação Superior (SINAES), implantado em 2004, com o objetivo de regular e qualificar a Educação Superior. O Ministério da Educação (MEC) acompanha as Instituições de Ensino Superior (IES) e seus cursos, sendo uma preocupação legítima das IES adequar-se às exigências do Ministério. Um dos componentes do SINAES, o Exame Nacional de Desempenho dos Estudantes (ENADE), avalia o rendimento de alunos concluintes dos cursos de graduação e estrutura-se a partir de conteúdos, competências e habilidades previstas nas Diretrizes Curriculares Nacionais (DCN) dos cursos.

- O ENADE é realizado pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP), com o apoio técnico de Comissões Assessoras de Área, responsável, entre outros aspectos, pelos contornos e orientações da consolidação do Banco de questões da área, elaboradas por um corpo de especialistas. O Banco Nacional de Itens (BNI) da Educação Superior é concebido, segundo Griboski (2012) como um acervo de questões elaboradas a partir de matrizes de conteúdos, competências e habilidades pré-definidos pelas Comissões Assessoras de Área, que permitem a montagem de provas que estimem com a maior precisão possível a proficiência dos estudantes.

Cada edição anual do Exame é normatizada por Portaria geral que explicita as áreas a serem avaliadas e os contornos de inscrição e participação dos alunos e por Portarias específicas por área de avaliação, para a qual são estabelecidas diretrizes de avaliação, que se constituem em documentos de referência para as IES e os alunos avaliados no Exame. Cada Comissão Assessora de área define uma Matriz de Referência (MR) das provas, que segundo Rabelo (2011) materializa-se como um instrumento central e norteador para a elaboração de itens, em processos de avaliação de larga escala. No ENADE a MR cruza Recursos (Capacidades) com Aspectos do Perfil Profissional, os Objetos de Conhecimento (Conteúdos), os tipos de itens e a dificuldade pressuposta das questões.

- O índice de facilidade dos itens objetivos do ENADE é conhecido por ocasião da divulgação do resultado pelo MEC do Relatório-síntese do Exame por Área que, entre outros aspectos, apresenta os elementos requeridos (aspecto do

perfil, recurso, objeto(s) de conhecimento) em cada item, classifica as questões em fácil, média e difícil, conforme percentual de acertos, além de apresentar o índice de discriminação (ponto bisserial) dos itens. Questões objetivas com índice de discriminação inferior a 20% são desconsideradas no computo do conceito ENADE, cuja composição encontra-se resumida na tabela 1.

Tabela 1: Composição do ENADE 2014

Fonte: INEP (2015b)

O conceito ENADE configura-se como um indicador de qualidade determinante na composição do Conceito Preliminar de Curso (CPC), o indicador regulador da renovação do reconhecimento dos cursos de Graduação. Os dois indicadores de qualidade, o Conceito ENADE e o CPC, são enquadrados em faixas de 1 a 5, a partir de cálculos pautados em médias nacionais normatizadas, por componente do indicador, e por afastamentos padronizados de desvio padrão nacional da área. Os detalhes desse cálculo encontram-se explicitados em INEP (2015). Os indicadores de qualidade (conceito ENADE e CPC) são calculados por Unidade de Observação (UO), que consiste em uma área de avaliação de uma Instituição de Educação Superior (IES), em um município.

Devido à relevância do ENADE no contexto da regulação da Educação Superior, verifica-se o interesse crescente de pesquisadores e docentes universitários em entender a sua complexidade. Sobre a Licenciatura em Física, Cavalcante et al. (2009) realizam uma análise das questões objetivas da prova, avaliadas no ano de 2005, refletindo, a partir das DCN, sobre a relação entre a teoria e a prática docente nas questões. Os autores analisam as questões, identificando: o conhecimento do conteúdo de Física, o conhecimento pedagógico ou as duas competências em cada questão. Na mesma perspectiva, Higa et al. (2010, 2012) analisam as questões objetivas e discursivas do ENADE 2005 e 2008, categorizando-as em conhecimento do conteúdo (de Física) e em conhecimentos pedagógicos do conteúdo , este nas subcategorias: 'documentos curriculares', 'estratégias didáticas' e 'conhecimento prévio dos aprendizes'. Ambos os trabalhos indicam um privilégio na avaliação de conteúdos de Física, em detrimento do conhecimento pedagógico. Costa & Martins (2014) propõem uma Matriz de Referência para as edições do ENADE (2005, 2008, 2011), construída por engenharia reversa, para a Licenciatura em Física, em que se observa a consolidação de aspectos do perfil profissional e modelagem de fenômenos, dos princípios e conceitos básicos da Física e sua aplicação à solução de problemas.

Enquanto os trabalhos referenciados procuram melhor compreender a complexidade da Prova aplicada para a Licenciatura em Física e a sua evolução nas várias edições, a presente pesquisa procura entender a atração de distratores (alternativas erradas) nas questões objetivas e as percepções equivocadas ou parciais que sustentam tais alternativas. Marcom & Kleinke (2016) fazem estudo semelhante focalizando questões de Física do ENEM, de 2009 a 2012, sobre 'o movimento, o equilíbrio e a descoberta das leis da Física'. Pretende-se, desse modo, encontrar fragilidades na percepção e incorporação de conteúdos

(conceituais ou procedimentais) que, possa subsidiar, a partir do rendimento dos alunos na prova, a revisão das estruturas curriculares.

## Desenvolvimento

Foram consideradas nesta investigação 27 (vinte e sete) questões objetivas do Componente Específico da última edição do Exame (ENADE 2014) para a Licenciatura em Física, observando-se o desempenho dos alunos concluintes, através do Relatório de Curso de uma Unidade de Observação que obteve conceito ENADE 4. Entende-se que a UO escolhida possibilita a análise pretendida, pois não se observa no questionário de percepção sobre a prova, falta de comprometimento significativo dos formandos, sobretudo pelo seu tempo de permanência no Exame. De fato, nesta UO, a falta de motivação (para 27% dos concluintes) não se destaca da média nacional (25%) e o tempo gasto na prova em mais de duas horas de prova (87% dos concluintes) supera a média nacional (69%).

As 27 (vinte e sete) questões objetivas do Componente Específico (CE) distribuem-se em 7 (26%) itens de interpretação, com uma situação-problema e cinco alternativas e 20 (74%) itens de resposta múltipla, com um formato de várias afirmações (14 itens usam 3 afirmações, 4 itens usam 4 afirmações e 2 itens usam 5 afirmações) e alternativas que representam uma composição dessas afirmações. Entende-se tal formato preferencial de resposta, de composição de afirmações devese à dificuldade de construir situações-problema que possibilitem além da alternativa correta, 4 distratores que se configurem em alternativas erradas, mas plausíveis, ou seja resultados possíveis de serem alcançados, a partir de premissas equivocadas.

Entre os itens objetivos da edição 2014 do Exame, 8 itens (11, 13, 16, 17, 19, 21, 30, 33) foram considerados inadequadas e desconsiderados no computo do conceito ENADE, pelo fraco índice de Discriminação (Ponto Bisserial), inferior a 20% (INEP, 2015b). Para os demais itens (9, 10, 12, 14, 15, 18, 20, 22, 23, 24, 25, 26, 27, 28, 29, 31, 32, 34 35) estudou-se a dispersão de respostas entre a alternativa correta e os distratores que atraíram ao menos 20% dos respondentes, procurando detectar fragilidades de conteúdos (conceituais ou procedimentais) perceptíveis, a serem reconsideradas na matriz curricular do Curso em questão. A seguir exemplificamos o observado no conjunto das questões 20 e 24.

<!-- image -->

- 24)

<!-- image -->

acertaram

Ao considerar a matriz de avaliação da licenciatura em Física (INEP, 2015b), as duas questões, 20 e 24, tratam do objeto de conhecimento 'Termodinâmica', que inclui sistemas termodinâmicos e máquinas térmicas, requerendo do aluno 'Analisar e interpretar fenômenos físicos... em contextos multidisciplinares'. Os distratores que atraíram ao menos 20% dos respondentes evocam fragilidade na compreensão dos ciclos de máquinas térmicas representados por diagramas PV, sobretudo em relação à variação da energia interna nos processos de transformação adiabáticos. Entende-

agilidade torna-se relevante revisitar o Projeto Pedagógico da UO em estudo, em particular as ementas e a metodologia de execução dos planos de ensino das unidades curriculares correlatas, no caso em tela: 'Fluidos, Oscilações e Calor' e 'Termodinâmica'.

Destacamos na tabela 2, a seguir, outras duplas de questões com distratores que atraíram mais de 20% dos respondentes, mantendo uma mesma cor quando as fragilidades se refletem em conteúdos (conceituais e procedimentais) correlatos.

Tabela 2: Distratores ( ≥ 20%) coloridos por conteúdos correlatos

Fonte: elaborada pelos autores, com dados de INEP (2015a)

A cor rosa destaca distratores das questões 14 e 25, relacionados com 'efeitos da radiação eletromagnética proveniente do Sol'. A cor azul destaca distratores das questões 26 e 27, relacionados com 'a construção histórica e social da ciência'. Da mesma forma, tais fragilidades podem subsidiar a revisão de componentes curriculares da Matriz da UO.

Na tabela 3 apresentamos questões com distratores ( ≥ 20%), vinculados aos itens elaborados pela Comissão Assessora de Pedagogia (CAP), aplicadas a todos os cursos de Licenciatura, em atendimento ao disposto na Portaria ENADE 2014 da área de Pedagogia (INEP, 2014b).

Tabela 3: Distratores ( ≥ 20%) de atração em questões elaboradas pela CAPFonte: elaborada pelos autores, com dados de INEP (2015a)

Observam-se na UO escolhida fragilidades em conteúdos vinculados à objetos de conhecimento da matriz de avaliação da Pedagogia, tais como 'políticas, organização e financiamento da educação brasileira' e 'planejamento, organização e gestão escolar e em outros espaços'. Pressupõe-se que requisitos incorporados estruturalmente nas demandas da formação do Licenciado, a partir da edição do ENADE 2014, não foram ainda materializados nas matrizes curriculares, tampouco na formação dos concluintes ora considerados. Entende-se como oportuna essa identificação de lacunas, diante da eminente reestruturação dos PPC das licenciaturas, a vigorar a partir de agosto de 2017, em função das novas DCN da formação de professores (BRASIL, 2015), com a ampliação em 400 horas a carga horária mínima de integralização curricular dos cursos.

## Considerações Finais

Investigou-se a atração ( ≥ 20%) exercida em concluintes de uma Unidade de Observação (UO) por distratores de questões objetivas do componente específico do ENADE 2014 para a licenciatura em Física. A distribuição percentual de respostas dos concluintes dessa UO (conceito ENADE 4) pelas alternativas dos itens, permitiu inferir fragilidades de conteúdos (conceituais ou procedimentais), destacando aquelas observadas em pelo menos duas questões. Nesse escopo, verificaram-se na UO estudada fragilidades vinculadas ao conteúdo de máquinas térmicas, à percepção da construção social da ciência Física e aos efeitos da radiação solar.

Ainda foram observados lacunas de entendimento observadas em distratores das questões elaboradas pela Comissão de Área da Pedagogia, aplicadas a todos os cursos de Licenciatura. De fato, ao focalizarmos a edição de 2014 da Prova em comparação com as edições anteriores estudadas por Costa e Martins (2014), percebe-se a valorização da análise crítica do conhecimento científico e seu modo de produção, bem como do domínio crítico de adaptações curriculares e dos aportes teórico-práticos da Educação e do Ensino de Física.

Por fim, entende-se que a sistemática de análise proposta possibilita a utilização do ENADE, para além de seu caráter somativo, podendo contribuir para as mudanças curriculares, em tempo de revisão de Projetos Pedagógico, em função das novas DCN da formação de professores, que exigem um mínimo de 3200 horas para a integralização curricular das licenciaturas, possibilitando a incorporação de demandas contemporâneas.

## Referências

BRASIL. MEC. Res. CNE/CES nº 2, de 1 de julho de 2015. DCN para formação inicial em nível superior e para a formação continuada. Brasília: MEC, 2015.

CAVALCANTE, N. S. M.; MARTINS, R.B.; GARCIA, M. D.; HIGA, I. A Relação entre a teoria e prática docente e as questões de Física do ENADE: uma reflexão a partir das Diretrizes Curriculares Nacionais para a formação dos professores da educação básica. In: SIMPÓSIO NACIONAL DE ENSINO DE FÍSICA, 18., 2009, Vitória, Anais... Espírito Santo: SBF, 2009.

COSTA, J. P. C.; MARTINS, M. I. O ENADE para a licenciatura em física: Uma proposta de Matriz de Referência. Revista Brasileira de Ensino de Física (online), v. 36, 3401, 2014.

GRIBOSKI, C. M. O ENADE como indutor da qualidade da Educação Superior. Est. Aval. Educ , v. 23, n.53, p.178-195, set./dez. 2012.

HIGA, I.; CAVALCANTE, N. S.; GARCIA, N. M. D. Análise de Diretrizes Curriculares e o ENADE para a formação de professores de Física no Brasil. In: COLÓQUIO SOBRE QUESTÕES CURRICULARES, 9., 2010, Porto. Atas... Porto: FPCEUP, 2010. p. 3163-3173.

HIGA, I.; LYZNIK, C.; CAVALCANTE, N. S. M.; GARCIA, N.M.D. O ENADE para os cursos de Licenciatura em Física (Edições 2005 e 2008): que conhecimentos

avaliam?. In: ENCONTRO DE PESQUISA EM ENSINO DE FÍSICA, 14., 2012, Maresias, Anais... São Paulo: SBF, 2012.

INEP. DAES. ENADE 2014. Relatório de Área. Física. 2015b.

INEP. DAES. ENADE 2014. Relatório de Curso. Física Licenciatura. UO. 2015a.

INEP. DAES. Portaria nº 263, de 2 de junho de 2014. ENADE 2014. Pedagogia. DOU, 04 de junho de 2014.

MARCOM, G. S.; KLEINKE, M. U. Análises dos distratores das questões de Física em Exames de Larga Escala. Caderno Brasileiro de Ensino de Física , v.33, n.1, p.72-91, abr. 2016.

RABELO, M. L. Matriz de referência para a construção dos instrumentos de avaliação. Pesquisa &amp; Avaliação , n.2, p. 12-24, 2011.