EVOLUÇÃO DA COMPLEXIDADE DO ENADE PARA A LICENCIATURA EM FÍSICA: edições de 2005 a 2017

## EVOLUÇÃO DA COMPLEXIDADE DO ENADE PARA A LICENCIATURA EM FÍSICA: edições de 2005 a 2017

## EVOLUTION OF THE COMPLEXITY OF ENADE FOR TEACHING PHYSICS DEGREE: editions from 2005 to 2017

## João Paulo de Castro Costa , Maria Inês Martins 1 2

1 Centro Federal de Educação Tecnológica de Minas Gerais - Campus Timóteo, joaopaulo.fisico@gmail.com

2 Pontifícia Universidade Católica de Minas Gerais, ines@pucminas.br

## Resumo

O Exame Nacional de Desempenho dos Estudantes (ENADE) compõe o Sistema Nacional de Educação Superior (SINAES). O exame trienal é estratégico para as Instituições de Ensino Superior (IES) por seu poder regulatório de renovação de reconhecimento dos cursos de graduação. O objetivo desse trabalho é analisar, na ótica da Taxonomia de Bloom Revisada (TBR), a complexidade do Exame ao longo de suas edições (2005, 2008, 2011, 2014 e 2017), tanto em relação às dimensões do conhecimento (efetivo, conceitual, procedural e metacognitivo) quanto em relação aos processos cognitivos (lembrar, entender, aplicar, analisar, avaliar e criar) requeridos para resolver as questões objetivas do conteúdo específico das provas do ENADE para a Licenciatura em Física. Os itens de múltipla escolha foram resolvidos pelos autores, visando captar as dimensões do conhecimento e os processos de cognição envolvidos. Entre os 133 itens de múltipla escolha analisados, 20 (15%) dos itens requerem em sua resolução a dimensão do conhecimento efetivo, enquanto que 133 (85%) dos itens mobilizam as dimensões conceitual e procedural do conhecimento. Entre os processos cognitivos verifica-se uma distribuição mais equânime, entre lembrar (18%), entender (20%), aplicar (25%), analisar (18%) e avaliar (19%). Sobre a complexidade ao longo dos anos, não se observa alteração significativa, com exceção de 2017 que priorizou em 67% o conhecimento conceitual, antes em torno de 45%. Pretende-se que essa análise possa contribuir na atualização de docentes da Licenciatura em Física acerca do Exame, possibilitando-lhes refletir sobre os aspectos da cognição envolvidos no ENADE, na perspectiva proposta pela TBR, incorporando seus pressupostos em sua práxis .

Palavras-chave : ENADE; Licenciatura em Física; Taxonomia de Bloom Revisada; Domínios do Conhecimento; Processos Cognitivos.

## Abstract

The National Student Performance Exam (ENADE) is part of the National Higher Education System (SINAES). The triennial exam is strategic for Brazil's Higher Education Institutions (IES) for the exam's regulatory importance to renew undergraduate courses' recognition. The objective of this work is to analyze, from the perspective of the Revised Bloom Taxonomy (TBR), the complexity of the Exam throughout its editions (2005, 2008, 2011, 2014 and 2017), both in relation to the knowledge dimensions (effective, conceptual, procedural and metacognitive) and in

relation to the cognitive processes (to remember, understand, apply, analyze, evaluate and create) required to solve ENADE's objective questions specific to the Teaching Physics Degree courses. We, the authors, solved the multiple choice items aiming to capture the knowledge dimensions and the cognition processes involved. To solve the 133 multiple choice items analyzed, 20 (15%) items required the effective knowledge, dimension while 133 (85%) items used conceptual and procedural knowledge dimensions. Among cognitive processes, there is a more equitable distribution between remembering (18%), understanding (20%), applying (25%), analyzing (18%) and evaluating (19%). Regarding complexity over time, there're no significant changes, apart from 2017 that focused on conceptual knowledge in 67% of items, compared to the previous editions with 45% of this. This analysis is intended to contribute to updating Teaching Physics professors about the Exam, allowing them to reflect on cognition aspects involved on ENADE, using TBR perspective, incorporating its assumptions in their praxis .

Keywords : ENADE, Teaching Physics Degree, Bloom Taxonomy Revised; Knowledge Domain; Cognitive Process.

## O ENADE e a Taxonomia de Bloom Revisada

O Sistema Nacional de Avaliação da Educação Superior (SINAES), instituído pela Lei 10.861/2004 (BRASIL, 2004) é responsável por avaliar as Instituições de Ensino Superior (IES) e um de seus instrumentos é o Exame Nacional de Desempenho dos Estudantes (ENADE) que é aplicado trienalmente para diferentes áreas/cursos, sendo a Licenciatura avaliada desde 2005 e teve sua quinta edição em 2017.

Neste trabalho é analisada a complexidade, na perspectiva da Taxonomia de Bloom Revisada (TBR), de itens objetivos da edição do ENADE para a Licenciatura em Física, complementando a análise de Costa & Martins (2017) para as edições de 2005, 2008, 2011 e 2014 e, possibilitando discutir a evolução dos conhecimentos requeridos em cada um dos exames.

- O termo taxonomia vem do grego taxis, que significa ordenação, e nomos, que se refere a sistema, norma, ou seja, uma taxonomia reflete uma classificação ordenada. Em 1948, Benjamin Bloom e um grupo de especialistas, elaboraram uma taxonomia com o objetivo de classificar objetos educacionais. Bloom et al. (1983) perceberam que, em mesmas condições de ensino, todos os alunos aprendem, porém com diferentes níveis de profundidade e abstração, construindo uma taxonomia, conhecida como Taxonomia de Bloom (TB) para os processos cognitivos, com estrutura hierárquica de domínios (conhecimento, compreensão, aplicação, análise, síntese, avaliação). Esta classificação sugere que, após conhecer algo podemos entendê-lo (compreensão) para aplicá-lo em alguma situação e assim por diante.

Segundo Ferraz & Belhot (2010, p. 424) a TB 'não é apenas um esquema para classificação, mas uma possibilidade de organização hierárquica dos processos cognitivos de acordo com níveis de complexidade e objetivos do desenvolvimento cognitivo desejado e planejado'. Atendendo às novas perspectivas das pesquisas na área da educação, a TB foi revisitada por especialistas, gerando a Taxonomia de

Bloom Revisada (TBR). Enquanto a TB apresenta a classificação hierárquica unidimensional do conhecimento, a TBR possibilita, em uma tabela bidimensional, a interpolação dos domínios do conhecimento e processos cognitivos da aprendizagem, permitindo ao professor elaborador de uma tarefa avaliar 'o que' (dimensão do conhecimento) o aluno deve fazer para resolvê-la e 'como' (processo cognitivo) deve proceder (Tabela 1).

Tabela 1 - Tabela bidimensional da Taxonomia de Bloom Revisada

Fonte: Ferraz & Belhot, 2010, p.429

Para a TBR o conhecimento pode ser compreendido nas dimensões: efetivo, conceitual, procedural e metacognitivo, que tratam, respectivamente, de conhecimentos básicos de terminologia, conhecimentos de conceitos, conhecimentos de metodologia procedimental e conhecimentos reflexivos e analíticos sobre a escolha para resolver a tarefa. Os processos cognitivos, apresentados por verbos na TBR, classificam quais habilidades o estudante requer para resolver a tarefa: lembrar, entender, aplicar, analisar, avaliar, criar.

Assim como Costa & Martins (2017) estudaram a complexidade, à luz da TBR, dos itens do ENADE da Licenciatura em Física para as edições anteriores, outras pesquisas no Ensino de Física também aplicaram a TBR para categorizar itens de exames de larga escala como o Exame Nacional do Ensino Médio (SILVA & MARTINS, 2014) e para os itens da Primeira fase da Olimpíada Brasileira de Física das Escolas Públicas (MARTINS & FAEDA, 2016).

Além de trabalhos que analisam as provas específicas de Física, observamse pesquisas em outras áreas que também preocupam em entender a complexidade do ENADE e exames concernentes ao ensino superior no que diz respeito aos domínios do conhecimento e os processos cognitivos envolvidos nas tarefas propostas em seus itens (PINHEIRO et al., 2013; SILVA et al., 2016; OLIVEIRA; PONTES; MARQUES, 2016; BÓRNEA; GONÇALVES; PADOVANI, 2014). Diante disso, assume-se nesse trabalho, a TBR como instrumento balizador da análise da complexidade do ENADE.

Apresenta-se, a seguir, a classificação bidimensional dos itens objetivos do exame aplicado em 2017, bem como uma análise comparativa da evolução dos conhecimentos avaliados, à Luz da TBR, ao longo das edições do ENADE para a Licenciatura em Física.

## A evolução da complexidade do ENADE para a Licenciatura em Física pela óptica da Taxonomia de Bloom Revisada

A Taxonomia de Bloom Revisada possibilita a apresentação em uma classificação bidimensional da dimensão do conhecimento bem como os processos cognitivos requeridos nas tarefas propostas nos itens do ENADE. Costa & Martins (2017) realizaram a categorização dos itens das quatro primeiras edições do exame,

identificando 16% dos itens concentrados na dimensão efetivo/factual, 44% na dimensão conceitual e 40% avaliando o conhecimento procedural. Apresenta-se na Tabela 2, a distribuição dos itens objetivos do núcleo específico da Licenciatura em Física do ENADE 2017 pela TBR:

Tabela 2 - Distribuição das questões objetivas do núcleo específico geral e de Licenciatura em Física do ENADE 2017 na Tabela bidimensional Proposta pela Taxonomia de Bloom Revisada

Fonte: Dados da Pesquisa

A Tabela 2 apresenta a distribuição dos itens objetivos do exame aplicado em 2017 na óptica da TBR com apenas 11% dos itens avaliando a dimensão efetivo/factual , itens que requerem do estudante conhecimentos ligados às terminologias e elementos específicos, dispensando conexão dos fatos, reproduzindo conceitos aprendidos sem necessidade de interpretação de situações ou utilização de métodos e critérios. Os itens que requerem interpretação e categorização, aplicação princípios, generalizações, teorias, modelos estruturas, isto é, que avaliam o conhecimento conceitual manifestam em 63% dos itens desse exame, número expressivo nessa dimensão do conhecimento, em relação às edições anteriores, enquanto itens que avaliam a dimensão procedural , em que o estudante deve demonstrar seus conhecimentos de conteúdos específicos, habilidades, algoritmos, técnicas específicas, critérios e métodos aplicados para fazer algo, exprimem 26% dos itens do ENADE 2017.

Fonte: BRASIL (2017)

<!-- image -->

Exemplifica-se como foi realizada a categorização da dimensão do conhecimento bem como os processos mobilizados nos itens analisados, com o item objetivo 14 (Figura 1) do exame aplicado em 2017. O item encontra-se na dimensão do conhecimento procedural já que avalia o conhecimento de técnicas específicas e métodos de como um eletroímã é construído e seu funcionamento. O estudante, portanto, para avaliar as afirmações I II e III deve fazer conexão entre os conhecimentos previamente adquiridos sobre o eletromagnetismo com o conteúdo das afirmações, mobilizando o processo da cognição entender , bem como avaliar as consequências dos procedimentos sugeridos em cada uma das afirmações baseado em padrões quantitativos ou qualitativos. A análise para categorização do item, na mesma perspectiva realizada por Costa &amp; Martins (2017), repetiu-se para todos os itens dos exames, produzindo os dados apresentados a seguir (Gráfico 1 e Gráfico 2).

Gráfico 1 - Evolução de frequência das dimensões do conhecimento avaliadas nos itens objetivos do ENADE para a Licenciatura em Física nas edições 2005-2017Fonte: Elaborado pelos autores

<!-- image -->

Nas quatro primeiras edições do ENADE para a Licenciatura em Física os itens que avaliam a dimensão conceitual e procedural tiveram frequência praticamente equânime (Gráfico 1), com um ligeiro destaque em 2008 para o conhecimento efetivo. Entretanto na edição de 2017 verifica-se maior quantidade de itens que avaliam o conhecimento conceitual, em detrimento do procedural. Reiterase que itens conceituais avaliam se o estudante tem a capacidade de fazer interrelação entre os conhecimentos básicos adquiridos, em novas situações problemas, itens que relacionam elementos mais simples conectando-os em contextos mais elaborados.

Os itens que avaliam a dimensão conceitual não são necessariamente considerados como itens mais fáceis que os que os procedurais, assim como estes não são mais difíceis. A complexidade da prova é avaliada, na perspectiva da TBR, pela dimensão que a tarefa proposta se encontra e quais processos da cognição o estudante mobiliza para resolvê-la. A diferença entre os dois é que a dimensão procedural avalia se o estudante sabe, além relacionar elementos básicos em uma estrutura maior permitindo funcionar juntos, como realizar um procedimento e quais critérios e métodos para utilizar habilidades, algoritmos e técnicas. Nos itens do ENADE para a Licenciatura em Física a dimensão procedural manifesta-se em situações em que o estudante deve avaliar eficiências de experimentos, funcionamento de dispositivos, que se baseiam em conceitos da Física básica e desenvolvimento de atividades práticas ou situações do cotidiano escolar. O domínio do conhecimento metacognitivo tem como ideia principal a utilização dos

conhecimentos previamente absorvidos na resolução de tarefas e a escolha do melhor método técnica, estrutura ou teoria para resolver e não foram identificados itens objetivos nessa dimensão do conhecimento nos exames avaliados.

Gráfico 2 - Evolução de frequência dos processos da cognição requeridos na resolução dos itens objetivos do ENADE para a Licenciatura em Física nas edições 2005-2017Fonte: Elaborado pelos autores

<!-- image -->

De acordo com a TBR uma tarefa proposta no item encontra-se apenas em uma dimensão do conhecimento (factual, conceitual, procedural ou metacognitiva), porém pode requerer do estudante um ou mais processos da cognição (lembrar, entender, aplicar, analisar, avaliar e criar). A TBR, diferente da taxonomia original que propunha uma categorização hierárquica do conhecimento, permite a classificação em mais de um processo para uma mesma tarefa. Nas cinco edições do ENADE, verifica-se que os itens, em sua maioria, requerem do estudante mobilizar mais de um processo da cognição em sua resolução, o que se confirma ao analisar o Gráfico 2, em que a frequência total de processos é maior que o total de itens avaliados. O Gráfico 2 também proporciona uma visão de como os processos foram requeridos nas cinco edições e percebe-se um equilíbrio, em torno de aplicar (61 vezes), na distribuição dos processos lembrar (43 vezes) e entender (49 vezes) de um lado e analisar (42 vezes) e avaliar (47 vezes). Destaca-se a ausência do processo criar , que é mais bem avaliado em itens discursivos, o que não é objeto do presente trabalho.

Analisando o Gráfico 2 pode-se verificar no decorrer de cinco edições do ENADE que 18% dos itens requerem o processo cognitivo lembrar onde o estudante deve '[...] reconhecer e reproduzir ideias e conteúdos, buscando por uma informação memorizada' 1 , que 20% dos itens avaliam o processo cognitivo entender que requer do estudante '[...] conectar o novo conhecimento e o previamente adquirido, reproduzindo com suas 'próprias palavras'' e que 25% dos itens requeriam o 1 processo aplicar o qual refere-se a '[...] execução de um procedimento numa situação específica que pode ser nova' . Percebe-se uma frequência praticamente 1 igual para os processos analisar (18%), que solicita ao estudante que mobilize a '[...] fragmentação da informação em partes importantes (ou não) e inter-relacioná-las' , 1 e avaliar (19%) que refere-se a itens em que o estudante faça o '[...] julgamento da informação baseado em padrões qualitativos e quantitativos ou de eficiência e eficácia' . 1

No que diz respeito à correlação entre o domínio do conhecimento com os processos da cognição, uma das contribuições da revisão da Taxonomia de Bloom, pode-se verificar na Tabela 3 um compilado de quais cruzamentos aconteceram em maior frequência:

Tabela 3 - Tabela bidimensional de frequência absoluta dos itens objetivos avaliados no ENADE para a Licenciatura em Física - Edições de 2005 a 2017.

Fonte: Elaborada pelos autores

Destaca-se que no decorrer das edições do ENADE, em 15 itens que contemplam o domínio do conhecimento efetivo foi mobilizado o processo da cognição lembrar . Os itens que contemplam a dimensão conceitual correspondem a 48% dos itens avaliados nas cinco edições do exame e há um equilíbrio de frequência dos processos cognitivos mobilizados em sua resolução. Já nos itens da dimensão procedural (37% dos itens avaliados), em 34 itens requerem o processo cognitivo aplicar em sua resolução.

## Considerações Finais

Os itens objetivos das provas do ENADE para a Licenciatura em Física foram categorizados em relação aos aspectos da cognição envolvidos, pela Taxonomia de Bloom Revisada, que qualifica os domínios do conhecimento e quais processos da cognição o estudante deve mobilizar na resolução da tarefa proposta em cada um deles. Essa análise categórica fornece o entendimento de 'o que' e 'como' deve ser realizada a tarefa proposta em uma questão do exame.

Foram analisados 133 itens objetivos das provas do ENADE para a Licenciatura em Física aplicadas em 2005, 2008, 2011, 2014 e 2017 nos quais podese observar 15% dos itens na dimensão efetivo/factual, 48% na dimensão conceitual e 37% na dimensão procedural. Analisando os aspectos da cognição, à luz da TBR, desde a primeira aplicação em 2005 até a quarta edição do exame de 2014, as mudanças não são significativas, só o exame de 2017 que apresentou um aumento significativo nos itens que contemplam o conhecimento conceitual. Entre 2005 e 2014 a média era de 12 itens por exame e em 2017 observa-se uma frequência de 17 itens nesse domínio do conhecimento.

No que diz respeito aos processos da cognição, observam-se 34 itens na dimensão procedural que mobilizam o processo da cognição aplicar, representando a maior frequência no total das cinco edições do exame. No exame de 2017 apenas 3 itens foram categorizados no cruzamento procedural ᵡ aplicar, no entanto, como observado o aumento dos itens na dimensão conceitual, verifica-se a frequência de 10 itens (37%) que requerem o processo aplicar em sua resolução nessa dimensão.

A categorização e análise, pela TBR, dos aspectos da cognição envolvidas nas tarefas propostas dos itens do ENADE contribuem para a avaliação da complexidade do exame nessa óptica sendo a TBR uma ferramenta importante que pode ser incorporada pelo docente em sua práxis . Entende-se que as questões do ENADE são bem construídas e que o seu modelo merece ser considerado na formação dos alunos. Embora não se defenda como apropriado treinar os estudantes para o ENADE, sugere-se aproximá-los de tarefas de mesma complexidade dos itens desse exame.

## Referências

BLOOM, B.S.; HASTINGS, J.T, MADAUS, G.F. Manual de Avaliação Formativa e Somativa do Aprendizado Escolar . São Paulo: Livraria Pioneira. 1983.

BÓRNEA, E. R.; GONÇALVES, A.; PADOVANI, C. R. Avaliando Conhecimento em DST de Graduandos em Medicina segundo a Taxonomia de Bloom. Revista Brasileira de Educação Médica , v.38, n.1, p.25-30, 2014.

BRASIL. Lei n˚10.861, de 14 de abr. 2004. Institui o SINAES e dá outras providências. Diário Oficial da União , Brasília, 15 abr. 2004. Seção 1, p. 3/4.

BRASIL. INEP. ENADE . Brasília, 2017.

COSTA, J. P. C.; MARTINS, M. I. Análise da complexidade de itens do ENADE à luz da Taxonomia de Bloom Revisada: contributos ao ensino de Física. Caderno Brasileiro de Ensino de Física , Florianópolis, v. 34, n. 3, p. 697-724, dez. 2017.

FERRAZ, A. P. C. M.; BELHOT, R. V. Taxonomia de Bloom: revisão teórica e apresentação das adequações do instrumento para definição de objetos instrucionais. Gestão e Produção , v.17, n.2, p. 421-431, 2010.

MARTINS, M. I.; FAEDA, K. C. M. . Análise de questões da 1ª fase da OBFEP pela Taxonomia de Bloom Revisada . In: XVI Encontro Nacional de Pesquisa em Ensino de Física, 2016, Natal. Anais do Encontro Nacional de Física 2016. São Paulo: SBF, 2016.

OLIVEIRA, A. P. S. B.; PONTES, J. N. A.; MARQUES, M. A. O uso da Taxonomia de Bloom no Contexto da Avaliação por Competência. Pleiade , v.10, n. 20, p.12-22, jul./dez. 2016.

PINHEIRO, F. M. G. et al. O perfil do contador e os níveis de habilidades cognitivas nos exames ENADE e suficiência do CFC: uma análise sob a perspectiva da taxonomia de Bloom. Contextus , v.11, n.1, p.50-65, jan./jun. 2013.

SILVA, O. L. et al. Avaliação de Habilidades e Competências em Custos no Exame de Suficiência. ABCustos , v. 11, n.2, p.72-93, maio/ago. 2016.

SILVA, V. A. ; MARTINS, M. I. . Análise das questões de Física do ENEM pela Taxonomia de Bloom Revisada. Ensaio: Pesquisa em Educação em Ciências , v. 16, p. 189-202, 2014.