NOTAS FINAIS COMPARADAS COM TESTE DE CONHECIMENTO PARA AVALIAR MÉTODOS DE ENSINO EM UNIVERSIDADES

## NOTAS FINAIS COMPARADAS COM TESTE DE CONHECIMENTO PARA AVALIAR MÉTODOS DE ENSINO EM UNIVERSIDADES

## FINAL GRADES COMPARED WITH CONCEPTUAL TESTS TO ASSESS TEACHING METHODS IN UNIVERSITIES

Tais Bastani 1 , Júlia Esteves Parreira , Lucas Wardil , Ubirajara Agero 2 3 4

1 Universidade Federal de Minas Gerais - UFMG, Departamento de Física, ICEx, taisbastani@ufmg.br

- 2 Pontifícia Universidade Católica - PUC-Minas, Departamento de Física e Química, julia@pucminas.br
- 3 Universidade Federal de Minas Gerais - UFMG, Departamento de Física, ICEx, wardil@fisica.ufmg.br

## Resumo

Neste estudo, comparamos o efeito de duas metodologias de ensino diferentes - uma tradicional e uma ativa usando resultados de notas finais e do teste de conhecimentos conceituais BEMA, este último aplicado no modelo pré e pós teste. O estudo foi feito na Universidade Federal de Minas Gerais, na disciplina introdutória de Eletromagnetismo ofertada pelo departamento de Física para os cursos de ciências exatas, como engenharias, Física, Química e Matemática. A partir do BEMA, calculamos o Ganho de Hake para 601 alunos divididos em 30 turmas, ministradas por 9 professores diferentes, 7 desses professores usam a metodologia tradicional, baseada em aulas expositivas, e 2 utilizam uma combinação de Instrução por Pares e aprendizagem sob-medida. Comparamos a diferença do ganho e da nota final entre os dois métodos de ensino. O Ganho de Hake é feito a partir de uma prova padronizada. Já as notas dependem do sistema de avaliação individual de cada professor. Os resultados mostram uma diferença no ganho para os métodos de ensino, já vista na literatura, mas não uma diferença na nota final.

Palavras-chave : Avaliação, Notas, BEMA, Instrução por Pares, ensino tradicional.

## Abstract

In this work, we compared the effect of two different teaching methodologies - one active and one traditional - using final grades and the conceptual test BEMA, the latter applied as post and pre-tests. The study was carried out with students enrolled in the first Electromagnetism course offered by the Physics Department at the Universidade Federal de Minas Gerais. The students' majors were mostly engineering, physics, mathematics and chemistry. We obtain Hake's gain from BEMA for 601 students in 30 classes, given by 9 separate teachers, 7 using the traditional lecture-based methodology and 2 using a combination of Peer Instruction and Just-in-Time teaching. We should stress that Hake's gain is calculated using a standardized test whereas the final grades depend on each professor's grading

system. Our analysis shows that the teaching method has a significant effect on Hake's gains, as already observed in the literature, but no effect on the final grade.

Keywords : Evaluation, Grades, BEMA, Peer Instruction, traditional teaching.

## Introdução

As notas, em disciplinas escolares e universitárias, são um elemento sempre presente no cotidiano de professores e estudantes. Uma forma de quantificar o aprendizado ou conhecimento sobre certo tema em certa disciplina e de definir estudantes que devem repetir a disciplina ou o ano escolar. Assim, a nota tem um papel central no cotidiano da educação formal.

Embora seja comum encontrar professores e estudantes que se mostram insatisfeitos com a avaliação nas disciplinas, muitos concordam que, apesar de não conseguirem medir objetivamente o conhecimento e aprendizagem, irão continuar quantificando-os com as notas avaliativas.

Mas afinal, quão adequada é a avaliação do aproveitamento de uma disciplina através da sua nota final?

Em uma meta-análise recente [1], os autores analisaram 225 estudos que comparam o efeito de metodologias ativas no aprendizado usando testes conceituais e notas dos exames das disciplinas. Foi identificado que, apesar de tanto os resultados dos testes conceituais como as notas finais dos exames serem instrumentos capazes de medir ganho de aprendizagem gerados pelo uso de metodologias ativas, as notas dos exames são instrumentos menos sensíveis.

No nosso estudo, também observamos um ganho de conhecimento significativo para metodologias ativas comparadas com o método tradicional quando avaliamos o ganho de conhecimento com testes conceituais. Se a nota final for de fato uma boa medida da aprendizagem, ela deveria refletir essa mesma diferença. Porém, nosso estudo indica que a nota final não é capaz de detectar diferenças de métodos de ensino. Portanto, é preciso que se questione a capacidade da nota final da disciplina em medir o aprendizado dos alunos.

## Metodologia

A coleta de dados ocorreu em uma Universidade Federal, na disciplina de Fundamentos de Eletromagnetismo (nível introdutório oferecida nos primeiros semestres dos cursos) ofertada pelo departamento de Física para os cursos de ciências exatas, como engenharias, Física, Química e Matemática. 601 alunos divididos em 30 turmas, entre o primeiro semestre de 2017 e o segundo de 2019, participaram deste estudo. Essas disciplinas foram ministradas por 9 professores diferentes. 7 desses professores ministraram aulas de forma tradicional, centrada no professor, e outros 2, aulas utilizando uma combinação de Aprendizagem sob Medida e Instrução por Pares, chamada nesse texto apenas por Instrução por Pares (IP), centrada no aluno.

Um teste conceitual e semiquantitativo, BEMA [2], no modelo pré teste e pós teste, foi aplicado a essas turmas. Para cada respondente, temos o resultado do pré

teste, do pós teste e a nota final na disciplina. A partir dos resultados pré e pós teste do BEMA, calculamos o Ganho de Hake normalizado [3], comumente usado na pesquisa em ensino de Física para medir a aprendizagem. O Ganho de Hake é definido por:

<!-- formula-not-decoded -->

onde é a nota do pré teste, é a nota do pós teste e é a nota máxima 𝑁 𝑝𝑟é 𝑁 𝑝ó𝑠 𝑁 𝑚á𝑥 do teste.

A nota final é a nota atribuída por cada professor individualmente, com seu próprio método de avaliação, usualmente composto por três provas durante o semestre letivo.

A análise do efeito do método de ensino foi feita através de modelos lineares mistos. Para a variável dependente, investigamos tanto o ganho de Hake como a nota final. Em ambos os casos, consideramos o tipo de método de ensino como a única variável dependente. Para o controle de possíveis dependências ocasionadas por turmas e semestres, analisamos modelos com efeitos aleatórios. Como não encontramos nenhum papel relevante na estrutura de efeitos aleatórios, não detalhamos essa análise no presente artigo.

## Resultados e discussão

A tabela 1 apresenta os resultados do Ganho de Hake para todos os estudantes envolvidos no estudo. Os estudantes foram divididos em duas categorias, de acordo com a metodologia de ensino-aprendizagem adotada por seu professor.

Tabela 1 - Média ± erro padrão, desvio padrão, e mediana do Ganho de Hake para cada método

Fonte: Elaborada pelos autores.

Na tabela 1, vemos que há um aumento relativo de 31,5% no Ganho de Hake médio com o uso de IP. Esse resultado é similar a outros encontrados na literatura [4]. Esse efeito positivo observado no ganho de Hake é corroborado pela análise do modelo linear, que fornece um coeficiente linear para a variável método de ensino igual a (0.07084 0.01889) com valor-p = 0.0002. ±

Na figura 1, mostramos a distribuição dos dados sobre o Ganho de Hake. O gráfico da esquerda apresenta a densidade de probabilidade para cada método feita através da estimativa de densidade kernel [5], uma curva suavizada. Vemos que há

um deslocamento nas distribuições: a curva que representa os estudantes submetidos à IP (azul) está deslocada para a direita comparado com o método tradicional de ensino (laranja). O gráfico à direita da figura 1 é um histograma feito com os mesmos dados, mostrando a probabilidade de um estudante submetido à IP ou a aulas tradicionais de ter ganho nas faixas delimitadas. Vemos que alunos de IP têm probabilidades maiores de ter ganhos maiores que alunos de aulas tradicionais.

Figura 1 - Densidade de probabilidade e histograma do Ganho de Hake, dividido em faixas de 0,175Fonte: Elaborado pelos autores.

<!-- image -->

A fim de explorar esta diferença, fazemos o gráfico de distribuição relativa [6], apresentado na figura 2. Neste gráfico, separamos o grupo de referência em decis de ganho e calculamos a porcentagem de alunos do grupo de comparação nas faixas de ganho de cada decil. Assim, temos a proporção de alunos do grupo de comparação em cada decil do grupo de referência. Quando o resultado para um decil é &gt;10%, temos uma sobrerrepresentação de alunos do grupo de comparação. Quando o resultado é &lt;10%, temos uma sub-representação de alunos do grupo de comparação. Quando o resultado é =10%, temos uma distribuição proporcional entre os dois grupos. Usamos como grupo de referência os alunos do método tradicional e como grupo de comparação alunos de IP. Podemos ver que há uma sub-representação de alunos de IP em faixas de ganho mais baixos, e uma sobrerrepresentação de alunos de IP em faixas de ganho mais altas. Então, alunos de IP estão concentrados em faixas de ganho mais altas em relação aos alunos do tradicional.

Figura 2 - Distribuição relativa do Ganho de Hake de Instrução por Pares em relação ao tradicional. O eixo x do gráfico mostra a faixa de ganho de cada decil

Fonte: Elaborado pelos autores.

<!-- image -->

Agora, usamos os mesmos métodos para analisar a diferença da nota final entre as duas metodologias de ensino. A média e a mediana são apresentadas na tabela 2, mostrando que não há diferença significativa na nota final média entre os métodos. A indiferença das notas finais para com o método de ensino é corroborada pelo modelo linear: o coeficiente da variável método é igual a (0.06742 1.64696) ± com valor-p=0.967.

Tabela 2 - Média ± erro padrão, desvio padrão e mediana da nota final para cada método

Fonte: Elaborada pelos autores.

Nos gráficos da figura 3, vemos que também não há diferença significativa na distribuição da nota final nem na nota relativa entre os métodos.

Figura 3 - Densidade de probabilidade e histograma da nota final, dividido em faixas de 10.Fonte: Elaborado pelos autores.

<!-- image -->

Na figura 4, vemos que, ao contrário do Ganho de Hake, na nota final não há uma tendência crescente da distribuição relativa, e sim um comportamento aleatório. É interessante notar que 10% dos estudantes do método tradicional têm nota entre 60 e 61 pontos, indicando um acúmulo de estudantes nessa faixa. Já no método de Instrução por Pares, a quantidade de estudantes é aproximadamente 4%.

Figura 4 - Distribuição relativa da nota final de Instrução por Pares em relação ao tradicionalFonte: Elaborado pelos autores.

<!-- image -->

## Conclusão

O principal resultado do nosso trabalho é mostrar que apesar de métodos ativos melhorarem o aprendizado quando este é medido pelo Ganho de Hake, o mesmo não é observado quando o aprendizado é medido usando a tradicional nota final: as notas finais são indiferentes ao método.

Quando comparamos as figuras 1 e 3, e as tabelas 1 e 2, vemos que o Ganho de Hake para turmas em que se usou a metodologia ativa foi maior em comparação às turmas submetidas ao ensino tradicional. As notas finais, no entanto, não mostraram essa diferença. Um trabalho, analisando 255 trabalhos, mostra um aumento de 6% nas notas com métodos ativos comparado com tradicional [1]. Esse mesmo artigo mostra que testes conceituais como o BEMA são mais sensíveis ao aumento do aprendizado. Como o ganho de Hake foi calculado a partir do BEMA, que é um teste único para todos estudantes, é plausível assumir que ele seja uma medida mais isenta do aprendizado dos alunos do que as notas finais em uma disciplina. Essas notas dependem do sistema de avaliação individual de cada professor, que estabelece o padrão esperado para o estudante ser aprovado, mas esse padrão pode mudar muito entre os professores. Como as notas não refletem o resultado do ganho de Hake, sugerimos que a nota não seja um bom padrão para avaliação de estudantes.

Vale ressaltar que, nos resultados da IP há apenas dois professores que aplicam esta metodologia, o que poderia gerar algum enviesamento. E, de acordo com Müller et al. (2017), um dos gaps da literatura sobre o uso de IP são pesquisas sobre a influência dos professores e suas crenças sobre o método. No entanto, apesar disso, os resultados encontrados são consistentes com a literatura [7].

No futuro, esperamos criar avaliações somativas padronizadas, ou de nível similar, para todas as turmas e comparar a nota final do curso com o teste conceitual BEMA. Além disso, pretendemos aumentar o número de professores utilizando métodos ativos.

## Agradecimentos

- O presente trabalho foi realizado com apoio da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) - Código de Financiamento 001, Fundação de Amparo à Pesquisa do Estado de Minas Gerais (FAPEMIG) e o Conselho Nacional de Pesquisa (CNPq).

## Referências

- 1. Scott Freemana, Sarah L. Eddya, Miles McDonougha, Michelle K. Smithb, Nnadozie Okoroafora, Hannah Jordta and Mary Pat Wenderotha (2014), Active learning increases student performance in science, engineering, and mathematics , PNAS, vol. 111, no. 23, 8410-8415, https://doi.org/10.1073/pnas.1319030111
- 2. Ding, L., Chabay, R., Sherwood, B., &amp; Beichner, R. (2006). Evaluating an electricity and magnetism assessment tool: Brief electricity and magnetism

assessment. Physical Review Special Topics - Physics Education Research, 2(1). 10.1103/physrevstper.2.010105

- 3. Hake, R. R. (1998). Interactive-engagement versus traditional methods: A six-thousand-student survey of mechanics test data for introductory physics courses. American Journal of physics, 66(1), 64-74. 10.1119/1.18809
- 4. Müller, M. G., Araújo, I. S., Veit, E. A., &amp; Schell, J. (2017). Uma revisão da literatura acerca da implementação da metodologia interativa de ensino Peer Instruction (1991 a 2015) . Revista Brasileira de Ensino de Física, 39(3). 10.1590/1806-9126-rbef-2017-0012
- 5. Yen-Chi Chen (2017) A tutorial on kernel density estimation and recent advances , Biostatistics &amp; Epidemiology, 1:1, 161-187, DOI: 10.1080/24709360.2017.1396742
- 6. Handcock, M.S. and Morris, M. (1998), Relative Distribution Methods. Sociological Methodology, 28: 53-97. https://doi.org/10.1111/0081-1750.00042
- 7. J. Von Korff, B. Archibeque, K. A. Gomez, T. Heckendorf, S. B. McKagan, E. C. Sayre, E. W. Schenk, C. Shepherd, and L. Sorell (2016), Secondary analysis of teaching methods in introductory physics: A 50 k-student study , Am. J. Phys.84, 969