Avaliações em Física Básica

## AVALIAÇÕES EM FÍSICA BÁSICA 1 ASSESSMENT IN COLLEGE PHYSICS

Fausto Lima Custódio 1 , Marta Feijó Barroso 2

1

Universidade Federal do Rio de Janeiro / PEF, fausto.custodio@ucp.br Universidade Federal do Rio de Janeiro / Instituto de Física, marta@if.ufrj.br

- 2

## Resumo

A avaliação de aprendizagem em física nos anos iniciais dos cursos universitários é em geral realizada a partir da resolução de problemas, ou exercícios, tradicionais. Espera-se que o estudante seja capaz de resolver problemas de final de capítulo dos livros texto. Há porém uma vasta literatura indicando que a habilidade de resolver problemas não necessariamente implica numa correspondente compreensão conceitual. Ao mesmo tempo, formular uma avaliação conceitual revela-se uma tarefa bastante difícil, pois exige uma precisão textual e conceitual, bem como um conhecimento aprofundado das dificuldades dos alunos. Em paralelo, o senso comum dos professores de física básica manifesta-se com a percepção da perda de tempo em corrigir centenas de provas discursivas de alunos que não aprenderam os conceitos básicos que lhes permitiriam resolver problemas, é uma perda de tempo. A utilização de questões de múltipla escolha é questionada. Há indicações que avaliações objetivas podem ser tão precisas para mensurar a aprendizagem quanto avaliações subjetivas, e permitiriam a realização de avaliações de caráter formativo com retorno e possibilidade de correção de rumos na atividade docente, desde que eliminadas as dificuldades inerentes ao processo de montagem e correção destes testes. Neste trabalho, apresenta-se o desenvolvimento de um conjunto de testes conceituais, desenvolvidos e aplicados na disciplina de Física I para Engenharia. Estes testes foram elaborados e aplicados, com auxílio de um sistema semi-automatizado de geração e correção de provas desenvolvido, o AtenaME. Os resultados foram entregues aos professores das turmas, que os utilizaram de formas diversas. A seguir, os resultados dos testes conceituais foram confrontados com os resultados das avaliações tradicionais, baseadas em resolução de problemas elaborados pela equipe responsável pela disciplina. Apresentamos aqui os resultados da aplicação deste piloto no segundo período de 2011.

Palavras-chave : Ensino de Física, Avaliação, AtenaME, Física Básica

## Abstract

Assessment in college physics teaching is usually performed based in problem solving exams. Students are expected to be able to solve problems like the ones at the end of textbook chapters. There is however indication that problem solving skill not necessarily comes together with functional and conceptual

understanding. To develop conceptual assessment is a hard task, and is constrasted with the teacher's perception of time losing in grading great numbers of exams. There are some indications on the possibility of using multiple choice itens as a precise instrument of measuring students' learning. In this paper, we present the development of a semi-automatized system of tests in Basic Mechanics for Engeneering students. The generation of randomized tests with the automatized grading was made with AtenaME, a system developed by the project. The results of the tests were analysed and compared to the results of the tradicional problemsolving exams in the second semester of 2011.

Keywords : Physics Teaching, Assessment, College Physics

## Introdução

Os processos de avaliação de aprendizagem em física nos anos iniciais dos cursos universitários em cursos de ciências exatas e tecnologia são de modo geral realizados a partir da resolução de problemas, ou exercícios, tradicionais. Há a expectativa que o estudante, caso tenha aprendido os conteúdos da disciplina, seja capaz de resolver problemas como os existentes ao final dos capítulos dos livros texto.

Há porém uma vasta literatura na área de ensino de física mencionando que a habilidade de resolver problemas não necessariamente implica numa correspondente compreensão conceitual da física básica (McDermott 1991; McDermott 1993; Hellman 1989). Ao mesmo tempo, formular uma avaliação conceitual revela-se uma tarefa bastante difícil, pois exige uma precisão textual e conceitual, bem como um conhecimento aprofundado das dificuldades dos alunos (Scott, Asoko e Leach 2007).

Em paralelo, há uma visão do senso comum dos professores de física básica dos cursos universitários que corrigir centenas de provas discursivas de alunos que não têm a menor ideia do que está sendo avaliado, em outras palavras, que ainda não aprenderam os conceitos básicos que lhes permitiriam resolver problemas, é uma perda de tempo e de trabalho qualificado. A utilização de questões de múltipla escolha é sempre muito questionada internamente, pois aprender a argumentar em ciências é fundamental na área de ciência e tecnologia (Ogilvie 2007; Bransford 2000).

Há indicações que avaliações objetivas podem ser tão precisas para mensurar a aprendizagem quanto avaliações subjetivas (Haladyna 2004). Testes de múltipla escolha permitem a realização de avaliações de caráter formativo (Black 1998) com retorno ('feedback') e possibilidade de correção de rumos na atividade docente, desde que eliminadas as dificuldades inerentes ao processo de montagem e correção destes testes.

Neste trabalho, apresenta-se o desenvolvimento de um conjunto de testes conceituais em sua proposta, desenvolvidos na formma de um projeto piloto de métodos e formas de diversas para avaliar a aprendizagem a disciplina de Física I (Mecânica Introdutória) nos cursos de Ciências Exatas e Tecnologia. Estes testes foram elaborados a partir de discussões teóricas sobre a construção de provas de

múltipla escolha, a partir da divisão temática dos tópicos a serem avaliados, e dos conceitos fundamentais em cada um desses tópicos. Foi desenvolvido um sistema semi-automatizado de geração e correção dos testes pelo grupo, o AtenaME. Os testes foram aplicados a turmas de Física I para estudantes de engenharia. Os resultados foram entregues aos professores das turmas em um curto período de tempo com o intuito de permitir uma verificação da aprendizagem dos conceitos e a tomada de medidas necessárias para correções no processo de ensino.

Em uma segunda etapa, os resultados dos testes conceituais foram confrontados com os resultados das avaliações tradicionais, baseadas em resolução de problemas.

Apresentamos aqui uma parte da análise dos resultados da aplicação dos testes e a comparação dos resultados dos testes e das provas elaboradas pela equipe de professores da disciplina.

## Metodologia

Foram escolhidos 12 temas consolidados dos conteúdos abordados em Física 1: Conceitos básicos de cinemática; Movimentos em mais de uma dimensão; Compreensão das leis de Newton; Fundamentos da dinâmica; Energia cinética e trabalho de uma força; A conservação da energia; A conservação do momento linear; Colisões entre partículas; A conservação do momento angular; Torque de uma força e momento angular; Movimentos de rotação num plano; Equilíbrio em corpos rígidos. A partir desses temas, e do levantamento bibliográfico sobre testes padronizados e dificuldades dos estudantes, bem como da discussão com professores com experiência na disciplina, foram elaborados testes de múltipla escolha.

Foi solicitado aos professores da disciplina que aplicassem os testes escolhidos por eles dentro da lista, nas datas desejadas. Os professores solicitavam o teste, o teste era entregue a eles, eles o aplicavam e devolviam, a correção era feita (por leitura ótica, num sistema desenvolvido pela equipe) e os resultados entregues aos professores das turmas.

Os testes foram gerados a partir dos testes elaborados com o sorteio aleatório da ordem das questões e da ordem das respostas dentro das questões. Foi feita a opção pela apresentação de uma possibilidade de resposta 'Não sei' aos estudantes. O sistema que gerava os testes aleatórios e as correções automáticas foi desenvolvido no LIMC (Laboratório de Pesquisa e Desenvolvimento em Ensino de Matemática e Ciências) durante o desenvolvimento deste projeto, em paralelo com projeto semelhante na disciplina Álgebra Linear II, com o nome de AtenaME.

Os professores das turmas para as quais os testes foram aplicados não participaram da discussão e elaboração dos testes, por opção metodológica. A avaliação do curso de Física I é feita com base em duas provas (de resolução de problemas) unificadas para todas as turmas; a equipe do projeto não participou da elaboração das provas.

A partir da aplicação e correção dos testes, passou-se à análise dos resultados. Para isso, todos os testes foram tabelados, as notas dos alunos em cada uma das questões das provas também foi tabelada, o resultado final

(aprovação ou reprovação) foi colocado na tabela. Com esse banco de dados, foram (e estão sendo) feitas análises estatísticas, visando entender a relação entre o desempenho dos alunos nos testes e nas provas, e as eventuais correlações entre eles.

## Resultados

Apresenta-se aqui alguns exemplos dos resultados obtidos. O total de alunos nas turmas onde os testes foram aplicados é 521, mas nem todos os testes foram aplicados a todas as turmas. Todos os testes foram aplicados após aulas ministradas pelos professores das disciplinas sobre o tópico. Portanto, todos os resultados são correspondentes a pós-testes, após instrução.

Em relação ao Teste 2, que trata de movimentos em mais de uma dimensão, chamou atenção o resultado da Questão 1. Na Figura 1, apresenta-se o enunciado da questão apresentada, que avalia a compreensão das relações entre a direção da aceleração e as variações temporais da velocidade. Na Tabela 1, apresenta-se o resultado da aplicação deste teste, com as respostas por item (em percentuais dos alunos que realizaram o teste, total de 127).

Figura 1 - Enunciado da questão 1 do Teste 2.Figura 2 . Enunciado da questão 3 do Teste 2.

<!-- image -->

Teste 2 - Questão 1

Teste 2 - Questão 3

Tabela 1. Percentual de respostas em cada item dos participantes.

Os resultados dessas duas questões indicam a dificuldade dos alunos (de cursos de Engenharia no primeiro ano do curso universitário) em compreender conceitos que vêm sendo abordados desde o ensino médio: na questão 3, a independência dos movimentos, e na questão 1 a relação entre aceleração e mudança vetorial na velocidade.

Em relação ao problema de movimento de projéteis tradicional apresentado na primeira prova, observa-se que dos alunos que acertaram integralmente a questão, 71% tinham acertado a questão 2 do Teste 1, e 29% erraram a questão. Para a questão 2 do mesmo teste; entre os que erraram a questão na prova, 62,2% haviam acertado a questão do teste.

As análises foram feitas para todas as questões dos testes e das provas, indicando dificuldades em compreensão de alguns tópicos e conceitos, e a pouca correlação entre os resultados apresentados para os testes conceituais e para as provas envolvendo resolução de problemas.

Para tópicos não habitualmente estudados no ensino médio, os resultados revelam-se semelhantes.

## Conclusão

O desenvolvimento de métodos de avaliação de Física básica em cursos com grande número de alunos é importante para permitir um retorno mais rápido para o professor, possibilitando alterações metodológicas de abordagem em sala de aula. No entanto, para isso é necessário compreender melhor o papel que as questões conceituais desempenham em relação ao desenvolvimento das habilidades relacionadas à resolução de problemas, e em particular à resolução de problemas complexos.

Com isso em mente, desenvolveu-se um projeto piloto de avaliação semiautomatizada em curso de Física I para estudantes de Engenharia. Foram desenvolvidos testes para aplicação em sala de aula, com geração de testes diferentes e correção semi-automatizada.

Os resultados da análise até o momento indicam pouca correlação entre os desempenhos dos estudantes em questões conceituais e o desempenho desses mesmos estudantes ao resolverem problemas tradicionais.

## Agradecimentos

O desenvolvimento das técnicas de avaliação semi-automatizadas, o projeto Atena-ME, foi feito por Oswaldo Vernet e Luiz Carlos Guimarães (UFRJ), a quem agradecemos o apoio e as discussões.

## Referências

BLACK, P. Testing: Friend or Foe? The theory and practice of assessment and testing . London: Routledge &amp; Falmer, 1998.

BRANSFORD, J.D.; BROWN, A.L.; COCKING, R.R.(Ed.) How People Learn: Brain, Mind, Experience, and School : Expanded Edition, Committee on Developments in the Science of Learning, USA: National Research Council, 2000.

HALADYNA, T.M. Developing and Validating Multiple-Choice Test Items , 3rd ed., Mahwah: Lawrence Earlbaum, 2004.

HELLMAN, W. Conceptual Versus Nonconceptual Questions in the Grading of Physics Students. The Physics Teacher, vol. 27, no 5, May 1989.

McDERMOTT, L.C. Millikan Lecture 1990: What we teach and what is learning: Closing the gap. American Journal of Physics, vol. 59, no 4, 301-315, 1991.

McDERMOTT, L.C. How we teach and how students learn - A mismatch?. American Journal of Physics, vol 61, no 4, 295-298, 1993.

OGILVIE, C.A. - Moving Students from Simple to Complex Problem Solving. In JONASSEN, D.H. Learning to solve complex scientific problems . Mahwah: Lawrence Earlbaum Associates, 2007

SCOTT, P.; ASOKO, H.; LEACH, J. Student Conceptions and Conceptual Learning in Science. In ABEL, S. e LEDERMAN, N.G. (Ed.), Handbook of Research on Science Education . New Jersey: Lawrence Erlbaum Associates, 2007