VALIDAÇAO DE UM INSTRUMENTO DE AVALIAÇAO DE MECANICA

## VALIDAÇÃO DE UM INSTRUMENTO DE AVALIAÇÃO DEMECÂNICA 1 .

Borges, Oto; Borges, A Tarciso Borges; Talim, Sérgio L.

Colégio Técnico e Programa de Pós-Graduaçào em Educação da UFMG

## INTRODUÇÃO

- O objetivo deste trabalho é apresentar um dos instrumentos que estamos desenvolvendo para avaliar o impacto da reformulação curricular da disciplina de Física que estamos implementando no Colégio Técnico da Universidade Federal de Minas Gerais (COLTEC). Esse instrumento consiste em um teste de conhecimento na área de mecânica composto de itens de múltipla escolha. Iremos apresentar evidências que comprovam a interpretação e o uso do escore (nota) do teste na avaliação como indicador da aquisição de aprendizagem de Física na área de mecânica, processo esse que é comumente chamado de validação de um instrumento de verificação de aprendizagem (LINN, 1993).
- O estudo dos princípios da Mecânica é usualmente o principal eixo do currículo de Física no Ensino Médio e no ciclo de formação geral dos cursos superiores da área de Ciências Exatas. É um tema desafiador, pela complexa articulação de seus princípios e conceitos básicos, que freqüentemente estão em contradição com a intuição e com o senso comum

As pesquisas em ensino de Física das últimas décadas forneceram um amplo mapeamento das dificuldades e das formas alternativas de raciocínio dos estudantes de diversos níveis de ensino apresentam no estudo de tópicos da Mecânica (McDERMOTT, 1984; McDERMOTt, 2004). A maior parte das pesquisas iniciais do movimento de concepções alternativas, nos anos iniciais da década de 1970 abordava tópicos de Mecânica, tratando das idéias dos estudantes de diferentes níveis de ensino acerca de conceitos como o de velocidade, aceleração, força, a relação entre força e movimento, energia e outros (PFUNDT & DUIT, 1994).

Os livros -texto brasileiros reservam todo o primeiro ano do Ensino Médio, e parte do segundo, para o estudo de tópicos de Mecânica. O quadro não é diferente em outros países do mundo desenvolvido, em vista do papel fundamental que os os princípios e conceitos introduzidos nesse estudo têm para a aprendizagem das outras áreas da Física. Algumas das idéias fundamentais da Física são introduzidas no estudo de Mecânica, como por exemplo, os conceitos de velocidade, aceleração, força, energia, inércia. Também os princípios mais gerais da Física, como os princípios de conservação da energia, princípio de conservação do momento linear, teorema trabalho-energia (McDERMOTT, 2004), bem como a noção de que vivemos num mundo dinâmico, independente da da escala que escolhamos para o observar, e que as mudanças e transformações nos sistemas que observamos são causadas pela interação desses com suas vizinhanças.

Assim, a aprendizagem de Mecânica demanda muito dos estudantes, especialmente no ensino médio, quando pela primeira vez estudam Física como uma disciplina separada das outras ciências naturais. A bibliografia de pesquisa em ensino de Física aponta que uma boa parte das dificuldades dos estudantes em aprender Mecânica tem a ver com o grau de abstração e de raciocínio algébrico e geométrico necessários para compreender as

proposições e conseqüências das leis e princípios da Mecânica (ARONS, 1981). Para contornar as dificuldades, vários autores propuseram abordagens mais qualitativas e conceituais, que foram e são utilizadas com grau variado de sucesso, e que se tornaram excelentes materiais de referência, embora pouco utilizados (ARONS,1990; HEWITT, 2002; MCDERMOTT, 2004; PSSC, GREF).

## CONSTRUÇÃO E VALIDAÇÃO DO INSTRUMENTO

Nas discussões recentes sobre a reformulação do ensino de ciências em geral, e Física em particular (AAAS, 1989; MILLAR & OSBORNE, 1998), duas questões prevalecem: qual é a Ciências que deve ser ensinada? e por que os estudantes devem aprender Ciências? Os objetivos do ensino de Ciências têm sido tradicionalmente divididos em três tipos: desenvolvimento pessoal e social, conhecimento dos princípios e fatos científicos e métodos e habilidades científica e suas aplicações. O desenvolvimento pessoal e social inclui vários objetivos, tais como o crescimento intelectual, a conscientização dos futuros cidadãos com relação a questões relacionadas a questões ambientais e do impacto do desenvolvimento econômico e tecnológico sobre o meio ambiente, a preparação para a careira, a satisfação pessoal, a manutenção da saúde pública, o desenvolvimento de competências metacognitivas como forma de preparação para aprendizagens futuras nos locais de trabalho, entre outros. O conhecimento de princípios e fatos têm sido o objetivo primordial da educação científica, mas a sua importância relativa foi diminuída nas reformas curriculares implementadas nos últimos anos em várias partes do mundo. Aprender sobre os métodos e habilidades científicas envolve objetivos tais como, a compreensão do método ou pensar científico e a habilidade de usar esse método na resolução de problemas.

A partir de 2003 decidimos reformular nosso currículo de Física, baseando-nos na leitura que tínhamos da realidade da escola, da bibliografia da área e nossas crenças sobre como contribuir para a melhoria do ensino. Esta decisão é conseqüência dos resultados dos projetos de pesquisa sobre o desenvolvimento de currículos de Física e de Ciências, conduzidos desde 1998 (BORGES e BORGES, 2001). O primeiro passo, foi adotar uma estrutura em em espiral e recursiva para o currículo de Física. Os conteúdos dessa disciplina foram redistribuídos para que uma visão geral de todo o conteúdo possa ser apresentada aos alunos logo na primeira série. Num currículo recursivo, os mesmos temas, mas não necessariamente os mesmos conteúdos, são retomados nas séries posteriores para aprofundamento. A cada ano a espiral dá uma volta completa varrendo todos os temas comumente trabalhados no curso de Física do ensino médio.

Com isso distribuímos o peso de aprender os conteúdos de Mecânica ao longo dos três anos do ensino médio. Da mesma forma, os conteúdos de Eletromagnetismo, Termodinâmica, e de outros temas da Física. Em Mecânica, decidimos que o primeiro ano priorizaria a introdução das linguagens e códigos da Física, enfatizando o estudo de representações gráficas, com uma primeira passagem pela cinemática e dinâmica, restritas ao estudo de movimentos em uma dimensão. A seguir, tratamos a energia nos contextos de Mecânica e Termodinâmica, com ênfase numa abordagem qualitativa. Alguns desses tópicos são retomados no segundo ano e aprofundados no terceiro ano. Queremos, com isso, contornar o conhecimento e raciocínio matemático que os estudantes ainda estão construindo paralelamente ao curso de Física. Mas optamos os recusar o encargo extra que os professores de Física usualmente assumem de ensinar matemática aos nossos alunos. Além disso, abrimos espaço para a introdução de idéias de Termodinâmica, Física Moderna e para o estudo de circuitos elétricos simples.

As vantagens desse tipo de organização são várias: os alunos têm uma visão mais ampla da Física logo no primeiro ano; o interesse e motivação dos alunos poderão aumentar já que vários assuntos serão trabalhados, o que possibilita uma chance maior de ajustar o interesse dos alunos com o conteúdo que está sendo ensinado (DWECK, 1986); O aluno

não terá de aprender tudo na primeira vez em que estudou um assunto, já que haverá uma nova apresentação desse assunto nas séries posteriores o que aumenta as chances uma aprendizagem efetiva já que os alunos terão mais tempo e vários contextos diferentes para trabalhar os conteúdos (BRANSFORD, 1999).

A reformulação curricular foi complementada através da promoção um bom ambiente de trabalho, ordenado com regras claras d de convivência, onde os alunos têm a oportunidade de participar de várias atividades, preferencialmente centradas neles, e a valorização das atividades realizadas pelos alunos em sala de aula e em casa (resumos, lista de exercícios) dando às essas atividades um peso importante na avaliação. Também foi implementada uma reformulação das aulas de laboratório que visa dar a essas aulas um caráter mais investigativo. Os objetivos pedagógicos do trabalho no laboratório é que os estudantes aprendam as normas de comomunicação de relatos de investigações, desenvolvam habilidades de propor e planejar experimentos para resolver problemas experimentais, que aprendam a identificar variáveis dependentes e independentes e desenhar testes experimentais com controle apropriado de variáveis, que aprendam a reconhecer e estimar os erros experimentais, entre outros.

Essas mudanças começaram a serem feitas em 2003 apenas na primeira série. Nos dois anos seguintes a este, a mudança foi complementada atingindo a segunda série em 2004 e a terceira série em 2005. Ao mesmo tempo em que a implementação era avaliada em discussões dos coordenadores de série e ajustes locais foram realizados.

Os resultados esperados desta reformulação são a melhoria da aprendizagem verificada através de testes do desempenho dos alunos e de uma mudança em suas atitudes em relação á Física. O problema que se coloca é como levantar evidências de que esta organização do currículo resulta em mais e melhores aprendizagens. Isso é especialmente difícil considerando que precisamos comparar grupos de estudantes de séries diferentes, e considerar os efeitos de uma série de outros fatores, como preferências dos estudantes, engajamento, contribuições de outras disciplinas e do ambiente escolar como um todo para a aprendizagem.

Para verificar as mudanças no desempenho dos alunos estamos desenvolvendo e validando um conjunto de testes com itens objetivos acerca de temas específicos de Física. Escolhemos o teste relativo à mecânica, dado peso no currículo de tal temática e por ser ela básica para a compreensão de Física. Nas próximas seções apresentaremos como esse instrumento foi construído, discutiremos a sua validação e reformulação, e apresentaremos algumas evidências do impacto da reformulação curricular no desempenho dos alunos.

## METODOLOGIA

Uma das maneiras de avaliar o impacto da reformulação curricular implementada é através da aplicação de testes com questões objetivas. No teste que aqui relatamos, escolhemos a Mecânica como tema a ser avaliado e montamos uma babanco de questões utilizadas nos vestibulares de várias IES públicas do país. O uso de questões desses exames significa que os itens normalmente já contêm uma carga de reconhecimento social sobre o que medem e de ser o conhecimento envolvido um conhecimento sócioculturalmente valorizado. Recorremos aos exames da UFMG, desde a década de 1970, por facilidade de acesso aos testes e por expressarem, de alguma forma, os valores culturais sobre o que os estudantes de ensino médio deveriam saber de física. Desse banco selecionamos 34 questões. Algumas delas foram modificadas e reformuladas para se adequarem aos nossos propósitos de avaliar o desempenho dos estudantes em conteúdos substantivos de mecânica e que pudessem ser respondidos por alunos das três séries do ensino médio.

Os itens do teste foram categorizados conforme o quadro 1, considerando o tipo de conhecimento que exigiam para sua resposta.

Quadro 1 - - - Distribuição dos itens por categoria de conteúdo (número dos itens relativos à prova A)

Nota: os itens com * ao lado foram retidos na forma final do teste. O total de itens com * ao lado refere -se à forma final do teste.

Os itens do teseste foram agrupados de 6 maneiras diferentes produzindo 6 testes paralelos, nomeados de A até F. O teste foi aplicado a todas as turmas da escola na penúltima semana de outubro de 2005, numa única sessão de 100 minutos de duração nas aulas de Física de cada turma. A duração do teste é curta, considerando-se o número de itens, mas é compatível com o tempo alocado na primeira fase dos exames vestibulares. O teste foi aplicado a 410 estudantes, do ensino médio, sendo que 189 cursavam o primeiro ano, 120 eram do segundo e 101 do terceiro ano.

## RESULTADOS

Como mencionado, os itens do teste foram agrupados de 6 maneiras diferentes criando assim 6 tipos de teste (de A até F) que se diferenciam apenas na ordem com que os itens aparecem no teste. O gráfico abaixo mostra a distribuição dos testes em cada série.

Gráfico 1 - - - Distribuição de provas por série

<!-- image -->

Na correção inicial do teste, cada item assumia um valor dicotômico, 0 ou 1, conforme a resposta estivesse correta ou errada. Com exceção do teste C, todos os outros testes foram aplicados em todas as séries. O uso de 6 testes paralelos impõe a necessidade de se pesquisar a equivalência dos testes. Isso foi feito de várias maneiras. Em primeiro lugar, foi realizado um teste de equivalência entre as médias do escore total nos 6 tipos de testes através da análise de variância (ANOVA). Os resultados mostrados (F=1,317; p=0,267) indicam que não há diferença significativa entre essas médias. Isso é uma evidência de que a ordem dos itens no teste não modificou o nível de dificuldade do teste e que podemos utilizar o escore total dos testes independentemente do seu tipo (teste geral).

A equivalência dos testes foi também verificada através da comparação das médias dos escores totais dos testes em cada tipo de teste e para o teste geral (tabela 1). Observe que essas médias não são significativamente diferentes, no intervalo de confiança de 95%.

Tabela 1 - - - Estatística para cada tipo de teste

Essas evidências nos permitem utilizar o teste geral onde a ordem dos itens foi transformada para a ordem do teste A. Esse teste geral será utilizado no restante das análises.

O próximo passo na validação do teste foi verificar a qualidade dos itens a partir do cálculo do índice de dificuldade (Dif) e do índice de discriminação (Dis) de cada item. Para isso distribuímos os respondentes em quatro grupos, conforme o quadro 2:

Quadro 2 - - - Reagrupamento dos respondentes para análise

Em cada um desses grupos dividimos os estudantes em três categorias, de desempenho alto, médio e baixo. O critério utilizado foi que as categorias de alto e baixo desempenho deveriam ter cerca de 27% do total de estudantes do grupo. Como o escore total variava em inteiros, os grupos não ficaram estritamente do mesmo tamanho percentual.

A Tabela 2 mostra como ficou a composição dessas categorias de desempenho em cada grupo.

Tabela 2 -Categorias de desempenho

Determinamos então os índices de discriminação e de dificuldade de cada item, em cada um dos grupos. O índice de dificuldade foi determinado como sendo a proporção de estudantes que erraram o item, ou seja, um menos a proporção de estudantes do grupo que acertaram o item :

<!-- formula-not-decoded -->

O desvio padrão do índice de dificuldade do item foi determinado pela fórmula usual de desvio padrão de percentagem e o intervalo de confiança de 95% foi construído também da forma usual:

<!-- formula-not-decoded -->

O índice de discriminação fofoi determinado também da forma usual, como a diferença entre o percentual de estudantes que acertaram o item nas categorias de alto e baixo desempenho. O desvio padrão desse índice foi estimado pela expressão usual do desvio padrão de uma diferença entre percentuais:

<!-- formula-not-decoded -->

O intervalo de confiança foi construído da mesma forma que no caso do índice de dificuldade. Nós fizemos esses cálculos duas vezes: na primeira usamos 33 itens (o item 6 foi abandonado no início da análise, quando percebemos problemas na sua formulação). A partir dos resultados excluímos os itens com baixo índice de discriminação. Em seguida, separamos os itens por três domínios: cinemática, dinâmica e energia, segundo o conhecimento de física dominante avaliado pelo item conforme mostrado no Quadro 1.

Tabela 3 - - - Estatística descritiva do teste reduzido

Analisando o índice de discriminação e o índice de dificuldade, bem como o conhecimento de física avaliado pelos itens, procuramos reduzir o teste para um tamanho manejável, excluindo aqueles itens com índice de dificuldade muito elevado e índice de discriminação muito baixo. Terminamos com um teste de 24 itens, sendo 9 referentes ao domínio da cinemática, 9 ao domínio da dinâmica e 6 ao domínio da energia. Apenas um

dos itens, relativo ao domínio da energia, foi mantido apesar de ter apesar de ter um baixíssimo índice de discriminação (Dis=0,037) e um alto índice de dificuldade (Dif=0,749). Trata -se de um item que avalia o conhecimento de conservação de energia em uma situação prototípica do ensino de Física (um pêndulo simples).

Considerando a forma final do teste, os estudantes foram novamente categorizados segundo as categorias de desempenho mostradas na tabela 2, levando em conta apenas o escore obtido nas 24 questões que compõem o teste reduzido. As estatísticas descritivas do índice de dificuldade e do índice de discriminação, considerando os quatro grupos acima estão mostradas na tabela 3.

Tabela 4 - - - Estatística descritiva por escala e grupo

* Os escores máximos das escalas é numericamente igual à quantidade de itens em cada teste, isto é, 9 em cinemática e dinâmica, 6 em conservação da energia, totalizando 24 itens .

Calculamos o coeficiente alfa de Cronbach que mede a fidedignidade ou precisão do teste final, composto de 24 itens. O valor desse coeficiente é 0,80 que indica que o teste é fidedigno para a comparação ente grupos. Calculamos também o coeficiente alfa para cadada escala, encontrando 0,65 para a escala de cinemática, 0,62 para a escala de dinâmica e 0,39 para a escala de energia. Finalmente, usamos o procedimento ANOVA para testar as diferenças de médias entre as séries nas quatro escalas do teste: cinemática, didinâmica, conservação da energia e mecânica. A tabela 4 mostra as estatísticas descritivas relativas a esta análise.

- O teste de Levene para homogeneidade de variâncias indica que não podemos assumir a hipótese de variâncias iguais apenas no caso da escala de dinâmica. Conseqüentemente, utilizamos para determinar se as diferenças de médias entre os grupos SI, S2, S3 e TS são significativas, o teste de Tamhane para a escala de dinâmica. Nos outros casos, utilizamos o teste de Bonferroni.

Os resultados indicam que, do ponto de vista de conhecimento de cinemática, os estudantes da primeira série têm desempenho médio significativamente menor do que os estudantes da segunda e terceira série, mas não há diferenças significativas entre o conhecimento de cinemática a desses últimos. Com relação à dinâmica e à conservação da

energia mecânica, os estudantes da terceira série têm desempenho superior aos das duas outras séries, mas não há diferenças significativas entre os desempenhos dos estudantes da primeira e segunda série. Quando consideramos o desempenho geral no teste de mecânica os grupos de estudantes de cada série são ordenados, isto é, os estudantes da terceira série têm desempenho significativamente mais alto do que os estudantes da segunda e primeira série, e os estudantes da segunda série são significativamente melhores do que os da primeira série, conforme indica o gráfico 2 e o teste de Bonferroni, que não discutimos em detalhe por questões de espaço.

<!-- image -->

<!-- image -->

<!-- image -->

Gráfico 2 - - - Desempenho por série em cada escala

<!-- image -->

Um aspecto importante de se destacar é que embora as médias tenham sido relativamente baixas em todos os testes, em todas as séries alguns estudantes tiveram desempenhos muito bons conforme a tabela 4. Por outro lado, outros estudantes, exceto no grupo da terceira série tiveram desempenho aquém daquele previsto por mero acaso

## CONCLUSÃO

O objetivo deste trabalho é apresentar e discutir a validade um instrumento construído para avaliar o conhecimento dos estudantes das três séries do ensino médio acerca de conteúdos de mecânica. Esse instrumento, em sua versão inicial, consistia de um conjunto de 34 itens de múltipla escolha, que acabou sendo reduzido para 24 itens, após a análise dos índices de discriminação e de dificuldade. A aplicação do teste a uma amostra de 410 estudantes das três séries do ensino médio produziu o contexto para a discussão da validade do teste. A seguir analisamos o desempenho dos grupos formados por alunos de cada uma das séries, segundo as três categorias de conteúdo dos itens incluídos no teste: cinemática, dinâmica e conservação da energia. Os estudantes da primeira série tiveram

desempenho significativamente menor do que os estudantes da segunda e terceira séries em cinemática, mas não há diferenças significativas entre os dois últimos grupos, o que pode indicar um efeito de saturação na aprendizagem de cinemática após os dois anos iniciais.

Com relação aos conteúdos de dinâmica e conservação da energia o desempenho dos grupos formados pelos estudantes das três séries é distinto: não há diferenças significativas entre os estudantes do do primeiro e segundo anos, mas o desempenho dos estudantes do do terceiro ano é significativamente melhor comparado aos grupos das séries iniciais. A comparação dos escores totais no teste mostra os três grupos ordenados. Reconhecemos que embora validado, o teste precisa ser aperfeiçoado, mas mesmo na forma que apresentamos neste trabalho, ele permite fazer inferências sobre o efeito da organização do currículo em espiral sobre a aprendizagem em estudos transversais. Com esse teste pretendemos realizar estudos longitudinais sobre a aprendizagem dos principais conteúdos de Mecânica, coletando dados de desempenho dos mesmos estudantes em séries diferentes .

## REFERÊNCIAS

A.A.A.S. SCIENCE FOR ALL AMERICANS -PROJECT 2061. NEW YOYORK: OXFORD UNIVERSITY PRESS , 1989. 272 P .

ARONS, A.; AGUIDE TO INTRODUCTORY PHYSICS TEACHING . NEW YORK: JOHN WILEY . 1990.

ARONS, A.;THINKING , REASONING AND UNDERSTANDING IN INTRODUCTORY PHYSICS COURSES , THTHE PHPHYSICS TETEACHER 19 , 166 -172. 1981.

BRANSFORD, J. D; BROWN , A. L.;COCKING, R. R. (1999); HOW PEOPLE LEARN: BRAIN , MIND , EXPERIENCE AND SCHOOL . COMMITTEE ON DEVELOPMENTS IN THE SCIENCE OF LEARNING . COMMISSION ON BEHAVIORAL AND SOCIAL SCIENCES AND EDUCATION . NATIONAL RESEARCH COUNCIL .

BORGES, A. T.; BORGES, OTO.(2001). INOVAR - Currículos: Desenvolvendo o Pensar e o Pensamento Científico. Projeto Integrado de Pesquisa apoiado pelo CNPq 20022004. Submetido em Julho de 2001.

MILLAR, R; OSBORNE, J.; BEYOND 2000 - SCIENCE EDUCATION FOR THE FUTURE: THE REPORT OF A SEMINAR SERIES FUNDED BY THE NUFFIELD FOUNDATION , KING ' S COLLEGE LONDON , SCHOOL OF EDUCATION , CORNWALL HOUSE , 1998 .

CHI, M. T. H; GLASER, R.; FARR, M. J.; THE NATURE OF EXPERTISE . LAWRENCE ERLBAUM ASASSOCIATES PUBLISHERS , NEW JERSEY , 1988.

HEWITT, P.G.; FÍSICA CONCEITUAL . SÃO PAULO: BOOKMAN . 686 P (9A . ED), 2002.

LINN, R.L. EDUCATIONAL MEASUREMENT . AMERICAN COUNCIL ON EDUCATION : ORYZ PRESS , 1993.

MCDERMOTT, L.C. RESEARCH ON CONCEPTUAL AL UNDERSTANDING IN MEMECHANICS . PHYSICS TODAY, Y, 37 , 24 (JULY 1984).

MCDERMOTT, L.C PHYSICS EDUCATION RESEARCH: THE KEY TO STUDENT LEARNING AND TEACHER PREPARATION . PHYSICS WOWORLD , JANUARY 2004, PP . 40 -41.

PFUNDT, H.; DUIT, R. BIBLIOGRAPHY: STUDENTS ALALTERNATIVE FRAMEWORKS AND SCIENCE EDUCATION . 4A . EDIÇÃO , KIEL: IPN.1994.

REDISH, E.F..(1994) IMPLICATION OF COGNITIVE STUDIES FOR TEACHING PHYSICS . AMERICAN JOURNAL OF PHYSYSICS , VOL.62, N . 9, PP . 796 -803, 1994 .

TALIM, S. L. (2004); A ATITUDE NO ENSINO DE FÍSICA: A: CADERNO BRASILEIRO DE . ENSINO DE FÍSICA , VOL 21, N , 3, PP 309-320, 2004.

TALIM, S.L.; OLIVEIRA, J.; BORGES, O. N.; LIMA, C. (1997). VALIDAÇÃO DE UM TESTE DE INTERPRETAÇÃO DE GRÁFICOS EM CINEMÁTICA. A. APAPRESENTADO NO V ENCONTRO NACIONAL DE PESQUISADORES DE ENSINO DE FÍSICA, A, ÁGÁGUAS DE LINDÓIA, A, 3 A 5 DE SETEMBRO DE 1996. (ARARTIGO COMPLETO PUBLICADO EM ATATAS DO V ENCONTRO DE PESQUISADORES EM ENSINO DE FÍSICA , PP 656 -658, 1997).