ANÁLISE DO USO DE TESTES NAS PESQUISAS EM ENSINO DE FÍSICA: UMA ESTUDO A PARTIR DOS PERIÓDICOS A1 DA ÁREA DE ENSINO DE FÍSICA

## ANÁLISE DO USO DE TESTES NAS PESQUISAS EM ENSINO DE FÍSICA: UMA ESTUDO A PARTIR DOS PERIÓDICOS A1 DA ÁREA DE ENSINO DE FÍSICA

## ANALYSING THE USE OF INVENTORY IN PHYSICS TEACHING RESEARCH: A STUDY FROM THE A1 JOURNALS IN THE AREA OF PHYSICS TEACHING

## Guilherme Stecca Marcom 1

1 Universidade Estadual de Campinas/Instituto de Física Gleb Wataghin, marcomgs@unicamp.br

## Resumo

A partir da década de 1990 uma série de testes padronizados para aferir o conhecimento dos estudantes de física foram desenvolvidos. Os principais diferenciais destes testes são as possibilidades de aplicação em larga escala e a comparação entre populações com características distintas, permitindo análises comparativas entre diferentes partes do planeta. Este trabalho, por estar inserido num projeto mais amplo de aplicação deste tipo de teste, objetivou em identificar na literatura nacional e internacional os principais testes de conhecimento na área de Ensino de Física e suas principais aplicabilidades nas pesquisas. Para isto, foi realizada uma pesquisa de revisão da literatura analisando os artigos publicados desde 1963 até 2023 em periódicos nacionais e internacionais classificados como A1, pelo Qualis-CAPES 2017-2022 e que são da área de Ensino de Física. Foram identificados 91 sobre o tema, de quatro periódicos selecionados. Um dos periódicos concentra 76% dos artigos selecionados. Em relação aos testes identificados, ao todo foram publicados artigos referentes a todas as áreas da Física, sendo o Force Conceptual Inventory (FCI) o instrumento de coleta de dados mais aplicado em todos os trabalhos. Por fim, as análises realizadas sobre o foco das pesquisas publicadas apontam que 50% dos artigos estão interessados no Características, Concepções e Processos Cognitivos do Aluno (CA) e 42% são trabalhos com foco na Avaliação Educacional.

Palavras-chave : Revisão da Literatura, Testes de Conhecimento, FCI, Ensino de Física.

## Abstract

Since the 1990s, a series of standardised tests have been developed to measure students' knowledge of physics. The main distinguishing features of these tests are the possibility of large-scale application and comparison between populations with different characteristics, allowing comparative analyses between different parts of the world. As this work is part of a wider project to apply this type of test, its aim was to identify, in the national and international literature, the main knowledge tests in the area of Physics Teaching and their main applications in research. To this end, a literature review was carried out analysing articles published from 1963 to 2023 in national and international journals classified as A1 by Qualis-CAPES 2017-2022 and which are in the area of Physics Teaching. A total of 91 articles on the subject were

identified from four selected journals. One of the journals concentrated 76% of the articles selected. With regard to the tests identified, a total of articles were published on all areas of Physics, with the Force Conceptual Inventory (FCI) being the most commonly used data collection instrument in all the papers. Finally, the analyses carried out on the focus of the published research show that 50% of the articles are interested in Student Characteristics, Conceptions and Cognitive Processes (CA) and 42% are works focused on Educational Assessment.

Keywords : Literature Review, Knowledge Tests, FCI, Physics Teaching.

## Introdução

Uma das principais preocupações nas áreas de educação e ensino é como avaliar o que foi aprendido pelos estudantes. Historicamente, provas e exames sempre tiveram presentes neste processo avaliativo. Contudo, estes instrumentos muitas vezes eram desenvolvidos pelos docentes única e exclusivamente para a utilização dentro do seu contexto de trabalho. A partir da década de 1990, uma série de teste, para aferição do conhecimento sobre Física dos estudantes em larga escala foram desenvolvidos e rapidamente se espalharam pelas pesquisas em Ensino de Física (ISHIMOTO; DAVENPORT; WITTMANN, 2017). Uma das grandes potencialidades destes testes é o poder de comparação dentro de distintas populações (BAO et. all., 2009), como também a facilidade de aplicação para populações extensas, como turmas universitárias, às quais estudantes de diferentes cursos estão matriculados.

Esta potencialidade da aplicação de testes, para o levantamento de informações sobre o conhecimento dos estudantes universitários motivou o desenvolvimento deste trabalho, que está inserido em um projeto maior que busca analisar sobre diferentes óticas os saberes discentes dos estudantes que cursam a disciplina de Física Geral I, numa universidade pública do interior de São Paulo.

Desta forma, nos propusemos a desenvolver inicialmente um trabalho de revisão da literatura, de modo a identificar como as pesquisas no Brasil e internacionalmente utilizam estes testes. Nosso objetivo é investigar quais os principais testes utilizados pelos pesquisadores, como também as finalidades destes trabalhos publicados. Esperamos com isto mapear as pesquisas já realizadas, com o objetivo de fundamentar as análises no projeto maior, o qual este trabalho faz parte.

## Referencial Teórico

Um dos primeiros testes criados foi o Force Conceptual Inventory (FCI) (HESTENES; WELLS; SWACKHAM, 1992), criado para avaliar a compreensão do estudante sobre os conceitos básicos de mecânica relacionados à força e ao movimento e tem sido amplamente utilizado para esse fim por muitos educadores e professores de física (MARIES; SINGH, 2016). Além do FCI, outros testes foram produzidos e constantemente aplicados nas análises e pesquisas educacionais. O Force and Motion Conceputal Evaluation (FMCE) também busca identificar os conhecimentos dos estudantes nos conteúdos de mecânica e movimento (THORNTON; SOKOLOFF, 1998). Uma característica comum entre os dois testes é que eles buscam aferir se os conceitos formados pelos estudantes estão dentro da perspectiva Newtoniana. Sendo assim, alguns autores já investigaram as potencialidades conjuntas dos dois testes (THORNTON et all., 2009).

Ainda dentro dos conteúdos de mecânica e movimento, um terceiro teste foi produzido, o Mechanics Baseline Text (MBT). Este teste difere dos anteriores por se tratar de um instrumento que busca para além do entendimento dos saberes conceituais, identificar os saberes matemáticos associados aos conceitos físicos de mecânica (CARDAMONE et. all., 2012). Segundo alguns autores é possível utilizar os FCI e o MBT de forma complementar para uma ampliação nas análises sobre o conhecimento dos estudantes (THACKER et all., 2014).

Além, dos testes já citados sobre conteúdos de mecânica, identificamos na literatura instrumentos desenvolvidos para as áreas de eletricidade e magnetismo, a saber: Brief Electricity and Magnetism Assessment (BEMA) (DING; et all., 2006), Conceptual Survey of Electricity and Magnetism (CSEM) (MALONEY et all., 2001). Na área de termodinâmica temos o Survey of Thermodynamic Processes and First and Second Laws (STPFaSL) (BROWN; SINGH, 2021), e na área de Física Moderna e Contemporânea.

Apesar da variedade de testes eles se assemelham no fato de que a avaliação precisa da compreensão conceitual depende da eficácia desses distratores, que são atraentes para os estudantes que apresentam versões mais científicas e menos científicas dos conceitos físicos (ISHIMOTO; DAVENPORT; WITTMANN, 2017). Os distratores devem ser entendidos como hipóteses de raciocínio dos estudantes, que são

utilizados na busca pela resolução da situação apresentada (MARCOM; KLEINKE, 2021). Isso significa que além do 'caminho correto' para a resolução do problema, os estudantes poderiam percorrer outros caminhos que levariam a outras respostas ou poderiam cometer erros, como por exemplo nos cálculos matemáticos ou utilizações de concepções não científicas, fazendo com que assinalassem uma alternativa errada. Desta forma, é possível a partir dos distratores desenvolver análises mais completas sobre o aprendizado dos estudantes.

## Metodologia

Este trabalho se configura como uma pesquisa de revisão bibliográfica, deste modo utilizamos a metodologia empregada nas pesquisas de Estado da Arte (MEGID NETO, 1999) para a seleção dos artigos analisados, bem como suas análises. Inicialmente, selecionamos os periódicos a partir da classificação CAPES-QUALIS 2017-2022. Foram selecionados apenas as revistas que em seu nome tratam de Ensino de Física classificadas no estrato A1. Desta seleção, foram identificados quatro periódicos, a saber: Caderno Brasileiro de Ensino de Física (CBEF), Physical Review Physics Educational Research (PRPER), Revista Brasileira de Ensino de Física (RBEF) e The Physics Teacher (TPT).

Optamos, para uma maior segurança na coleta de dados, em não realizar busca bibliográfica por intermédio de palavras-chave, e sim ler os títulos dos artigos nos sumários de cada número de periódico em todos os volumes desde o surgimento da revista até o ano de 2023. A partir disso, identificamos se o trabalho abrangia estudos sobre aplicação ou desenvolvimento de teste de conhecimento relacionadas a temas e conteúdos do campo da física. Quando necessário, líamos também o resumo do artigo para dirimir alguma dúvida.

Após este processo iniciamos as análises dos artigos selecionados utilizando os mesmos descritores já padronizados pelo Centro de Documentação em Ensino de Ciências (CEDOC), da Faculdade de Educação da Universidade Estadual de Campinas (FE/UNICAMP). Os descritores utilizados nesta classificação foram: Nome do Artigo, Autores, Ano de Publicação, População Envolvida, País, Foco Temático e Instrumentos de Coleta de Dados. Ao todo são identificados 14 tipos de Focos Temáticos nos descritores do CEDOC, a saber: currículos e programas; processos e métodos de ensino e aprendizagem; recursos e materiais didáticos; características,

concepções e processos cognitivos do aluno; características, concepções e práticas do professor; formação de professores; linguagem e discurso; educação em espaços não formais e divulgação científica; história, filosofia e sociologia da ciência; história do ensino de ciências; diversidade, multiculturalismo e inclusão; estudos da produção científica; avaliação educacional; outros focos.

## Dados e Resultados

Analisamos artigos publicados desde 1963 até 2023, varrendo 60 anos de publicações em Ensino de Física. Foram selecionados 91 artigos que utilizam de testes para o levantamento e compreensão do conhecimento físico dos indivíduos.

Tabela 01: Periódicos selecionados, ano de publicação do primeiro volume, número de artigos selecionados, total de volumes publicados e ano de publicação do primeiro artigo selecionado.

Apesar de os dois periódicos brasileiros já terem publicado mais de 40 volumes ao longo dos anos, o número de publicações a respeito do tema é baixo. Indicando uma característica das pesquisas em Ensino de Física no Brasil. Como comparação, o PRPER publicou mais de 75% dos artigos selecionados.

Outra característica das pesquisas com teste de conhecimento está relacionada a população investigada. Os dados coletados indicam que 74 artigos selecionados realizaram pesquisas com estudantes do Ensino Superior (ES) e 17 trabalhos tinham como população investigada estudantes de Ensino Médio. Estes dados são condizentes com a própria origem destes testes, os quais foram criados para o levantamento de informações dos estudantes dos cursos introdutórios de Física (ISHIMOTO; DAVENPORT; WITTMANN, 2017).

Tabela 02: Testes identificados, frequência e ano da primeira publicação.

XX Encontro de Pesquisa em Ensino de Física - 2024

O total de aplicações é maior que o número de artigos selecionados, pois alguns trabalhos apresentavam comparações entre alguns testes. O que fica evidente é que o FCI é o principal teste utilizado nas pesquisas em Ensino de Física, seguido pelo FMCE e CSEM. Sendo os dois primeiros, instrumentos de coleta de informações sobre conteúdos de mecânica. Além disto, é importante ressaltar que o FCI é o primeiro teste desenvolvido (HESTENES; WELLS; SWACKHAM, 1992) dos que foram encontrados na revisão, e como tal já foi validado e revalidado por diferentes pesquisas, indicando que é um instrumento com alta confiabilidade e validade (MARIES; SINGH, 2016). Ainda sobre a distribuição dos testes nos conteúdos de Física, apresentamos a Tabela 03, na qual indicamos sobre quais instrumentos identificados na pesquisa estão associados aos conteúdos de Física

Tabela 03: Conteúdos de Física dos testes, quantidade e identificação dos testes.

Por fim, vamos destacar o foco temático das pesquisas descritas nos artigos selecionados. De acordo com os dados 38 artigos foram classificados como foco

pesquisas sobre Avaliação Educacional, 45 artigos como Características, Concepções e Processos Cognitivos do Aluno, dois artigos como Concepções e Práticas do Professor, um como Formação de Professores e quatro como Outros/Estudos de Gênero e Questões Étnico Raciais. Indicando, como os trabalhos envolvendo a aplicação de instrumentos para a coleta do conhecimento dos estudantes estão centrados aferir o conhecimento dos estudantes como também em compreender as características avaliativas destes testes. Um ponto de destaque nos trabalhos sobre AE é a quantidade de artigos que buscam validar o instrumento utilizado para a coleta de informações. Dos 38 trabalhos, 84% tratavam do processo de validação e confiabilidade dos dados coletados a partir dos questionários.

## Conclusão

Este trabalho buscou realizar uma pesquisa de revisão bibliográfica a partir dos periódicos classificados como A1 pelo Qualis-CAPES. Foram analisadas todas as publicações dos periódicos selecionados desde 1963 até 2023. Foram identificados 91 artigos publicados que tratam da utilização de testes de conhecimento em estudantes de Física. Do total de artigos analisados, o periódico que mais publicou trabalhos nesta linha é o PRPER, com 69 publicações.

No que se refere às populações investigadas nestes artigos contatamos que a maioria são pesquisas realizadas com estudantes de Ensino Superior, ao mesmo tempo que o principal instrumento utilizado é FCI, instrumento criado no início dos anos 1990 para aferir o conhecimento conceitual dos conteúdos de mecânica dos estudantes das disciplinas de Física básica. Para além deste instrumento, outros cinco foram identificados na nossa pesquisa que tratam de conteúdos de mecânica.

Por fim, no que se refere ao foco temático das pesquisas a maior parte dos artigos está centrada na identificação das concepções e processos cognitivos dos estudantes, indicando assim, a preocupação constante com esta temática. Além dos trabalhos classificados como CA, identificamos 38 referentes a temática avaliação. O que descreve a preocupação das pesquisas como a manutenção da confiabilidade e validade destes testes.

## Referências

BAO, Lei et al. Learning of content knowledge and development of scientific reasoning ability: A cross culture comparison. American journal of physics, v. 77, n. 12, p. 11181123, 2009.

BROWN, Benjamin; SINGH, Chandralekha. Development and validation of a conceptual survey instrument to evaluate students' understanding of thermodynamics. Physical Review Physics Education Research, v. 17, n. 1, p. 010104, 2021.

CARDAMONE, Caroline N. et al. Item response theory analysis of the mechanics baseline test. In: AIP Conference Proceedings. American Institute of Physics, 2012. p. 135-138.

DING, Lin et al. Evaluating an electricity and magnetism assessment tool: Brief electricity and magnetism assessment. Physical review special Topics-Physics education research, v. 2, n. 1, p. 010105, 2006.

HESTENES, David; WELLS, Malcolm. A mechanics baseline test. The physics teacher, v. 30, n. 3, p. 159-166, 1992.

ISHIMOTO, Michi; DAVENPORT, Glen; WITTMANN, Michael C. Use of item response curves of the Force and Motion Conceptual Evaluation to compare Japanese and American students' views on force and motion. Physical Review Physics Education Research, v. 13, n. 2, p. 020135, 2017.

MALONEY, David P. et al. Surveying students' conceptual knowledge of electricity and magnetism. American Journal of Physics, v. 69, n. S1, p. S12-S23, 2001.

MARCOM, Guilherme Stecca; KLEINKE, Maurício Urban. Indicadores Formativos para o Ensino de Física através do Exame Nacional do Ensino Médio (ENEM). Caderno Brasileiro de Ensino de Física, v. 38, n. 3, p. 1388-1419, 2021.

MARIES, Alexandru; SINGH, Chandralekha. Teaching assistants' performance at identifying common introductory student difficulties in mechanics revealed by the Force Concept Inventory. Physical Review Physics Education Research, v. 12, n. 1, p. 010131, 2016.

MEGID NETO, Jorge. Tendências da pesquisa acadêmica sobre o ensino de ciências no nível fundamental. Tese. (Doutorado em Educação) - Faculdade de Educação, Universidade Estadual de Campinas, 1999.

THACKER, Beth et al. Lessons from a large-scale assessment: Results from conceptual inventories. Physical Review Special Topics-Physics Education Research, v. 10, n. 2, p. 020104, 2014.

THORNTON, Ronald K. et al. Comparing the force and motion conceptual evaluation and the force concept inventory. Physical review special topics-Physics education research, v. 5, n. 1, p. 010105, 2009.

THORNTON, Ronald K.; SOKOLOFF, David R. Assessing student learning of Newton's laws: The force and motion conceptual evaluation and the evaluation of active learning laboratory and lecture curricula. american Journal of Physics, v. 66, n. 4, p. 338-352, 1998.