DESENVOLVIMENTO DE UM INSTRUMENTO EM LÍNGUA PORTUGUESA PARA MEDIR O CONHECIMENTO BÁSICO DE ASTRONOMIA EM CONTEXTOS BRASILEIROS DE ENSINO

## DESENVOLVIMENTO DE UM INSTRUMENTO EM LÍNGUA PORTUGUESA PARA MEDIR O CONHECIMENTO BÁSICO DE ASTRONOMIA EM CONTEXTOS BRASILEIROS DE ENSINO

## DEVELOPMENT OF AN INSTRUMENT OF DATA ANALYSIS FOR VERIFICATION OF INTERNAL AND EXTERNAL CONSISTENCY OF CRITERIA IN A TEST OF ASTRONOMY

Carlos Eduardo Porto Andrade 1 , Marcos Paulo de Araújo Silva 2 , Samantha Jully 3 , Carlos Eduardo Porto Villani 4

1 Universidade Federal de Minas Gerais, marcospaulo.fisica@outlook.com 2 Universidade Federal de Minas Gerais, cadu.cepadu@yahoo.com.br 3 Departamento de Física/UFMG, samanthajullymg@gmail.com 4 Colégio Técnico da UFMG, carlosvillani@ufmg.br

## Resumo

O ensino de astronomia em escolas públicas brasileiras tem chamado cada vez mais a atenção de pesquisadores da área de educação, o que é visto pelo crescente número de trabalhos publicados. Com essa popularização, vários problemas relativos à formação docente na área e a demandas de disciplinas de astronomia foram evidenciados, estes que contribuem para o ensino de concepções errôneas ou alternativas ao conhecimento científico e criam a necessidade de um acompanhamento mais cuidadoso e sistemático do ensino e aprendizagem destes conteúdos no Brasil. A partir desse contexto, traduzimos e adaptamos todas as questões do Test Of Astronomy Standards (TOAST), um teste concebido para investigar a efetividade de cursos de astronomia com foco nos conhecimentos básicos desta ciência. Todas as 27 questões originais foram lidas e analisadas de um ponto de vista semântico, avaliativo, socioeducacional e sociolinguístico, sendo submetidas ao processo de modificação de forma sistemática separadamente por três pessoas. Para além da troca do idioma, viu-se a necessidade de alteração de vários enunciados por motivo das diferenças de contexto locacional e educacional. Por fim, foi feita uma estatística de validação sobre o teste adaptado e observou-se que a maioria dos critérios de avaliação se mostraram coerentes e satisfatórios frente ao teste original.

Palavras-chave : Teste de Níveis de Conhecimento em Astronomia. Concepções Espontâneas em Astronomia. Processo de Tradução de Testes científicos.

## Abstract

The teaching of astronomy in Brazilian public schools has increasingly drawn the attention of researchers in the field of education, which is seen by the growing number of published works. With this popularization, several problems related to teacher training in the area and the demands of astronomy disciplines were highlighted, which contribute to the teaching of misconceptions or alternatives to scientific knowledge and create the need for a more careful and systematic monitoring of teaching and learning of these contents in Brazil. Based on this context, we translated and adapted all questions from the Test Of Astronomy Standards (TOAST), a test designed to investigate the effectiveness of astronomy courses focusing on the basic knowledge of this science. All 27 original questions were read and analyzed from a semantic, evaluative, socio-educational and sociolinguistic point

of view, being systematically submitted to the modification process separately by three people. In addition to changing the language, there was a need to change several question wordings due to differences in locational and educational context. Finally, a validation statistic was performed on the adapted test and it was observed that most of the evaluation criteria proved to be coherent and satisfactory compared to the original test.

Keywords : Astronomy Knowledge Level Test. Spontaneous Conceptions in Astronomy. Process of Scientific Test Translation

## Introdução

Nas últimas décadas, o ensino de astronomia nas escolas públicas brasileiras passou a chamar mais a atenção de pesquisadores das áreas de educação e de ensino de ciências. Tal movimento foi percebido na forma de um sensível aumento de teses, dissertações, trabalhos de iniciação científica, e consequentemente, do número de publicações de artigos sobre o ensino de astronomia (Langhi e Nardi, 2009) tanto em revistas e periódicos (Iachel e Nardi, 2010), quanto de trabalhos em eventos (Brussi e Bretones, 2013). Aliado a este fato, presenciamos várias reformas curriculares, em especial o chamado 'Novo Ensino Médio', que traz a inserção de inúmeros temas de astronomia como conteúdos curriculares obrigatórios da área de Ciências da Natureza.

Diante dessa popularização, vieram à tona desafios antigos como a escassez de disciplinas obrigatórias de introdução à astronomia nos cursos de graduação brasileiros (Bretones, 1999) e novas demandas relativas à formação docente na área (Shigunov Neto, 2021). Castro e Silva e Iachel (2017) ainda argumentam que muitos dos problemas do ensino desses conteúdos resultam de erros conceituais nos próprios livros didáticos, que se originam justamente na carência dos cursos de formação de professores. Tudo isso contribui para o ensino de concepções errôneas ou alternativas ao conhecimento científico e desperta a necessidade de um acompanhamento mais cuidadoso dos processos de ensino e de aprendizagem destes conteúdos no Brasil. Contudo, ainda que a necessidade exista, não encontramos na literatura em língua portuguesa nenhum teste validado estatisticamente e que fosse capaz de medir o nível de conhecimento básico de astronomia dos estudantes.

Assim, perante a urgência delineada neste contexto, traduzimos e adaptamos todas as questões de um teste cuidadosamente concebido para investigar a efetividade de cursos de astronomia, com foco nos conhecimentos básicos desta ciência: o Test Of Astronomy Standards (TOAST). Sua escolha é justificada uma vez que este também surgiu no contexto da lacuna da literatura estrangeira com relação a ausência de um instrumento para medida do conhecimento básico e foi criado a partir de uma vasta literatura de testes que avaliam concepções alternativas de conteúdos específicos de astronomia.

O TOAST foi desenvolvido e validado por Slater, (2014) após a realização de uma pesquisa longitudinal de mais de 20 anos junto a especialistas em astronomia e ensino nos EUA. A autora procurou estabelecer qual seria o conhecimento básico de astronomia que todo cidadão americano deveria ter acesso ao longo de sua escolarização. Esse conhecimento foi concebido em um processo dialógico com a literatura em educação e ensino de astronomia que já havia acumulado importantes contribuições acerca de concepções alternativas de vários conteúdos específicos desta ciência, resultando na categorização de conteúdos básicos e, posteriormente,

na criação e validação de questões cuidadosamente elaboradas para compor um instrumento global para medir o nível de conhecimento básico de astronomia da população americana.

- O TOAST foi ainda testado e discutido de forma detalhada em um novo artigo, onde Slater, Schleigh e Stork (2015) analisaram estatisticamente o desempenho dos estudantes nos critérios e meta-critérios abordados em todas as 27 questões do teste, consolidando o TOAST como um instrumento robusto para a avaliação do conhecimento básico de astronomia. No entanto, a universalidade do teste não foi abordada, restando uma lacuna no que tange a ausência de um teste equivalente adaptado para o contexto do hemisfério sul e mais particularmente em língua portuguesa.

Nossa investigação se deu no período da pandemia da COVID-19 resultando na introdução de um novo elemento no âmbito do desenvolvimento do teste: o uso de um formulário eletrônico para aplicação do teste à distância. Todas as questões do TOAST foram traduzidas e adaptadas ao contexto do céu de Belo Horizonte de forma individual e independente por meio de discussões e análises entre os três autores do presente trabalho, compondo um formulário eletrônico do tipo 'google forms' com todas as 27 questões do TOAST traduzidas e adaptadas.

Uma vez traduzido e adaptado, nosso objetivo foi avaliar a qualidade e a viabilidade do teste visando identificar necessidades de modificações para uma futura versão do questionário. Nossa análise utilizou um novo procedimento para estabelecer a validade de cada critério de um par de questões traduzidas visando avaliar o nível de consistência do nosso teste.

## Metodologia

Para traduzir as questões do TOAST, todas as 27 foram lidas e analisadas de um ponto de vista semântico, avaliativo, socioeducacional e sociolinguístico. A ferramenta de tradução utilizada foi o Google Tradutor, que é uma plataforma capaz de traduzir textos de qualquer tamanho em mais de cem idiomas e com precisão sintática e gramatical. Entretanto, como os autores dominam a língua inglesa, a ferramenta foi designada como apoio à tradução nossa, já que o tradutor tem dificuldade em traduzir algumas frases que contém termos técnico-científicos. Operacionalmente, a conferência da tradução e alterações foi realizada de forma independente pelo autor e coautores do presente artigo, e as versões resultantes foram comparadas, discutidas e otimizadas, gerando um arquivo final.

Uma vez traduzidas, notamos que algumas questões necessitavam de alterações por motivos das diferenças de contexto locacional e educacional. A fim de avaliar metodologicamente essa necessidade, foram considerados dois parâmetros principais: os conhecimentos essenciais à correta resolução dos itens e o contexto cultural inerente aos enunciados. O primeiro parâmetro levou por princípio a correspondência entre os conteúdos cobrados no teste e o possível embasamento teórico e prático dos participantes da pesquisa, sob o pretexto de que qualquer alteração a ser feita deveria manter dificuldade semelhante à da questão original. Já o segundo teve como ideia primordial a noção de que o teste todo foi desenvolvido por norte-americanos para ser aplicado a habitantes do hemisfério norte, o que é relevante no que tange assuntos da astronomia, visto que o céu visível varia com a latitude do observador. De forma semelhante, toda alteração realizada sob a avaliação cultural visou a manutenção do sentido e da dificuldade.

Por fim, as questões foram classificadas de acordo com o grau de alteração, desde as que foram apenas traduzidas até as que sofreram grandes mudanças, processo este que está descrito em detalhes a seguir.

## Questões somente traduzidas

Essas questões estão dentro de um contexto que não depende da localidade do observador, portanto, não fizemos alterações que mudassem os conceitos de Astronomia cobrados, a estrutura ou a ordem do texto, do comando e das alternativas. Os únicos ajustes necessários foram alterações gramaticais e sintáticas que deixava a questão mais coerente e coesa do que uma tradução livre com uso da ferramenta de tradução.

## Questões traduzidas com pequenas adaptações

As questões que sofreram as adaptações nessa categoria possuíam exemplos e referenciais celestes que são comuns aos habitantes do hemisfério norte, mas não aos habitantes do sul, o que prejudicaria o entendimento dos participantes. Aqui também se incluem questões cujos enunciados se mostraram incompletos frente ao contexto educacional brasileiro, necessitando acréscimo de informação para uma boa compreensão. Apesar disto, o contexto condizia com o propósito do teste, e a construção das questões estava clara e objetiva, de tal sorte que outras modificações não foram necessárias. Assim, além da tradução de sentido conforme já descrito anteriormente, foi realizada uma troca de termos e referenciais com características regionais e em alguns casos, inclusão de informações.

## Questões traduzidas com grandes alterações

Por fim, estas questões necessitavam de alterações que modificassem completamente sua estrutura pelos seguintes motivos, nem sempre aparecendo em uma questão ao mesmo tempo: o contexto da localização de um 'observador lírico', a importância dessa localização para o(s) conceito(s) de Astronomia e seu dinamismo cobrado(s) na questão, e o contexto da dificuldade de compreensão.

- O contexto da localização representa o aspecto mais importante dos conceitos abordados neste tipo de adaptação. Agora, a grande diferença existente entre o céu do hemisfério norte e o céu do hemisfério sul são críticos para a definição da resposta correta dessas questões. Os possíveis objetos observados em ambos os céus variam ao longo do ano, mas esta variação é ínfima, o que mantém uma diferença visual entre as observações.

Além disso, a função que um determinado objeto também é bastante importante, pois os objetos celestes mais visíveis possuem um papel de relevância histórica e cultural que impactam o entendimento de como é o céu noturno para os habitantes de uma determinada localidade ou cultura. O melhor exemplo para ilustrar a diferença é a constelação do Cruzeiro do Sul, considerada a mais famosa no hemisfério sul e também de grande importância para a navegação e determinação de direções.

## A aplicação do teste

Após o processo de tradução, dispomos as questões em um formulário da plataforma Google Forms, na mesma ordem do teste original, e sem alteração das

figuras. Este foi aplicado a quatro grupos distintos de voluntários: o primeiro, composto por estudantes de uma escola técnica federal de ensino médio que participaram da prova da Olimpíada Brasileira de Astronomia (OBA) de 2021. O segundo, por estudantes de uma escola pública estadual que também participaram da OBA. O terceiro, formado por 03 professores que lecionam e discutem astronomia em suas aulas. E finalmente o quarto grupo, constituído por estudantes de licenciatura em física que participam de programas de iniciação à docência.

Foi incluído no início do formulário um termo de consentimento livre e esclarecido de aceitação obrigatória a quem respondeu. Abarcando os estudantes com menos de 18 anos de idade, foi instruído que houvesse assentimento dos pais antes da participação. No final tivemos que, do total de participantes, houveram 30 estudantes do ensino médio, 20 licenciandos e 3 professores.

## Estatística de Validação

Inspirados pelo trabalho de validação do TOAST realizado por Slater (2014) e Slater, Schleigh e Stork (2015), desenvolvemos o instrumento de análise de qualidade de um teste de conhecimento que avalia a consistência e domínio dos grandes critérios que compõem o TOAST. Para isso, tomamos os mesmos critérios de organização de conteúdos definidos por Slater, e classificamos dicotomicamente cada par de itens, de um mesmo critério, como 'fácil' ou 'difícil'. Tal classificação foi feita a partir do cálculo do índice de dificuldade (Di) de cada item do teste traduzido. Esse índice é calculado através da média dos escores de acertos totais do item dividido pelo escore total de cada indivíduo no teste. Desta forma, Di aceita valores entre 0 e 1, sendo que quanto menor seu valor, mais difícil é o item. De acordo com Condé (2001, apud Soares 2018, p. 12), itens que possuem um índice maior que 0.70 são considerados fáceis; entre 0.30 e 0.70 possuem dificuldade moderada; e os itens com índice menor que 0.30 são considerados difíceis. Calculamos também o índice de dificuldade do critério (Dc) como uma média entre a soma dos índices do item fácil e difícil.

- O grau do indicador de consistência e domínio de conteúdo é definido a partir da classificação dos dois itens associados a um mesmo critério de acordo com os acertos e erros para cada par de itens. O quadro 01 resume os indicadores e seus respectivos descritores.

Quadro 01 - Indicadores de consistência e domínio de conteúdo de acordo com as respostas dos itens de cada critério

Extraímos as respostas de cada formulário atribuindo 1 para as respostas corretas e 0 para as respostas incorretas. Agrupamos os itens por critério e criamos uma tabela sintética para contagem e contabilização dos indicadores da nossa amostra. Finalmente, contabilizamos para cada item, a frequência de cada um dos quatro indicadores criados e calculamos dois índices para medir a dificuldade do critério e a coerência das questões que avaliam um mesmo critério, a saber:

## 1. Índice de dificuldade do critério (Dc)

Este índice mede o grau de dificuldade do critério sem considerar as respostas inconsistentes e, por isso, mostra esse grau de maneira mais precisa. Analisado em conjunto com o índice de coerência, pode revelar quais questões possuem possíveis falhas e como o domínio do conhecimento varia. O índice pode variar de 0 a 1, sendo que quanto mais próximo de 1, mais fácil é o critério, e pode ser calculado conforme a equação abaixo, onde temos as respostas consistentes e com domínio multiplicadas por seus pesos respectivos, divididas pelo total de respostas consistentes.

## 2. Índice de coerência das questões que avaliam um mesmo critério (Rc)

Este mede o quão coerente é um critério de um par de questões, ou seja, dos pares de respostas que possuem pelo menos um acerto, qual é a proporção entre respostas de sujeitos que possuem o mínimo de domínio do conhecimento em Astronomia para responder corretamente e as respostas de sujeitos que acertaram corretamente as questões classificadas como difíceis e erraram as fáceis. Para isso, cada tipo de par de respostas possui um peso, no numerador, enquanto no denominador estão as respostas válidas acrescido a 1, para evitar casos em que RCM + RCP igualam a zero. O multiplicador 2 torna os limites do índice -1 a 1, sendo que quanto mais próximo do módulo de 1, mais coerente é o critério.

Aqui, um valor próximo de 0 indica que o domínio daquele grupo não pode ser determinado através do índice, pois as respostas corretas estão distribuídas de forma aleatória. Outra interpretação possível é que pelo menos uma das duas questões induz o sujeito ao erro. Assim, se o índice estiver próximo de 0 podemos inferir que pelo menos uma das questões tem pontos mal elaborados e precisam ser revistos. Os índices próximos de 1 mostram coerência e domínio do critério. O índice -1 (negativo) mostra coerência das respostas mas um domínio oposto ao estabelecido previamente.

## Resultados

Uma vez submetido o teste traduzido e adaptado à pré-validação, temos por resultado o quadro 02 abaixo, que apresenta os valores dos índices encontrados para cada questão, estas separadas por critério.

Quadro 02 - Síntese dos Resultados dos Índices de avaliação da qualidade dos itens para cada critério

O índice de coerência médio igual a 0,50 indica um equilíbrio entre a dificuldade dos itens. Os critérios C1.2, C3.1 e C3.3 possuem um Rc abaixo de 0,30, que consideramos insatisfatório, mesmo que os índices de dificuldade tenham valores aceitáveis. Por outro lado, todos os dois índices de dificuldade de critério, com exceção do critério C1.2, possuem um valor satisfatório dentro da margem de erro, que é de 0,17. Vemos um caso particular no critério C2.5, que possui a menor diferença entre os índices de dificuldade. Este precisa ser reavaliado, pois as questões possuem itens com nível de dificuldade muito próximos.

## Considerações Finais

Embora a diferença do espaço amostral seja substancialmente grande, a etapa de pré-validação do teste foi concluída com resultados satisfatórios. Verificamos que os índices de dificuldade do teste traduzido foram compatíveis com

os índices de dificuldade do TOAST e que a grande maioria das questões são completamente válidas e podem ser aplicadas a estudantes, professores, astrônomos de maneira remota. Assim, podemos concluir que o teste traduzido é fidedigno ao propósito do teste criado por Slater e necessita apenas de alguns ajustes ou sobre a tradução ou sobre o contexto nas questões com critérios insatisfatórios. A partir disto, poderemos então aplicar uma versão final a uma amostra estatisticamente significativa para validar o instrumento de medida do conhecimento básico de astronomia em língua portuguesa.

No que tange a educação no Brasil, apesar das alterações feitas no teste original, a adaptação se mostrou um instrumento de grande potencial para avaliar as concepções científicas que o brasileiro possui nesta área de conhecimento. A aquisição desses dados sobre estudantes em diferentes momentos de sua trajetória escolar, em âmbito público e privado, tem o poder de elucidar as deficiências e pontos de melhoria do ensino de astronomia no país, sendo ponto de partida para investimentos direcionados na educação.

## Referências

BRETONES, P.S. Bretones, Disciplinas Introdutórias de Astronomia nos Cursos Superiores do Brasil. Dissertação de Mestrado , Universidade Estadual de Campinas, 1999.

CASTRO E SILVA, A. F. e IACHEL, G. Algumas tendências de pesquisas que envolvem propostas didáticas para o ensino de astronomia. Docência e pesquisa em Física e Astronomia . São Paulo, Edições Hipótese, p. 73 a 87, 2017.

COSTA. S, EUSÉBIO. G.J e DAMÁSIO, F. A astronomia na formação inicial de professores de ciências. Revista Latino-Americana de Educação em Astronomia - RELEA, n. 22, p. 59-80, 2016

LANGHI, R.; NARDI, R. Ensino da astronomia no Brasil: educação formal, informal, não formal e divulgação científica. Revista Brasileira de Ensino de Física [online]. 2009, v. 31, n. 4, pp. 4402-4412. Epub 26 Abr 2010. ISSN 1806-9126.

LIRA, S. A.; NETO, A. C. Coeficientes de correlação para variáveis ordinais e dicotômicas derivados do coeficiente linear de Pearson.

SHIGUNOV NETO. O que se pesquisa em educação em astronomia: uma análise do periódico Revista Latino-Americana de educação em astronomia no período compreendido de 2004 a 2019. Revista Internacional de Pesquisa em Didática das Ciências e Matemática , Itapetininga, v. 2, e021002, p. 1-13, 2021.

SLATER, S. Development of the Test Of Astronomy STandards (TOAST) Assessment Instrument. Journal of Astronomy & Earth Sciences Education , v. 1, n. 1. (2014).

SOARES, D. J. M. Teoria clássica dos testes e teoria de resposta ao item aplicadas em uma avaliação de matemática básica . 2018. 121f. Dissertação (Mestrado em Estatística Aplicada e Biometria) - Universidade Federal de Viçosa, Viçosa. 2018.