TNCA: UM INSTRUMENTO PARA MEDIDA DO CONHECIMENTO BÁSICO DE ASTRONOMIA NO CONTEXTO BRASILEIRO

## TNCA: UM INSTRUMENTO PARA MEDIDA DO CONHECIMENTO BÁSICO DE ASTRONOMIA NO CONTEXTO BRASILEIRO

## TLKA: AN INSTRUMENT TO MEASURE BASIC KNOWLEDGE OF ASTRONOMY IN THE BRAZILIAN CONTEXT

Marcos Paulo de Araújo Silva 1 , Carlos Eduardo Porto Andrade 2 , Samantha Jully Mesquita Gonçalves 3 , Carlos Eduardo Porto Villani 4

1 Universidade Federal de Minas Gerais, marcospaulo.fisica@outlook.com 2 Universidade Federal de Minas Gerais, cadu.cepadu@yahoo.com.br 3 Universidade Federal de Minas Gerais, samanthajullymg@gmail.br 4 Colégio Técnico da Universidade Federal de Minas Gerais, carlosvillani@ufmg.br

## Resumo

Neste trabalho, apresentamos os resultados do processo de pré-validação de um instrumento de pesquisa desenvolvido para medir o nível de conhecimento básico de astronomia da população brasileira. O Teste de Níveis de Conhecimento em Astronomia (TNCA) foi desenvolvido no contexto da pandemia da Covid-19 e, por isso, foi organizado e veiculado na forma de um formulário eletrônico aos 57 voluntários que participaram da pesquisa. O TNCA consiste na tradução e adaptação de todas as 27 questões de múltipla escolha contidas em um teste estrangeiro, fruto de mais de 20 anos de pesquisa, desenvolvido, validado e consolidado por Stephanie J. Slater e colaboradores: o Test Of Astronomy Standards (TOAST). As mudanças realizadas nos itens originais se devem às especificidades do céu observado a partir do hemisfério sul do nosso planeta e, particularmente, do contexto geográfico e educacional brasileiro. O TNCA foi aplicado em quatro grupos distintos de voluntários e os dados foram analisados utilizando a Teoria Clássica dos Testes (TCT). Comparamos todos os índices estatísticos obtidos no trabalho de Slater em cada item do TOAST com nossa amostra. Nossos resultados evidenciaram uma forte compatibilidade entre os índices obtidos no TOAST e no TNCA. Identificamos problemas pontuais em apenas 3 das 27 questões analisadas. Assim, o TNCA constitui um instrumento promissor para futura aplicação em escala estatisticamente significativa visando sua validação enquanto instrumento de avaliação do conhecimento básico de astronomia em contextos de ensino no Brasil.

Palavras-chave : Conhecimento Básico de Astronomia. Teoria Clássica dos Testes. Teste de Níveis de Conhecimento em Astronomia. Processo de Validação de Testes.

## Abstract

In this work, we present the results of the pre-validation process of a research instrument developed to measure the level of basic astronomy knowledge of the Brazilian population. The Test of Levels of Knowledge in Astronomy (TLKA) was developed in the context of the Covid-19 pandemic and, therefore, was organized and placed in an electronic form to the 57 volunteers who participated in the research. The TLKA consists of the translation and adaptation of all 27 multiplechoice questions contained in a foreign test, the result of more than 20 years of

research, developed, validated and consolidated by Stephanie J. Slater and collaborators: the Test Of Astronomy STandards (TOAST). The changes made to the original items are due to the specificities of the sky observed from the southern hemisphere of our planet and, particularly, the Brazilian geographic and educational context. The TLKA was applied to four different groups of volunteers and the data were analyzed using the Classical Test Theory (CTT). We compared all statistical index obtained in Slater's work on each TOAST item with our sample. Our results showed a strong compatibility between the index obtained in TOAST and TLKA. We identified specific problems in only 3 of the 27 questions analyzed. Thus, the TLKA constitutes a promising instrument for future application on a statistically significant scale, aiming at its validation as an instrument for evaluating basic astronomy knowledge in teaching contexts in Brazil.

Keywords : Basic Knowledge of Astronomy. Classical Test Theory. Test of Standards of Knowledge in Astronomy. Test Validation Process.

## Introdução

Nos últimos anos, a preocupação com a pesquisa em ensino de astronomia foi registrada tanto na forma de aumento de artigos em revistas e periódicos (IACHEL & NARDI, 2010), quanto de trabalhos em eventos (BUSSI & BRETONES, 2013). Além disso, a astronomia também se consolidou com a implementação do 'Novo Ensino Médio', uma proposta de reformulação curricular que promoveu a inserção de inúmeros temas da astronomia como conteúdos obrigatórios nas novas matrizes curriculares. Esse marco desperta a necessidade de um acompanhamento mais sistemático do ensino destes conteúdos, tanto pela deficiência na formação de professores, no âmbito da raridade da presença de disciplinas obrigatórias sobre astronomia nos cursos de licenciatura em Ciências e Física (BRETONES, 1999; SHIGUNOV NETO, 2021), quanto pela lacuna de informações relativas à medidas do nível básico de conhecimento de astronomia pelos estudantes e demais cidadãos no Brasil.

Nessa pesquisa, traduzimos e adaptamos um teste para investigar o nível básico de conhecimento que cidadãos brasileiros têm acerca da astronomia: o Test Of Astronomy STandards (TOAST). Essa ferramenta avaliativa foi desenvolvida e validada por Slater e colaboradores após a realização de uma pesquisa longitudinal de mais de 20 anos junto a especialistas em astronomia nos EUA (SLATER, 2014). Em seu trabalho, a autora procurou estabelecer qual seria o conhecimento básico de astronomia que todo cidadão americano deveria ter acesso ao longo de sua vida. Esse conhecimento foi confrontado com a literatura em ensino de astronomia resultando na categorização de conteúdos básicos e, posteriormente, na criação e validação de um instrumento para se medir o nível de conhecimento básico de astronomia. Os públicos-alvo dessa validação foram grupos de interesse da população americana, e cursos e atividades associadas ao ensino desta ciência.

O objetivo deste trabalho foi avaliar a qualidade e a viabilidade do teste traduzido e adaptado para o contexto brasileiro que chamamos de 'Teste de Níveis de Conhecimento em Astronomia' (TNCA). Para isso, utilizamos os mesmos procedimentos e testes estatísticos disponibilizados na literatura para analisar um pré-teste desta primeira versão do TNCA para avaliarmos a qualidade e a validade de cada questão do nosso teste. Com isso foi possível comparar nossos resultados com os mesmos parâmetros analisados no trabalho original de Slater (2014) e

Slater, Schleigh e Stork (2015), visando identificar problemas para refinar o teste antes de submetê-lo a futuros procedimentos de validação em escala estatisticamente significativa. Dessa forma, destacamos o potencial da utilização do TCNA como ferramenta na pesquisa e no ensino de Física, tanto para investigar e medir o nível de conhecimento básico de astronomia, quanto para propor intervenções mais precisas visando a melhoria de cursos e dos processos de ensino e de aprendizagem de Física e Astronomia.

## Tradução e Elaboração do Teste de Níveis em Astronomia

O TCNA utilizou a plataforma Google Forms, como meio de veiculação e foi enviado a um total de 57 participantes divididos em 04 grupos distintos de sujeitos. Os 02 primeiros grupos correspondem a 29 estudantes de ensino médio que, no período do ensino remoto emergencial (ERE), estavam inscritos na Olimpíada Brasileira de Astronomia em duas escolas públicas: uma escola técnica federal e outra estadual. O terceiro grupo corresponde 03 a professores que atuam no ensino médio e na graduação e que possuem envolvimento com a astronomia. Finalmente, o último grupo foi constituído por 25 alunos do curso de licenciatura em Física.

- O teste original encontra-se como anexo no artigo de Slater de 2014, p. 1922. No processo de tradução, foram feitas leituras globais do TOAST para compreendermos o estilo do teste, a estrutura comum dos enunciados, e as similaridades e diferenças entre alternativas. Inicialmente, foi feita uma tradução com a ferramenta Google Tradutor gerando um documento comum. Em seguida, cada um dos autores realizou sua proposta individual de adaptação de contextos e ajuste de sentido e significado dos enunciados e das alternativas de todos os itens originais traduzidos pela ferramenta automática. Vale salientar que os textos contidos nas imagens também foram traduzidos.

Posteriormente cada item foi discutido coletivamente, até o estabelecimento de um consenso, e transportado para o Google Forms. Durante o processo de tradução, dividimos os itens em três níveis de alterações ou modificações.

## Adaptações de Questões, sem Alterações Significativas

Essas questões estão dentro de um contexto que não depende da localidade do observador, portanto, não fizemos alterações no sentido, no significado, na estrutura ou na ordem do texto associados aos conceitos e conteúdos abordados. Preservamos ainda o comando e a ordem das alternativas. Os únicos ajustes necessários foram alterações gramaticais e sintáticas próprias da língua portuguesa, e que deixavam a questão mais coerente e coesa do que uma tradução livre com uso da ferramenta de tradução. Como exemplo desta forma de tradução/adaptação apresentamos as figuras 1 e 2 a seguir.

## Figura 1 - Questão 15 do TOAST

Fonte: SLATER (2014).

## Figura 2 - Questão 15 do TNCA

Fonte: Elaborado pelos autores (2022).

## Adaptações de Questões, com Pequenas Alterações

Nessa categoria se encontram as questões que possuíam exemplos e referenciais celestes comuns ao céu do hemisfério norte, o que prejudicaria o entendimento do teste para moradores do hemisfério sul. Aqui também se incluem questões cujos enunciados se mostraram incompletos frente ao contexto educacional brasileiro, necessitando acréscimo de informação para uma boa compreensão. Ressaltamos, no entanto, que o contexto apresentado nas adaptações preserva integralmente o sentido da questão do teste original. Assim, foi realizada uma troca de termos e referenciais com características regionais e em alguns casos, inclusão de informações. Um exemplo dos itens que sofreram esse tipo de adaptação foi a questão de número 10 (fig. 3 e 4). A questão em inglês faz o uso da estrela polar em sua construção, que em geral, apenas pode ser vista por observadores em referenciais localizados no hemisfério norte do planeta. Foi então substituída pela constelação do Cruzeiro do Sul, que é mais familiar aos participantes do nosso estudo, sendo facilmente observada em referenciais no hemisfério sul, e representa o mesmo sentido no contexto da questão.

## Figura 3 - Questão 10 do TOAST

Fonte: SLATER (2014).

## Figura 4 - Questão 10 do nosso teste

Fonte: Elaborado pelos autores (2022).

## Adaptações de Questões, com Grandes Alterações

Por fim, outras questões necessitavam de alterações que modificassem completamente sua estrutura pois demandavam uma ruptura significativa com a questão original. Diferente da questão 10, ao substituir a estrela ou a constelação modifica-se simultaneamente o significado e o sentido atribuídos ao enunciado ou as alternativas do item. Além disso, a função que um determinado objeto desempenha no item possui um papel de relevância histórica e cultural que impacta o entendimento do céu noturno para habitantes de uma determinada cultura.

Nas figuras 5 a 7, apresentamos as adaptações da questão 4 do TOAST. A primeira adaptação corresponde a mudança do local de observação do céu: de uma localidade no hemisfério norte para Minas Gerais. Essa mudança altera a dinâmica da questão, tornando necessárias as adaptações subsequentes. O período de observação foi definido em seis meses em vez de duas semanas, com a indicação que a situação inicial é em dezembro, durante o solstício de verão. Isso torna a pergunta mais clara, propondo uma comparação direta entre inverno e verão. Também foi alterada a forma como o participante é questionado sobre a posição do Sol. O que era feito diretamente na questão original, foi proposto de forma indireta, supondo a observação da sombra de um poste. Isso tem o efeito de evitar possíveis confusões, que originalmente incluíam a comparação com o horizonte e os pontos cardeais.

## Figura 5 - Questão 4 do TOAST

Fonte: SLATER (2014).

## Figura 6 - Questão 4 do TOAST com tradução literal

Fonte: SLATER (2014 - tradução nossa).

## Figura 7 - Questão 4 do nosso teste como consta no formulário

Fonte: Elaborado pelos autores (2022).

## Referencial Teórico: a Teoria Clássica dos Testes

Em conformidade com os processos de validação utilizados com o TOAST (SLATER, 2014; SLATER, SCHLEIGH & STORK, 2015), recorreremos à Teoria Clássica dos Testes (TCT). A TCT compreende conceitos e técnicas estatísticas que objetivam realizar medidas psicométricas de testes para avaliar a consistência e a coerência de cada item e do teste como um todo. Para isso, os escores que os indivíduos alcançam em cada item são comparados com o desempenho total de cada indivíduo no teste. De acordo com Sartes e Souza-Formigoni (2013, p. 2), a análise dos itens é um procedimento que tem a pretensão de selecionar itens de em um grande conjunto, avaliando dois índices: dificuldade e discriminação.

- O primeiro índice, de dificuldade (D ), mede o grau de dificuldade de uma i questão e aceita valores entre 0 e 1, sendo que quanto menor seu valor, mais difícil é o item. De acordo com Condé (2001, apud Soares 2018, p. 12), itens que possuem um índice maior que 0.70 são considerados fáceis; entre 0.30 e 0.70, possuem dificuldade moderada; e com índice menor que 0.30, são considerados difíceis.
- O segundo índice, de discriminação ( r di ), mede como uma questão é capaz de diferenciar os alunos com bom desempenho daqueles com mau desempenho. Diferente do índice de dificuldade, o índice de discriminação leva em consideração apenas o desempenho de dois grupos de escores, os 27% superiores e os 27% inferiores. A diferença entre a média dos escores deste grupo é que determina o índice de discriminação, e quanto maior seu valor, mais coerente é o teste.

Além desta forma de determinar o índice de discriminação, um dos avaliadores de qualidade que tem sido utilizado dentro da TCT é o coeficiente de correlação ponto-bisserial ( r pb ). Este coeficiente correlaciona o desempenho do indivíduo no teste e o desempenho do indivíduo no item, ou seja, uma correlação entre uma variável contínua (o desempenho do indivíduo no teste) e uma variável dicotômica (o acerto ou o erro deste indivíduo no item).

Outro índice também utilizado amplamente por professores e pesquisadores é o coeficiente alfa de Cronbach, criado em 1951 por L. J. Cronbach, e tem a finalidade de avaliar a confiabilidade de um teste através da sua consistência interna, e é pautada na correlação dos itens entre si e na correlação de cada item com o escore total do teste (PILATTI; PEDROSO; GUTIERREZ, 2010).

## Metodologia da Pesquisa

Após a elaboração do formulário eletrônico, entramos em contato com alguns professores com experiência em ensino de astronomia e que se comprometeram a respondê-lo e enviá-lo a seus alunos. O formulário foi enviado a estes professores com uma mensagem de incentivo à participação na pesquisa e como uma oportunidade de fazer um teste de conhecimentos gerais em astronomia. Após a coleta dos dados, realizamos a análise baseada na TCT, calculando todos os índices e coeficientes mencionados na seção anterior para os itens e para o TNCA.

- O índice de dificuldade (D ) de cada item está relacionado ao desempenho i médio da amostra no item e foi calculado conforme a equação abaixo, onde Xi é a quantidade de acertos no item, e n , o número total de respostas ao item.

<!-- formula-not-decoded -->

Com auxílio da função SOMA do Excel, o índice de discriminação (rdi) foi calculado segundo a equação:

<!-- formula-not-decoded -->

em que X1 é a quantidade de acertos do grupo com escore superior, X0 , a quantidade de acertos do grupo com escore inferior, e nx , a quantidade da amostra desses grupos. E o coeficiente de correlação ponto-bisserial (r pb ) foi calculado como:

<!-- formula-not-decoded -->

onde ¯ X p é a média dos escores de alunos que acertaram o item, ¯ X é a média dos escores de alunos que erraram o item, δx é o desvio padrão total da amostra, p é a proporção de acertos e q é a proporção de erros.

Por fim, o coeficiente alfa de Cronbach foi calculado através de uma função no Excel que relaciona as variâncias de cada questão e o número total de respostas.

Assim, elaboramos a tabela 01 que permite visualizar todos os índices apresentados no artigo de validação do TOAST com os resultados de nossa prévalidação do TCNA para comparação, análise e discussão dos resultados.

Tabela 01 - Resultado da análise estatística segundo a TCT.

Nota: Di - índice de dificuldade; r di - índice de discriminação pelo coeficiente de Pearson; r pb -coeficiente de correlação ponto-bisserial; (S) - dados do trabalho de Slater (2014)

## Análise e Discussão dos Resultados

De acordo com a tabela 01, o índice de dificuldade médio do teste foi 0,52, bem próximo do teste original, que é de 0,46 (SLATER, 2014, p. 10). A maioria dos itens possuem um índice de dificuldade muito próximo ao do teste original, principalmente as questões inalteradas, o que ressalta a validade internacional do TOAST. Nessa categoria, apenas o item 6 apresentou alteração significativa de 0,20, enquanto outros itens desta mesma categoria de alteração tiveram uma diferença na faixa de 0,03 a 0,08. Já para os dois itens com grandes alterações, itens 4 e 9, é notável que existe uma grande discrepância com os mesmos itens do teste original, pois ambos os itens não possuem um nível de dificuldade compatível com o teste internacional. Além disso, alguns itens possuem um índice de dificuldade fora do padrão considerado desejável, como os itens 1, 12, 23, 26 e 27. Entretanto, quando se analisa o índice de discriminação e o coeficiente de correlação ponto-bisserial, estes últimos itens mencionados possuem valores considerados satisfatórios.

Para o coeficiente de correlação ponto-bisserial, segundo Slater (2014), apenas os itens 6 e 24 não estão dentro da faixa satisfatória, que é acima de 0,15. Porém, segundo Tôrres (2015 apud Soares, 2015, p. 17), um item com coeficiente ponto-bisserial acima de 0,30 é considerado satisfatório. Considerando o padrão utilizado por Slater, todos os itens são capazes de discriminar participantes quando é levado em consideração o escore total, mas segundo o último padrão, os itens 6 e 24 devem ser readaptados, especialmente o último, que possui um índice negativo.

Analisando todos os índices no geral, os itens 1, 6 e 24 são os que consideramos mais insatisfatórios, e por isso, devem ser readaptados em uma futura versão do teste. O alfa de Cronbach do teste foi de 0,84, muito próximo do teste original (0,85), ou seja, mesmo com alguns itens fora dos padrões de qualidade dos índices, a consistência interna do teste permanece praticamente inalterada.

## Considerações Finais

Apesar das alterações feitas no teste original, o TNCA se mostrou um instrumento adequado para avaliar o conhecimento básico que o brasileiro possui em astronomia, principalmente porque as análises das respostas levaram a valores muito próximos aos que foram calculados por Slater (2014). A diferença do espaço amostral com o teste original é substancialmente grande, e o n de nossa amostra não produziu uma distribuição normal de escores totais em função das possibilidades de desempenho.

Entretanto, a etapa de pré-validação do teste foi concluída com resultados satisfatórios, com uma indicação precisa dos 3 itens que precisam ser revistos antes de iniciarmos o processo de validação do TCNA em escala estaticamente significativa. Além disso, nossos resultados demonstraram que o teste possui validade em mídia eletrônica podendo ser aplicado de maneira remota.

Acreditamos que a tradução e adaptação do TOAST é um grande avanço no campo, pois não encontramos artigos sobre esse processo na literatura brasileira de educação e ensino de física e astronomia. Assim, esperamos que o TNCA possa ser usado tanto por pesquisadores quanto por professores brasileiros para aferir o nível de conhecimento básico de astronomia de seus alunos e para investigar e avaliar a qualidade de cursos e metodologias de ensino.

## Referências Bibliográficas

BRETONES, P.S. Disciplinas Introdutórias de Astronomia nos Cursos Superiores do Brasil. Dissertação de Mestrado , Universidade Estadual de Campinas, 1999.

BUSSI, B.; BRETONES, P. S. Educação em astronomia nos trabalhos dos ENPECs de 1997 a 2011. In: Encontro Nacional de Pesquisa em Educação em Ciências , 9., 2013, Águas de Lindóia. Anais […]. Rio de Janeiro: Abrapec, 2013. p. 1-8.

IACHEL, G.; NARDI, R. Algumas Tendências das Publicações Relacionadas à Astronomia em Periódicos Brasileiros de Ensino de Física nas Últimas Décadas. Ensaio Pesquisa em Educação em Ciências (Belo Horizonte) [online]. 2010, v. 12, n. 2, pp. 225-238. Disponível em: &lt;https://doi.org/10.1590/198321172010120214&gt;. Acesso: 04/03/2021

SARTES, L. M. A.; SOUZA-FORMIGONI, M. L. O. Avanços na psicometria: da Teoria Clássica dos Testes à Teoria de Resposta ao Item. Psicologia: Reflexão e Crítica [online]. 2013, v. 26, n. 2, pp. 241-250. Disponível em: &lt;https://doi.org/10.1590/S0102-79722013000200004&gt;. Acesso: 20/01/2022

SHIGUNOV NETO. O que se pesquisa em educação em astronomia: uma análise do periódico Revista Latino-Americana de educação em astronomia no período compreendido de 2004 a 2019. Revista Internacional de Pesquisa em Didática das Ciências e Matemática , Itapetininga, v. 2, e021002, p. 1-13, 2021.

SLATER, S. J. Development of the Test Of Astronomy STandards (TOAST) Assessment Instrument. Journal of Astronomy &amp; Earth Sciences Education , v. 1, n. 1. 2014. p. 1-22. Disponível em:

&lt;https://www.researchgate.net/publication/234551342\_Development\_of\_the\_Test\_Of \_Astronomy\_STandards\_TOAST\_Assessment\_Instrument&gt; Acesso: 01/02/2021.

SLATER, S. J.; SCHLEIGH, S. P.; STORK, D. J. Analysis of individual Test Of Astronomy STandards (TOAST) item responses. Journal of Astronomy &amp; Earth Sciences Education , v. 2, n. 2. 2015. p. 89-108. Disponível em: &lt;https://www.researchgate.net/publication/286523067\_Analysis\_of\_Individual\_Test\_ Of\_Astronomy\_STandards\_TOAST\_Item\_Responses&gt; Acesso: 23/04/2021.

SOARES, D. J. M. Teoria clássica dos testes e teoria de resposta ao item aplicadas em uma avaliação de matemática básica . 121f. Dissertação (Mestrado em Estatística Aplicada e Biometria) - Universidade Federal de Viçosa, Viçosa. 2018.