A utilização do ChatGPT na divulgação de astronomia: uma análise de desinformação da Teoria do Big Bang.

## A utilização do ChatGPT na divulgação de astronomia: uma análise de desinformação da Teoria do Big Bang

## Samuel Souza 1 , Aldo Aoyagui 2

1

UNICAMP, s289209@dac.unicamp.br

2

UNICAMP, aoyagui@unicamp.br

## Resumo

Divulgar ciências de maneira geral sempre foi um desafio histórico para a comunidade científica desde o momento em que essa necessidade surgiu. Atualmente, o controle das informações científicas se mostra cada vez mais complicado, e os 'gatekeepers' antes responsáveis por serem os porta-voz da ciência estão cada vez mais desregulados. O falso absolutismo tecnológico leva diversas pessoas a acreditar sem questionamento nas informações vindas de ambientes sem controle quanti/quali das informações e dados disponibilizados, a exemplo das mídias sociais e de plataformas como o ChatGPT. Neste artigo analisaremos as respostas do ChatGPT quanto à perguntas relativamente semelhantes voltadas para a Teoria do Big Bang, comparando as diferentes respostas disponibilizadas pela IA em diferentes momentos, visando uma análise acerca dos diferentes desenvolvimentos conceituais e éticos dessa tecnologia amplamente utilizada como fonte inquestionável de veracidade. A fundamentação da confiabilidade dessas informações será pautada em uma fundamentação teórica da Teoria do Big Bang, produzindo perguntas que se constituirão dos pontos ainda não confirmados dessa mesma.

Palavras-chave : Gatekeepers, Teoria do Big Bang, ChatGPT.

## O Chat GPT na educação

Desde 2022, quando a OpenAI anunciou ser a criadora de uma nova tecnologia de inteligência artificial denominada de ChatGPT ( Generative Pre-trained Transformer -Transformador Generativo Pré-Treinado), capaz de gerar textos, soluções e respostas com suposta coesão e sentido caso o usuário transmitisse a pergunta adequada, centenas de milhões de pessoas mergulharam profundamente na explosão de Inteligências Artificiais (IAs) como forma de produzir, interpretar e responder diversas questões (CITELLI, 2024). Para muitos, naquele momento, o futuro da sociedade estava exatamente diante dos seus olhos e uma empolgação global acerca da tecnologia emergiu exponencialmente. O ChatGPT é uma tecnologia pré treinada (por seres humanos) que transforma linguagem artificial em linguagem natural, baseada num modelo tranformer , isto é, uma mecânica neural de rede que analisa uma quantidade imensa de dados, diferenciando inúmeras medidas e transformando essas mesmas em símbolos, palavras e significados. Chomsky (2023), através de uma categorização baseada em técnicas de álgebra linear, cálculos e estatísticas, denomina a tecnologia como 'automatic learning', com a capacidade de processar uma imensa quantidade de informações produzindo materiais em linguagem natural a partir dos pedidos baseados no interesse do usuário.

Porém, rapidamente, a quantidade minuciosa de erros conceituais encontrados por usuários mais curiosos e pesquisadores passaram a ser uma rápida problemática associada à IA. Segundo Citelli (2024), apesar de realmente inicialmente impressionar quanto a facilidade operacional de disponibilizar resposta em poucos segundos, é necessário cautela ao acionar essa tecnologia ao âmbito escolar. Essa utilização deve vir acompanhada de uma robusta instrução sobre o real intuito da tecnologia: fornecer informações mínimas sobre o assunto em consulta e ter discernimento para separar as possíveis (des)informações das informações precisas. Ainda mais esclarecidamente, precisamos compreender que o Chat GPT é '[...] um completador de texto e não foi treinado para dizer verdades [...]' (CARNIELLI, 2024).

Entendendo essas questões, naturalmente surgem muitos receios quanto à utilização dessas inteligências artificiais no âmbito educacional, principalmente entendendo as 'alucinações' e informações falsas (Misinformation) famosas por parte das LLMs (Large Language Models - Modelos de linguagem de grande escala) já apresentadas por diversas dessas mesmas (KNIGHT, 2021; BOMMANASI, 2021), o ChatGPT não está tão distante dessas tecnologias. Sua utilização já foi examinada em diferentes domínios, como o legislativo, na medicina, ciências e outros. Assim como outras LLMs, o ChatGPT também fabrica informações passíveis de interpretações erradas, de baixa qualidade ou até mesmo incorretas (BORJI, 2023; MITROVIÇ, 2023). Destaco ainda um estudo produzido pela universidade de Purdue, nos Estados Unidos, visando testar a eficácia do ChatGPT (GPT-3.5) para responder perguntas sobre engenharia de software. Os pesquisadores Samia Kabir, David Udo-Imeh, Bonan Kou e Tianyi Zhang enviaram 517 perguntas populares da plataforma para consulta de dúvidas 'Stack Overflow', super popular entre desenvolvedores e engenheiros de software. 259 das respostas enviadas pela tecnologia da OpenIA estavam incorretas, ou seja, mais de 50% do total. Além disso, o estudo considerou 77% dos textos amplamente genéricos (KARBIR, S. et al. , 2024).

Isso não significa necessariamente que não podemos utilizar a tecnologia nos ambientes educacionais. Segundo Alves Guimarães et al. (2021), essa tecnologia, na verdade, é amplamente utilizada para correção prévia de atividades, textos e materiais, principalmente no caso das redações. Porém, nem todos os professores se sentem confortáveis para desenvolver atividade pedagógica utilizando a tecnologia e muito menos entendem se o impacto é positivo ou negativo em processos educacionais. Já os discentes utilizam o ChatGPT para produção e construção completa de material, seja ele textual ou não. Entende-se, nesse caso, o impacto negativo didaticamente falando. Assim, ainda enfrentamos esse dilema. Qual o nível limite de produtividade do ChatGPT para a educação?

## A Teoria do Big Bang

A teoria cosmológica mais aceita e fundamentada da história da cosmologia talvez seja mal interpretada pela noção cidadã, principalmente pelo diferente entendimento da palavra 'teoria' nos âmbitos científico e comum. Ademais, os processos epistemológicos e de desenvolvimento estruturais de uma teoria científica aumentam o nível de complexidade acerca do entendimento e aceitação geral para essa teoria. Segundo Lakatos (1979), uma 'teoria' científica deve ser entendida como 'projeto de pesquisa' no sentido de ser passiva aos processos rigorosos que devem ser expostos à comunidade científica. A teoria parte de um 'corpo central', sendo essa uma característica mutável, mas abrangendo uma quantidade necessária de conceituações prévias estruturalmente produzidas para dar sentido à essa teoria. Essa estrutura permite à teoria um caráter de continuidade, ou seja, uma sequência de tentativas de refutação feitas nas bases estruturais conceituais desse projeto de pesquisa. Para isso precisamos olhar para a teoria inicialmente como 'irrefutável' para que ela não seja descartada de maneira precoce e impossibilitada de passar por esses processos. Para Lakatos, esse momento de irrefutabilidade é chamado de 'núcleo firme'.

A Teoria do Big Bang passou por todos esses processos desde sua formulação e continua até os dias atuais, com novos equipamentos tecnológicos sendo construídos e novos dados coletados. Quando, ainda em 1925, o padre e astrônomo George Lemaître, estudante de astronomia em Cambridge e em Harvard, obteve independentemente equações que indicavam um universo em expansão (WAGA, 2005), tivemos a primeira amostra do que foi chamado de 'átomo primordial'. Essa ideia surgiu como resposta natural ao estado de expansão do universo. O universo, perceba, não viria de um ponto. O momento inicial de expansão, por menor que fosse, era de toda maneira todo o universo conhecido, notoriamente contrário a um ponto (ARTHURY, 2013). A teoria ganhou de fato um reconhecimento como programa de pesquisa após 1940, quando George Gamow, Ralph Aplher e Hans Bethe (com um excelente senso de humor) produziram cálculos precisos exibindo as características desse universo de um momento prévio e rápido de expansão. Alpher, Bethe e Gamow colaboraram para a previsão de uma das principais descobertas esclarecedoras da Teoria do Big Bang: o ruído da radiação cósmica de fundo.

A radiação cósmica de fundo foi detectada de maneira acidental em 1965 pelos radioastrônomos Arno Penzias e Robert Wilson enquanto trabalhavam na captação de sinais de comunicação via satélite pelas antenas do local onde trabalhavam. Mesmo sendo prevista em 1940, apenas em 1960 físicos como Robert

Dicke, da universidade de Princeton, já direcionaram seus esforços para a captação dessa energia deixada pela expansão acelerada do universo. Quando Penzias e Wilson captaram diversos sinais na faixa do microondas com temperatura em torno de 3K, não apenas Dicke mas o mundo inteiro transformaria a maneira cosmológica humana de olhar para nosso passado. Desde então, apesar dos esforços, a Teoria do Big Bang se fortificou cada vez mais conforme o tempo passou e esbanja atualmente uma robusta estrutura que nos permite, senão afirmar, relatar com segurança muitos fenômenos acontecidos nos primórdios do universo. Assim como qualquer teoria, ainda serão necessários contrapesos e refutações em diversos detalhes ainda pendentes, tal como evidências acerca da singularidade nos momentos de nascimento do universo ou o destino da quantidade equivalente de antimatéria ainda desconhecido.

## Análise de desinformação no ChatGPT

Para tal análise, separaremos perguntas acerca das supostas fraquezas da Teoria do Big Bang para serem feitas ao ChatGPT e repetiremos essas perguntas em dias diferentes. A pesquisa é de caráter exploratória-explicativa porque está de acordo com os elementos descritos por Gil (2017) e Aaker, Kumar e Day (2004) que olhavam para a pesquisa como maneira de se aproximar da problemática central, analisar conceitos, familiaridades e intuições acerca do problema apresentado na pesquisa. Também utilizamos a técnica de triangulação (YIN, 2001) que, resumidamente, consiste em coletar informações de visões diferentes. A ideia é constatarmos três possíveis instabilidades nas respostas: primeiro, as informações de baixa fundamentação ou passíveis de má interpretação; segundo, as possíveis diferenças nas respostas a perguntas similares mas feita em períodos diferentes e terceiro, analisando se há alteração de resposta quando feita em uma conta diferente. As perguntas serão feitas na versão gratuita da plataforma, ou seja, na versão GPT-4o mini. As perguntas foram formuladas pensando nas particularidades da teoria que tendem a cenários em que a desinformação(mis) está presente.

A primeira pergunta direciona o cidadão a pensar sobre o momento primário de expansão acelerada do universo: o suposto ponto. Pergunta a): 'Como o universo surgiu de um ponto?'. Os três métodos da técnica de triangulação são os expostos acima, sendo: critério 1: análise pura de desinformação(mis). Critério 2: repetição formal (não mnemônica) da pergunta feita em um momento diferente. Critério 3: repetição empírica (mnemônica referente à primeira pergunta) feita em uma conta diferente. Pergunta feita para o critério 2: 'O universo veio de um ponto?'.

Quadro 1 - Análise triangular referente às primeiras respostas do ChatGPT.

Fonte: elaborada pelos autores.

Optamos por trabalhar com a resposta inicial da tecnologia por se tratar da parte de impacto imediato para o cidadão leitor. Entendemos como preocupante a presença de uma conceituação acerca do 'ponto' como singularidade no início do universo. Entendemos dessa maneira porque, notoriamente, o universo nunca foi 'um ponto', mas o próprio universo como um todo em expansão acelerada. A utilização dessa palavra se encaixa numa resposta rasa e passiva de interpretações erradas ou até mesmo de desinformação. No primeiro critério, mesmo afirmando que 'a ideia é central para a teoria do big bang', a própria tecnologia expõe a ideia como enganadora no complemento da resposta, quando escreve: 'a ideia de um ponto pode ser um pouco enganadora porque sugere que o universo surgiu de um local específico no espaço. No entanto, o Big Bang não aconteceu em um ponto no espaço, mas sim em todos os lugares ao mesmo tempo. [...]' . Essa ressalva, no entanto, sofre risco altíssimo de ser ignorada, por não ter sido apresentada no início da pergunta ou até mesmo ser entendida como uma contradição da plataforma. Quando analisamos os três critérios de maneira geral, a palavra 'singularidade' não aparece inicialmente na primeira resposta. Entendemos, dessa maneira, que as três respostas não conversam totalmente entre si e estão passíveis de serem interpretadas como desinformação(mis).

A segunda pergunta se insere num segundo argumento muito utilizado e entendido como uma das 'fraquezas' da teoria, o paradeiro da antimatéria. Segundo a teoria, a quantidade de matéria e antimatéria presentes no momento de expansão acelerada deveria ser a mesma, mas não é o que observamos. Entendendo esse processo, expomos o ChatGPT aos mesmos três critérios frente à seguinte pergunta primária: pergunta b) 'Onde está a antimatéria do universo?'. Pergunta feita para o critério 2: 'O universo não deveria ter muita antimatéria?'

Quadro 2 - Análise triangular referente às primeiras respostas do ChatGPT.

Fonte: elaborada pelos autores.

Assim como no primeiro quadro, optamos por tratar das respostas imediatas da plataforma. No primeiro critério, o robô apenas cita a problemática sem apresentar uma nomenclatura ao problema ou indicar como a comunidade científica chegou a essa problemática. Entendemos que a tecnologia apenas captou formas diferentes de responder ao prompt sem se preocupar com detalhes extras. Já no segundo critério, tivemos uma resposta com uma conclusão já acoplada ao texto principal. 'esperava-se que a matéria e a antimatéria se aniquilassem mutuamente, deixando para trás um universo composto apenas de radiação (fótons)'. Essa é apenas uma das inúmeras hipóteses do paradeiro da antimatéria e, por algum motivo, o robô analisou algumas das novas palavras da pergunta reformulada como suficiente para adicionar essa solução 'falha'. Entendemos que, para casos do tipo, temos novamente três respostas de nível raso e que naturalmente podem encaminhar pessoas à algum nível de desinformação acerca do tema.

## Considerações finais

É cada vez mais crítica a necessidade de nos educarmos quanto às novas tecnologias utilizadas com intuitos educacionais, sejam nas formas de plataformas robóticas ou nas mídias sociais. No caso do ChatGPT, não devemos, devido aos resultados, entender a tecnologia como descartável, mas compreender qual sua verdadeira utilização no âmbito científico e educacional. A plataforma não é capaz de criar pesquisas, textos e conceitos de maneira independente de um humano. É necessário um refino nas informações adquiridas e, principalmente, nas escolhas das palavras escritas. Como vimos, as palavras selecionadas no prompt estão diretamente relacionadas aos resultados e, aparentemente, a tecnologia sente a necessidade de trabalhar com respostas ligadas a essas mesmas palavras, um dos principais motivos para possíveis desinformações.

A educação e a tecnologia não podem se olhar como inimigas. Através da tecnologia e utilizando dessas ferramentas de maneira correta, os avanços entre os dois âmbitos tendem a ser simultaneamente produtivos. Afinal, como pensava Freire: 'o principal objetivo do processo de ensino-aprendizagem, principalmente no que tange a utilização dos mecanismos tecnológicos, é o distanciamento das práticas educativas tradicionais intrínsecas no sistema educacional brasileiro. Essa nova realidade requer, então, um professor aberto às novidades, às relações com o outro tanto 'online' quanto 'offline', no que se refere à aprendizagem' (FREIRE, 1996).

## Referências

AAKER, D.A. KUMAR, V. DAY, G. S. Pesquisa de marketing . São Paulo: Atlas, 2004.

ALVES GUIMARÃES, Ueudison; APARECIDA BRANDÃO, Conceição; APOLINÁRIO DAITX, Mariele; FRANK GOMES DE ARRUDA DUTRA, Anne; ROBBI BUBULA LOPES, Vanessa. AS MÍDIAS DIGITAIS NO CAMPO EDUCACIONAL: UM OLHAR PELAS APLICAÇÕES DO CHAT GPT NA EDUCAÇÃO. RECIMA21 - Revista Científica Multidisciplinar - ISSN 2675-6218, [S. l.] , v. 4, n. 7, p. e473556, 2023. DOI: 10.47820/recima21.v4i7.3556. Disponível em:

https://recima21.com.br/index.php/recima21/article/view/3556. Acesso em: 20 ago. 2024.

ARTHURY, L. H. M.; PEDUZZI, L. O. Q.. A cosmologia moderna à luz dos elementos da epistemologia de Lakatos: recepção de um texto para graduandos em física. Revista Brasileira de Ensino de Física , v. 35, n. 2, p. 2405, abr. 2013.

BOMMASANI, R. et al. On the opportunities and risks of foundation models. 2021. Disponível em: <http://arxiv.org/abs/2108.07258>. Acesso em: 20 ago. 2024.

BORJI, A. A categorical archive of ChatGPT failures . 2023. Disponível em: <http://arxiv.org/abs/2302.03494>. Acesso em: 20 ago. 2024.

CARNIELLI, Walter. GPT não foi treinado para dizer verdades. Abranet , [s. l.], 2024. Disponível em:

https://www.abranet.org.br/Noticias/WalterCarnielli%2C-da-Unicamp%3A-GPT-nao-fo i-treinado-para-dizer-verdades 4766.html?UserActiveTemplate=mobile. Acesso em: 19 ago. 2024.

CHOMSKY, Noam; ROBERTS, Ian; WATUMULL, Jeffrey. Noam Chomsky: the false promisse of ChatGPT. The New York Times , New York, 2023. Opinion. Disponível em: https://www.nytimes.com/2023/03/08/opinion/noam-chomsky-chatgpt-ai.html. Acesso em: 13 jun. 2024.

CITELLI, Adilson Odair. Espelhamentos: o GPT e a educação. Comunicação & Educação , São Paulo, Brasil, v. 29, n. 1, p. 81-94, 2024. DOI: 10.11606/issn.23169125.v29i1p81-94. Disponível em:

https://revistas.usp.br/comueduc/article/view/223468.. Acesso em: 20 ago. 2024.

FREIRE, Paulo. Pedagogia da autonomia : saberes necessários a prática educativa. São Paulo: Paz e Terra, 2004. 148p.

GIL, Antônio Carlos. Como elaborar projetos de pesquisas . 6. Ed. São Paulo: Atlas, 2017.

KABIR, S. et al. Is Stack Overflow obsolete? An empirical study of the characteristics of ChatGPT answers to Stack Overflow questions. 2023. Disponível em: <http://arxiv.org/abs/2308.02312>. Acesso em: 20 ago. 2024.

KNIGHT, Will. Ai can write disinformation now-and dupe human readers. Wired , maio, 2021. Disponível em:

https://www.wired.com/story/ai-write-disinformation-dupe-human-readers/. Acesso em: 20 ago. 2024.

LAKATOS, I. O Falseamento e a Metodologia dos Programas de Pesquisa Científica. In: I. Lakatos; A Musgrave (Org.). A Crítica e o Desenvolvimento do Conhecimento. São Paulo: Cultrix, EDUSP, p. 109-243. 1979.

MITROVIĆ, S.; ANDREOLETTI, D.; AYOUB, O. ChatGPT or human? Detect and explain. Explaining decisions of machine learning model for detecting short ChatGPT-generated text . 2023. Disponível em: <http://arxiv.org/abs/2301.13852>. Acesso em: 20 ago. 2024.

WAGA, I. Cem anos de descobertas em cosmologia e novos desafios para o século XXI. Revista Brasileira de Ensino de Física , v. 27, n. 1, pg. 157-173, mar. 2005.

YIN, ROBERTO. K. Estudo de caso: planejamento e métodos . 2.ed. Porto Alegre: Bookman, 2001.