COMO AVALIAR A QUALIDADE DA ARGUMENTAÇÃO DOS ESTUDANTES EM ATIVIDADES SOCIOCIENTÍFICAS?

## COMO AVALIAR A QUALIDADE DA ARGUMENTAÇÃO DOS ESTUDANTES EM ATIVIDADES SOCIOCIENTÍFICAS?

## HOW TO ACCES THE QUALITY OF STUDENT' ARGUMENTATION ON A SOCIOCIENTIFC ISSUES?

## Sidnei Percia da Penha Autor , Anna Maria Pessoa de Carvalho 1 2

1 UFRJ/Colégio de Aplicação, sidnei.percia@uol.com.br 2 USP/ Faculdade de Educação, ampdcarv@usp.br

## Resumo

Neste artigo apresentarmos algumas características de uma ferramenta analítica desenvolvida para avaliar a Qualidade da Argumentação de estudantes quando atuam em atividades discursivas sobre temática sociocientíficas em sala de aula. Esta ferramenta foi desenvolvida para analisar dados de uma pesquisa de doutoramento sobre a qualidade da argumentação de estudantes de uma escola pública do Rio de Janeiro que atuam em duas controvérsia (uma em contexto social e outra em contexto técnico) relacionados a criação da TV digital brasileira. Depois de elaborar uma revisão sistemática em revistas nacionais e internacionais da área e analisar as diferentes referencias metodológicas utilizadas por pesquisadores, não fomos capazes de encontrar um corpo metodológico que pudesse atender as especificidades que julgamos necessários para capturar toda a dimensão de qualidade de uma atividade discursiva relaciona as atividades sociocientíficas. A proposição de nossa ferramenta se fundamentou na suposição de que a Qualidade da Argumentação dos estudantes esta alicerçada, por um lado, na qualidade dos argumentos utilizados pelos estudantes para formular suas afirmações, e por outro, na qualidade das oposições entre estes diferentes argumentos utilizados para sustentar sua posição. Rubricas específicas fundamentadas na literatura da área foram criadas para avaliar os diferentes aspectos abordados por esta ferramenta. Após a identificação dos 'Episódio de Oposição' (momentos do confronto entre as ideias dos estudantes) e dos argumentos utilizados nestas oposições, a ferramenta permite realizar uma avaliação mista (qualitativa e quantitativa) de diferentes aspectos. Os resultados são registrados no que chamamos de 'Mapas de Qualidade da Argumentação' e possibilitam ao pesquisador avaliar como estes diferentes aspectos da qualidade evoluíram durante a realização da atividade.

Palavras-chave : Qualidade da Argumentação; Qualidade do Argumento, Questões sociocientíficas; Metodologia de Análise

## Abstract

In this article we present some characteristics of an analytical tool developed to assess the quality of students' argumentation when working in a discursive activities on socioscientific issues. This tool was developed to analyze data from a doctoral research about quality of the students' argumentation from a public school in Rio de Janeiro. In these activists the students took part in two role play game about the implementation of the Brazilian digital system TV. After making a systematic

review in the most important international journals in science education area, we weren't able to find a theoretical framework that included all the specificities that we believe necessary in order to analyze all the aspects involved in the quality of students' argumentation about sociocientific issues. The proposition of this tool is based on the assumption that the students' quality argumentation is founded, on the one hand, the quality of the arguments used by the students to formulate their claims, and other hand, the quality of the opposition between these different arguments used to support his position. Specific items based in the field of literature was created to assess the various aspects addressed by this tool. After identifying the "Episode of Opposition" (the confrontational moments between the ideas of students) and the arguments used in these oppositions, the tool allows for a mixed assessment (qualitative and quantitative) from different aspects. The results are recorded in what we call "Quality maps of Argumentation" and allow the researcher to evaluate how these different aspects of quality have evolved during the course of the activity.

Keywords : Quality of Argumentation; Quality of Argument; Socio-scientific issues; Analysis Methodology.

## Introdução

Uma das principais razões em defesa da inserção de Questões Sociocientíficas (QSC) no ensino de ciências está relacionada a uma possível melhoria na qualidade da tomada de decisão que indivíduos e sociedade teriam que dar para as complexas questões que emergem deste campo. Neste sentido, pesquisas vem sendo desenvolvidas com o intuito de avaliar/descrever o modo como os estudantes tomam suas decisões sobre as QSC. Estes estudos muitas vezes fundamentam suas análises em metodologias que necessitaram mensurar e/ou comparar a qualidade do 'Raciocínio Informal', do 'argumento' ou da 'argumentação' em diferentes contextos e atividades relacionados ao ensino de ciências (Means e Voss, 1996; Zohar e Nemet, 2002; Schwarz at. al., 2003; Osborne, Erduran e Simon, 2004).

Como resultados de nossas análises a partir destas e outras metodologias utilizadas por pesquisadores da área, elaboramos uma 'ferramenta analítica', que tem por objetivo auxiliar professores e pesquisadores a avaliar a qualidade da argumentação dos estudantes quando atuam em atividades de tomada de decisão sobre questões sociocientíficas (Penha, 2012).

## Uma distinção necessária: Raciocínio Informal, Argumento e Argumentação.

Um dos principais aspectos associados às questões sociocientíficas é o seu caráter multifacetado, cuja análise exige dos estudantes: trabalhar com problemas abertos e controversos que apresentam consequências sociais, necessidade de avaliação críticas das informações que serão avaliadas; necessidade da integração de diferentes e muitas vezes concorrentes perspectivas; necessidade de reflexão sobre seus próprios valores. Para analisar questões que apresentam características deste tipo, pesquisadores da área afirmam ser necessária a utilização de um tipo especial de raciocínio por eles denominado de Raciocínio Informal (Sadler e Zeidler, 2005).

Diferente do Raciocínio Formal, comumente associado às rígidas regras da lógica e da matemática, o Raciocínio Informal é geralmente associado a decisões pessoais e sociais que não estão bem definidas e nas quais concorrem diferentes aspectos pessoais e morais para sua avaliação e/ou julgamento. Ao utilizarmos o nosso Raciocínio Informal, elaboramos uma complexa negociação de componentes afetivos, morais e cognitivos para tomar nossas decisões. De modo mais amplo, o termo é designado para indicar os processos de negociação mental que podem ser externalizados pelas falas dos estudantes ao defenderem suas ideias em questões sociocientíficas. Quando estamos envolvidos na negociação de tomada de decisão sociocientífica, podemos ter acesso ao nosso Raciocínio Informal através da fala para defender nossas ideias, justificadas ou não por um amplo leque de considerações que tentam dar suporte às nossas afirmações. Podemos utilizar desde elementos da lógica formal, questões de conhecimento específico, valores pessoais, morais e/ou religiosos para elaborar e defender as razões que fundamentam nossas escolhas. Assim, um Argumento pode ser entendido como um encadeamento de ideias utilizadas para justificar uma afirmação, ou, como define Means e Voss (1996, p.141), uma conclusão suportada por pelo menos uma razão.

Especificamente para o campo educacional, Driver, Newton e Osborn (2000, p.290-292) afirmam existir duas ênfases para o significado de argumento. A primeira é 'retórica' ou 'didática', na qual o argumento é usado para persuadir os outros da força do caso que está sendo posto. A segunda é 'dialética' ou 'polifônica', na qual diferentes perspectivas são analisadas com 'o objetivo é chegar a um acordo ou aceitabilidade das afirmações ou do curso das ações' (p.291). Deste modo, a Argumentação está relacionada justamente ao caráter dialógico que tem lugar nas nossas salas de aula, na qual os indivíduos, envolvidos em análises de diferentes considerações, defendem e sustentam suas ideias, elaborando contraargumentos e refutações; avaliam as teses em oposição reafirmando ou elaborando novos aspectos para análise de sua posição.

## A identificação da qualidade na argumentação

A partir da distinção entre ' argumento ' e ' argumentação ' proposta por Osborne, Erduran e Simon (2004), Sampson e Clark (2008) elaboraram um panorama geral no qual apresentam algumas características dos principais quadros teóricos que vêm sendo utilizados pela área de ensino de ciências para analisar a qualidade da argumentação dos estudantes. Os autores organizaram sua revisão em torno de três questões que exercem importância fundamental para compreender e avaliar o modo como os estudantes elaboram seus argumentos: 1) A estrutura ou complexidade do argumento, que está relacionada aos componentes que formam um argumento); 2)O conteúdo do argumento, que está relacionado à exatidão ou adequação dos vários componentes no argumento); e 3)A natureza da justificação do argumento, que está relacionado com as ideias ou afirmações que são suportados ou validados dentro de um argumento (p.449).

Os diferentes quadros teóricos analisados por Sampson e Clark (2008) foram separados em dois grupos distintos: a)aqueles que podem ser utilizados dentro e fora de contexto científico, designados pelos autores de quadros teóricos de 'domínio geral', que incluem os Padrões de Argumentação propostos por Toulmin e

b)aqueles desenvolvidos para análise de argumentos científicos, designados pelos autores de quadros teóricos do 'domínio específico'.

Esta identificação de domínios geral e específico indicam a dependência que a qualidade da argumentação possui do campo que fundamenta sua justificação. Assim, a qualidade de um argumento, além de satisfazer critérios de qualidade estruturais relacionados à lógica formal, devem também satisfazer as especificidades de seu campo teórico-conceitual. Isto indica certa dificuldade de avaliação da qualidade da argumentação sociocientífica. Diferente de uma argumentação científica na qual as ideias concorrentes estão fundamentadas dentro de um mesmo campo conceitual (que possui leis específicas), uma argumentação sociocientífica frequentemente coloca em oposição ideias que se fundamentam em campos conceituais distintos, que envolvem considerações científicas, sociais, morais, religiosas, valores, etc.

## A proposição de nossa ferramenta analítica

Esta ferramenta estra estruturada em uma sequência de análises e procedimentos que levam em consideração não apenas a qualidade estrutural dos argumentos, mas também a qualidade do seu conteúdo, evitando o estabelecimento a priori de qualquer hierarquia valorativa entre campos conceituais diferentes. Ela se fundamenta na suposição de que uma argumentação de qualidade deve estar alicerçada em dois pilares: a) na qualidade dos argumentos utilizados nas defesas das diferentes ideias e proposições; e b) na qualidade do modo como as diferentes ideias são postas em oposição.

Entendemos que a qualidade destes argumentos e oposições está também relacionada a dois outros aspectos: a) a qualidade de sua estrutura (qualidade estrutural); e b) a qualidade de seu conteúdo. Assim, estabelecemos modos de avaliação da qualidade relacionados a cada um destes aspectos. Com o intuito de revelar a amplitude de nossa proposta, optamos por apresentar o Quadro 1 com todos os diferentes critérios analíticos e, posteriormente, uma descrição sucinta do modo como são fundamentados.

Quadro 1 - Esquema para análise da qualidade da Argumentação

<!-- image -->

## A) Qualidade do Argumento

Avaliamos a Qualidade Estrutural do Argumento, como indicado no quadro 1, pelo que chamamos Complexidade do Argumento. Para avaliação desta complexidade de cada argumento, utilizamos o Padrão de Argumentação proposto por Toulmin. Assim, quanto maior a estrutura do argumento, ou seja, quanto maior o número de componentes identificados nesse padrão, maior será a complexidade deste argumento. Na figura 1 são apresentados o layout do Padrão de Argumento de Toulmin que utilizamos para identificar os diferentes componentes dos

argumentos formulados pelos estudantes bem como a descrição da rubrica utilizada para avaliação da Complexidade de cada um destes argumentos.

No entanto a identificação da qualidade da estrutural do argumento proposta por Toulmin, não faz uma análise valorativa da qualidade desses componentes, sobre o modo como eles se relacionam e nem sobre a confiabilidade de cada um destes elementos. Para isso faz-se necessário a identificação de critérios que avaliem a Qualidade do Conteúdo dos Argumentos. O levantamento proposto por Mens e Voss (1966) e posteriormente organizados por Schwarz et al (2003) destacam que a solidez de um argumento pode estar associado a critérios de aceitabilidade e relevância das premissas que apoiam a conclusão do argumento. Reunimos estes dois critérios em uma única rubrica de avaliação que chamamos de Aceitabilidade e Relevância das justificativas do argumento. Uma descrição sucinta do modo de avalição deste critério é apresentado na figura 1.

Um outro esta relacionado ao fato de as premissas ou razões do argumento não serem suficientes para suportar a amplitude da principal afirmação do argumento. Justificativas de argumentos aceitáveis e relevantes podem não ser suficientes para suportar o peso trazido por sua afirmação. Assim o critério que denominamos Coerência e Suficiência das justificativas do argumento busca avaliar tanto a qualidade da estrutura (se cada componente do argumento desempenha a função que deveria desempenhar) como se as justificativas apresentadas são suficientes para suportar o peso da conclusão do argumento.

Depois de testar diferentes critérios de avaliação, optamos pela elaboração de rubricas de 3 níveis cuja graduação e descrição para ambos os critérios de qualidade do conteúdo do argumento são apresentados no figura 1.

Figura 1 - Rubricas para avaliação da Qualidade do Argumento: Complexidade do Argumento; Layout da relação entre componentes do padrão proposto por Toulmin e avaliação da Qualidade do Conteúdo do Argumento

<!-- image -->

<!-- image -->

Assim ao final de nossas análises, cada argumento recebeu três avaliações distintas relacionadas: a sua Complexidade, a Aceitabilidade e Relevância bem como a Coerência Suficiência de suas justificativas. Estes resultados foram posteriormente registrados no que chamamos de Mapas da Qualidade da Argumentação.

## B)Qualidade das Oposições entre Argumentos

Erduran, Simon e Osborne (2004) analisando argumentação dos estudantes em sala de aula apresentam um esquema no qual a argumentação é associada a diferentes Níveis relacionados à qualidade das oposições e/ou contraposições das discussões entre pequenos grupos de estudantes. Fazem uma clara distinção entre o conceito de refutação e contra-argumento e apresentam uma forma de medida da qualidade da argumentação cujo principal diferencial está em analisar as refutações apresentadas pelos estudantes. Afirmam ainda que, até aquela data, a maioria dos trabalhos da área tinham focado suas análises na qualidade do conteúdo do argumento e na sua coerência lógica. Deste modo, a opção em focar no processo da argumentação possibilitou a elaboração de um quadro teórico para análise da qualidade do processo de argumentação em sala de aula.

Embora reconheçamos as significativas contribuições metodológicas trazidas por este trabalho, principalmente ao estabelecer o conceito de 'episódios de oposição', estes autores desconsideram em suas análises o aspecto de dependência que a qualidade da argumentação tem do conteúdo dos argumentos que lhe dão suporte. Além disso, ao destacarem o papel que as refutações desempenham na qualidade da argumentação, substimaram, principalmente dentro do contexto sociocientífico, o papel que os contra-argumentos podem desempenhar nas análises que envolvem oposições de campos conceituais diferentes como mostramos nos resultados de nossa pesquisa (Penha, 2012).

Em nossa ferramenta de análise optamos por avaliar a Qualidade Estrutural das oposições entre os argumentos, primeiramente identificando estas oposições como: a)Contra-Argumentos (CA), quando suas considerações apresentam outras perspectivas de análise que discordam das ideias do argumento ao qual se opunham, sem, no entanto, negar a validade das suas conclusões; ou b) Refutações (R), quando os argumentos negavam ou contrariavam as conclusões ou principais afirmações do argumento ao qual se opunham.

Para analisar a Qualidade do Conteúdo das oposições entre os argumentos elaboramos duas outras rubricas de avaliação: a) O Grau de oposição da Argumentação, que busca identificar à capacidade de proposição pelos estudantes de aspectos que, por um lado possam avaliar e aprofundar as questões colocadas em cada uma das oposições e, por outro, trazer novos aspectos para análises das discussões além de possíveis análises dos prós e contras relacionados às ideias e situações em oposição; e b)Intensidade e Fluxo da Argumentação, que busca avaliar se os estudantes estão utilizando estratégia de escape, fazendo considerações fora do contexto das discussões, ou no caminho inverso, se destacam aspectos de alta relevância para abordagem da temática, indicam erros ou inconsistências das teses em oposição. Estas rubricas foram organizadas em 4 diferentes níveis de qualidade (figura 2).

Em nossa análise, realizamos os registros gráficos de todos estes aspectos de qualidade, no que chamamos Mapas de Qualidade da argumentação que se constituíram como as bases analíticas utilizadas para fundamentar e descrever os diferentes aspectos da qualidade da argumentação de cada um dos 'Episódios de Oposição'. Na figura 2 destacamos também um exemplo de parte um destes 'Mapas de Qualidade da Argumentação'. Neste recorte, os argumentos 2 e 3 estão em oposição ao argumento 1 que respondeu a uma pergunta direta. Para facilitar o

entendimento de como representamos estes mapas suprimimos desta figura a integra dos argumentos que são apresentados no 'Layout' proposto por Toulmin.

Figura 2 - Rubrica para avaliação da qualidade do conteúdo das oposições e representação gráfica de alguns aspectos para elaboração de parte de um 'Mapa de Qualidade da Argumentação'

<!-- image -->

## C) A identificação do Nível de Qualidade da Argumentação

Para estabelecer os nossos Níveis de Qualidade da Argumentação propomos três categorias de qualidade (Baixo, Médio e Alto) para os Argumentos e para as Oposições entre Argumento. O nível de qualidade da argumentação de cada 'Episódio de Oposição' foi então estabelecido esquematicamente pelas associações descritas na figura 3.

Nesta perspectiva, verificamos a necessidade de estabelecer os critérios para diferenciação destes três níveis para os argumentos e oposições. Optamos pela adoção de critérios gerais nos que indicam condições mínimas para cada uma destas faixas (Penha, 2012, p.135-136).

Figura 3 - Quadro esquemático para avaliação dos Níveis de Argumentação

<!-- image -->

## Considerações Finais

Ao analisarmos as diferentes metodologias propostas por pesquisadores da área para avaliar a qualidade da Argumentação, destacamos as dificuldades envolvidas em identificar a qualidade de uma argumentação relacionada às questões sociocientíficas que, não raro, se fundamentam no enfrentamento de ideias

de campos conceituais distintos suportadas por considerações de ordem moral, valores pessoais e questões religiosas, dentre outras. As angústias trazidas por estas questões, aliada à percepção desta falta de consenso sobre o modo de avaliação da qualidade da argumentação, e principalmente, nossa discordância das metodologias que estavam sendo utilizadas para este fim, nos motivaram a abraçar o desafio de desenvolver uma ferramenta analítica com a qual pudéssemos avaliar e comparar a qualidade da argumentação dos estudantes quando atuam em atividades de tomadas de decisão sobre questões sociocientíficas.

A elaboração desta ferramenta se fundamentou na suposição de que a qualidade da argumentação está alicerçada, na qualidade dos argumentos elaborados para defender as diferentes ideias, e também na qualidade das oposições que são feitas entre as ideias da argumentação. Rubricas específicas foram desenvolvidas para avaliar estes dois importantes aspectos de uma atividade de argumentação. Desta forma, consideramos que uma das principais contribuições decorrentes de nossa pesquisa tenha sido justamente a proposição desta 'Ferramenta Analítica'.

## Referências

Driver, R.; Newton, P. e Osborne, J. Establishing the norms of scientific argumentation in classrooms. Science Education, v.84, n.3, pp.287-312, 2000.

Erduran, S., Simon, S., e Osborne, J. TAPping into argumentation: Developments in the application of Toulmin's argument pattern for studying science discourse. Science Education, v. 88, n.6, pp. 915 - 933, 2004.

Means, M.L.; Voss, J.F. Who reasons well? Two studies of informal reasoning among children of different grade, ability, and knowledge levels. Cognition and Instruction, 14, 139-178, 1996.

Osborne, J., Erduran, S. e Simon, S. Enhancing the quality of argumentation in school science. Journal of Research in Science Teaching, v.41, n.10, pp.994-1020, 2004.

Penha, S. P. Atividades Sociocientíficas em sala de aula de Física: as argumentações dos estudantes. Tese de Doutorado - Programa Interunidades em Ensino de Ciências . 1v. 470 p. Universidade de São Paulo, SP. 2012.

Sadler, T. D. e Zeidler, D. L. Patterns of informal reasoning in the context of socioscientific decision making. Journal of Research in Science Teaching, v.42, n.1, pp.112-138, 2005b.

Sampson, V. e Clark, D.B. Assessment of the ways students generate arguments in science education: Current perspectives and recommendations for future directions. Science Education, v.92 ,n.3, pp.447-472, 2008.

Schwarz, B. B., Neuman, Y., Gil, J., &amp; Ilya, M. Construction of collective and individual knowledge innargumentative activity. Journal of the Learning Sciences, v.12, n. 2, pp. 219 - 256, 2003.

Toulmin, S.E., Os Usos do Argumento, São Paulo: Martins Fontes, 2ª. Edição, 2006.

Zohar, A. e Nemet, F. Fostering students' knowledge and argumentation skills through dilemmas in human genetics. Journal of Research in Science Teaching, v.39, n.1, pp. 35-62, 2002.