Contextualizaçao nos Itens de Ciências do PISA

## CONTEXTUALIZAÇÃO NOS ITENS DE CIÊNCIAS DO PISA CONTEXTUALIZATION ON PISA SCIENCE ITEMS

Gustavo Rubini 1 , Marcelo Shoey de Oliveira Massunaga , Marta Feijó Barroso 2 3

1 Universidade Federal do Rio de Janeiro/LIMC, gustavorubini@if.ufrj.br

2 Universidade Estadual do Norte Fluminense/Laboratório de Ciências Físicas, shoey@uenf.br 3 Universidade Federal do Rio de Janeiro/Instituto de Física, marta@if.ufrj.br

## Resumo

Neste trabalho, são utilizados os resultados disponíveis da avaliação de larga escala organizada a cada três anos pela OCDE (Organização para Cooperação e Desenvolvimento Econômico), o exame PISA -Programa Internacional de Avaliação de Estudantes - que tem como objetivo, na área de ciências da natureza, mensurar o letramento científico. Para analisar os dados disponíveis publicamente, utiliza-se uma combinação de técnicas qualitativas e quantitativas. Discutem-se as múltiplas definições do termo contextualização, objeto de controvérsia entre os pesquisadores da área. Contrasta-se a interpretação de contextualização como 'cotidianização', isto é, algo familiar ao estudante e presente em sua vida diária, com a interpretação embutida no conceito de letramento científico, que envolve a habilidade de extrair e interpretar informações relevantes para a solução de um problema. A partir dos resultados do exame do PISA de 2006, cujo foco foi Ciências, estabeleceu-se uma escala de proficiência em ciências com seis níveis de letramento científico. No nível 1, o mais baixo nessa escala, o conhecimento científico dos estudantes é limitado, e no nível 6, o mais alto da escala, os estudantes explicam e aplicam conhecimentos científicos em uma grande variedade de situações complexas de vida. A partir da análise dos dados, observa-se que o desempenho dos estudantes do Brasil nos itens de ciências é muito inferior ao dos estudantes dos demais países; 65% dos estudantes brasileiros estão abaixo do nível 2, considerado o mínimo desejável, enquanto que na Finlândia apenas 3,8% dos estudantes não atingem o nível 2. O entendimento do termo contextualização como 'cotidianização' vinculado à transmissão de conteúdos tradicionais pode estar dificultando um trabalho efetivo para um adequado letramento científico.

Palavras-chave : PISA, Ensino de Física, Contextualização, Avaliação em larga escala, Teoria de Resposta ao Item.

## Abstract

In this paper we will use the available results of the large-scale evaluation organized by OECD (Organization for Economic Cooperation and Development), the PISA exam - Programme for International Student Assessment. One of the main goals of PISA is to provide a measurement of scientific literacy. We use a combination of qualitative and quantitative techniques to analyze the available data. We discuss many definitions of contextualization. These multiple interpretations are subject to controversy among researchers. We consider the interpretation of contextualization as 'daily life' as opposed to interpretation built upon the concept of scientific literacy, involving the ability to extract and interpret information relevant to

the solution of a problem. In 2006, the main domain analysed in PISA was science, there was possible to establish a scale of proficiency levels in science with six scientific literacy levels. At level 1, the lowest in this scale, scientific literacy of students is limited; at level 6, students can explain and apply scientific knowledge in a wide variety of complex situations of life. From the data analyzed we found that Brazil's performance in science items presents a poor result compared to other countries: 65% of Brazilian students are below Level 2, the minimum desirable, whereas in Finland only 3.8% of students do not reach level 2. The understanding of the term contextualization as related "daily life" linked to the transmission of traditional content may be hindering an effective work for adequate scientific literacy in Brazilian education.

Keywords : PISA, Physics Teaching, Contextualization, Large scale assessment, Item Response Theory

## Introdução

Avaliações de aprendizagem em Ciências possibilitam a obtenção de informações relevantes para o desenvolvimento de novas formas de ensinar e aprender (Barroso e Franco 2008; Massunaga, Rubini e Barroso 2011). Em particular, o PISA (Programme for International Student Assessment) permite colocar a aprendizagem dos estudantes de 15 anos dentro de um padrão de comparação internacional, revelando as dificuldades no país para a formação de profissionais da área de ciência e tecnologia e permitindo a discussão do letramento científico em geral da juventude brasileira.

- O PISA é realizado a cada três anos, e propõe-se a avaliar o denominado letramento em três domínios: Linguagem, Matemática e Ciências. A cada edição, o foco recai sobre um desses domínios. O foco no letramento em ciências, definido como (Brasil/Inep 2008)
- O letramento científico envolve o uso de conceitos científicos necessários para compreender e ajudar a tomar decisões sobre o mundo natural, bem como a capacidade de reconhecer e explicar questões científicas, fazer uso de evidências, tirar conclusões com base científica e comunicar essas conclusões.

ocorreu no ano 2006; em 2000 e 2009 o foco foi Linguagem, em 2003 Matemática.

Algumas das definições utilizadas nesse exame são objeto de controvérsia entre os pesquisadores da área: a ideia de contextualização é interpretada por diversos autores de forma diferente.

Neste trabalho, vamos discutir as diferentes interpretações do termo 'contextualização' e usar o desempenho dos estudantes brasileiros, em comparação com outros países, para avaliar uma questão que faz parte da percepção não mensurada do senso comum dos professores do ensino médio: que há necessidade de 'cotidianização' do conteúdo ou tema abordado no ensino de física para a devida compreensão do tema pelos estudantes. Os resultados revelam que há diferenças importantes no desempenho dos alunos brasileiros neste exame. Do ponto de vista da forma com que os objetivos educacionais são categorizados para a elaboração

de exames, é possível supor que esta interpretação possa dar origem a processos de ensino e aprendizagem que restrinjam o crescimento cognitivo do aprendiz.

## Fundamentação teórica

A partir do lançamento dos Parâmetros Curriculares Nacionais, em 1998 (Brasil 1998), veio à tona o termo 'contextualização' como uma das necessidades para a associação entre o tema ou conteúdo abordados na educação fundamental e a aprendizagem dos estudantes. Essa ideia era uma das orientações presentes na Lei de Diretrizes e Bases da Educação Nacional (Brasil 1996), que orienta para a compreensão dos conteúdos a partir de sua relação com o uso cotidiano (Menezes e Santos 2002).

No entanto, esse termo (contextualização) carece de uma melhor definição teórica. Essa definição não está presente nos documentos legais citados, e o termo foi interpretado pelos professores e educadores no sentido que todo e qualquer tema a ser abordado deveria ser integralmente associado à experiência cotidiana do estudante. Em outras palavras, poder-se-ia dizer que o termo contextualização era entendido como 'cotidianização' dos processos de ensino. Desta forma os professores continuam trabalhando os conteúdos tradicionais, apenas inserindo exemplos do dia-a-dia, sem desenvolver as competências e habilidades necessárias para um adequado letramento científico.

Porém, essa visão não está restrita à prática de sala de aula e encontra-se entranhada inclusive nos processos avaliativos organizados pelo INEP como, por exemplo, o ENEM. No Guia de Elaboração e Revisão de Itens do ENEM, podemos verificar que a contextualização é interpretada como 'cotidianização' conforme o trecho abaixo:

Uma situação-problema deve estar contextualizada de maneira que permita ao participante aproveitar e incorporar situações vivenciadas e valorizadas no contexto em que se originam para aproximar os temas escolares da realidade extraescolar. (...) Em uma avaliação, um item contextualizado pretende transportar o participante do teste para uma situação normalmente vivenciada por ele no dia a dia, e que, no item, pode se materializar ou não em uma situação hipotética. (Brasil/Inep 2010).

Entretanto essa interpretação acaba por restringir o potencial do estudante que fica limitado a esses exemplos cotidianos sem conseguir transpor o seu conhecimento e aprendizagem para situações mais complexas.

Avaliações internacionais como o PISA entendem o termo contextualização de outra maneira. Em particular, segundo Nentwig (Nentwig et al 2009)

Um aspecto importante do letramento científico é a habilidade de extrair informação relevante a partir de uma diversidade de fontes, e então usar esta informação para lidar com problemas relacionados à ciência.

A partir desta definição, itens que exigem a habilidade de extrair informações relevantes a partir do seu texto introdutório apresentadas são interpretados como tendo alta contextualização. Questões que exigem a lembrança de fatos ou conhecimentos científicos não são, segundo este autor, questões de alta contextualização.

Isso significa que na avaliação dos dados do PISA, há uma interpretação diferente para o termo contextualização. O termo não se confunde com a ideia de

'cotidianização', mas sim expressa a presença no texto da questão de informações necessárias para a solução do item, através do raciocínio e conexão entre essas informações. E isso não dependeria do contexto, ou da vinculação ao cotidiano, da pergunta específica.

A partir dos resultados do PISA 2006, foi estabelecida uma escala de níveis de proficiência em ciências que permitiu medir o letramento científico. Foram definidos seis níveis de proficiência. No nível 1, o mais baixo da escala, 'os estudantes têm limitado conhecimento científico, de forma tal que só conseguem aplicá-lo a algumas poucas situações familiares' (Brasil/Inep 2008). Já no nível 6, o mais alto da escala, 'os estudantes podem identificar com segurança, explicar e aplicar conhecimentos científicos e conhecimentos sobre ciências em uma grande variedade de situações complexas de vida' (Brasil/Inep 2008). Segundo essa escala, a transição entre os níveis 2 (considerado o mínimo desejável) e 3 diferencia os estudantes que somente conseguem fornecer explicações científicas em contextos familiares daqueles que 'são capazes de identificar questões científicas claramente definidas em uma série de contextos' (Brasil/Inep 2008).

## Metodologia

Neste trabalho utilizamos uma combinação de técnicas qualitativas e quantitativas para analisar os dados básicos disponíveis do PISA (na página www.pisa.oecd.br).

As questões do PISA são apresentadas como unidades, compostas de um texto preliminar comum, em geral com linguagem não escolar ou científica, seguido de vários itens com perguntas (abertas ou objetivas).

Uma das primeiras classificações elaboradas na proposta do PISA é a de itens que avaliam 'conhecimentos de ciência' e itens que avaliam 'conhecimentos sobre ciência' (Brasil/Inep 2008).

Pela concepção metodológica do consórcio responsável pelo PISA, a maior parte dos enunciados das questões não é publicada. As questões públicas podem ser encontradas na página do INEP (www.inep.gov.br) ou nos diversos relatórios do PISA (www.pisa.oecd.br).

Foram escolhidas duas dentre as questões cujo enunciado é conhecido: uma que apresenta, segundo a definição de Nentwig (Nentwig et al 2009) baixa contextualização e outra de alta contextualização. As unidades selecionadas foram Efeito Estufa (S114, com três itens associados Q03, Q04, Q05, sendo as duas primeiras classificadas como de alta contextualização) e Roupas (S213, com dois itens associados, Q01 e Q02, sendo a segunda de baixa contextualização). Essas duas unidades foram aplicadas no exame do PISA nos exames de 2000, 2003 e 2006.

Podemos entender melhor essa classificação de contextualização observando uma questão específica. Apresentamos na Figura 1 a Unidade Roupas, com o texto introdutório e a Questão 2 desta unidade.

Da leitura desta questão, observamos que não há nenhuma informação no texto que permita ao aluno responder ao item sem que ele possua algum conhecimento sobre instrumentos de medidas elétricas. Do ponto de vista da

classificação de Nentwig (Nentwig et al 2009), este item é um item de baixa contextualização.

Uma equipe de cientistas britânicos está desenvolvendo roupas "inteligentes" que darão às crianças deficientes o poder da "fala". Crianças usando um colete feito de tecido especial, ligado a um sintetizador de fala, poderão se fazer entender simplesmente tocando de leve neste material sensível.

O material é feito de um tecido normal e de uma engenhosa malha de fibras impregnadas de carbono que podem conduzir eletricidade. Quando uma pressão é aplicada sobre o tecido, o padrão de sinais que passa pelas fibras condutoras é alterado e um chip de computador identifica onde a roupa foi tocada. Ele pode então, acionar um dispositivo eletrônico ao qual está ligado, cujo tamanho não é maior do que o de duas caixas de fósforo.

'O truque está em como confeccionar o tecido, fazendo com que os sinais passem através dele. Assim, fica impossível ver o dispositivo, pois ele está misturado à trama do tecido", explica um dos cientistas.

Este material pode ser lavado, enrolado em torno de objetos ou amassado, sem se danificar, e o cientista afirma que é possível produzi-lo em larga escala e a baixo custo.

## Questão 2 - S213Q02

Que instrumento de laboratório seria apropriado para verificar se o tecido está conduzindo eletricidade?

- (A) Voltímetro
- (B) Fotômetro
- (C) Micrômetro
- (D) Detector de som

Figura 1 - A unidade Roupas, aplicada nos exames do PISA em 2000, 2003 e 2006 - Texto introdutório (S213) e Questão 2 (S213Q02)

Para a elaboração da classificação, cada um dos autores classificou as questões individualmente, e posteriormente o resultado foi discutido e consensuado, no processo de validação.

Na análise dos dados das respostas dos estudantes, além de fazer a comparação com os resultados de todos os países participantes ('Mundo'), escolheu-se um conjunto de países para comparação com os resultados brasileiros: México, Portugal, Estados Unidos, Reino Unido, Finlândia, Japão e Coreia.

A escolha de México e Portugal deve-se às semelhanças culturais entre eles e o Brasil. O único país da América Latina, além do Brasil, que participou de todas as edições do exame foi o México, e seus resultados são similares ao Brasil. A escolha da Finlândia está relacionada ao fato de ser um país com desempenho considerado notável nesses exames. Japão e Coreia são países reconhecidos como de grande valoração social da educação, sendo que a Coreia fez um investimento recente que a fez mudar de patamar no quadro educacional. Quanto aos Estados Unidos e ao Reino Unido, foram incluídos porque são conhecidas as estruturas curriculares e dos sistemas educacionais desses países.

As análises dos microdados foram feitas com o pacote SPSS usando-se pesos que corrigem a amostra de alunos que realizaram a prova de forma a refletir a

distribuição da população estudantil na faixa etária prevista pelo consórcio em todos os países participantes:

- 1- análises descritivas simples das respostas aos itens, com a classificação dos percentuais de acertos das respostas válidas,
- 2 - análises da distribuição de alunos por nível de proficiência.

## Resultados e discussão

Na Tabela 1, apresenta-se a classificação dos itens escolhidos para análise em relação ao índice de contextualização e ao domínio indicado pelo PISA (OECD).

Tabela 1 - Classificação dos itens segundo tipo de conhecimento e contextualização

Nas Figuras 2A e 2B são apresentados os percentuais de acerto dos itens por país para os três exames, nos países escolhidos (Mundo, Brasil, México, Portugal, EUA, Reino Unido, Finlândia, Japão e Coreia).

Figura 2a. Percentual de acerto por país para o item S114Q03 (Efeito estufa) nos três anos de aplicação.

<!-- image -->

Figura 2b. Percentual de acerto por país para o item S213Q02 (Roupas) nos três anos de aplicação.

<!-- image -->

Observa-se dessas figuras que o percentual de acerto dos alunos brasileiros é bastante inferior ao percentual mundial. Para entender isso, precisa-se analisar a distribuição dos alunos por nível de proficiência. Em particular, serão comparados os dados de Brasil e Finlândia no ano de 2006.

Nas partes superiores figuras 3A e 3B, são apresentados os percentuais de acertos nos dois itens analisados para o Brasil e para a Finlândia, e nas partes inferiores, a distribuição de alunos nos níveis de proficiência, o que corresponde a uma curva característica do item discretizada.

Figuras 3A e 3B - Percentual de acertos nos itens em relação ao total de alunos que está no nível de proficiência para o Brasil e para a Finlândia.

<!-- image -->

No caso brasileiro, da observação da parte inferior das Figuras 3A e 3B nota-se que 86% dos alunos não atingem o nível 3, onde estão os estudantes que são capazes de tomar decisões baseadas em conhecimento científico. Ainda mais preocupante é o fato de que 30 % dos estudantes brasileiros estão abaixo do nível 1.

Por outro lado, a distribuição dos níveis de proficiência na Finlândia possui seu pico no nível 4, caracterizado pela capacidade de 'trabalhar efetivamente com situações e questões que envolvam fenômenos explícitos que requerem deles a capacidade de fazer inferências sobre o papel da Ciência e Tecnologia' (Brasil/Inep 2008).

Na parte superior das Figuras 3A e 3B, pode-se observar que para os estudantes da Finlândia o item de baixa contextualização (Roupas) corresponde a um menor índice de dificuldade, comparada ao item de alta contextualização (Efeito Estufa). Esta característica também está presente no caso brasileiro, porém de forma bem menos acentuada (Hambleton et al. 1991).

## Considerações Parciais

Dos resultados gerais em 2006 - parte inferior da figura 3A, é interessante observar que, no Brasil o percentual de alunos de 15 anos (concluintes ou recémconcluintes do Ensino Fundamental), que encontra-se abaixo do nível 2 de proficiência (mínimo desejável), é de cerca de 60%. Ou seja, pelos critérios do PISA, pode se dizer que cerca de 60% dos nossos alunos não demonstram possuir competência científica para assumir plenamente seu papel de cidadão na sociedade contemporânea.

Para o Brasil, isso é uma evidência de que os alunos brasileiros estão limitados a analisar situações vinculadas ao seu cotidiano e não conseguem transpor o seu conhecimento para outras situações, conforme a definição dos níveis de proficiências do PISA (nível 1: 'os estudantes têm limitado conhecimento científico, de forma tal que só conseguem aplicá-lo a algumas poucas situações familiares').

- O entendimento do termo contextualização como 'cotidianização' vinculado à transmissão tradicional de conteúdos pode estar dificultando um trabalho efetivo para um adequado letramento científico, pois não há comprometimento com o desenvolvimento das competências e habilidades necessárias para que aluno possa ir além do seu cotidiano ou realidade física imediata.
- A outra forma de interpretar o termo contextualização - trabalhar com informações necessárias para a solução de um problema, através do raciocínio e conexão entre essas informações - não dependeria da vinculação ao cotidiano ou espaço físico proximal do aluno. Nesta definição pragmática, é possível entender que existe o pressuposto do desenvolvimento das competências e habilidades necessárias para se trabalhar com questões científicas, permitindo ao aluno transpor o seu cotidiano e espaço físico imediato. Entretanto, uma melhor discussão do termo contextualização no Ensino Fundamental faz-se necessária.

Em outro trabalho, pretende-se estender as análises do índice de contextualização para outros itens do PISA, bem como para as outras edições.

## Apoio

Este trabalho faz parte do projeto 'Avaliações Educacionais e o Ensino de Matemática e Ciências' do Programa Observatório da Educação 2010, recebendo apoio da CAPES.

## Referências

BARROSO, M. F., FRANCO, C. AVALIAÇÕES EDUCACIONAIS: O PISA E O ENSINO DE CIÊNCIAS, Ata do XI Encontro de Pesquisa em Ensino de Física, Curitiba, 2008.

BRASIL, 1996. Lei nº 9.394, de 20 de dezembro de 1996. Estabelece as diretrizes e bases da educação nacional. Diário Oficial [da República Federativa do Brasil] , Brasília, DF, v. 134, n. 248, 23 dez.

\_\_\_\_\_\_, 1998. PCN. Ministério da Educação. Disponível em:

http://portal.mec.gov.br/seb/arquivos/pdf/ciencias.pdf. Acesso em 24 mai. 2012.

BRASIL/INEP, 2008. Resultados nacionais - Pisa 2006. Disponível em http://download.inep.gov.br/download/internacional/pisa/Relatorio\_PISA2006.pdf. Acesso em 25 jan. 2012.

\_\_\_\_\_\_. 2010. Guia de Elaboração e Revisão de Itens. MIMEO.

\_\_\_\_\_\_. 2011. Programa Internacional de Avaliação de Alunos - PISA, Disponível em http://www.inep.gov.br/internacional/pisa/. Acesso em 10 fev 2011.

\_\_\_\_\_\_. 2011a. Itens liberados de ciências. Disponível em:

http://www.inep.gov.br/download/internacional/pisa/Itens\_liberados\_Ciencias.pdf. Acesso em 10 fev. 2011.

HAMBLETON, Ronald; SWAMINATHAN, H.; JANE ROGERS, H. Fundamentals of Item Response Theory. Newbury Park: SAGE Publications, 1991.

MASSUNAGA, M.S.O., RUBINI, G., BARROSO, M.F. O DESEMPENHO DO BRASIL NO PISA EM ITENS COM DIFERENTES NÍVEIS DE CONTEXTUALIZAÇÃO, Anais do XIII Encontro de Pesquisa em Ensino de Física, Foz de Iguaçu, 2011.

MENEZES, E. T. de; SANTOS, T. H. dos."Contextualização" (verbete). Dicionário Interativo da Educação Brasileira - EducaBrasil. São Paulo: Midiamix Editora, 2002, http://www.educabrasil.com.br/eb/dic/dicionario.asp?id=55. Acesso em 25 mai. 2012.

NENTWIG, P.; ROENNEBECK, S.; SCHOEPS, K.; RUMANN, S.; CARSTENSEN, C. Performance and Levels of Contextualization in a Selection of OECD Countries in PISA 2006, Journal of Research in Science Teaching, Vol. 46(8), p. 897-908, 2009.