ITENS DE CIÊNCIAS DO PISA E O DESEMPENHO DOS ALUNOS BRASILEIROS

## ITENS DE CIÊNCIAS DO PISA E O DESEMPENHO DOS ALUNOS BRASILEIROS

## PISA SCIENCE ITEMS AND RESULTS OF BRAZILIAN STUDENTS

Marcelo Shoey de O. Massunaga 1 , Gustavo Rubini , Marta F. Barroso 2 3

1

Universidade Estadual do Norte Fluminense/LCFIS, shoey@uenf.br 2 Universidade Federal do Rio de Janeiro/LIMC e PEMAT, gustavorubini@if.ufrj.br 3 Universidade Federal do Rio de Janeiro/Instituto de Física, marta@if.ufrj.br

## Resumo

A avaliação internacional em larga escala organizada pela OCDE (Organização para Cooperação e Desenvolvimento Econômico), o exame PISA -Programa Internacional de Avaliação de Estudantes - tem como objetivo, na área de ciências da natureza, mensurar o letramento científico. Em 2006, o exame teve como foco Ciências, e neste momento foi estabelecida uma escala de proficiência em ciências constituída de seis níveis de letramento científico. No nível 1, o mais baixo nessa escala, o conhecimento científico dos estudantes é limitado, e no nível 6, o mais alto da escala, os estudantes explicam e aplicam conhecimentos científicos em uma grande variedade de situações complexas de vida. Da análise dos dados disponíveis, observa-se que o desempenho dos estudantes do Brasil nos itens de ciências é muito inferior ao dos estudantes dos demais países; 65% dos estudantes brasileiros estão abaixo do nível 2, considerado o mínimo desejável. Diferentes interpretações do termo contextualização no cenário da educação brasileira foram utilizadas para explicar o baixo desempenho do país em ciências nas várias edições do PISA. O entendimento do termo contextualização como 'cotidianização' vinculado à transmissão de conteúdos tradicionais pode estar dificultando um trabalho efetivo para um adequado letramento científico.

Palavras-chave : Ensino de Física,PISA, avaliação em larga escala,contextualização

## Abstract

The educational large-scale triennial assessment organized by OECD (Organisation for Economic Co-operation and Development (OECD), the Programme for International Student Assessment (PISA), aims to evaluate science literacy. PISA 2006 focus was on science domain and its results allowed the construction of a science proficiency scale with six levels of scientific literacy. At level 1, the lowest on this scale, scientific knowledge of students is limited, and at level 6, the highest on the scale, students explain and apply scientific knowledge in a wide variety of complex life situations. From the data analysis, it can be shown that the performance of Brazilian students in science items is much lower than that of students from other countries; 65% of Brazilian students are below Level 2, considered the desirable minimum. Different interpretations of the term 'contextualization' in the Brazilian education scene were used to explain the poor performance of Brazil in science in the various editions of PISA. The understanding of the term contextualization as "cotidianização" (related to the students everyday life) linked to the traditional content

based teaching (in which students take a passive role) may be hindering an effective teacher work in order to form an adequate scientific literacy.

Keywords : Physics Education, PISA, large scale assessment, contextualization.

## Introdução

- O PISA (Programa Internacional de Avaliação de Estudantes) é um programa internacional de avaliação educacional organizado pela OCDE (Organização para Cooperação e Desenvolvimento Econômico). Aplicado a cada três anos, seu objetivo é verificar até que ponto os alunos de 15 anos, próximos do término da educação básica, adquiriram conhecimentos e competências essenciais para uma participação efetiva na sociedade contemporânea.
- O PISA propõe-se a avaliar o denominado letramento em três domínios: Linguagem, Matemática e Ciências. A cada edição, o foco recai sobre um desses domínios. O foco no letramento em Ciências, definido como (Brasil/Inep 2008),
- O letramento científico envolve o uso de conceitos científicos necessários para compreender e ajudar a tomar decisões sobre o mundo natural, bem como a capacidade de reconhecer e explicar questões científicas, fazer uso de evidências, tirar conclusões com base científica e comunicar essas conclusões,

ocorreu no ano 2006 e 2015 (neste último, os resultados ainda não são públicos); em 2000 e 2009 o foco foi Linguagem; e em 2003 e 2012, Matemática.

Os resultados do PISA causam grande impacto na sociedade quando divulgados pela imprensa, pois, em todas as edições do PISA, a posição do Brasil no ranking internacional não é muito boa.

- O crescente interesse do Governo em avaliações em larga escala, para o estabelecimento de políticas públicas na área da Educação, pode ser observado no Plano Nacional de Educação (PNE), aprovado junho de 2014, e há mais três anos em discussão no Congresso Nacional. Na meta 7 do PNE, encontra-se uma referência explícita ao PISA (Brasil, 2014):
- 7.11) melhorar o desempenho dos alunos da educação básica nas avaliações da aprendizagem no Programa Internacional de Avaliação de Estudantes PISA, tomado como instrumento externo de referência, internacionalmente reconhecido, de acordo com as seguintes projeções:

Para a maioria dos professores, o PISA e outras avaliações em larga escala não passam de provas que atribuem uma nota ou uma classificação dos alunos, sem levar em consideração o contexto educacional. Sendo assim, essas avaliações são desprovidas de significado, e não são analisadas com a devida atenção. Entretanto, as avaliações de aprendizagem em larga escala em Ciências possibilitam a obtenção de informações relevantes para o desenvolvimento de novas formas de ensinar e aprender (Barroso e Franco 2008; Massunaga, Rubini e Barroso 2011).

Apesar dos diferentes discursos em diversos segmentos da sociedade, um processo avaliativo pode informar mais que uma simples classificação para fins políticos ou de responsabilização. Através de uma análise detalhada do processo avaliativo - dos

testes, das respostas dos estudantes, é possível obter informações a serem usadas para a melhoria do processo de ensino-aprendizagem.

Neste trabalho, estuda-se o desempenho dos estudantes brasileiros a partir dos dados das provas e dos enunciados das questões nos itens de Ciências do PISA. Analisam-se, também, diferentes interpretações do termo contextualização no cenário da educação brasileira. Uma questão que faz parte da percepção não mensurada do senso comum dos professores do ensino médio é a interpretação de contextualização como 'cotidianização'. Do ponto de vista da forma com que os objetivos educacionais são categorizados para a elaboração dos itens do PISA, é possível supor que esta interpretação ('cotidianização') possa dar origem a processos de ensino e aprendizagem que restrinjam o crescimento cognitivo do estudante.

## Fundamentação teórica

A partir do PISA de 2006, foi estabelecida pela OCDE uma escala de níveis de proficiência em ciências para mensurar o letramento científico. Foram definidos seis níveis de proficiência. Na tabela 1, são apresentados somente os quatro primeiros níveis de proficiência em Ciências (Brasil/Inep 2008). No nível 1, o mais baixo da escala, 'os estudantes têm limitado conhecimento científico, de forma tal que só conseguem aplicá-lo a algumas poucas situações familiares' (Brasil/Inep 2008). Já no nível 6, o mais alto da escala, 'os estudantes podem identificar com segurança, explicar e aplicar conhecimentos científicos e conhecimentos sobre ciências em uma grande variedade de situações complexas de vida' (Brasil/Inep 2008). Segundo essa escala, a transição entre os níveis 2 (considerado o mínimo desejável) e 3 diferencia os estudantes que somente conseguem fornecer explicações científicas em contextos familiares daqueles que 'são capazes de identificar questões científicas claramente definidas em uma série de contextos' (Brasil/Inep 2008).

Tabela 1 : Descrição de alguns níveis de proficiência em Ciências.

Os conhecimentos científicos presentes na avaliação do PISA são de dois tipos (Brasil/Inep 2008):

Conhecimento de Ciência - Sistemas físicos: estrutura e propriedades da matéria, mudanças químicas da matéria, força e movimento, energia, interação entre energia e matéria; Sistemas vivos: células, seres humanos,

populações, ecossistemas, biosfera; Terra e sistemas espaciais: estruturas da Terra e seus sistemas, energia e mudanças nos sistemas da Terra, história da Terra, a Terra no espaço; Sistemas tecnológicos: relações entre ciência e tecnologia, o papel da tecnologia científica, conceitos e princípios importantes.

Conhecimento sobre Ciência - Investigação científica: origem, objetivos, métodos, características; Explicações científicas: tipos, formatos, resultados.

Os Parâmetros Curriculares Nacionais (PCNs) do Ensino Fundamental (Brasil 1998) englobam também esses conteúdos. Os alunos avaliados têm 15 anos, estando portanto em maioria na primeira série do Ensino Médio ou concluindo o Ensino Fundamental. Espera-se que os alunos brasileiros dominem os conteúdos, habilidades e competências descritos nos PCNs do Ensino Fundamental. O PISA não requer do alunado, em tese, conteúdos, habilidades e competências que não tenham sido desenvolvidos ou trabalhados.

Observa-se, também, nos PCNs (Brasil 1998), que o termo 'contextualização' aparece como ponto importante no discurso dos profissionais da educação. Pelos PCNs, entende-se que para haver uma efetiva aprendizagem dos estudantes é necessário contextualizar o tema ou conteúdo abordados na educação básica. Essa ideia era uma das orientações presentes na Lei de Diretrizes e Bases da Educação Nacional (Brasil 1996), que orienta para a compreensão dos conteúdos a partir de sua relação com o uso cotidiano (Menezes e Santos 2002).

No entanto, o termo contextualização carece de uma melhor definição teórica. Essa definição não está presente nos documentos legais citados, e o termo foi interpretado pelos professores e educadores no sentido que todo e qualquer tema a ser abordado deveria ser integralmente associado à experiência cotidiana do estudante. Em outras palavras, poder-se-ia dizer que o termo contextualização foi entendido como 'cotidianização' dos processos de ensino. Desta forma os professores continuaram trabalhando os conteúdos com uma abordagem do ensino tradicional, apenas inserindo exemplos do dia-a-dia, sem desenvolver as competências e habilidades necessárias para um adequado letramento científico.

Avaliações internacionais como o PISA entendem o termo contextualização de outra maneira. Em particular, segundo Nentwig (Nentwig et al 2009)

Um aspecto importante do letramento científico é a habilidade de extrair informação relevante a partir de uma diversidade de fontes, e então usar esta informação para lidar com problemas relacionados à ciência.

A partir desta definição, itens que exigem a habilidade de extrair informações relevantes a partir do seu texto introdutório são interpretados como tendo alta contextualização. Questões que exigem a lembrança de fatos ou conhecimentos científicos não são, segundo este autor, questões de alta contextualização.

Isso significa que na avaliação dos itens do PISA há uma interpretação diferente para o termo contextualização. O termo não se confunde com a ideia de 'cotidianização', mas sim expressa a presença no texto da questão de informações necessárias para a solução do item, através do raciocínio e conexão entre essas informações. E isso não dependeria do contexto, ou da vinculação ao cotidiano, da pergunta específica.

## Metodologia

- O estudo que será feito neste trabalho compõe-se de análises qualitativas e quantitativas. Os resultados dos alunos são discutidos em termos das frequências das respostas e dos níveis de proficiência definidos pela OCDE.

As questões do PISA são apresentadas como unidades, compostas de um texto preliminar comum, em geral com linguagem não escolar ou científica, seguido de vários itens com perguntas (abertas ou objetivas).

Uma das primeiras classificações elaboradas na proposta do PISA é a de itens que avaliam 'conhecimentos de ciência' e itens que avaliam 'conhecimentos sobre ciência' (Brasil/Inep 2008).

Pela concepção metodológica do consórcio responsável pelo PISA, a maior parte dos enunciados das questões não é publicada. As questões públicas podem ser encontradas na página do INEP (www.inep.gov.br) ou nos diversos relatórios do PISA (www.pisa.oecd.br).

Com os microdados disponibilizados pelo PISA, é possível analisar como o alunado brasileiro está distribuído nesses níveis de proficiência. Desta forma, além da média geral e da classificação do Brasil no ranking dos países participantes do PISA, podese analisar com mais detalhes a situação de nossos alunos e sua evolução nas várias edições.

Foram escolhidas duas dentre as questões cujo enunciado é conhecido: uma que apresenta, segundo a definição de Nentwig, baixa contextualização e outra de alta contextualização (Nentwig et al 2009). As unidades selecionadas foram Efeito Estufa (S114, com três itens associados Q03, Q04, Q05, sendo as duas primeiras classificadas como de alta contextualização) e Roupas (S213, com dois itens associados, Q01 e Q02, sendo a segunda de baixa contextualização). Essas duas unidades foram aplicadas no exame do PISA nos exames de 2000, 2003 e 2006 (Brasil/Inep 2011).

Uma equipe de cientistas britânicos está desenvolvendo roupas "inteligentes" que darão às crianças deficientes o poder da "fala". Crianças usando um colete feito de tecido especial, ligado a um sintetizador de fala, poderão se fazer entender simplesmente tocando de leve neste material sensível.

O material é feito de um tecido normal e de uma engenhosa malha de fibras impregnadas de carbono que podem conduzir eletricidade. Quando uma pressão é aplicada sobre o tecido, o padrão de sinais que passa pelas fibras condutoras é alterado e um chip de computador identifica onde a roupa foi tocada. Ele pode então, acionar um dispositivo eletrônico ao qual está ligado, cujo tamanho não é maior do que o de duas caixas de fósforo.

'O truque está em como confeccionar o tecido, fazendo com que os sinais passem através dele. Assim, fica impossível ver o dispositivo, pois ele está misturado à trama do tecido", explica um dos cientistas.

Este material pode ser lavado, enrolado em torno de objetos ou amassado, sem se danificar, e o cientista afirma que é possível produzi-lo em larga escala e a baixo custo.

## Questão 2 - S213Q02

Que instrumento de laboratório seria apropriado para verificar se o tecido está conduzindo eletricidade?

(A) Voltímetro (B) Fotômetro (C) Micrômetro (D) Detector de som

Figura 1 - A unidade Roupas, aplicada nos exames do PISA em 2000, 2003 e 2006 - Texto introdutório (S213) e Questão 2 (S213Q02)

Pode-se entender melhor essa classificação de contextualização observando uma questão específica. Na Figura 1, a Unidade Roupas é apresentada com o texto introdutório e a Questão 2 desta unidade.

Da leitura desta questão, observa-se que não há nenhuma informação no texto que permita ao aluno responder ao item sem que ele possua algum conhecimento sobre instrumentos de medidas elétricas. Do ponto de vista da classificação de Nentwig (Nentwig et al 2009), este item é um item de baixa contextualização.

As análises dos microdados foram feitas com o pacote SPSS usando-se pesos que corrigem a amostra de alunos que realizaram a prova de forma a refletir a distribuição da população estudantil na faixa etária prevista pelo consórcio em todos os países participantes:

1 - análises descritivas simples das respostas aos itens, com a classificação dos percentuais de acertos das respostas válidas,

2 - análises da distribuição de alunos por nível de proficiência.

## Resultados e Discussão

Na Tabela 2, apresentam-se as médias do Brasil nas diversas edições do PISA, o respectivo Índice de proficiência. Segundo o Plano Nacional de Educação, esperase que em 2015 a média seja 438, ou seja, espera-se que o Brasil apresente um aumento de 33 pontos percentual.

Tabela 2 Nota Média do Brasil no PISA

Nas Figuras 2A e 2B são apresentadas, respectivamente, as distribuições dos níveis de proficiência dos países da OECD e do Brasil.

<!-- image -->

Figuras 2A e 2B . Distribuição da média das notas dos países participantes da OECD (2A) e do Brasil (2B) nas edições do PISA entre 2000 e 2012.

<!-- image -->

Uma análise da distribuição das notas dos alunos por níveis de proficiência, Figuras 2A e 2B, para todas as edições do PISA, revela que o Brasil teve uma pequena evolução, que não pode ser considerada significativa. A maioria dos alunos brasileiros está nos níveis 0 e 1. O nível 0 não é definido no PISA, ou seja, os alunos neste nível não são passíveis de classificação.

Nas partes superiores das figuras 3A e 3B, são apresentados os percentuais de acertos nos dois itens analisados para o Brasil e para a Finlândia, e nas partes inferiores, a distribuição de alunos nos níveis de proficiência, o que corresponde a uma curva característica do item discretizada. A escolha da Finlândia foi por esta apresentar bons resultados nas edições do PISA.

Figuras 3A e 3B. Percentual de acertos nos itens em relação ao total de alunos que está no nível de proficiência para o Brasil (3A) e para a Finlândia (3B).

<!-- image -->

No caso brasileiro, da observação da parte inferior da Figura 3A nota-se que 86% dos alunos não atingem o nível 3, onde estão os estudantes que são capazes de tomar decisões baseadas em conhecimento científico. Ainda mais preocupante é o fato de que 30 % dos estudantes brasileiros estão abaixo do nível 1. Por outro lado, a distribuição dos níveis de proficiência na Finlândia possui seu pico no nível 4, caracterizado pela capacidade de 'trabalhar efetivamente com situações e questões que envolvam fenômenos explícitos que requerem deles a capacidade de fazer inferências sobre o papel da Ciência e Tecnologia' (Brasil/Inep 2008).

Na parte superior da Figura 3B, pode-se observar que para os estudantes da Finlândia o item de baixa contextualização (Roupas) corresponde a um menor índice de dificuldade, comparada ao item de alta contextualização (Efeito Estufa). Esta característica também está presente no caso brasileiro, porém de forma bem menos acentuada (Hambleton et al. 1991).

## Conclusões

Dos resultados gerais em 2006 - parte inferior da figura 3A, é interessante observar que no Brasil o percentual de alunos de 15 anos (concluintes ou recém-concluintes do Ensino Fundamental) que encontra-se abaixo do nível 2 de proficiência (mínimo desejável) é de cerca de 60%. Ou seja, pelos critérios do PISA, pode se dizer que cerca de 60% dos nossos alunos não demonstram possuir competência científica para assumir plenamente seu papel de cidadão na sociedade contemporânea.

Para o Brasil, isso é uma evidência de que os alunos brasileiros estão limitados a analisar situações vinculadas ao seu cotidiano e não conseguem transpor o seu conhecimento para outras situações, conforme a definição dos níveis de proficiências do PISA (nível 1: 'os estudantes têm limitado conhecimento científico, de forma tal que só conseguem aplicá-lo a algumas poucas situações familiares').

- O entendimento do termo contextualização como 'cotidianização' vinculado à transmissão tradicional de conteúdos pode estar dificultando um trabalho efetivo para um adequado letramento científico, pois não há comprometimento com o

desenvolvimento das competências e habilidades necessárias para que aluno possa ir além do seu cotidiano ou realidade física imediata.

A outra forma de interpretar o termo contextualização - trabalhar com informações necessárias para a solução de um problema, através do raciocínio e conexão entre essas informações - não dependeria da vinculação ao cotidiano ou espaço físico proximal do aluno. Nesta definição pragmática, é possível entender que existe o pressuposto do desenvolvimento das competências e habilidades necessárias para se trabalhar com questões científicas, permitindo ao aluno transpor o seu cotidiano e espaço físico imediato. Entretanto, uma melhor discussão do termo contextualização no Ensino Fundamental faz-se necessária.

## Apoio

Este trabalho foi financiado pela CAPES/Programa Observatório da Educação 2010.

## Referências

BARROSO, M. F., FRANCO, C. AVALIAÇÕES EDUCACIONAIS: O PISA E O ENSINO DE CIÊNCIAS, Ata do XI Encontro de Pesquisa em Ensino de Física, Curitiba, 2008.

BRASIL, 2014. Lei nº 13.005, de 25 de junho de 2014. Aprova o Plano Nacional de Educação - PNE e dá outras providências. Diário Oficial da União. Brasília, DF, nº 120-A, 26 de junho de 2014.

\_\_\_\_\_\_, 1996. Lei nº 9.394, de 20 de dezembro de 1996. Estabelece as diretrizes e bases da educação nacional. Diário Oficial da União , Brasília, DF, v. 134, n. 248, 23 de dezembro de 1996.

\_\_\_\_\_\_, 1998. PCN. Ministério da Educação. Disponível em:

http://portal.mec.gov.br/seb/arquivos/pdf/ciencias.pdf. Acesso em 24/05/2012.

BRASIL/INEP, 2008. Resultados nacionais - Pisa 2006. Disponível em http://download.inep.gov.br/download/internacional/pisa/Relatorio\_PISA2006.pdf. Acesso em 25/01/2012.

\_\_\_\_\_\_. 2011. Itens liberados de ciências. Disponível em:

http://www.inep.gov.br/download/internacional/pisa/Itens\_liberados\_Ciencias.pdf. Acesso em 10 fev. 2011.

HAMBLETON, Ronald; SWAMINATHAN, H.; JANE ROGERS, H. Fundamentals of Item Response Theory. Newbury Park: SAGE Publications, 1991.

MASSUNAGA, M.S.O., RUBINI, G., BARROSO, M.F. O DESEMPENHO DO BRASIL NO PISA EM ITENS COM DIFERENTES NÍVEIS DE CONTEXTUALIZAÇÃO, Anais do XIII Encontro de Pesquisa em Ensino de Física, Foz de Iguaçu, 2011.

MENEZES, E. T. de; SANTOS, T. H. dos. "Contextualização" (verbete). Dicionário Interativo da Educação Brasileira - EducaBrasil. São Paulo: Midiamix Editora, 2002, http://www.educabrasil.com.br/eb/dic/dicionario.asp?id=55. Acesso em 25 mai. 2012.

NENTWIG, P.; ROENNEBECK, S.; SCHOEPS, K.; RUMANN, S.; CARSTENSEN, C. Performance and Levels of Contextualization in a Selection of OECD Countries in PISA 2006, Journal of Research in Science Teaching, Vol. 46(8), p. 897-908, 2009.