O DESEMPENHO DO BRASIL NO PISA EM ITENS COM DIFERENTES NÍVEIS DE CONTEXTUALIZAÇÃO

## O DESEMPENHO DO BRASIL NO PISA EM ITENS COM DIFERENTES NÍVEIS DE CONTEXTUALIZAÇÃO THE BRAZILIAN PERFORMANCE ON PISA ITENS WITH DIFFERENT LEVELS OF CONTEXTUALIZATION

Marcelo Shoey de Oliveira Massunaga , Gustavo Rubini , Marta F. Barroso 1 2 3

1

UENF/laboratório de Ciências Físicas, shoey@uenf.br 2 UFRJ/LIMC, gustavorubini@if.ufrj.br 3 UFRJ/Instituto de Física e LIMC, marta@if.ufrj.br

## Justificativa e objetivos

- O PISA (Programme for International Student Assessment) é um programa internacional de avaliação em larga escala, que permite produzir indicadores sobre a efetividade dos sistemas educacionais. É aplicado nos países europeus que fazem parte da OECD (Organisation for Economic Co-operation and Development), e em muitos outros países convidados, dentre estes, o Brasil (BRASIL, 2011).

Este exame propõe-se a avaliar o letramento dos alunos em três domínios: Leitura, Matemática e Ciências. A sua periodicidade é de três anos, sendo que a cada edição, o foco principal recai em um dos seus três domínios. Os anos de aplicação foram: 2000 (foco em Leitura), 2003 (foco em Matemática e Resolução de Problemas), 2006 (foco em Ciências) e 2009 (foco em Leitura).

- A participação do Brasil é voluntária e permite situá-lo num contexto internacional. O estudo dos dados obtidos é fundamental para que esta participação seja consequente; para isso, deve-se pensar em algumas questões a serem respondidas com base nesses dados.

Este trabalho tem por objetivo analisar as diferenças no desempenho em duas unidades de ciências entre os alunos brasileiros e os alunos dos demais países participantes. Essas duas questões foram escolhidas por terem-se tornado de conhecimento público, e por apresentarem contextualizações diferenciadas. Os itens são s114q03t - Efeito Estufa e s213q02 - Roupas, nos anos 2000, 2003 e 2006. No ano 2006, houve a liberação dos itens analisados (INEP, 2011). O item s213q02 tem seu contexto na área de física.

## Marco Teórico

A prova do PISA é feita com base na Teoria da Resposta ao Item (HAMBLETON et al, 1991). A composição da nota é feita de forma a normalizar o resultado, para países da OECD, com valores entre 0 e 1000, média 500 e desvio padrão 100 (OECD, 2004). A cada um dos três domínios é atribuído um escore que serve como medida da proficiência do aluno. São feitas correções estatísticas para que seja possível a comparação destes escores entre os diversos países participantes.

Atribuída a proficiência do aluno, a avaliação do letramento pode ser processada. Na área das ciências, temos que o conceito de letramento científico é discutido na literatura (ROBERTS, 2006; MILLAR & OSBORNE, 1998), e certamente a definição adotada pela OECD não é a única. Segundo o documento do INEP, para o PISA (BRASIL, 2011):

O letramento científico envolve o uso de conceitos científicos necessários para compreender e ajudar a tomar decisões sobre o mundo natural, bem como a capacidade de reconhecer e explicar questões científicas, fazer uso de evidências, tirar conclusões com base científica e comunicar essas conclusões.

Para avaliar o letramento, competências, conteúdos, contextos e situações são listados e os itens são construídos para as suas avaliações (INEP, 2011b).

A prova do PISA é composta por unidades que são divididas em itens, com a estrutura: um texto comum (em geral, um texto de jornal ou revista, ou similar) e vários itens (perguntas) relacionados. As questões possuem uma quantidade variada de informações, e muitas vezes podem ser respondidas apenas com a análise das informações contidas nele. Para determinar o nível de contextualização, usamos a classificação de Nentwig et al. (2009), com o uso de dois critérios, associados a conteúdo (o texto comum fornece uma introdução substancial ao tópico) e relevância (o texto comum é importante para responder à pergunta).

## Metodologia e Análise de pesquisa

Os dados do PISA 2000, 2003 e 2006 são públicos e estão disponíveis na página da OECD, http://www.pisa.oecd.org.

Seguindo a classificação de Nentwig et al. (2009), o item s114q03t (Efeito Estufa) tem um nível alto de contextualização, e o item s213q02 (Roupas), um nível baixo de contextualização. O índice de dificuldade do item, d, é definido como a proficiência para a qual a probabilidade de acerto do item vale 0,5, e expressa a dificuldade do item (BARROSO & FRANCO, 2008). As tabelas 1 e 2 expressam os resultados da análise (frequência de acerto e índice de dificuldade) das questões nos três exames.

Tabela 1 - Frequência de acertos dos itens ao longo dos anosTabela 2 - Dificuldade dos itens ao longo dos anos.

## Conclusões

Os resultados indicam que há uma diferença de desempenho entre estudantes brasileiros e de todos os outros países participantes do exame. As flutuações apresentadas nas duas tabelas podem ser entendidas a partir dos detalhes referentes à aplicação dos exames. No entanto, observa-se da Tabela 1 que a questão de alta contextualização (Efeito Estufa, s114q03t) tem um índice de acertos menor do que a da questão de baixa contextualização (Roupas, s213q02), e o índice de dificuldade calculado (segundo um modelo de dois parâmetros) da questão de alta contextualização mais alto do que o da questão de baixa contextualização. É possível adiantar algumas hipóteses de interpretação e explicação desses resultados a partir da análise das questões e dos currículos e práticas escolares no país. Por exemplo, a questão s213q02 (Roupas) refere-se apenas ao uso de um voltímetro, o que permite supor que a ausência de trabalhos práticos nas escolas prejudicou o desempenho comparativo dos alunos. Outros critérios de análise, como o DIF (differential item functioning), podem ser usados na tentativa de melhor discriminar e compreender as diferenças observadas.

## Referências

BARROSO, M. F., FRANCO, C. AVALIAÇÕES EDUCACIONAIS: O PISA E O ENSINO DE CIÊNCIAS, Ata do XI Encontro de Pesquisa em Ensino de Física, Curitiba, 2008.

BRASIL, 2011. Programa Internacional de Avaliação de Alunos - PISA, Disponível em <http://www.inep.gov.br/internacional/pisa/> . Acesso em 10 fev. 2011.

HAMBLETON, Ronald; SWAMINATHAN, H.; JANE ROGERS, H. Fundamentals of Item Response Theory . Newbury Park: SAGE Publications, 1991.

INEP, 2011a. Itens liberados de ciências. Disponível em:

<http://www.inep.gov.br/download/internacional/pisa/Itens\_liberados\_Ciencias.pdf>. Acesso em 10 fev. 2011.

<http://www.inep.gov.br/download/internacional/pisa/2010/letramento\_cientifico.pdf>.

INEP, 2011b. Letramento científico. Disponível em Acesso em 10 fev. 2011.

MILLAR, Robin; OSBORNE, Jonathan (ed.). Beyond 2000: Science Education for the Future (The report of a seminar series funded by the Nuffield Foundation), 1998. Disponível em < http://www.kcl.ac.uk/content/1/c6/01/32/03/b2000.pdf >. Acesso em 10 de abril de 2011.

NENTWIG, P.; ROENNEBECK, S.; SCHOEPS, K.; RUMANN, S.; CARSTENSEN, C. Performance and Levels of Contextualization in a Selection of OECD Countries in PISA 2006, Journal of Research in Science Teaching, Vol. 46(8), p. 897-908, 2009.

OECD. Learning for tomorrow's world - first results from PISA 2003 . Paris: OECD, 2004

ROBERTS, Douglas. Scientific Literacy/Science Literacy. In: ABELL, Sandra K. E LEDERMAN, Norman G. (ed). Handbook of Research on Science Education . New Jersey: Lawrence Erlbaum Associates, Publishers, 2006, p. 729-780.