APRENDENDO COM AVALIAÇÕES EM LARGA ESCALA - OS RESULTADOS DO PISA PARA A SALA DE AULA

## APRENDENDO COM AVALIAÇÕES EM LARGA ESCALA - OS RESULTADOS DO PISA PARA A SALA DE AULA 1

Gustavo Rubini 1 , Marcelo Shoey de Oliveira Massunaga , Marta Feijó Barroso 2 3

1

Universidade Estadual do Norte Fluminense/Laboratório de Ciências Físicas, shoey@uenf.br

Universidade Federal do Rio de Janeiro/LIMC, gustavorubini@if.ufrj.br 2

3 Universidade Federal do Rio de Janeiro/Instituto de Física, marta@if.ufrj.br

## Resumo

Neste trabalho, apresenta-se uma análise do PISA (Programa Internacional de Avaliação dos Alunos) na área de Ciências dando ênfase a duas questões, de domínio público, envolvendo conteúdos de Física. É fato sabido que os resultados do Brasil no PISA, nos últimos anos, revelam que os alunos brasileiros não estão bem preparados na área de Ciências. Entretanto, as avaliações em larga escala podem informar mais que uma simples classificação para fins políticos ou de responsabilização. Através de um estudo detalhado do processo avaliativo e de suas questões, é possível obter informações que podem ser usadas para a melhoria do processo de ensino-aprendizagem. Para tal fim, usando técnicas qualitativas e quantitativas, os microdados dos resultados dos alunos são analisados em termos das frequências das respostas e dos níveis de proficiência em Ciências definidos pelo consórcio responsável pelo PISA. A análises detalhadas das respostas dos alunos permitem identificar os pontos fracos, e assim, (re-)planejar as estratégias didáticas utilizadas.

Palavras-chave : Avaliação em larga escala, PISA, Ensino de Ciências.

## Introdução

Nos últimos anos, é possível observar um crescente interesse em avaliações em larga escala pelos governos e agências internacionais. Esses resultados podem ser usados para o estabelecimento de políticas públicas ou de responsabilização na área da Educação. O ENEM (Exame Nacional do Ensino Médio) e o PISA (Programme for International Student Assessment - Programa Internacional de Avaliação dos Alunos) são duas dessas avaliações que são conhecidas pelo público em geral. Os resultados dessas avaliações causam grande impacto na sociedade quando divulgados pela imprensa, mas esta só enfatiza o resultado geral com a divulgação da classificação geral do alunado. Para os professores, na sua grande maioria, estas avaliações não passam de exames/provas que atribuem uma nota ou uma classificação dos alunos brasileiros. Entretanto, um processo avaliativo pode informar mais que uma simples classificação para fins políticos ou de responsabilização. Através de uma análise detalhada do processo avaliativo e de suas questões, é possível retirar informações que podem ser usadas para a melhoria do processo de ensino-aprendizagem (Barroso e Franco 2008; Massunaga, Rubini e Barroso 2011).

É fato sabido que os resultados do Brasil no PISA, nos últimos anos, revelam que os alunos brasileiros não estão bem preparados na área de Ciências. A

\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_

participação do Brasil é voluntária e permite situá-lo num contexto internacional. A Finlândia tem se revelado como um dos países de melhor desempenho na várias edições do PISA. O Brasil está entre os 10 países com médias mais baixas.

Neste trabalho, será apresentada uma análise do PISA na área de Ciências dando ênfase a duas questões, de domínio público, envolvendo conteúdos de Física. Esta análise preliminar revela quais competências e habilidades ainda devem ser trabalhadas para formar um cidadão capaz de assumir seu papel ativo na sociedade contemporânea.

## Apresentação

O PISA é um programa internacional de avaliação educacional organizado pela OCDE (Organização para Cooperação e Desenvolvimento Econômico). Aplicado a cada três anos, seu objetivo é verificar até que ponto os alunos de 15 anos, próximos do término da educação básica, adquiriram conhecimentos e competências essenciais para uma participação efetiva na sociedade. Esses conhecimentos e competências são verificados através do letramento em três áreas: Leitura, Matemática e Ciências. A cada edição é medido o letramento em uma das áreas; em 2000 e 2009 - Leitura; 2003 e 2012 - Matemática; e 2006 - Ciências.

- O termo letramento para o PISA é definido para cada área e compreende os vários aspectos dos processos educacionais, e para a área de Ciências, segundo a OCDE (INEP 2010):
- O letramento científico envolve o uso de conceitos científicos necessários para compreender e ajudar a tomar decisões sobre o mundo natural, bem como a capacidade de reconhecer e explicar questões científicas, fazer uso de evidências, tirar conclusões com base científica e comunicar essas conclusões.

As notas dos alunos são calculadas com base na Teoria da Resposta ao Item (Hambleton et al 1991). A composição desta nota é feita de forma a normalizar, tendo o resultado com valores entre 0 e 1000, média 500 e desvio padrão 100 (OECD 2004). Essas notas servem para classificação dos alunos em níveis de proficiência, que são categorias que medem o letramento científico.

Os cadernos de teste, que compõem o PISA, são compostos de unidades temáticas constituídos de vários itens (chamados de questões). Cada unidade temática tem um texto, quadros, figuras, tabelas ou gráficos que servem de estímulo para os itens que compõem a unidade. Há vários cadernos de teste, com ordem de unidades temáticas diferentes. Assim, é possível obter uma melhor amostragem de todas as unidades, pois os alunos são orientados a fazer as unidades na ordem de aparecimento no caderno. A avaliação dura duas horas, e os alunos não são obrigados a fazer todas as unidades.

Na última edição do PISA, em 2012, 67 países participam do PISA: 34 membros da OCDE; e 33 - países/economias convidados. O Brasil está nesta categoria.

Todos os materiais (relatórios, publicações e bancos de dados) são públicos e podem ser consultados na página http://www.pisa.oecd.org. Na página do INEP, http://portal.inep.gov.br/pisa-programa-internacional-de-avaliacao-de-alunos, podese encontrar os relatórios e documentos oficiais do Brasil.

## Metodologia

O estudo que será feito neste trabalho compõe-se de análises qualitativas e quantitativas. Os resultados dos alunos são analisados em termos das frequências das respostas e dos níveis de proficiência definidos pela OCDE.

Como os alunos avaliados têm 15 anos, espera-se que eles estejam concluindo ou já tenham concluído o Ensino Fundamental. Assim, os conteúdos, habilidades e competências esperados são os descritos nos Parâmetros Curriculares Nacionais (PCN) do Ensino Fundamental.

Os conhecimentos científicos presentes na avaliação do PISA são de dois tipos (INEP 2010):

Conhecimento de Ciência - Sistemas físicos: estrutura e propriedades da matéria, mudanças químicas da matéria, força e movimento, energia, interação entre energia e matéria; Sistemas vivos: células, seres humanos, populações, ecossistemas, biosfera; Terra e sistemas espaciais: estruturas da Terra e seus sistemas, energia e mudanças nos sistemas da Terra, história da Terra, a Terra no espaço; Sistemas tecnológicos: relações entre ciência e tecnologia, o papel da tecnologia científica, conceitos e princípios importantes.

Conhecimento sobre Ciência - Investigação científica: origem, objetivos, métodos, características; Explicações científicas: tipos, formatos, resultados.

Os PCN do Ensino Fundamental (BRASIL 1998) englobam também esses conteúdos. Sendo assim, o PISA requer do alunado apenas conteúdos, habilidades e competências que deveriam ter sido desenvolvidos ou trabalhados.

Para aferir o letramento científico, o PISA usa uma escala de categorização que permite descrever que tipo de competências científicas os alunos possuem. Esta escala é composta por seis níveis de proficiência em Ciências. O nível mínimo, no qual se pode considerar que o aluno esteja apto a agir como um cidadão ativo e consciente na sociedade contemporânea, é o nível 2. Abaixo desse nível, há apenas o nível 1, no qual o aluno não demonstra possuir competência científica para assumir plenamente seu papel de cidadão. Na tabela 1, são apresentados somente os quatro primeiros níveis de proficiência em Ciências (INEP 2008).

Tabela 1 : Descrição de alguns níveis de proficiência em Ciências.

\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_

Com os microdados disponibilizados pelo PISA, é possível analisar como o alunado brasileiro está distribuído nesses níveis de proficiência. Desta forma, além da média geral e da classificação do Brasil no ranking dos países participantes do PISA, pode-se analisar com mais detalhes a situação de nossos alunos e sua evolução nas várias edições.

Através da análise das questões e das respostas dos alunos, é possível verificar quais conteúdos ou competências apresentam maior dificuldade para os alunos brasileiros. Neste trabalho, foram escolhidas duas questões, de domínio público, com conteúdo de Física, para exemplificar como essa análise pode ser feita.

Nas Figuras 1 e 2, são apresentadas as duas questões escolhidas (INEP 2011). Os conteúdos do PISA são: Terra e sistemas espaciais - questão S129Q01, e Sistemas tecnológicos - questão S213Q02.

## DURAÇÃO DO DIA EM 22 DE JUNHO DE 1998

Hoje, enquanto o Hemisfério Norte celebra seu dia mais longo, os australianos viverão o seu dia mais curto.

Em Melbourne*, na Austrália, o sol nascerá às 7:36 h e se porá às 17:08 h, totalizando nove horas e 32 minutos de luz do dia.

Compare o dia de hoje com o dia mais longo do ano no Hemisfério Sul, esperado para 22 de dezembro, quando o sol nascerá às 5:55 h e se porá às 20:42 h, totalizando 14 horas e 47 minutos de luz do dia.

O presidente da Sociedade de Astronomia, Sr. Perry Vlahos, disse que a existência de diferentes estações do ano entre os hemisférios norte e sul estava ligada à inclinação de 23 graus da Terra.

*Melbourne é uma cidade no sul da Austrália a uma latitude de cerca de 38 graus ao Sul do equador.

QUESTÃO 1 - S129Q01

Qual é a afirmação que explica a existência do dia e da noite na Terra?

- A A Terra gira em torno do seu eixo.
- B O Sol gira em torno do seu eixo.
- C O eixo da Terra é inclinado.
- D A Terra gira em torno do Sol.

Figura 1 : A unidade temática Claridade foi aplicada no PISA de 2000 e 2003. Texto estímulo e questão 1 - S129Q01.

## ROUPAS

Uma equipe de cientistas britânicos está desenvolvendo roupas "inteligentes" que darão às crianças deficientes o poder da "fala". Crianças usando um colete feito de tecido especial, ligado a um sintetizador de fala, poderão se fazer entender simplesmente tocando de leve neste material sensível.

O material é feito de um tecido normal e de uma engenhosa malha de fibras impregnadas de carbono que podem conduzir eletricidade. Quando uma pressão é aplicada sobre o tecido, o padrão de sinais que passa pelas fibras condutoras é alterado e um chip de computador identifica onde a roupa foi tocada. Ele pode então, acionar um dispositivo eletrônico ao qual está ligado, cujo tamanho não é maior do que o de duas caixas de fósforo.

' O truque está em como confeccionar o tecido, fazendo com que os sinais passem através dele. Assim, fica impossível ver o dispositivo, pois ele está misturado à trama do tecido", explica um dos cientistas.

Este material pode ser lavado, enrolado em torno de objetos ou amassado, sem se

danificar, e o cientista afirma que é possível produzi-lo em larga escala e a baixo custo.

Fonte: Steve Farrer, 'Interactive fabric promises a material gift of the garb', The Australian , 10 de agosto de 1998.

## QUESTÃO 2 - S213Q02

Que instrumento de laboratório seria apropriado para verificar se o tecido está conduzindo eletricidade?

- A Voltímetro.
- B Fotômetro.
- C Micrômetro.
- D Detector de som.

## Resultados

Na Figura 3, são apresentadas as distribuições os alunos nos níveis de proficiência para o Brasil, Portugal e Finlândia. Portugal foi escolhido por apresentar resultados medianos, e a Finlândia, por apresentar bons resultados.

Figura 2 : A unidade temática Roupas foi aplicada no PISA de 2000, 2003 e 2006. Texto estímulo e questão 2 - S213Q02.

<!-- image -->

<!-- image -->

Figura 3 : Distribuição dos alunos nos níveis de proficiência nas quatro edições do PISA.

<!-- image -->

Como já era sabido: o resultado dos alunos brasileiros não é bom. Mas, o preocupante é que a grande maioria do alunado está nos níveis 1 e 0. O nível 0 não é classificado pelo PISA. Apesar desse mau resultado, podemos verificar um indício de melhoria na edição de 2009. Deve-se lembrar de que nesta edição o foco foi em leitura.

Para um melhor diagnóstico, é necessário analisar as respostas dos alunos nas questões do PISA. As questões escolhidas são bem interessantes, pois caracterizam bem os conhecimentos de Ciência dos alunos brasileiros.

<!-- image -->

<!-- image -->

<!-- image -->

\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_

Figura 4 : Distribuição das respostas dos alunos nas alternativas da questão S129Q01. O gabarito é a alternativa A.

Na Figura 4, é apresentado o percentual de respostas dos alunos nas alternativas da questão S129Q01. Mais de 60% dos alunos brasileiros optam pela alternativa D. É interessante observar que apesar do avanço das pesquisas na área de Ensino de Física, uma análise detalhada da questão S129Q01 revela que pouco do resultado das pesquisas parece ter sido apropriado pelos professores, e um erro comum, devido a concepções prévias tão discutidas na literatura, continua a aparecer nos resultados dessas avaliações. Nos PCN do Ensino Fundamental (BRASIL 1998), encontra-se a recomendação:

Por exemplo, nos estudos básicos sobre o ciclo do dia e da noite, a explicação científica do movimento de rotação não deve ser a primeira abordagem sobre o dia e a noite, o que causa muitas dúvidas e não ajuda a compreensão do fenômeno observado nas etapas iniciais do trabalho.

Certamente os alunos manifestam a contradição entre o que observam no céu - o movimento do Sol tomando-se o horizonte como referencial - e o movimento de rotação da Terra, do qual já tiveram notícia. As dúvidas dos alunos, contudo, podem ser o ponto de partida para se estabelecer uma nova interpretação dos fenômenos observados.

Sendo assim, o resultado do Brasil na questão S129Q02 é a constatação da concepção que deveria ter sido o ponto de partida para a discussão da explicação científica válida.

Figura 5 : Distribuição das respostas dos alunos nas alternativas da questão S213Q02. O gabarito é a alternativa A.

<!-- image -->

Quanto à questão S213Q02, cuja distribuição de respostas está na Figura 5, classificada como fácil, na análise das alternativas marcadas pelos alunos brasileiros observa-se que cerca de 50% erram essa questão. A segunda escolha mais marcada é a alternativa D. Como o texto estímulo trata da 'fala' de crianças deficientes, os alunos brasileiros são atraídos pela palavra 'detector de som', revelando que eles ficam limitados às informações fornecidas no texto, possibilitando a leitura que eles só são capazes de 'tirar conclusões de evidências explicitamente apresentadas' - categorização do nível 1 de proficiência em Ciências.

## Conclusões

Ao se comparar os resultados do alunado brasileiro com os de outros países, observa-se que o Brasil ainda não está preparando bem, na área de Ciências, seus jovens para o exercício de cidadania consciente e ativa (os resultados oficiais informam que nas outras áreas, o Brasil precisa melhorar também).

A partir das respostas para a questão S129Q01, é possível interpretar que a simples informação da rotação da Terra em torno do seu eixo não é suficiente para que o aluno possa se apropriar do conceito cientificamente aceito e explicar o ciclo dia e noite. Da questão S213Q02, observa-se a limitação dos alunos em entender o texto com um estímulo para transcender o seu cotidiano e usar um equipamento (voltímetro) para validar uma informação nova.

Uma possível leitura seria a de que no Brasil, o ensino convencional de Ciências preocupa-se em transmitir aos alunos um conjunto de informações/conceitos que é julgado relevante para a sua formação cidadã. Como resultado, há formação de um alunado informado, mas que não sabe, necessariamente, como aplicar essas informações. Esse tipo de 'cultura da informação' não valoriza a formação de competências e habilidades. Por outro lado, há o ensino que 'problematiza', trabalhando com exemplo do cotidiano ou do espaço proximal do aluno. Essa abordagem didática contribui para o desenvolvimento de competências e habilidades. Entretanto, nesse caso, o aluno fica limitado à análise de alguns casos específicos. A ausência de uma base conceitual robusta e a falta de informações gerais também não permitem a tomada de decisão frente a uma situação nova não vivenciada. Essas possíveis leituras têm como base os resultados da análise apresentada neste trabalho.

Assim, análises detalhadas das respostas dos alunos nas avaliações em larga escala permitem identificar os pontos fracos, e consequentemente, (re)planejar as estratégias didáticas utilizadas.

## Referências

BARROSO, M. F., FRANCO, C. AVALIAÇÕES EDUCACIONAIS: O PISA E O ENSINO DE CIÊNCIAS, Ata do XI Encontro de Pesquisa em Ensino de Física, Curitiba, 2008.

BRASIL 1998. PCN. Ministério da Educação. Disponível em: http://portal.mec.gov.br/seb/arquivos/pdf/ciencias.pdf. Acesso em 24 mai. 2012.

HAMBLETON, Ronald; SWAMINATHAN, H.; JANE ROGERS, H. Fundamentals of Item Response Theory . Newbury Park: SAGE Publications, 1991.

INEP 2001. PISA 2000 - Relatório Nacional. Disponível em: http://download.inep.gov.br/download/internacional/pisa/PISA2000.pdf, acesso em 25 jul. 2012.

INEP 2008. Resultados nacionais - Pisa 2006. Disponível em: http://download.inep.gov.br/download/internacional/pisa/Relatorio\_PISA2006.pdf. Acesso em 25 jan. 2012.

\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_

INEP 2010. Letramento Científico. Disponível em:

http://download.inep.gov.br/download/internacional/pisa/2010/letramento\_cientifico.p df, acesso em 25 jul. 2012.

INEP 2011. Itens liberados de ciências. Disponível em: &lt;http://www.inep.gov.br/download/internacional/pisa/Itens\_liberados\_Ciencias.pdf&gt;.

Acesso em 10 fev. 2011.

MASSUNAGA, M.S.O., RUBINI, G., BARROSO, M.F. O DESEMPENHO DO BRASIL NO PISA EM ITENS COM DIFERENTES NÍVEIS DE CONTEXTUALIZAÇÃO, Anais do XIII Encontro de Pesquisa em Ensino de Física, Foz de Iguaçu, 2011.

OECD 2004. Learning for tomorrow's world - first results from PISA 2003 . Paris: OECD, 2004.