A AVALIAÇÃO DO ENTENDIMENTO DE ESTUDANTES ATRAVÉS DE SISTEMAS DIFERENCIADOS DE CATEGORIAS

## A AVAVALIAÇÃO DO ENTENDIMENTO DE ESTUDANTES ATRAVÉS DE SISTEMAS DIFERENCIADOS DE CATEGORIAS

## EVALUTE THE STUDENT'S UNDERSTANDIG TROUGHT DIFFERENT

## CATEGORIES SYSTEMS

## Elrismar Gomes 1 Amanda Amantes 2

1 Universidade Federal do Amazonas /Instituto de Educação, Agricultura e Ambiente

elrismar@gmail.com

2 Universidade Federal da Bahia / Faculdade de Educação

amandaamantes@gmail.com

## Resumo

Nesse trabalho expomos duas metodologias utilizadas para identificar patamares de entendimento de sujeitos em uma situação específífica de pesquisa. Essa metodologia se remete à construção de sistemas de categoria para avaliar o entendimento, e se baseia em respostas dadas a questões abertas por estudantes de diferentes fases da vida escolar. A construção desses sistemas tem como respaldo teórico a perspectiva docente de avaliação e também a Taxonomia SOLO (Structure of Observing Learning Outcome), que pode ser utilizada como ferramenta em vários contextos, inclusive como metodologia de análise de dados em pesquisas qualitativas. Essa taxonomia foi desenvolvida pelos autores neopiagetianos Biggs e Collis (1982), e se baseia na concepção de níveis hierárquicos de modos de pensamento que são específicos para cada área de conhecimento. Descrevemos a construção dos sistemas a partir de conteúdos de itens, sendo esse um método já utilizado em duas pesquisas anteriores e que será aplicado e melhor desenvolvido para a construção de banco de itens e tarefas, assim como para análise de dados. Nas duas investigações aqui relatadas, a perspectiva quali quanti de análise foi utilizada. Nesse trabalho, porém, o foco foi evidenciar dois métodos de análise qualitativa de respostas e expor os critérios e os procedimentos realizados para a construção dos sistemas. Acreditamos que a discussão metodológica é um assunto que deve estar presente nas questões concernentes às pesquisas educacionais, e por isso um trabalho nesse sentido se faz necessário e contribui para que os parâmetros de investigação sejam melhor pensados em termos de elaboração e aplicação .

Palavras -chave: metodologia, aprendizagem, ensino de física.

## Abstract

We report in this paper two methodological tools for data analyses of student's understanding. These tools are used for identify understanding's levels of students at different stages of instructions, in two different researches. Some cognitive theories have supported our work. The SOLO (Structure of Observing Learning Outcome) Taxonomy elaborated by the authors Biggs and Collis (1982) and teachers achieves are used to construct scales, which are used for evaluate student's understanding about some scientific concepts. The SOLO theory has some piagetian principles, but the idea of stages is not generalized. Biggs and Collis consider that people move through stages or modes of thinking (way that they denominate Piaget's stages) for one specific knowledge domain. On the other hand, modes of thinking preserve the same characteristics of Piaget's stages in terms of elements and structures that can be manipulated and each level. We describe how the scales were elaborated, based at

items contends and so at student's answers in each research related. Questionnaires were applied for a sample of high school students of the same institution, but in different periods. At both investigations, qualitative and quantitative methods were used for data analyses, but in this work we report only the qualitative methodology. The procedures used to elaborate the SOLO categories and the teacher's perspective categories are described to elucidate the methodological criterions. We do believe that it is important discuss the methodological questions at the educational framework, mainly because we have to pursue the improvement of the tools and the results of the qualitative research.

Keywords: methodology, learning, physics teaching.

## Introdução

Nossa pesquisa se remete à identificação de fatores que influenciam, de forma positiva ou negativa, a aprendizagem. Nosso foco está em conteúdos das Ciências, que requerem um alto grau de abstração para serem entendidos da maneira academicamente aceita. Muitas investigações são conduzidas no sentido de esclarecer como é a aprendizagem de conceitos e conteúdos dessa natureza no campo educacional.

Uma das questões que se tem debatido no âmbito da pesquisa educacional está dirigida aos aspectos metodológicos. Várias pesquisas (MORSE et all 2007; ANDRÉ, 2001; GOLAFSHANI, 2003) apontam para o fato de que os critérios de análise qualitativa nem sempre estão adequados ou são apropriados ao objeto de pesquisa. Nesse aspecto, alguns autores na área de educação ressaltam que é imprenscidível buscarmos ferramentas que melhorem a qualidade de coleta e análise de dados, para que tenhamos resultados mais contundentes do ponto de vista educacional. Buscando um maior rigor e qualidade do ponto de vista metodológico estaremos estabelecendo maior confiabilidade e validade nas investigações qualitativas.

No presente artigo expomos e discutimos a utilização de um método de classificação de respostas baseado na perspectiva teórica dos autores Biggs e Collis como ferramenta para construção de escalas de entendimento. Uma metodologia semelhante foi desenvolvida durante uma pesquisa que tinha como objetivo identificar a influência da contextualização na aprendizagem de conteúdos de Física. Essa metodologia diz respeito à construção de escalas de entendimento a partir de respostas dadas a questões abertas por estudantes de diferentes fases da vida escolar. Nesse trabalho os dados foram categorizados a partir da escala construída e posteriormente transformados para serem submetidos a uma análise quantitativa .

## TEORIA SOLO (STRUCTURE OF OBSERVING LEARNING OUTCOME)

Os autores Biggs e Collis desenvolveram uma Taxonomia denominada SOLO (Structure of Observing Learning Outcome) que pode ser utilizada como ferramenta em vários contextos, inclusive como metodologia de análise de dados em pesquisas qualitativas. Esses autores admitem a existência de estágios de desenvolvimento cognitivo e, assim como na teoria piagetiana, surgem em idades aproximadamente definidas. Um aspecto que difere da teoria de Piaget é que, para esses autores, o desempenho não depende necessariamente das capacidades cognitivas em uma certa fase da vida dos sujeitos, ainda que seja delimitado pelas estruturas de pensamento que possuem em cada etapa. Eles concebem que um mesmo sujeito pode funcionar em vários estágios (ou modos, como denominado na teoria) simultaneamente, pois o desempenho está relacionado à área de conhecimento em que o sujeito opera. Dessa forma, a teoria que propõem é multimodal, e seu foco é na avaliação qualitativa da

aprendizagem de conteúdos específicos. É a qualidade da aprendizagem, a forma de resolução de problemas específicos num determinado momento que definirá os modos e não as estruturas cognitivas desses sujeitos.

Vale destacar que a teoria SOLO em cada domínio de ação passa-se de um estágio a outro através de um ciclo de aprendizagem que envolve uma progressão em níveis crescentes de complexidade do modo de funcionamento (AMANTES E BORGES, 2004). No modelo de Biggs e Collis, o ciclo de aprendizagem que leva de um estágio a outro possui 5 níveis de complexidade no modo de funcionamento do pensamento: pré-estrutural, uniestrutural, multiestrutural, relacional e abstrato estendido (BIGGS e COLLIS, 1982, 1991). Esses níveis se relacionam tanto à qualidade como à quantidade de informações processadas. Eles podem ser descritos de forma abstrata e genérica, e relativamente a uma tarefa cognitiva que exija um modo específico de funcionamento (BIGGS e COLLIS, 1982, 1991).Dessa forma, diferentemente de Piaget que concebe a ocorrência da mudança na forma do conhecimento quando o sujeito muda de estágio, para Biggs e Collis podem ocorrer evoluções no entendimento sem que ele mude de estágio, ou seja, dentro de um mesmo modo ele pode mudar de um nível para outro.

A Teoria SOLO constitui um bom instrumental, pois estabelece um sistema simples de categorias que independe do conteúdo e que pode ser aplicado como instrumento para diversos propósitos. Acreditamos que essa ferramenta atenda ao rigor que as pesquisas educacionais têm buscado, prestando-se a avaliar qualitativamente a aprendizagem dos estudantes, em diferentes conteúdos e de diferentes formas.

## Pesquisas

- O foco desse trabalho está no relato de dois métodos de classificação de respostas de estudantes para identificação dos patamares de entendimento que eles demonstram em determinado instante. Esses métodos foram elaborados e aplicados em duas pesquisas, em momentos diferentes. Acreditamos que sejam promissores no sentido de se constituírem em poderosa ferramenta de análise para investigações que lidam com a questão da aprendizagem.

## Sujeitos e Objetivos

As duas pesquisas foram realizadas em uma mesma escola pública, mas em épocas distintas, em um intervalo de 3 anos. A primeira pesquisa contou com questionários respondidos por quatrocentos e dezessete estudantes distribuídos no primeiro, segundo e terceiro anos do Ensino Médio. Esse questionário foi aplicado em uma única vez e tinha como propósito identificar como esses estudantes concebiam os conceitos de Referencial Inercial e Movimento Relativo.

Participaram da segunda pesquisa somente os alunos do primeiro e terceiro ano do Ensino Médio. Foram seis turmas do primeiro ano (cento e quarenta e sete alunos) e cinco turmas do terceiro (cento e treze alunos), num total de duzentos e sessenta participantes. Os dados analisados são as respostas desses alunos obtidas em testes de conhecimento aplicados antes e depois do estudo de uma Unidade Temática. A intenção foi identificar o entendimento sobre conteúdos diversos, exibido depois de uma instrução.

Em ambas as pesquisas o objetivo central foi avaliar o entendimento sobre conteúdos de alto nível de abstração. Enquanto na primeira isso foi feito apenas para as respostas dadas a um questionário, na segunda investigação obtivemos indícios de

progresso desse entendimento (aprendizagem), uma vez que tivemos mais de uma onda de medida.

## Coleta e Análise de Dados

Na pesquisa sobre o entendimento de Movimento Relativo e Referencial Inercial a coleta de dados ocorreu pela aplicação 1 de um questionário em um mesmo momento a todas as turmas. O questionário conteve questões em que os alunos eram indagados diretamente sobre sua concepção sobre esses dois conceitos, questões em que deveriam interpretar uma situação para resolver um problema qualitativo e questões de interpretação de um contexto para responder verdadeiro ou falso a um conjunto de afirmações. Em suma, pretendemos identificar o entendimento em termos de explicitação e em termos procedimentais. Em temos de explicitação nas respostas às questões diretas do tipo: "diga o que você entende por movimento relativo". Em termos procedimentais quando os alunos tinham que mobilizar seu entendimento para solucionar problemas específicos ou interpretar uma situação.

As respostas das questões diretas foram classificadas segundo seu nível de explicitação (concepção acadêmica do conteúdo) e em termos da estrutura do entendimento explicitado (Taxonomia SOLO). Dessa forma, lidamos com dois sistemas de categorias que nos forneceram indícios sobre o grau de articulação do entendimento desses alunos, quando verbalizado esse entendimento.

A perspectiva da segunda pesquisa foi avaliar a aprendizagem a partir da mudança identificada para o entendimento quando esse foi mensurado em diferentes momentos. Uma Unidade Temática sobre o funcionamento da televisão foi elaborada como material didático e utilizado em uma intervenção educacional no primeiro e terceiro ano. Os alunos estudaram o material durante aproximadamente três semanas, sendo a aplicação feita pelos próprios professores da disciplina. O caráter da Unidade foi interdisciplinar e contextual, dentro da perspectiva dos Parâmetros Curriculares Nacionais (BRASIL,1999). Ela contemplou conteúdos da Biologia, Química, Informática e Física, tendo o foco nos princípios gerais de funcionamento e não no aparato em si. A maior parte das atividades e tarefas estava sob a forma virtual. Dessa maneira os alunos estudaram em grupo, contando cada grupo com um computador.

A coleta de dados foi feita mediante gravação em áudio dos grupos de atividades, atividades escritas recolhidas em cada aula, testes de conhecimento aplicados antes e após o estudo da Unidade, entrevistas com alguns alunos e caderno de bordo. Construímos mapas de episódio a partir das gravações e analisamos os testes em termos qualitativos (categorização dos itens e respostas) e quantitativos (modelamento Rasch, Regressão Linear, Regressão Múltipla, Teste de Hipóteses). Para esse relato estaremos nos reportando somente aos testes de conhecimento. Eles foram constituídos de três questões abertas, em que os estudantes deveriam descrever o seu entendimento sobre alguns conteúdos relacionados ao funcionamento da TV e duas questões com sub itens de verdadeiro e falso.

Os itens relacionados ao funcionamento da TV foram exaustivamente trabalhados em termos de categorização: vários sistemas foram construídos para identificar o entendimento explicitado. Isso porque se remetiam a conhecimentos muito gerais, difíceis de serem avaliados em termos de exatidão. Construímos uma forma de categorização que, a partir dela, foi possível desmembrar as questões em vários itens

que corresponderam a níveis hierárquicos de entendimento. A seguir expomos a elaboração desse sistema.

## Categorias de Entendimento

As dificuldades inerentes às pesquisas na área educacional estão muitas vezes associadas ao caráter subjetivo do objeto de estudo. No nosso caso, lidamos com a aprendizagem de conteúdos de alto nível de complexidade e, como dado, obtemos geralmente declarações verbais ou escritas. Concebemos que houve aprendizagem quando identificamos um progresso no entendimento explicitado nessas declarações, ao longo de um determinado tempo. Para identificar esse progresso é preciso estabelecer alguns critérios que nos permitam afirmar que o entendimento avaliado em determinado instante é, hierarquicamente, maior ou menor que outro entendimento avaliado em instante anterior ou posterior. Nesse sentido, procuramos estabelecer qualitativamente escalas de medidas que são construídas com parâmetros baseados em teorias cognitivas para o desenvolvimento e também a partir da perspectiva docente de avaliação.

Ao indagarmos de forma direta sobre determinada concepção obtemos um tipo de resposta em que podemos avaliar, além da exatidão de acordo com as normas acadêmicas, o grau de estruturação do entendimento explicitado. Nesse sentido, utilizamos a Taxonomia SOLO, desenvolvida por BIGGS e COLLIS para classificarmos as respostas que os estudantes deram às questões:

- O que você entende por:
- a) Referencial Inercial?

b) Movimento Relativo?

A Taxonomia Solo tem sido usada de diferentes formas e em diferentes domínios de conhecimento: para fins de avaliação de aprendizagem por professores, para identificar professores experts (BOND, SMITH, BAKER e HATTIE, 2000), para avaliar programas de ensino (MAGUIRE, 1988) além servir como instrumento metodológico de pesquisas educacionais (BIGGS, 1995; BIGGS, 1994; BIGGS E COLLIS, 1999; HATTIE e BROWN; 2004, AMANTES e BORGES 2004; McMILLAN 2001; PANIZZON, 2003; HOLMES, 2004; HAWKINS e HEDBERG, 1996). Como sugere uma progressão do entendimento em quatro níveis de complexidade dentro de um modo específico, sua utilização por professores tem implicado no desenvolvimento de programas para capacitar os estudantes a enriquecer e aumentar sua aprendizagem profunda (AMANTES, 2006).

Para os conceitos investigados na nossa pesquisa, as respostas foram correspondentes ao modo concreto e formal de pensamento em se tratando da amostra utilizada. Os níveis de complexidade apresentaram mais de um ciclo no modo concreto simbólico. Podemos dizer que para esse modo, o ciclo 1 é baseado em imagens e desenvolvido a partir de uma única idéia importante; o ciclo 2 é mais abstrato e possui menos confiança em imagem, pois há incorporação de idéias ou conceitos relevantes do processo científico. No modo formal, no ciclo 1 há o desenvolvimento de um único construto teórico que pode ser aplicado para explicar e resolver um novo problema, enquanto que no ciclo 2 outras teorias são acessadas com esse intuito.

A partir das características de cada modo e níveis de complexidade da Taxonomia, as respostas foram categorizadas como relatado nos quadros 01 e 02:

Quadro 1: Categorias SOLO para o conceito de Referencial Inercial

## REFERENCIAL INERCIAL

MODO CONCRETO

## Ciclo 1: o foco é no movimento dos corpos

U1: unidimensional; foco

no movimento dos

corpos,

identificando o conceito de referencial

ao único objetivo de análise desse

movimento; são respostas curtas que

não contêm outros elementos senão a

referência ao movimento

M1: multidimensional; foco

no movimento, mais essas respostas

trazem outros elementos para associar

ao movimento, na maioria das vezes a

referência de ponto de vista ou

observação. Podem não apresentar

coerência

## Ciclo 2: o foco é no ponto de vista

U2: essas respostas

indicam uma compreensão sobre

sistema de referência mais associada a

ponto de vista, mas são sucintas e com

foco único

Uf1: indicam que a

compreensão está em um nível mais

abstrato de pensamento, mas o foco é

somente em um ponto, seja relacionado

a movimento ou ponto de vista

.

P: (Pré Estrutural): respostas não interpretáveis do ponto de vista do modo concreto-simbólico ou do modo formal de pensamento. Ex: "É "É um sistema circular"; "É uma observação física que tem referencial explicitado". "Sistema que estuda as leis da mecânica visando pontos de vista diferentes."

Quadro 2: Categorias SOLO para o conceito de Movimento Relativo

M2: incorporam novos

elementos à compreensão de

referencial como ponto de vista, mas

podem apresentar certa incoerência

## MODO FORMAL

Mf1: compreensão mais

abstrata com novos elementos, sem

foco específico; alguma incoerência

pode ser encontrada.

## MODO CONCRETO

R1: relacional; incorporam

mais elementos, estabelecendo

relações entre eles; embora exista

grande coerência, o foco é no conceito

de referencial como associado

fortemente ao movimento dos corpos

R2: explicação mais

detalhada do conceito com coerência

entre as relações estabelecidas entre

novos elementos incorporados

Rf1: abstração mais

elevada, com incorporação de

elementos mais gerais, com coerência

interna e relação entre os elementos.

É importante ressaltar que essa categorização, embora tenha um padrão pré -estabelecido, foi feita de forma a relacionar a descrição das categorias na teoria com as idéias expressas nas respostas, ou seja, não havia, a priori, correspondência direta dos conteúdos das respostas com as categorias da Taxonomia SOLO.

- A taxonomia SOLO também foi utilizada inicialmente para classificar as respostas dos alunos na segunda pesquisa. As questões avaliadas foram:
- 1 -Explicite seu entendimento sobre o funcionamento da TV do ponto de vista da tecnologia e dos fenômenos fífísicos envolvidos.
- 2 -Compare a TV que utiliza como princípio de funcionamento a tecnologia digital e a TV que funciona a partir da tecnologia analógica.
- 3 -Diga o que você sabe sobre o funcionamento da TV de tubos de Raios Catódicos e a TV de Plasma, tentando explicitar as diferenças entre elas.

Entretanto nos deparamos com a impossibilidade de adequar esse sistema ao tipo de questões propostas, uma vez que as categorias obtidas utilizando-se a taxonomia são mais restritas e dizem respeito a conteúdos bem delimitados nas perguntas. Ou seja, a Taxonomia SOLO é apropriada para categorizar dados obtidos a partir de questões bem direcionadas, o que não foi o caso da segunda investigação.

Outra maneira de analisar as respostas foi utilizar as Categorias Lógicas estabelecidas a partir da perspectiva da Teoria de Habilidades Dinâmicas (FISCHER, 1980). Elas se baseiam na classificação de níveis da Lógica de argumentação avaliada em uma resposta onde há explicitação de entendimento sobre um conteúdo específico. Dawson (2004) categoriza algumas respostas de estudantes sobre o Tópico de Energia, estabelecendo uma hierarquia para análise da estrutura de textos produzidos por eles: as categorias se referem justamente à forma como os conteúdos estão dispostos, de maneira a identificar a lógica estabelecida nas relações explícitas nas respostas. Esse sistema de categorias, embora tenha sido utilizado para analisar as atividades e testes de conhecimento, também não faz parte do presente relato.

- O sistema que utilizamos na investigação descrita foi o de Categorias de Conteúdo. Esse sistema foi baseado na perspectiva de avaliação docente de um conteúdo, mas com um refinamento de níveis hierárquicos de complexidade do entendimento. Dawson (2004), além de estabelecer uma estrutura lógica para as respostas de estudantes sobre Energia, constrói um sistema semelhante ao que fizemos para análise do conteúdo. Essa autora descreve seu sistema como uma ferramenta denominada Lectical Assessment System (LAS). Ela elabora classes para avaliação do entendimento de acordo com a quantidade de conceitos e/ou conteúdos explicitados pelos estudantes em suas respostas, em várias situações envolvendo Energia. Outros pesquisadores utilizam ferramentas semelhantes para analisar desenvolvimento de conceitos. Rappolt-Schlichtmann et al l (2007) apresenta categorias que se referem ao conteúdo de densidade, e analisa tarefas para identificar patamares de desenvolvimento de acordo com a Teoria de Habilidades Dinâmicas. Yan (2000) elabora uma escala de desenvolvimento a partir da identificação de patamares de entendimento de estudantes universitários sobre um programa de computador.
- O sistema que desenvolvemos pode ser utilizado por um professor para avaliar a progressão do entendimento de seus estudantes. Isso é possível uma vez que as categorias geradas se referem a conteúdos - o que usualmente é utilizado pelos professores para avaliarem seus alunos - e os níveis estão em concordância com a

acepção acadêmica: sendo sistematizados, facilitam a atribuição de patamares de entendimento durante o processo de aprendizagem. As categorias do sistema elaborado compreendem dois aspectos: os conteúdos a que se referem e o nível de complexidade com o qual esses conteúdos podem ser avaliados. Os conteúdos ou conceitos levantados foram considerados como temas. Assim, para uma mesma questão, tivemos diferentes temas que puderam ser constatados nas respostas. Além da identificação dos conteúdos e conceitos a que o estudante se reportou, o sistema de categorias elaborado compreendeu ainda uma forma de avaliar o grau de complexidade do entendimento que esse estudante explicitou ao responder a questão. Os níveis de complexidade foram específicos para cada tema. Eles se referem à exatidão dos conteúdos expostos em relação à concepção considerada correta, de maneira que, quanto mais próxima dessa concepção, maior a complexidade do nível de entendimento.

Por exemplo, para a primeira questão delimitamos 6 temas que dizem respeito ao conteúdo que pode ser encontrado nas respostas dos estudantes (quadro 01). Ainda para cada tema especificado, o estudante pode exibir um entendimento mais ou menos estruturado, o que é caracterizado pelas categorias específicas de cada tema. Isso foi feito para as três questões abertas. Nesse sentido, cada tarefa, atividade ou questão teve um sistema de categorias específico, obtido pela análise da natureza dessa tarefa, atividade ou questão, dos conteúdos e níveis de complexidade que elas compreendem e das respostas dadas pelos estudantes. A classificação das respostas segundo esse sistema nos possibilitou obter 51 itens a partir de 3 questões específicas (considerando os níveis de complexidade); esse fato permitiu que fizéssemos um tratamento estatístico dos dados podendo, inclusive, avaliar a mudança de um instante de medida a outro.

Esses dois sistemas foram utilizados em investigações distintas que tinham o objetivo em comum de avaliar o entendimento exibido por estudantes quando o mesmo foi verbalizado por escrito. Apesar dos propósitos terem sido semelhantes, os sistemas em muito se diferem, tanto em termos de concepção quanto em termos de natureza e de elaboração. Enquanto o primeiro se baseia fundamentalmente em pressupostos préestabelecidos teoricamente, o outro se estrutura a partir das respostas e das questões, ainda que seus fundamentos se apóiem nas perspectivas teóricas do desenvolvimento cognitivo.

## Resultados Gerais

Em ambas as pesquisas constatamos diferentes níveis de entendimento para os alunos das distintas séries, de acordo com cada sistema adotado. Na primeira investigação os alunos que tiveram contato com o tema mais de uma vez e de forma recente apresentaram um entendimento mais estruturado do ponto de vista acadêmico (alunos do terceiro ano seguidos dos alunos do primeiro ano e depois do segundo). Na segunda investigação houve aprendizagem, tanto para os alunos do primeiro ano como para os do terceiro, mas ela apresentou perfis diferenciados.

A A TV de TRC tem um tubo ou canhão de elétrons. A TV de plasma tem um gás. orias de Conteúdo da Primeira questão dos Testes de Conhecimento A Quadro 03 -A TV de TRC tem um tubo o Categorias de Conteúdo da Prou canhão de elétrons. A TV de plasma tem um gás imeira questão dos Testes de Conhecimento.

Os do terceiro ano tiveram maior progresso em tarefas do domínio tecnológico de conhecimento, enquanto que para os do primeiro ano isso ocorreu para conteúdos do domínio científico-escolar.

Esses dois resultados parciais da pesquisa foram interpretados segundo a perspectiva metodológica adotada, ou seja, aos sistemas de categorias utilizados na análise. Eles indicam as diferenças entre os estudantes investigados e revelam em que medida houve aprendizagem. Nesse sentido, ressaltamos a importância entre a coerência dos métodos de análise adotados e os dados, sendo esse um ponto fundamental de qualquer investigação e que, muitas vezes é considerado em segundo plano.

## Proposta de Análise

Tendo em vista a relevância dos métodos empregadas para analisar os dados no âmbito da pesquisa educacional, devemos discutir como melhor fundamentar e promover metodologias que atendam a um rigor próprio das investigações acadêmicas. Uma forma de buscarmos aprimorar nossos métodos é estabelecer critérios mais precisos de categorização de dados. Devemos pensar em termos de criar sistemas que subtendem uma lógica relacionada à teoria subjacente à pesquisa e que ao mesmo tempo de adéque de maneira propícia aos dados.

Alguns pesquisadores têm elaborado e aperfeiçoado ferramentas de análise e coleta de dados no sentido de buscar meios mais adequados para responderem seus problemas de pesquisa. Uma técnica que tem sido empregada é a utilização de métodos qualitativos e quantitativos de análise de dados.

Briggs (2004) avalia a evolução do entendimento de estudantes em três diferentes áreas: em termos do processo científico (relacionado a técnicas de laboratório), conteúdo científico e habilidades científicas. Sua pesquisa consiste em aplicação de pré testes, pós testes e testes intermediários, nos quais insere questões ou tarefas comuns para calibrar sua escala de medida. Reise et all l (2007) aplica a Teoria de Resposta ao Item (IRT) para construção de escalas comportamentais.

A IRT tem sido muito utilizada, tanto na psicologia como na educação, sendo o foco de muitos centros de estudos e programas computacionais desenvolvidos 2 para mensuração de traços latentes 2 .

A perspectiva quali quanti de análise foi utilizada em ambas as investigações aqui relatadas. Entretanto nosso foco nesse trabalho foi evidenciar dois métodos de análise qualitativa de respostas e expor os critérios e os procedimentos realizados para a construção dos sistemas. Acreditamos que, ao estabelecer diferentes formas de analisar um único dado, investigamos de forma mais profunda a natureza desse dado e podemos, dentro dos parâmetros da pesquisa, entendê-lo de maneira mais substancial.

## Considerações

Acreditamos que uma proposta que busque adequar e aproximar diferentes sistemas de categorias, principalmente com naturezas distintas como os aqui

r

descritos, possam contribuir para a construção de melhores instrumentos para conduzir pesquisas no âmbito educacional.

Ao elaborarmos métodos que incorporem a perspectiva docente de avaliação, ao mesmo tempo em que carreguem uma sustentação teórica para explicar os processos de mudança, estaremos aprimorando as maneiras de lidarmos com os dados subjetivos, além de termos mais evidências que nos permitam adequar nossas propostas de pesquisa aos problemas educacionais.

Nesse sentido, é preciso que tenhamos em mente a importância das escolhas dos métodos de análise dos dados e da sua influência nos resultados, interpretações e implicações para o ensino. A proposta que colocamos no presente artigo é a de criar sistemas diferenciados de classificação e categorização de respostas. Esses sistemas não devem ser arbitrários, e sim apoiados em teorias já estabelecidas, em metodologias já utilizadas em pesquisas acadêmicas e na própria perspectiva docente de avaliação.

Um estudo desses sistemas pode ser profícuo no sentido de estabelecer relações, se possível, entre as categorias, ressalvando a natureza de cada sistema. O propósito é desenvolver instrumentos e métodos que possam ser aplicados em conjunto ou separadamente, a depender do objeto e objetivo da investigação. Com isso estaremos contribuindo para que a metodologia na pesquisa em educação adquira novos elementos para serem discutidos, avaliados e aprimorados, com o intuito principal de buscar cada vez mais o rigor e a qualidade.

## Referências

- 1. AMANTES, A.; BORGES, O.. A Analisando o entendimento sobre sistema de referência e movimento relativo a partir de um modelo cognitivo estrutural. In. : Encontro de Pesquisa e Ensino de Física , 9, 2004, Jaboticatubas, MG. Anais... Jaboticatubas, MG: [s.n.], 2004.
- 2. AMANTES, A. O entendimento de estudantes do Ensino Médio sobre Movimento Relativo e Referencial Inercial. Dissertação de Mestrado, UFMG, 2005, 183p.
- 3. AMANTES, A. Contextualização no ensino de Física: feito sobre a evolução do entendimento dos estudantes. Tese de doutorado, UFMG, 2009, 275p.
- 4. AMANTES, A.; BORGES, O. Uso da taxonomia SOLO como ferramenta metodológica na pesquisa educacional. In: ENCONTRO NACIONAL DE PESQUISA EM EDUCAÇÃO EM CIÊNCIAS, 6, 2008, Florianópolis. Anais... Belo Horizonte: FAE\UFMG, 2008. v. Único. p. 1 -12.
- 5. ANDRÉ, D.A. Marli E. Pesquisa em educação: buscando rigor e qualidade. Cadernos de Pesquisa, São Paulo: Fundação Carlos Chagas, n.113, p.51-64, jul. 2001. Disponível em: http://www.tecnologiadeprojetos.com.br/banco. Acesso em: mai. 2010.
- 6. BIGGS, J.; COLLIS, K. Evaluating the quality of learning: the SOLO taxonomy. New York: Academic Press, 1982.
- 7. BIGGS, J.; COLLIS, K. Multimodal learning and the quality of intelligent behavior. In: ROWE, Helga A. H. (Ed.), Intelligence: reconceptualization and measurement. Hillsdale, NJ: Lawrence Erlbaum, 1991. cap. 5, p.57-76.

- 8. BOND, L. et al . The certification system of the National Board for Professional Teaching Standards: a construct and consequential validity study (Research Report). Greensboro, NC: University of North Caolina at Greensboro, Center for Educational Research and Evaluation, 2000.
- 9. BRASIL. Ministério da Educação. Secretaria de Educação Média e Tecnológica. Parâmetros Curriculares Nacionais: ensino médio. Brasília: MEC, 1999.
- 10.BRIGGS, J.; WILSON, M. An introduction to multidimensional measurement using Rasch models. In: SMITH, E.; SMITH, R. (Eds.) Introduction to Rasch measurement. Theory, models and applications. Maple Grove, MN: JAM Press, 2004, p. 322-341.
- 11.DAWSON, T. L.; WILSON, M. The LAAS: A computerizes developmental scoring system for small - and large-scale assessments. Educational Assessment, v. 9, 2004. p. 153-191.
- 12.FISCHER, K. W. A theory of cognitive development: the control and construction of hierarchies of skills. Psychological Review, v. 87, 1980. 477-531.
- 13.GOLAFSHANI, N. Understanding reliability and validity in qualitative research. The Qualitative Report , Canadá, v. 8, n. 4, p. 597-607, 2003. Disponível em: http://ace.upm.edu.my/~lateef/Handouts%20-%20dce%205920/golafshani%20%20reliability%20and%20validity%20in%20qual%20research. Acesso em: mai. 2010.
- 14.MORSE, J; BARET, M.; MAYAN, M.; OLSON, K.; SPIERS, J.. Verification strategies for establishing reliability and validity in qualitative research. International Journal of Qualitative Methods, Canadá, Vol. 1 Issue 2, p1-19, 19p. Spring 2002. Disponível em: http://www.ualberta.ca/~iiqm/backissues/1\_2Final/pdf. Acesso em: mai. 2010.
- 15.MILLAR, R.; LIM BEH, K.. Students' understanding of voltage in simple parallel electric circuits. International Journal of Science Education , A Amsterdam, v. 15, n. 4, p. 351-361, 1993.
- 16.PIAGET, Jean. Abstração Reflexionante: relações lógico-aritméticas e ordem das relações espaciais. Trad. Fernando Becker e Petronilha Beatriz Gonçalves da Silva. Porto Alegre: Artes Médicas, 1995.
- 17.POLANYI, M. The Tacit Dimension. Gloucester (Mass): Peter Smith, 1983. 108p.
- 18.RASCH, G. On specific objectivity: an attempt at formalizing the request for generality and validity of scientific statements. Danish Yearbook of Philosophy, v. 14, 1977. p. 58-94.
- 19.RAPPOLT -SCHLICHTMANN, G.; et al. Transient and Robust Knowledge: contextual support and the dynamics of children's reasoning about density. Mind, Brain, and Education. v. 1, n. 2, June 2007, p. 98-108.
- 20.REISE, S. P.; MORIZOT, J.; HAYS, R. D. (2007). The role of the bifactor model in resolving dimensionality issues in health outcomes measures. Quality of Life Research, n. 16, 2007, p. 19-31.
- 21.YAN, Z. A thesis presented to the faculty of the Graduate School of Education of Harvard University in Partial Fulfillment of the Requirements for the Degree of Doctor of Education. 2000.