A ANÁLISE MULTINÍVEL EM ESTUDOS LONGITUDINAIS: INVESTIGANDO A EVOLUÇÃO DO ENTENDIMENTO DOS ESTUDANTES EM ELETRICIDADE

## A ANÁLISE MULTINÍVEL EM ESTUDOS LONGITUDINAIS: INVESTIGANDO A EVOLUÇÃO DO ENTENDIMENTO DOS ESTUDANTES EM ELETRICIDADE

## MULTILEVEL ANALYSIS IN LONGITUDINAL STUDIES: INVESTIGATING THE EVOLUTION OF UNDERSTANDING OF STUDENTS IN ELECTRICITY

## Geide Rosa Coelho 1 , Amanda Amantes Neiva Ribeiro 2

1 UFES/Centro de Educação- Programa de Pós-Graduação em Ensino de Física/geidecoelho@gmail.com

2 UFBA/Faculdade de Educação- Programa de Pós-Graduação em Ensino, Filosofia e História das Ciências /amandaamantes@gmail.com

## Resumo

No estudo relatado temos o propósito de apresentar uma estrutura de análise que permite estabelecer a relação entre mudanças de atributos do sujeito ao longo do tempo e variáveis preditoras dessas mudanças. Utilizamos essa perspectiva metodológica para responder duas questões: (i) os estudantes, da terceira série do Ensino Médio, evoluem no entendimento dos conceitos de eletricidade ao longo da instrução? e (ii) Quais preditores ou indicadores contribuem para explicar a evolução dos mesmos no domínio investigado? Para atender a esses propósitos um estudo longitudinal com três ondas de dados foi desenvolvido. A amostra foi composta por 135 estudantes da 3ª série do ano de 2008 de uma Instituição Federal de Ensino (IFE). Esses estudantes participaram de pelo menos duas ocasiões de medida, sendo que 86 deles participaram das três ondas de dados e 49 participaram de pelo menos duas ondas. O entendimento dos estudantes foi estimado através do tratamento Rasch . O entendimento dos estudantes em cada ocasião de medida, e as variáveis preditoras, foram organizadas/modeladas em uma estrutura hierárquica multinível. Os resultados indicam que os estudantes evoluíram no entendimento dos conceitos de eletricidade, sendo o engajamento cognitivo um dos fatores mais relevantes para a aprendizagem desses conceitos. Além disso, destacamos o potencial da utilização da análise multinível nos estudos de mudança. Trata-se de uma estrutura de análise sofisticada e rigorosa que pode/deve ser contemplada nas pesquisas educacionais que se detêm a investigar mudanças no processo de ensino e aprendizagem e que, além disso, procuram explicar os fatores contextuais ou psicológicos associadas a essas mudanças.

Palavras-chave : Estudo longitudinal, Análise multinível, evolução do entendimento, eletricidade.

## Abstract

We report in this paper a framework for analyzing relationships between understanding built along an education instruction and factors that improve learning. Two questions had arisen: (i) did the students who were submitted to instruction (they were high school seniors) develop understanding about the electricity's

contends? and (ii) Which predictors or indicators help to explain their evolution in the domain investigation? Our methodological approach embraced three waves of data, which enabled us to lead a longitudinal study. The sample was represented by 135 students from 2008 senior class of a Federal Education Institute (IFE). Some of these students participated of just two waves (49 students). 86 of them participated of the three waves. We applied Rasch models for analysis, which provided us with subjects estimated parameters. We used proficiency estimated by Rasch in each occasion to interpret student's understanding. For this purpose, multilevel analyses took place. Through this kind of analysis a multilevel hierarchical structure was tested with different variables, and the results were that many factors had influenced learning. One of the most important learning predictors we found were the cognitive engagement. Furthermore, we emphasize the potential use of multilevel analysis studies on changing teaching processes. It is a rigorous and sophisticated analysis that can/should be included in educational research to investigate the changes in the whole educational area. Moreover, it can explain the psychological and contextual factors associated with these changes.

Keywords : Longitudinal study, multilevel analysis, evolution of the understanding, electricity

## Introdução

Nesse estudo temos o propósito de apresentar uma estrutura de análise que permite estabelecer uma relação entre as mudanças de atributos do sujeito ao longo do tempo e as variáveis preditoras dessas mudanças. Utilizamos essa perspectiva metodológica para responder a duas questões: (i) os estudantes, da terceira série do Ensino Médio, evoluem no entendimento dos conceitos de eletricidade ao longo da unidade de ensino? e (ii) Quais preditores (como gênero, turma, curso, nível socioeconômico, engajamento comportamental e cognitivo do estudante) contribuem para explicar a evolução dos mesmos no domínio investigado? Para atender a esses propósitos um estudo longitudinal, com três ondas de dados, foi desenvolvido. A medida do entendimento dos estudantes, em cada ocasião de medida, e as variáveis preditoras foram organizadas/modeladas em uma estrutura hierárquica de dois níveis.

## Os estudos longitudinais

A essência dos estudos longitudinais está na tentativa de fornecer evidências sobre mudanças nas pessoas ou entidades ao longo do tempo (WHITE e ARZI, 2005). Singer e Willett (2003) destacam que ao desenvolver um estudo longitudinal duas questões devem ser respondidas: (i) Como o desempenho da pessoa muda ao longo do tempo? e (ii) Como podemos explicar as diferenças entre as pessoas ao longo do tempo? A primeira questão é descritiva e caracteriza o padrão de mudança de cada estudante ao longo do tempo. A segunda questão é relacional e é importante para examinar a relação entre preditores e os padrões de mudança observados. Os autores também chamam a atenção a três requisitos que devem ser considerados nos estudos de mudança: (i) a necessidade de múltiplas ondas de dados; (ii) uma métrica significativa de tempo e (iii) o acesso a dados que mudam sistematicamente no tempo.

## A Análise Multinível e os estudos longitudinais

As questões subjacentes ao estudo longitudinal sugerem que elas sejam respondidas considerando pelo menos dois níveis em relação aos sujeitos investigados: (i) no primeiro nível (no indivíduo), o interesse está em investigar como cada pessoa muda ao longo do tempo e (ii) no segundo nível (entre os indivíduos), o interesse está em estabelecer relações entre tendências de crescimento e os preditores.

## Nível 1 - Como o desempenho da pessoa muda ao longo do tempo?

O modelo de crescimento individual em que a mudança estabelece uma relação linear com o tempo pode ser expresso pela equação 1:

<!-- formula-not-decoded -->

Essa equação expressa o comportamento médio de uma população sendo que, , representa como o entendimento da pessoa i varia linearmente no tempo j. Este modelo assume a existência de uma linha reta que representa verdadeiramente como cada pessoa muda ao longo do tempo e qualquer desvio nessa linearidade está associado a um efeito aleatório, ou seja, um erro de medida .

A primeira parte da equação representa a parte estrutural do modelo de primeiro nível. Nessa primeira parte temos a estimativa do intercepto , que representa o estado inicial da população e da inclinação , que representa a taxa de crescimento ou decrescimento (dependendo do sinal do parâmetro) da população. A segunda parte da equação representa a parte estocástica e está associada à variância não explicada no primeiro nível, apresentando-se como uma componente residual e aleatória do modelo.

## Nível 2 - Como podemos explicar as diferenças entre as pessoas ao longo do tempo?

- O segundo nível codifica a relação entre os parâmetros de crescimento individual (parâmetros do primeiro nível) e os preditores. Essa relação é estabelecida para que se possa investigar a diferença de crescimento entre os indivíduos da população e, assim, responder a questão inerente a esse nível da análise multinível. As equações 2 e 3 representam o modelo de segundo nível.

<!-- formula-not-decoded -->

<!-- formula-not-decoded -->

Analisando as equações percebemos a presença de seis parâmetros para a população: os quatro parâmetros da regressão ( , , , ) e dois parâmetros residuais ( , ). A parte estrutural do modelo apresenta os parâmetros que capturam as diferenças entre as trajetórias de mudança dos indivíduos, relacionando-as com os preditores de segundo nível. Os parâmetros e são os interceptos de segundo nível, os parâmetros e são as inclinações do segundo nível.

As inclinações (taxas de crescimento) de segundo nível são os parâmetros de maior interesse quando o objetivo do estudo está em apresentar evidências sobre os fatores que interferem na aprendizagem , pois elas representam o efeito dos 1 preditores nas trajetórias de aprendizagem dos estudantes.

Apesar de apresentar as equações separadas para estabelecer a relação entre os parâmetros de primeiro nível e os preditores, podemos estruturar os parâmetros de primeiro e segundo nível em uma única equação:

<!-- formula-not-decoded -->

## As estruturas alternativas para a matriz de covariância

Singer e Willett (2003) chamam a atenção para a complexidade envolvida na estimativa dos componentes residuais de segundo nível. Os autores apontam para algumas características da análise multinível que podem limitar a convergência dos algoritmos para a estimativa das componentes residuais, são elas: (i) a intensidade com que os dados encontram-se desbalanceados ou desiguais; (ii) a complexidade envolvida no modelo e (iii) o pequeno número de ondas de dados.

Alguns autores têm sinalizado para a modelagem da estrutura de covariância como forma de garantir o bom ajuste das estimativas dos parâmetros da análise multinível (GOLDSTEIN, HEALY E RASBASCH, 1994; PEUGH E ENDERS, 2005; AL-MARSHADI, 2007). Esses autores também reconhecem a potencialidade do uso das estatísticas Akaike Information Criterion -AIC (AKAIKE, 1973) e Bayesian Information Criterion -BIC (SCHWARZ, 1978) como forma de identificar o ajuste desses modelos desenvolvidos. Essas estatísticas são recomendadas para analisar o ajuste de qualquer par de modelos, inclusive os que não se encontram aninhados, como os que apresentam diferenças na estrutura da matriz de covariância.

As seis estruturas alternativas para a matriz de covariância, que podem ser utilizadas nos estudos longitudinais são: Não-estruturada (UN), Simétrica Composta (CS), Simetria Composta Heterogênea (CSH), Autoregressiva de Primeira Ordem (AR1), Autoregressiva de Primeira Ordem Heterogênea (ARH1) e Toeplitz (TOEP).

## Delineamento metodológico

## A instituição de ensino e os sujeitos participantes da pesquisa

Participaram desse estudo, 135 estudantes da 3ª série do ano de 2008 de uma Instituição Federal de Ensino (IFE). A IFE oferta, desde 1998, Ensino Médio e Ensino Médio concomitante com o Ensino Tecnológico de nível Médio (ETM) nas modalidades de Eletrônica, Instrumentação, Patologia Clínica e Química. Esses estudantes participaram de pelo menos duas ocasiões de medida, sendo que 86 deles participaram das três ondas de dados e 49 participaram de pelo menos duas ondas. Desses 135 estudantes, 73 eram do sexo masculino e 62 do sexo feminino. A série estava organizada em 6 turmas: uma composta com estudantes do Ensino Médio (turma 2- com 23 estudantes), uma para os estudantes ETM de Química (turma 6-com 32 estudantes), uma para os estudantes ETM de Patologia Clínica

(turma 3-com 27 estudantes) e três turmas mistas com estudantes ETM do curso de Eletrônica e Instrumentação (turmas 1, 4 e 5-com 53 estudantes no conjunto).

## A Lógica da investigação

## As ondas de dados

Singer e Willet (2003) sugerem que os estudos longitudinais sejam desenvolvidos com três ou mais ondas de dados. Para atender a esse requisito, o estudo relatado foi organizado com coleta de dados em três ocasiões. Em cada onda, atividades ou provas foram aplicadas para os estudantes. Nas duas primeiras ocasiões, os estudantes responderam a duas questões dissertativas que envolviam uma mesma situação física. Na terceira onda, os estudantes responderam a uma prova com questões fechadas, que apesar de não envolver a elaboração de uma redação (como nas atividades das duas primeiras ondas), exigia a recordação de conceitos e teorias, a aplicação de conceitos em uma situação não familiar. Além disso, as questões da prova e das atividades dissertativas abarcavam os conceitos físicos inerentes ao funcionamento de um circuito elétrico. Dessa forma, em todas as atividades os estudantes foram avaliados quanto ao seu entendimento sobre a natureza da corrente elétrica, as transformações de energia e os princípios de conservação envolvidos em um circuito elétrico.

## A métrica do tempo

Diversas seriam as possibilidades para a unidade temporal do acompanhamento longitudinal desenvolvido nesse estudo: dias corridos, dias letivos, número de aulas, etc. O número de dias corridos e dias letivos correspondem a uma métrica aparentemente objetiva, entretanto, nenhuma delas captura o tempo pelo qual os estudantes foram submetidos à instrução na disciplina física, tampouco leva em consideração as diferenças temporais relacionadas aos ritmos adotados pelos professores nas diferentes turmas. Já o número de aulas, apesar de não ser uma métrica minuciosa, detalhada e de também não especificar os diferentes ritmos das turmas, tem como vantagem utilizar a organização temporal pela qual os estudantes se guiam durante o ano letivo e que os professores planejam e executam suas atividades didáticas. Diante desse panorama, consideramos que o número de aulas ministradas durante o curso de física corresponde à melhor métrica para o tempo nesse estudo longitudinal.

## O que muda ao longo do tempo?

Nesse estudo investigamos a mudança no parâmetro que caracteriza as pessoas no modelo Rasch . O parâmetro da pessoa é uma estimativa resultante do tratamento Rasch e apresenta-se sob um contínuo de valores. Além disso, o parâmetro das pessoas será interpretado como uma medida do entendimento dos estudantes em eletricidade pelas seguintes razões: (i) o conteúdo substancial dos itens e (ii) mantendo-se constante o parâmetro do item (que define a sua dificuldade ou complexidade) entre as ocasiões de medida, o parâmetro da pessoa pode ser interpretado como a medida do entendimento do estudante em cada uma dessas ocasiões.

Os modelos da família Rasch permitem colocar em uma mesma 'régua' (em uma mesma escala intervalar) os valores da dificuldade dos itens e do entendimento das pessoas. Como no estudo longitudinal pretendemos verificar mudanças nas pessoas, a obtenção de uma métrica comum e estável ao longo do tempo deve ser alcançada. Por isso, decidimos estudar a evolução através da interpretação da mudança nas posições dos estudantes em um contínuo de entendimentos (através da construção de uma escala intervalar de entendimento), ao invés de interpretar a evolução do entendimento analisando somente as diferenças qualitativas entre as concepções que eles poderiam apresentar nas diferentes ocasiões de medida.

## Os preditores do estudo

Os preditores foram transformados em variáveis numéricas (categóricas ou dicotômicas) para que a análise de segundo nível (que estabelece a relação entre as trajetórias de aprendizagem e variáveis preditoras) pudesse ser conduzida em um software específico. Os preditores utilizados nesse estudo foram: (i) o curso frequentado pelo estudante (variável categórica sendo que 1-ETM Eletrônica e Instrumentação; 2-Ensino Médio; 3-ETM de Patologia Clínica e 4-ETM de Química); (ii) a turma do estudante (variável categórica sendo que 1-turma 1; 2-turma 2; 3turma 3; 4- turma 4; 5-turma 5 e 6-turma 6); (iii) o gênero (variável dicotômica sendo 0-menino e 1-menina); (iv) o engajamento comportamental do estudante (variável dicotômica sendo 0-baixo engajamento comportamental (baixoengajcomp) e 1-alto engajamento comportamental (altoengajcomp)); (v) o engajamento cognitivo do estudante (variável categórica sendo 1- engajcogest- agrupamos os estudantes que mantiveram-se engajados cognitivamente ao longo das aulas; 2-engajcogohencontravam-se os estudantes que apresentavam uma instabilidade, com relação ao engajamento cognitivo, ao longo de todas as aulas do curso ; 3-engajcogof- reunia os estudantes que apresentavam uma certa instabilidade, com relação ao engajamento cognitivo, ao final das aulas do curso e 4-engajcogoa- agrupamos os estudantes que no início do curso, apresentavam uma grande instabilidade com relação ao engajamento cognitivo) e (vi) o nível socioeconômico (NSE) do estudante (variável dicotômica sendo 0- baixo NSE e 1- alto NSE).

## Análise, Resultados e Discussões

## Análise de primeiro nível- Como o entendimento dos estudantes muda ao longo do tempo?

A análise de primeiro nível foi ajustada com as seis estruturas alternativas para a matriz de covariância, já que os nossos dados apresentavam uma organização não balanceada (ou seja, com dados faltantes). As estatísticas AIC e BIC foram utilizadas para selecionar o modelo com melhor ajuste. O procedimento foi conduzido no software SPSS versão 16 no modo 'modelos mistos'. O software fornece as estimativas dos parâmetros dos modelos testados e das estatísticas de ajuste (Deviância, AIC e BIC) 2 .

TABELA 1: Ajuste global do modelo de primeiro nível com diferentes matrizes de covariância

A tabela 1 apresenta o resultado do ajuste da regressão de primeiro nível para os modelos construídos com as seis estruturas de covariância alternativa e também para a estrutura de covariância padrão. Podemos perceber que o modelo com a matriz de covariância Não-estruturada (UN) foi a que apresentou o melhor ajuste (menor valor das estatísticas AIC e BIC se comparado às outras estruturas de covariância). As estimativas dos parâmetros fixos mantiveram-se significativos (t= 3 11,268 (1,048/0,093) para o intercepto e t= 16,235 (1,997/0,123) para a inclinação). O resultado da análise de primeiro nível pode ser representado pela equação 5:

<!-- formula-not-decoded -->

O resultado da análise de primeiro nível ajustado com a estrutura de covariância Não-estruturada indica que os estudantes iniciam a unidade de eletricidade com um entendimento relativamente baixo (-1,048 logits), entretanto, apresentam uma inclinação positiva (1,997 logits), um indício da evolução do entendimento ao longo do tempo.

## Análise de segundo nível- Quais preditores contribuem para explicar a evolução no entendimento dos estudantes?

Constatamos que a população evoluiu no entendimento dos conceitos no domínio da eletricidade. Para estabelecer a relação entre os parâmetros do primeiro nível (intercepto e inclinação) e os preditores engajamento cognitivo, turma e curso , 4 utilizamos uma estrutura de covariância alternativa para a construção da análise de segundo nível. Esse procedimento também foi conduzido no SPSS versão 16 no modo 'modelos mistos'.

Para descrever o comportamento da população, foram construídos diferentes modelos de crescimento individual acrescentando os preditores descritos anteriormente um de cada vez. Esses modelos foram testados primeiramente com a estrutura de covariância Não-estruturada (UN) por apresentar o melhor ajuste na análise de primeiro nível. Verificamos que três desses modelos mantiveram uma estrutura aninhada (hierárquica) com todos os seus parâmetros significativos. A

além do número de parâmetros, leva em consideração o tamanho da amostra. Essas estatísticas quantificam quanto pior é o modelo testado se comparado com o melhor modelo possível. Isso significa dizer que quanto menor o valor dessas estatísticas, mais próximo do melhor modelo possível está o modelo testado e, por isso, temos o melhor ajuste.

tabela 2 apresenta os resultados das estatísticas de ajuste (Deviância, AIC e BIC) e da estimativa dos parâmetros do intercepto e da inclinação para esses três modelos.

TABELA 2: Resultado dos modelos ajustados com a covariância UN para o segundo nível da análise multinível

Analisando a tabela 2 constatamos que à medida que os preditores foram inseridos no modelo de primeiro nível o ajuste global do modelo melhorou. O modelo C é o que apresenta o melhor ajuste por alcançar um menor valor para a deviância e para as estatísticas AIC e BIC. Entretanto, testamos se o modelo C com a estrutura alternativa Não-estruturada realmente apresentava um ajuste melhor do que se o modelo fosse construído com as outras 5 estruturas de covariância alternativa. A tabela 3 apresenta o resultado do ajuste do modelo C com as diferentes estruturas para a matriz de covariância.

TABELA 3: Resultado dos modelos ajustados com diferentes matrizes de covariância para o segundo nível da análise multinível

Analisando a tabela 3, podemos perceber que o modelo C com a estrutura de covariância Simétrica Composta Heterogênea (CSH) ajustou-se melhor do que quando o modelo foi testado com a estrutura de covariância Não-estruturada (AICCSH&lt; AICUN; BICCSH &lt; BICUN). O ajuste do modelo com a estrutura de covariância Simétrica Composta Heterogênea pode ser representado pela equação 6:

( ) 6 ) )( ( 741 , 0 ) 2 )( 157 , 0 ( 822 , 0 ) )( 147 , 0 ( 887 , 1 917 , 0 ij i i ij ij tempo t engajcoges turma tempo Y + -+ -=

As estimativas dos parâmetros são significativas (t=8,336 (0,917/0,110) para o intercepto de primeiro nível, t= 12,837(1,887/0,147) para a inclinação de primeiro nível, t=5,236(0,822/0,157) para o intercepto de segundo nível e t= 3,180 (0,741/0,233) para a inclinação de segundo nível). A equação apresenta o efeito das variáveis preditoras- engajamento cognitivo estável (engajcogest) e turma2- na evolução média da população. Podemos notar que a manutenção do engajamento cognitivo é fator determinante para uma maior evolução no entendimento dos estudantes. Além disso, o fato do estudante pertencer a turma 2, não apresenta efeitos sobre a taxa evolutiva dos mesmos.

## Considerações finais

Destacamos o potencial da utilização da análise hierárquica multinível nos estudos de mudança. Trata-se de uma estrutura de análise sofisticada que pode/deve ser contemplada nas pesquisas educacionais que se detêm a investigar mudanças no processo de ensino-aprendizagem, seja nos indivíduos (o que reflete a aprendizagem em diferentes áreas ou domínios de conhecimentos), seja nos grupos de estudos ou na qualidade de episódios/argumentações/discursos. Além disso, essa análise leva em consideração fatores contextuais ou psicológicos associadas a essas mudanças, testados como preditores. Outro argumento favorável ao desenvolvimento desse tipo de análise é que ela permite a utilização de dados faltantes em sua estrutura (HEDEKER e GIBBONS, 2006), característica extremamente relevante em um estudo longitudinal, já que o mesmo subtende medidas repetidas e o sujeito pode não participar de uma das ondas de dados por ter faltado em um dia de teste.

Nesse estudo, por exemplo, essa estrutura de análise foi utilizada para investigar se os estudantes evoluíram no entendimento dos conceitos de eletricidade e também procurou identificar os fatores contextuais (preditores) que contribuíram para explicar essas evoluções. Verificamos que os estudantes evoluíram no entendimento desses conceitos, um indício que houve aprendizagem desses estudantes ao longo da unidade de eletricidade ministrada na terceira série do Ensino Médio. Além disso, constatamos que a manutenção do engajamento cognitivo durante as aulas foi um dos fatores mais relevantes para a aprendizagem dos conceitos estudados.

## Referências Bibliográficas

AKAIKE, H. Information theory as an extension of the maximum likelihood principle. In. PETROV, B. N. E CSAKI,F. (eds). Second International symposium information theory , Budapest, Hungary: Academiai Kiado, 1973.

AL-MARSHADI, A.H., The new approach to guide the selection of the covariance structure in mixed model. Research. Journal of Medicine and Medical Sciences , v.2, p.88-97, 2007. Disponível em: http://www.insipub.com/rjmms/2007/88-97.pdf, Acessado em 15/05/2010.

GOLDSTEIN, H., HEALY, M. J. R., RASBASH, J. Multilevel time series models with applications to repeated measures data. Statistics in Medicine , v.13, p.1643-1655, 1994.

HEDEKER, D., GIBBONS, R. D. Longitudinal Data Analysis , Hoboken, NJ: Wiley. 337p, 2006.

PEUGH, J. L.; ENDERS, C. K. Using SPSS Mixed Procedure to fit cross-sectional and longitudinal multilevel models. Educational and Psychological Measurement , v. 65, n. 5, p. 717-741, 2005.

SCHWARZ, G. ESTIMATING THE DIMENSION OF MODEL. ANNALS OF STATISTICS , V. 6, P. 461-464, 1978.

SINGER, J. D; WILLETT, J. B. Applied Longitudinal Data Analysis: Modeling Change And Event Occurrence . New York: OXFORD, 2003.

SPSS. BASE 16.0 FOR WINDOWS . CHICAGO: SPSS, 2007.

WHITE, R. T.; ARZI, H. J. Longitudinal studies: Designs, Validity, Practicality, and Value. Research in Science Education , v.35, n.1, p. 137-149, 2005.