TEORIA DA RESPOSTA AO ITEM: POSSIBILIDADES DE APLICAÇÃO EM AVALIAÇÕES NO ENSINO DE FÍSICA

## TEORIA DA RESPOSTA AO ITEM: POSSIBILIDADES DE APLICAÇÃO EM AVALIAÇÕES NO ENSINO DE FÍSICA

## ITEM RESPONSE THEORY: POSSIBILITIES OF APPLICATION SCHOOL ASSESMENTS IN PHYSICS TEACHING

## George Frederick Tavares da Silva , Geovane de Almeida Pessoa 1 2

1 Universidade Federal Rural do Semi Árido/Departamento de Ciências Exatas e Naturais, frederick@ufersa.edu.br

2 Universidade Federal Rural do Semi Árido/Mestrado Nacional Profissional em Ensino de Física geovanepessoa82@gmail.com

## Resumo

Neste trabalho, apresentaremos o modelo logístico de dois parâmetros ML2 da Teoria da Resposta ao Item - TRI aplicado às avaliações escolares, o qual tem se mostrado como uma alternativa ao modelo tradicional de avaliação com base na Teoria Clássica dos Testes - TCT. A TRI tem sido muito utilizada em avaliações educacionais no Brasil e no mundo e, embora a TRI geralmente se aplique em avaliações de larga escala, mostraremos uma aplicação simples do ML2 aplicado a uma única população de pouco mais de cem estudantes sujeitos a um teste com apenas doze questões, envolvendo Cinemática e as Leis de Newton. Os resultados dos desempenhos dos estudantes, nesse modelo, foram comparados com o resultado do método tradicional, e algumas considerações foram feitas sobre as vantagens e as desvantagens do modelo em relação ao modelo tradicional de medidas de proficiências de estudantes de Física da primeira série do Ensino Médio.

Palavras-chave : TRI, Avaliação, Estatística.

## Abstract

In this work we present the two-parameter logistic model - ML2 of Item Response Theory - IRT applied to school evaluation, which has been shown as an alternative to traditional evaluation model based on classical test theory - TCT. Although IRT is generally applied only to large-scale reviews, show a simple application of ML2 applied to a single population of just over a hundred individuals subject to a test with only twelve issues involving kinematics and Newton's Laws. The results of the performance of students in this model are compared with the traditional results and some considerations are made about the advantages and disadvantages of the model over the traditional model measures proficiencies Physics students of the first year of high school.

Keywords : IRT, Evaluation, Statistics.

## Introdução

A avaliação acadêmica de estudantes diz respeito tanto ao processo de ensino quanto ao de aprendizagem e, por isso, é uma das atividades centrais das instituições de ensino básico e superior. Portanto, é de grande interesse a utilização

de ferramentas avaliativas mais eficientes com relação à medida da proficiência do estudante que possibilitem identificar dificuldades no processo de aprendizagem e, consequentemente, melhorar as práticas didáticas dos docentes. Entretanto, avaliar não é uma tarefa fácil, e existem muitas divergências e perspectivas bem distintas quando o assunto é a melhor forma de avaliação no ensino básico e no superior (OLIVEIRA, 2005; LUCKESI, 1998). Talvez não exista a melhor ferramenta avaliativa, mas sim uma infinidade delas que melhor se adaptam às situações mais diversas. Neste trabalho, não pretendemos entrar nessa questão de mérito do método, mas principalmente apresentar uma proposta de avaliação quantitativa que faz uso de modelos estatísticos os quais podem, em diversas situações, apresentar vantagens importantes em relação às avaliações quantitativas clássicas que ainda são as mais utilizadas.

Nas avaliações tradicionais é comum o uso de testes nos quais pontos ou escores são atribuídos aos itens (ou questões) e, assim, uma nota geralmente entre zero e dez é dada ao estudante de acordo com o número de itens respondidos corretamente. Tal metodologia tem como base a Teoria Clássica das Medidas (TCM) também conhecida como Teoria Clássica dos Testes - TCT e tem sido utilizada há décadas (ANDRADE, 2000). No entanto, esse método não permite, por exemplo, afirmar que dois estudantes com a mesma nota possuam o mesmo nível de proficiência em avaliações distintas, uma vez que o nível destas também deve ser diferente. Além disso, testes que possuem questões com mesmo peso na avaliação, o que é muito comum, certamente não conseguem distinguir estudantes que acertaram o mesmo número de questões, mas que possivelmente tenham níveis de proficiência diferentes. Atribuir pesos às questões de um teste é uma alternativa para contornar esse problema, porém dois educadores provavelmente escolheriam pesos distintos em uma mesma avaliação. Nesse trabalho, pretende-se apresentar uma forte candidata na minimização desses problemas na avaliação da aprendizagem de forma quantitativa, a Teoria da Resposta ao Item - TRI.

A teoria é composta por um conjunto de métodos estatísticos, que envolvem cálculos avançados, utilizada para medir parâmetros de itens (ou questões) e traços latentes (proficiências ou habilidades no contexto de avaliação educacional). Ela consiste basicamente em associar a probabilidade de acerto de um estudante em um determinado item aos parâmetros do item e do indivíduo. Segundo a teoria, os parâmetros dos itens são características intrínsecas, ou seja, não dependem das habilidades dos estudantes que responderam, assim como o parâmetro associado ao estudante, geralmente definida como o nível de habilidade, depende somente do estudante e não dos itens de um determinado teste respondido por ele (ANDRADE, 2000).

A TRI não é uma técnica recente. Ela surgiu na década de cinquenta e tem se desenvolvido até os dias atuais, principalmente com o avanço da informática, o qual possibilitou, por exemplo, o desenvolvimento de softwares sofisticados destinados ao cálculo dos parâmetros da teoria. Possui uma vasta aplicação como em testes psicométricos (PASQUALI, 2003), estudos sobre a qualidade de vida de idosos, pesquisa de marketing e exames educacionais em larga escala. No Brasil, a TRI é mais nova e foi aplicada pela primeira vez, em 1996, na análise de dados gerados pela pesquisa AVEJU da Secretaria de Estado da Educação de São Paulo (KLEIN, 2009) e posteriormente no Sistema de Avaliação de Rendimento Escolar do Estado de São Paulo - SARESP e no Sistema de Avaliação da Educação Básica SAEB do Instituto Nacional de Pesquisas Educacionais Anísio Teixeira - INEP do

Ministério da Educação MEC (JUNIOR 2010; KLEIN,2009; ANDRADE 2000). Tornou-se bem popular com a aplicação no Exame Nacional do Ensino Médio ENEM, desde 2009, pelo INEP/MEC, e essa popularização tem despertado a curiosidade do público leigo e ainda o interesse de vários outros professores e pesquisadores da área de educação por todo País.

## Fundamento Teórico

A TRI pode ser aplicada de várias formas ou modelos, os quais podem ser classificados segundo três aspectos fundamentais: o tipo das questões, ou seja, se elas são dicotômicas (verdadeiro ou falso) ou dicotomizados, ou não dicotômicas; o número de populações envolvidas; e a quantidade de traços latentes a serem medidos (ANDRADE, 2000). Neste trabalho, vamos apresentar o modelo para testes dicotomizados (podem ser abertos ou de múltipla escolha), ou seja, itens avaliados como certo ou errado e aplicados a uma única população para medir uma única habilidade (modelo unidimensional) que, no caso, será a proficiência do estudante em um determinado assunto. Além dessas definições iniciais, pode-se ainda escolher o número de parâmetros característicos dos itens. O caso mais geral é o que utiliza os três parâmetros, a saber: Parâmetro de dificuldade, geralmente representado pela letra b j ; pode ter valores reais dentro de uma escala pré-definida, e deve significar o nível de dificuldade da -ésima questão. Limitaremos o valor de j bj entre -2,5 e 2,5 (mesma escala da proficiência); Parâmetro de discriminação, representado por aj , geralmente com valores reais e positivos, e que deve dizer quanto a -ésima questão pode diferenciar estudantes de maiores proficiências dos j de menores em relação ao nível de dificuldade da questão; e, por fim, o parâmetro de acerto por acaso, número real entre zero e um e significa a probabilidade do estudante acertar no 'chute'. É representado por cj . Esse modelo é conhecido como Modelo Logístico de Três Parâmetros - ML3 e nele é definida a probabilidade do i ésimo estudante com nível de proficiência θ i acertar a -ésima questão é dada por, j

P

<!-- formula-not-decoded -->

Em que D é um fator de escala igual a 1,702 . Esse valor tem como objetivo tornar a distribuição mais próxima de uma ogiva normal (COSTA, 2009; ANDRADE, 2000). O caso particular em que cj = 0 , corresponde ao Modelo Logístico de dois Parâmetros - ML2 (dificuldade e discriminação), que será o modelo utilizado neste trabalho. Nesse caso temos,

P

<!-- formula-not-decoded -->

A Figura 1 mostra gráficos da probabilidade em função da habilidade, para alguns valores de aj e bj , de acordo com a Eq. (2). Eles são denominados curvas características do item - CCI. Inicialmente, pode-se observar que a probabilidade Pij cresce com o valor da habilidade θ i , pois se espera que quanto maior a habilidade de um dado estudante, maiores são suas chances de acertar uma determinada questão. Além disso, a dificuldade da questão corresponde ao valor de θ i no qual a probabilidade de acerto da questão seja de meio, ou seja, de 50%. Com isso, quanto mais difícil é uma questão, mais à direita estará o ponto de inflexão na CCI, e quanto mais fácil, mais à esquerda ele ficará. Já o parâmetro de discriminação da questão é proporcional à inclinação da CCI em θ i = b j (reta no gráfico). Quanto maior essa inclinação, ou igualmente o valor de aj , maior será o poder de discriminação do item. Isso significa dizer que uma questão com discriminação alta consegue diferenciar melhor os estudantes quanto a sua habilidade em relação ao nível da questão. Faz-

ntido valores negativos para aj , pois não esperamos que a chance de acerto de uma questão diminua com o aumento da habilidade.

Figura 1 : Curvas características dos itens para quatro possíveis valores de discriminação e dificuldade. A reta, no ponto de inflexão, é proporcional à medida da discriminação, enquanto que a dificuldade é a abscissa no ponto de inflexão.

<!-- image -->

As estimativas das habilidades dos estudantes e dos parâmetros dos itens podem ser feitas pelo Método da Máxima Verossimilhança - MMV(ANDRADE,2000). O método consiste em, a partir de um padrão de respostas (representado pela variável dicotômica uij ) aos itens de um determinado teste, estimar os parâmetros por meio da maximização de uma função denominada verossimilhança dada pelo produtório,

V =

<!-- formula-not-decoded -->

Em que Ne e Nq são, respectivamente, o número de estudantes e as questões envolvidas no teste. Se uij = 1, a probabilidade é de acerto, dada por Pij da Eq. (2), e se uij = ,0 a probabilidade será a de erro, dada por

Q

<!-- formula-not-decoded -->

Usando a notação acima, podemos escrever a verossimilhança como

V =

<!-- formula-not-decoded -->

Entretanto, é mais comum ou mais simples maximizar o logaritmo da verossimilhança que é dado pela log-verossimilhança,

L =

<!-- formula-not-decoded -->

A verossimilhança dada pela Eq. (3), ou igualmente pelas Equações (5) e (6), considera duas suposições importantes. A primeira é que as respostas dadas por indivíduos diferentes são independentes. Isso quer dizer que, para um conjunto de itens com parâmetros fixos, a probabilidade de acerto ou erro de um dado indivíduo de habilidade θ A não interfere no cálculo da probabilidade de um indivíduo de habilidade θ B . A implicação matemática disso é que a probabilidade dos dois

eventos ocorrerem simultaneamente é dada por P( θ A, θ B)=P( θ A)P( θ B) . E a segunda suposição é que itens são respondidos de forma independente uns dos outros, ou seja, para habilidades fixas de um determinado grupo de estudantes sujeito a um teste, as covariâncias, para cada par de questões, é nula. Na literatura, essa suposição é denotada por independência local. Entretanto, é necessário salientar que ela nem sempre é verdadeira, mas geralmente é considerada uma suposição razoável em termos práticos. Ambas as suposições serão consideradas neste trabalho.

A estimação das habilidades é feita com a aplicação de testes nos quais os parâmetros dos itens são conhecidos. Já a calibração, nome dado à estimação dos parâmetros dos itens, é realizada por meio da aplicação de testes em grupos de indivíduos com habilidades conhecidas. Entretanto, é possível estimar habilidades e parâmetros dos itens de forma conjunta. Algoritmos são desenvolvidos e implementados computacionalmente para essas estimativas. Geralmente se usa métodos numéricos para isso, em que os mais comuns são o de Newton-Raphson, métodos geralmente utilizado para encontrar raízes de equações, e o Scoring de Fisher (ANDRADE, 2000).

Neste trabalho, apresentaremos resultados da estimação conjunta em um único teste de doze questões aplicado em três turmas distintas, somando um total de cento e onze estudantes. Os resultados para os valores das habilidade são convertidos em notas entre zero e dez e comparados com os resultados das notas obtidas classicamente.

## Metodologia

Foi aplicado um teste objetivo envolvendo movimento uniforme e uniformemente variado, movimento circular uniforme e as três Leis de Newton do movimento, para três turmas de um mesmo professor da primeira série do Ensino Médio, a primeira turma (Turma 1), com 37 estudantes, a segunda (Turma 2), com 40, e a terceira (Turma 3), com 38. A prova era composta por doze questões (ou itens no contexto da TRI), cada uma com cinco alternativas, sendo apenas uma destas a correta. As alternativas foram colocadas em ordens diferentes em cada turma. Na Turma 1, houve duas faltas e apenas um estudante errou todas as questões, na Turma 3, somente uma falta e nenhuma ocorrência de erro total, e na Turma 2, não houve estudantes faltosos. Em nenhuma turma, ocorreu de estudantes acertarem todas as questões. Os estudantes faltosos bem como os estudantes que erraram todas as questões não foram utilizados para a estimação das habilidades e dos parâmetros dos itens, pois errar todas as questões (e igualmente acertar todas) não permite que possamos aferir com precisão sobre o nível de habilidade do estudante. Só podemos dizer que o nível do estudante está abaixo (acima) do nível de todas as questões do teste se errou (acertou) todas.

A nota do teste dada aos estudantes deu-se com base na TCT e foi proporcional ao número de acertos, ou seja, cada questão tinha o mesmo peso na medida da nota. Foi feita, então, uma análise do padrão de respostas dos estudantes usando o ML2. Embora o teste tenha sido objetivo, contendo chances de o estudante acertar uma ou mais questões por acaso, aplicamos esse modelo como ponto de partida para a aplicação de outros modelos mais precisos e eficientes. No entanto, para reduzir os erros nas medidas, restringimos o valor da discriminação de cada questão ao intervalo de 0,5 a 1,5 segundo recomendações encontradas na

literatura (ANDRADE, 2000) e o valor da proficiência de cada estudante entre -3,0 a 3,0, a qual possui a mesma escala da medida da dificuldade da questão, embora esta esteja restrita ao intervalo de -2,5 a 2,5. Essa diferença na restrição foi adotada por acharmos razoável afirmar, por exemplo, que o melhor estudante (pior estudante), com nível de habilidade 3,0 (-3,0) tenha uma probabilidade de acerto maior (menor) do que meio, ou melhor, de 50% no teste aplicado. Para entender melhor a afirmativa, vejamos o gráfico da Figura 2 para itens com parâmetros hipotéticos

Figura 2 : Gráficos das curvas características de itens hipotéticos com valores máximos e mínimos da discriminação (a = 1,5 e a = 0,5) em b = 0,00 e b = 2,50.

<!-- image -->

Nota-se, na Figura 2, que o primeiro (linha contínua) e o segundo (curva tracejada) gráficos possuem dificuldade de nível médio ( b = 0,00 ), mas com discriminações a = 1,50 no primeiro caso e a = 0,50 no segundo. Do primeiro podemos concluir que o melhor estudante (ou os melhores com θ = 3,0 ) tem praticamente 100% de chances de acertar essa questão, enquanto que o estudante com θ = -3,0 provavelmente a erraria. Já no segundo caso, esse mesmo estudante (com θ = -3,0 ) teria quase 20% de chances de acerto. No último gráfico, no qual a = 1,50 e b = 2,50 o estudante com nível de habilidade (ou proficiência) θ = 3,0 teria próximo de 70% de chances de acerto como se pode perceber. Portanto, no caso de adotarmos a restrição de -3,0 &lt; b &lt; 3,0, estaríamos considerando uma possibilidade de 50% de acerto quando b = θ = 3,0 , o que não consideramos razoável para esse teste.

Após as devidas restrições para aj , bj e θ i , desenvolvemos um software próprio na linguagem de programação Fortran 90, para maximizar a função logverossimilhança no ML2 da Eq. (6), usando série de Taylor (SCHERER, 2005). O procedimento adotado no algoritmo consiste em, a partir de parâmetros iniciais dos itens e de habilidades iniciais, modificar as variáveis independentes ( aj , bj e θ i ) em passos infinitesimais d na direção do vetor que maximiza a variável dependente (no caso a log-verossimilhança). Realizando esse procedimento várias vezes, o valor da

log-verossimilhança deve convergir para um valor constante, bem como as variáveis dependentes aj , bj e θ i . É importante salientar que o resultado final não depende das condições iniciais dadas.

Inicialmente o programa faz a leitura do padrão de respostas dos estudantes (da variável dicotômica uij ), realiza o processo de maximização e fornece os resultados tanto para os parâmetros dos itens quanto as proficiências dos estudantes no teste. A discriminação de todos os estudantes iniciou com o valor 1,0 , enquanto que a dificuldade e a proficiência de cada estudante iniciaram com 0,00 , embora testes tenham sido realizados para verificar a independência do resultado final com as condições iniciais. Adotamos como o passo infinitesimal um valor igual a 10 -4 e também fizemos testes com passos menores e maiores, por meio dos quais concluímos que o passo adotado produz resultados com precisão suficiente para o propósito deste trabalho.

## Resultados e discussões

O primeiro resultado que precisa ser observado é se a verossimilhança realmente convergiu para uma constante como se espera (Ver Figura 3 à esquerda).

<!-- image -->

Figura 3 : Log-verossimilhança em função dos passos do procedimento de maximização à esquerda. À direita, temos dois gráficos da proficiência (na escala de -3,0 a 3,0) e da nota na escala padrão de zero a 10. Os pontos circulares representam o percentual de acerto convertido em nota (gráfico abaixo) e na escala da proficiência (gráfico acima), e os losangos representam os desempenhos dos estudantes no ML2.

<!-- image -->

Nos gráficos da Figura 3, à direita, podemos observar os resultados das notas e proficiências dos estudantes usando a TCT (pontos circulares) e usando o ML2 (losangos). A nota clássica de cada estudante foi obtida pelo número de acertos multiplicado pelo fator 10/12 e a proficiência correspondente usando proporção simples (multiplicando a nota clássica por 6/10 e subtraindo por 3,0 ). A nota média obtida foi de 3,93 (reta tracejada na horizontal) com desvio padrão de 1,68 . O resultado da proficiência obtido pela maximização da log-verossimilhança pode ser convertido para a escala de nota de zero a dez multiplicando por σ (desvio padrão) e somando com μ (média). Esses valores podem ser escolhidos de várias formas. Uma delas é utilizar os valores com base na média e no desvio padrão das

notas clássicas, ou seja, σ = 1,68 e μ = 3,93 . Outra forma é compreender que a distribuição de habilidades no ML2 deve se aproximar de uma função gaussiana com média zero e desvio padrão um e, portanto, considerar a média μ = 5,0 na escala de 0 a 10 e calcular o desvio padrão correspondente por meio da igualdade entre duas gaussianas dadas por,

<!-- formula-not-decoded -->

em que μ 1 e σ 1 são as média e o desvio padrão na escala 1 e μ 2 e σ 2 na escala 2. Em nosso caso, podemos fazer μ 1 = 0,0 e σ 1 = 1,00 e μ 2 = 5,0 e encontrar σ 2, quando por exemplo, x1 = 3,0 e x2 = 10 . O resultado dessa equação, nessas condições, nos fornece σ 2 = 1,72 . Entretanto, para o gráfico da Figura 3, utilizamos μ = 3,93 somente para ser possível a comparação entre o resultado clássico e o obtido por meio da TRI. Acreditamos que o ideal seria utilizar uma média igual a 5,0 . Mas, para o desvio, escolhemos σ = 1,72 no sentido de obter o resultado mais coerente com o modelo e as restrições adotadas.

Um histograma dos resultados foi feito no sentido de interpretar o resultado do desempenho dos estudantes e possivelmente comparar os resultados entre as turmas individuais. A Figura 4 abaixo mostra o histograma das proficiências (gráfico de cima à esquerda) e das notas clássicas (gráfico de baixo à esquerda). Note que neste não temos um histograma que obedece a uma distribuição gaussiana (linha contínua). Esse fato dificulta uma análise mais precisa a respeito do desempenho de cada turma e também a comparação de cada estudante com o resultado geral na avaliação. À direita, temos o desempenho das três turmas. Note ainda que, nessa comparação entre as turmas, pode-se perceber uma leve diferença entre elas. A Turma 1 apresentou um desempenho menor, e a Turma 3 foi a que mostrou melhor desempenho.

Figura 4 : Histogramas dos desempenhos das três turmas (à esquerda) e de cada turma individualmente (à direita).

<!-- image -->

## Considerações finais

A TRI apresenta uma série de vantagens sobre a TCT como foi bem frisado por ANDRADE (2000), mas neste trabalho o que podemos destacar é que os resultados para o ML2 mostram diferenças significativas na atribuição das notas em relação com o resultado dos testes tradicionais. E isto sugere não que o método

tradicional esteja equivocado e nem que a TRI se apresenta como a melhor alternativa na aplicação de testes escolares, mas que é preciso refletir nas diversas formas de avaliação no sentido de compreender de forma mais significativa o processo de ensino-aprendizagem-avaliação. Notamos, por exemplo, que, no ML2, dois estudantes que acertaram somente um item obtiveram uma nota melhor do que alguns que acertaram dois itens (Ver Figura 3). Esse fato pode nos levar a conclusão de que esses estudantes acertaram por acaso e que a nota com TRI não foi justa. Entretanto, não seria absurdo achar que esses dois estudantes possuem um conhecimento disforme que o possibilitou acertar uma questão, ou difícil ou com alta discriminação, mas errar outras questões mais simples. Esse caso extremo mereceria uma investigação mais profunda por meio de uma entrevista simples, por exemplo. Da mesma forma, alguns estudantes com os melhores desempenhos com o método tradicional podem ter uma queda significativa na avaliação com o uso da TRI. Isso também pode significar uma deficiência no aprendizado merecendo uma investigação, apontada com o uso da TRI e não com o método tradicional de avaliação. Os casos intermediários não estão isentos de avaliação mais aprofundada de alguns casos, mas são aferições de habilidades que possuem um erro menor da medida uma vez que os níveis desses estudantes estejam mais próximos dos níveis de dificuldade dos itens (ANDRADE, 2000)

## Referências

ANDRADE, Dalton Francisco de; TAVARES, Heliton Ribeiro; VALLE, Raquel da Cunha. Teoria da Resposta ao Item : conceitos e aplicações. ABE, Sao Paulo, 2000.

COSTA, Denise Reis. Métodos estatísticos em testes adaptativos informatizados . Master's thesis, UFRJ-Universidade Federal do Rio de Janeiro, v. 9, 2009.

JUNIOR, Fernando de Jesus Moreira. Aplicações da Teoria da Resposta ao Item (TRI) no Brasil . Rev. Bras. Biom, v. 28, n. 4, p. 137-170, 2010.

KLEIN, Ruben. Utilização da teoria de resposta ao item no Sistema Nacional de Avaliação da Educação Básica (Saeb). Revista Meta: Avaliação, v. 1, n. 2, p. 125140, 2009.

LUCKESI, Cipriano Carlos. Verificação ou avaliação: o que pratica a escola. Série Idéias, n. 8, p. 71-80, 1998.

OLIVEIRA, Katya Luciane de; SANTOS, Acácia Aparecida Angeli dos. Avaliação da aprendizagem na universidade . Psicol. esc. educ., Campinas , v. 9, n. 1, jun. 2005.

PASQUALI, Luiz; PRIMI, Ricardo. Fundamentos da teoria da resposta ao item: TRI. Avaliação Psicológica, v. 2, n. 2, p. 99-110, 2003.

SCHERER, Cláudio. Métodos computacionais da Física . Editora Livraria da Física, 2005.