ANÁLISE ESTATÍSTICA DE AVALIAÇÃO DE APRENDIZAGEM EM ELETROMAGNETISMO

## ANÁLISE ESTATÍSTICA DE AVALIAÇÃO DE APRENDIZAGEM EM ELETROMAGNETISMO *

Ulisses A. Leitão, Alexandre O. L. do Baixo, Jefferson A. Neves

Universidade Federal de Lavras (UFLA) - DEX ( ulisses@ufla.br)

## Resumo

Este artigo relata o desenvolvimento, a aplicação e a análise de Testes da Avaliação Conceitual de múltipla escolha para o curso introdutório de Eletromagnetismo, objetivando identificar a habilidade latente dos estudantes e avaliar a sua compreensão conceitual no tópico Campo Elétrico e Lei de Gauss. Utiliza-se a Teoria de Resposta ao Item dentro do modelo Logístico Dicotômico de Três Parâmetros (3PL) para analisar a capacidade de discriminação, o grau de dificuldade e o probabilidade de acerto aleatório dos itens do teste. Uma comparação dos resultados da Teoria de Resposta ao Item (TRI) com a Estatística Clássica (EC) demonstra a necessidade de uma análise por ambas as abordagens estatísticas para a correta caracterização da qualidade do teste. Com um índice de Kuder-Richardson de 0,74, o teste elaborado apresenta alto grau de confiabilidade. Uma avaliação crítica comparativa dos resultados permite a compreensão e o levantamento de deficiências conceituais a serem abordadas na seqüência do curso.

Palavras-chave : Avaliação de aprendizagem, Teoria de resposta ao Item

## 1. Introdução

A avaliação é o mecanismo primário de retroalimentação no sistema educacional. Assim, avaliar as concepções espontâneas e a estrutura conceitual apresentada pelos estudantes é um desafio e uma necessidade. O objetivo maior da pesquisa em educação é o desenvolvimento de um arcabouço teórico visando a compreensão e a melhoria do processo de ensino/aprendizagem. Neste contexto, o instrumento e o processo de avaliação desempenham um papel crucial. No contexto da Educação a Distância (EaD), por exemplo, disciplinas em ambientes virtuais de aprendizagem (AVA) com 150 alunos/professor tornam necessário o desenvolvimento de estratégias de avaliação de aprendizagem continuada, que permitam identificar lacunas conceituais e viabilizem uma rápida resposta e intervenção por parte dos agentes pedagógicos e tutores.

Tradicionalmente, a avaliação conceitual é uma estratégia que demanda tempo e uma abordagem individualizada do estudante. Entretanto, a utilização de avaliação por testes objetivos, de múltipla-escolha, possui a vantagem de poder ser administrada em EaD no AVA de forma automatizada, permitindo assim uma maior agilidade no monitoramento do processo de ensino-aprendizagem. Para isto, é necessário desenvolver padrões de avaliação que permitam assegurar a

\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_

confiabilidade, equivalência e a equiparação de diferentes versões de teste, bem como desenvolver métricas para comparar, de forma tão objetiva quanto possível, diferentes populações de estudantes.

Nos últimos 20 anos, grande esforço foi realizado no exterior para o desenvolvimento e a análise de instrumentos de avaliação de múltipla escolha padronizados em diferentes áreas do ensino de Física. Vale citar o 'Force Concept Inventory FCI' [Hestenes 1992] e o ' Determining and Interpreting Resistive Electric Circuit Concepts Test DIRECT 1.1' [Engelhardt 2004].

No Brasil são raros os estudos e o desenvolvimento de instrumentos de avaliação de aprendizagem na área de Física. Estudo recente por [Rezende 2009] mostra que grande parte da pesquisa em Ensino de Física no Brasil se concentra no processo de Ensino-aprendizagem, que corresponde a dois terços dos 152 artigos publicados entre 2000-2007. Deste total, apenas três artigos na área de Avaliação de Aprendizagem e apenas oito na área de levantamento de concepções e dificuldades conceituais. Vale destacar os estudos de Moraes et al. [Moraes 2000] não computados por [Rezende 2009].

As duas últimas décadas verificou-se o estabelecimento da Teoria de Resposta ao Item (TRI) [Baker, 2001] como ferramenta fundamental para análise estatística de testes educacionais. A utilização desta ferramenta em macroavaliações é generalizada. Alguns exemplos de uso como metodologia para o estabelecimento de escalas de avaliação: o National Assessment of Educational Progress, do Ministério da Educação dos Estados Unidos [US Dept. Education, 2010], o SARESP - Sistema de Avaliação de Rendimento do Estado de São Paulo e o ENEM - Exame Nacional do Ensino Médio. Vide p.ex. [Andrade, 1998]. Entretanto, a TRI como ferramenta de análise ainda não faz parte do cotidiano educacional.

Em sua aplicação educacional, a TRI visa, por um lado, estimar os parâmetros intrínsecos das questões individuais de um teste, como o seu grau de dificuldade e sua capacidade de discriminação. Neste sentido é uma ferramenta que possibilita a comparação entre diferentes instrumentos de avaliação sobre o mesmo tema. Por outro lado, utilizando estes mesmos parâmetros das questões, a TRI estabelece uma métrica para a habilidade latente do aluno, permitindo avaliar as características de diferentes grupos de alunos que pertencem a uma mesma população. Vale ressaltar que estas características fazem da TRI um instrumento essencial para a avaliação de macro-avaliações, como o ENEM. Ela permite comparar o rendimento de alunos em diferentes edições do exame. Note ainda, que esta é também uma característica desejável como um mecanismo de controle das avaliações de ensino-aprendizagem no cotidiano educacional.

O presente trabalho apresenta o desenvolvimento, a aplicação e análise de Testes da Avaliação Conceitual de Múltipla Escolha para a disciplina de Física III Eletromagnetismo do Curso de Licenciatura em Física da Universidade Federal de Lavras (UFLA). A disciplina é planejada para ser desenvolvida em quatro etapas. O instrumento de avaliação desenvolvido consta de 29 questões sobre a primeira etapa da disciplina, cobrindo os tópicos de Campo Elétrico e Lei de Gauss, com

\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_

ênfase na caracterização do comportamento de materiais isolantes e condutores. O teste foi aplicado a uma turma de 39 alunos, fazendo parte da avaliação somativa de ensino-aprendizagem da disciplina. Os dados foram analisados em dois referenciais diferentes. Utilizando a TRI, foram analisados o índice de dificuldade, capacidade de discriminação e o parâmetro de acerto aleatório dos itens do teste aplicado. A análise comparativa destes parâmetros com o fator-P e o índice de discriminação, medidos pela estatística clássica (EC), demonstram a necessidade de utilização de ambas as abordagens para uma melhor checagem da coerência interna de testes de múltipla escolha. Em sua versão inicial, o teste apresentou um coeficiente de KuderRichardson KR-20 de 0,675, valor abaixo do valor esperado de 0,70 ≥ 20 KR referenciado na literatura. Após a depuração do teste, seguindo as indicações de inconsistência fornecidas pela avaliação crítica dos dados por ambos os critérios estatísticos, a versão final, constando de 25 questões, obteve o coeficiente de Kuder-Richardson KR-20 de 0,74, demonstrando enorme ganho de confiabilidade e coerência interna do teste com o método proposto. Uma avaliação crítica pedagógica demonstrou permitir a compreensão das dificuldades assinaladas pelo teste e o levantamento de deficiências conceituais a serem abordadas na evolução do curso. A análise dos resultados sugere fortemente que a utilização desta metodologia permite o estabelecimento da confiabilidade de testes de múltipla escolha e a identificação de deficiências conceituais do grupo de estudantes, sendo, portanto indicada para disciplinas com grande número de participantes bem como ao ambiente de Ensino a Distância.

## 2. Objetivos do estudo

O presente estudo tem como finalidade o desenvolvimento de uma avaliação de ensino aprendizagem em forma de um Teste de Múltipla Escolha para o tópico de Campo Elétrico e Lei de Gauss. Especificamente, a pesquisa tem por objetivo:

- 1. Analisar a aplicabilidade do Teste como um teste padrão para o tópico da primeira etapa da disciplina de Física III - Eletromagnetismo, envolvendo os conceitos de carga e campo elétrico, linhas de campo, comportamento elétrico de condutores e isolantes, fluxo elétrico e Lei de Gauss.
- 2. Determinar e avaliar a coerência interna do teste, através da avaliação de sua correlação estatística, utilizando métodos da EC e da TRI;
- 3. Desenvolver a metodologia visando a sua aplicação nos cursos presenciais da UFLA e no curso de Licenciatura em Física do projeto Universidade Aberta do Brasil UAB-UFLA.

Em seu detalhamento de conteúdo, o teste de múltipla escolha foi desenvolvido visando verificar os seguintes tópicos da disciplina de Eletromagnetismo (Física III):

- 1. Carga elétrica
- 2. Condutores e isolantes

\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_

- 3. Lei de Coulomb
- 4. Campo elétrico de cargas pontuais
- 5. Linhas de Campo elétrico
- 6. Dipolos elétricos na presença de Campos Elétricos
- 7. Fluxo elétrico
- 8. Lei de Gauss
- 9. Superfícies condutoras

Estes tópicos foram consolidados em oito objetivos educacionais elaborados a partir da análise de livros textos e da experiência na ministração da disciplina. Os objetivos educacionais que compõem o teste visam verificar se o aluno possui as seguintes habilidades:

- 1. identificar e operar corretamente o caráter vetorial da força elétrica e do campo elétrico, e utilizar corretamente na aplicação de cálculo de força resultante e do princípio de superposição;
- 2. diferenciar o conceito de campo elétrico local e força elétrica sobre uma carga na presença de um campo elétrico;
- 3. aplicar e calcular a dependência de força e campo com a carga que os geram e a distância;
- 4. operar o conceito de linhas de campo elétrico;
- 5. identificar a origem da força e do torque elétrico em um dipolo;
- 6. calcular e aplicar o conceito de fluxo elétrico à Lei de Gauss;
- 7. compreender o processo de carga elétrica induzida em um condutor, sua distribuição na criação de campo elétrico nulo em seu interior;
- 8. calcular o campo elétrico de diferentes distribuições discretas e contínuas de carga.

## 3. Métodos

A partir dos objetivos educacionais estabelecidos, o teste foi desenvolvido e aplicado em uma turma-piloto de 39 alunos da disciplina de Física III no segundo semestre de 2010. A turma é composta de alunos de diferentes cursos: Licenciatura em Física, Matemática, Química, e diferentes cursos de engenharia.

- O teste consiste de um conjunto de 29 questões de múltipla escolha. Apresentamos na Fig. 1 uma questão típica do teste. É uma questão conceitual tradicional, cuja solução não exige complexidade de cálculo matemático. Assim, a questão privilegia a solução física, o conceito de Campo Vetorial e sua representação por Linhas de Campo. O conceito de dipolo é marginal e só representa um exemplo de distribuição discreta simples de carga.

\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_

Questão 08 - Considerando dois dipolos elétricos idênticos P A r e P B r na presença de um campo elétrico como representado na figura, podemos dizer que:

Figura 1 - Questão número 08 do teste desenvolvido, vide texto.

<!-- image -->

B) A força sobre P A r é maior mas o torque é menor.

A) A força e o torque sobre P A r são maiores do que a força e o torque sobre P B r .

C) O torque sobre P A r é maior mas a força é menor.

E) A força e o torque sobre P A r e sobre P B r são iguais, pois estão no mesmo campo elétrico.

D) A força e o torque sobre P A r são menores do que a força e o torque sobre P B r .

## 3.1 Amostragem

O teste foi aplicado a uma turma da disciplina de Física III dos cursos presenciais da UFLA. De 42 alunos inscritos, 3 não compareceram por ausência justificada e 39 responderam ao teste. A turma é mista, composta de alunos de diferentes cursos: Licenciatura em Física, Matemática, Química, e diferentes cursos de engenharia. A aplicação do teste durou 60 minutos.

## 3.2 Modelo estatístico

A TRI é largamente utilizada nos últimos anos para a análise estatística de Avaliação de Ensino-Aprendizagem. Uma revisão geral da teoria extrapola os objetivos do presente trabalho. Para uma introdução aos fundamentos da TRI ver [Baker, 2001]. Na TRI, o modelo logístico de três parâmetros dicotômico, 3PL é definido a partir de sua curva característica do item definida por três variáveis de ajuste, chamadas de parâmetros livres do item:

<!-- formula-not-decoded -->

Nesta expressão, ( θ = x P i | 1 ) é a probabilidade de acerto no item i, em função da habilidade do aluno θ . Os três parâmetros possuem um significado específico: Índice de discriminação a → medida do grau de discriminação do item,

\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_

ou seja, se o item é capaz de diferenciar com facilidade os indivíduos de um grupo; Parâmetro de dificuldade b → medida do grau de dificuldade do item e Parâmetro de acerto aleatório c → mede a probabilidade de um acerto aleatório de indivíduos de baixa habilidade. A curva da Eq. (1) é uma sigmóide, vide Fig. 03. Em sua representação gráfica, quanto mais deslocada para a direita a curva característica, mais difícil é o item, quanto mais abrupta, maior é a discriminação. No processo de ajuste do modelo, estes três parâmetros são livres para maximar a verossimilhança.

A partir das respostas aos itens dadas pelos indivíduos do grupo analisado, é possível estimar valor desses três parâmetros e assim classificar um item a partir do seu grau de dificuldade e de discriminação. Contudo, estimar um valor para os parâmetros a partir das respostas obtidas do grupo é um processo complexo [Baker 2001, Andrade, 1998], por isso é necessário o uso de um software para realizar essa análise e gerar os valores. Dentre os softwares capazes de determinar os valores dos parâmetros, destaca-se o ICL (IRT Command Language).

## 3.3 Software de análise

O ICL é um Software Livre desenvolvido por Bradley Alvin Hanson [Hanson, 2002]. Utilizando o algoritmo EM para amostras discretas, o software permite a estimação dos parâmetros do modelo 3PL, sua calibração, análise e determinação das habilidades latentes dos examinados a partir do ajuste estatístico das respostas dadas ao teste pelo grupo de alunos.

As respostas devem registradas em uma matriz K n × , com entradas para a resposta dos n examinados para cada uma das K questões, computando o algarismo zero (0) para respostas erradas, algarismo um (1) para respostas certas. A partir deste arquivo, o aplicativo realiza as iterações, a fim de estimar os valores dos parâmetros livre. Com a finalização do processo, o ICL grava em um arquivo de registro as operações feitas e os valores encontrados, sendo de maior importância a determinação dos valores dos parâmetros livres e a distribuição dos pontos da variável latente. As características dos processos realizados pelo software, assim como os valores padrões assumidos para realização dos cálculos, podem ser alterados a partir de opções disponibilizadas pelo próprio ICL.

## 4. Resultados e discussão

A Tabela 1 apresenta a análise estatística da amostragem realizada. São apresentadas as frequências de escolha das opções A, B, C, D e E para cada item do teste na coluna ' Frequências de opção '. A coluna ' Parâmetros do Modelo 3PL ' apresenta os parâmetros resultantes do ajuste dos dados pela TRI, segundo o modelo logístico de 3 parâmetros, realizado utilizando-se o Software IRT Comand Language [Hanson, 2002]. Em parâmetros clássicos apresenta-se a análise da EC. Ao contrário do esperado dentro da EC, nota-se que o parâmetro de dificuldade b i , no contexto da Teoria de Resposta ao Item, difere da mera 'porcentagem de acerto'.

\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_

Tabela 01: Frequência de escolha por opção (células hachuradas indicam opção correta), parâmetros de ajuste do modelo 3PL: índice de discriminação a , índice de dificuldade b e parâmetro de acerto aleatório c , e parâmetros clássicos: Fator-P, discriminação a e coeficiente de correlação bi-serial b . Valores médios computados na linha inferior.

- O parâmetro i b é uma característica intrínseca do item . Assim, dois itens i de mesma porcentagem de acerto podem possuir diferentes parâmetros de dificuldade. De forma semelhante, dois alunos que têm mesma percentagem de acerto podem possuir diferentes habilidades latentes por acertarem diferentes itens.
- O valor médio observado para o parâmetro de discriminação a é excelente e está dentro de valores médios esperados pela teoria. O parâmetro b é significativamente superior do valor esperado 1 ~ b , refletindo o fato de que o teste pode ser considerado difícil para a população ao qual foi aplicado. Por outro lado, o índice c é exatamente o esperado para o acerto aleatório em itens de cinco opções.

Embora estes valores médios reflitam a consistência global do teste, vamos analisar alguns itens separadamente. A questão 8, apresentada na Figura 1, com parâmetro de dificuldade 1,82 8 = b e excelente grau de discriminação, a 8 = 1,36 , é uma questão mediana, bem representativa do teste. As questões 7, 10, 11, 14, 24 são questões caracterizadas por um elevado índice de dificuldade, 4,5 &gt; b i . Além disto, as questões 10 e 11 apresentam baixíssimo índice de acerto, inferior a 10%.

\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_

A Figura 02 apresenta a questão 11. Uma análise cuidadosa da questão evidencia o fato da questão envolver o conceito de gradiente de campo perpendicular ao campo elétrico. Este é um indicativo para a dificuldade encontrada pelos alunos, já que esta configuração não é usual, o que explica o baixo índice de acerto observado.

Figura 02: Questão número 11 do teste desenvolvido, envolvendo o conceito de gradiente perpendicular à direção do Campo Elétrico.

<!-- image -->

A Tabela 01 apresenta ainda os parâmetros da avaliação pela teoria EC. O Fator-P é referido, em alguns autores [Tarerkgn 2009, Engelhardt 2004], como índice de dificuldade, e consiste simplesmente da porcentagem de acerto. O índice de discriminação a , no contexto da EC, é a diferença de porcentagem de acertos entre os alunos que pertencem ao grupo de 25% maiores notas e os alunos que pertencem ao grupo de 25% menores notas. É uma definição arbitrária, mas que verifica, de certa forma, a consistência interna entre a questão e o teste.

Uma forma mais rigorosa de verificação desta consistência interna de um item é o coeficiente de correlação Bi-Serial, b , apresentado na Tabela 01. A literatura apresenta o critério de que este parâmetro de um item deve possuir um valor superior a 0,20 para caracterizar uma boa intercorrelação no teste [Engelhardt, 2004]. A análise dos dados mostra que todas as questões que a análise de TRI evidenciou como de alta dificuldade, possuem na EC um b muito baixo. Além disto, as questões 14 e 24 possuem a negativo, evidenciando inconsistência pelo fato de, nestas questões, o índice de acerto dos alunos que obtiveram menores notas no

\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_

teste ser superior aos alunos de de maiores notas. Vale ressaltar que a questão 14 obteve um índice anômalo na análise de TRI: um valor quase duas vezes superior ao índice estatístico esperado para o parâmetro de acerto aleatório.

A consistência global do teste pode ser avaliada pelo Coeficiente de KuderRichardson KR-20, [Rajamanickam, 2001]. KR-20 é uma medida da intercorrelação de todos os itens do teste expressando, portanto a consistência interna e confiabilidade de um teste. O coeficiente KR-20 do teste proposto foi medido, inicialmente considerando as 29 questões e obtém-se o valor de 0,675. Este valor está abaixo do critério de qualidade consagrado na literatura, 0,70 ≥ 20 KR . Assim, considerando os indicativos de incoerências observados na análise dos itens pela TRI e pela EC, as questões 10, 11, 14 e 24 foram desconsideradas. Verificou-se que o teste, em sua versão final com apenas 25 questões, apresenta um valor de KR-20 igual a 0,74, valor superior a diversos testes relatados na literatura [p. ex. Engelhardt, 2004], que demonstra a eficácia da análise na orientação do professor para detectar as eventuais inconsistências de um teste.

Figura 03: Gráfico da porcentagem de acerto versus habilidade latente estimada pela TRI, círculos cheios. A curva contínua corresponde ao ajuste pelo método dos mínimos quadrados utilizando Eq. (1) fornecendo os valores médios dos parâmetros da curva característica do teste: 0,67 = a , 2,01 = b e 0,20 = c

<!-- image -->

A habilidade latente dos alunos examinados foi estimada a partir da TRI pelo método da máxima verossimilhança [Hanson, 2010]. A Figura 3 apresenta o gráfico da porcentagem de acerto em função da habilidade latente. Neste gráfico, a curva contínua corresponde ao ajuste utilizando o método dos mínimos quadrados pela Eq. (1), o que fornece os valores médios dos parâmetros da curva característica do teste: 0,08 0,67 ± = a , 0,18 2,01 ± = b e 0,02 0,20 ± = c . Note que, no contexto da TRI, alunos de diferentes habilidades podem obter o mesmo índice de acerto devido ao fato dos itens possuírem diferentes graus de dificuldade, [Baker, 2010].

\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_

## 6. Conclusão

Um Teste da Avaliação Conceitual de múltipla escolha para o curso introdutório de Eletromagnetismo foi desenvolvido e aplicado para a disciplina de Física III - Eletromagnetismo, da UFLA no segundo semestre de 2010. A análise estatística dos resultados utilizando a EC e a TRI corroboram na identificação de inconsistências em questões com baixa intercorrelação e alta coeficiente de acerto aleatório. A utilização destes critérios permite a identificação de questões a serem retiradas do teste para maximização de sua confiabilidade e auto-consistência. Por outro lado, deficiências conceituais do grupo de estudantes podem ser evidenciadas pela análise estatística de questões com 'distratores. Por sua característica estatística, o método proposto é indicado para disciplinas com grande número de participantes e para o processo de avaliação em cursos de Ensino a Distância.

## 7. Referências

ANDRADE, Dalton Francisco de; VALLE, Raquel da Cunha. Introdução à Teoria da Resposta ao Item: Conceitos e Aplicações. Estudos em Avaliação Educacional . São Paulo, Fundação Carlos Chagas 18 , págs. 13 - 32, (1998).

BAKER, Frank B. The Basics of Item Response Theory , acessado em 1/8/2010: http://info.worldbank.org/etools/docs/library/117765/Item%20Response%20Theory% 20-%20F%20Baker.pdf

ENGELHARDT, Paula. Examining students' understanding of electrical circuits through multiple-choice testing and interviews . Tese de doutorado, North Carolina State University, (1997).

ENGELHARDT, Paula V., BEICHNER, Robert J. 'Students' understanding of DIRECT current resistive electrical circuits.' Am. J. Phys. v.72 n.1, pág.. 98 (2004).

HANSON, Bradley A., IRT Command Language Manual . (2002) acessado em 01 de agosto de 2010 em: http://www.b-a-h.com/software/irt/icl/

HESTENES, D. et al.'Force concept inventory' Phys.Teach. V30 n3, pág.141(1992)

MORAES, Arthur M., MORAES, Itamar J., 'A Avaliação Conceitual de Força e Movimento'. Revista Brasileira de Ensino de Física , v. 22 n. 2, 232-246 (2000)

RAJAMANICKAM, M. Statistical Methods In Psychological And Educational Research . New Delhi, Concept Publishing Co., 2001.

REZENDE, Flávia et al., 'Ensino-aprendizagem de física no nível médio: o estado da arte da produção acadêmica no século XXI', Revista Brasileira de Ensino de Física , v. 31 n. 1, 1402-1409 (2009).

TAREKEGN, Getachew. Can computer simulation substitute real laboratory apparatus?. Lat. Am. J. Phys. Educ. v. 3 n. 3, 506 - 517 (2009).

U.S. DEPARTMENT OF EDUCATION Institute of Education Sciences (2010), acessado em 5/8/2010 em:http://nces.ed.gov/nationsreportcard/tdw/analysis/

\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_