MAPAS CONCEITUAIS UTILIZADOS COMO AVALIAÇÃO: UM DIAGNÓSTICO DOS CRITÉRIOS DE ANÁLISE

## MAPAS CONCEITUAIS UTILIZADOS COMO AVALIAÇÃO: UM DIAGNÓSTICO DOS CRITÉRIOS DE ANÁLISE

## CONCEPTUAL MAPS USED AS EVALUATION: AN ANALYSIS OF DIAGNOSTIC CRITERIA

Rosilaine Gomes de Santana 1 , Celso José Viana-Barbosa 2 ,

1 Universidade Federal de Sergipe/Programa de Pós-Graduação em Ensino de Ciências e Matemática/, rosilainegomes22@gmail.com

2 Universidade Federal de Sergipe/Programa de Pós-Graduação em Ensino de Ciências e Matemática, cjvianna@yahoo.com.br

## Resumo

Este artigo trata de uma pesquisa realizada em diversas revistas internacionais (Computer science education, Ensenanza de la ciência, International Journal of Mathematics Sciences, International Journal of Science and Mathematics Education, International Journal of Science Education, Journal of Applied Social Psychology, Journal of Research in Science Teaching, Research in science & thecnological education, Science Education, School Science and Mathematics, Teaching & Teacher Education, Journal of Educational Research, Journal of Educational Psychology e Instructional Science) com o objetivo de buscar trabalhos que utilizam mapas conceituais como ferramenta de avaliação. Neste levantamento, verificamos se há uma preocupação dos autores em adotar critérios para identificar a validade dos conceitos expostos nos mapas, das proposições, hierarquias, ligações cruzadas e outros elementos presentes nos mesmos e assim certificar-se da eficácia ou não dessa ferramenta avaliativa. O objetivo de utilizar mapas conceituais consiste em verificar a aprendizagem dos alunos com relação aos conteúdos trabalhados em sala de aula, obtendo informações sobre o que eles aprenderam de forma significativa, quais conceitos não foram aprendidos e verificar se eles conseguiram fazer as relações dos novos conceitos com os conhecimentos já existentes na sua estrutura cognitiva. Percebemos através deste estudo que há um número significativo de trabalhos que abordam a utilização de mapas conceituais como avaliação em diferentes áreas e com diversas metodologias e também foi possível observar que há uma preocupação dos autores em adotar critérios qualitativos e quantitativos de análise de mapas e assim verificar se os mapas elaborados pelos alunos atingiram os objetivos desejados.

Palavras-Chave: Mapas Conceituais, Avaliação, Critérios de Análise.

## Abstract

This article is a survey of several international journals (Computer science education, Ensenanza de la Science, International Journal of Mathematics Sciences, International Journal of Science and Mathematics Education, International Journal of Science Education, Journal of Applied Social Psychology, Journal of Research in Science Teaching, Research in science & thecnological education, Science Education, School Science and Mathematics Teaching & Teacher Education, Journal of Educational Research, Journal of Educational Psychology and Instructional Science) in order to find jobs that use concept maps as a tool for evaluation. In this survey, we found that there is a concern of the authors to adopt criteria to identify the validity of the concepts exposed in the maps, the propositions, hierarchies, cross-links and other elements present in them and thus ensure the effectiveness of this tool or not evaluative. The purpose of using concept maps is to verify the students' learning with respect to the contents worked in the classroom, getting information about what they learned in a meaningful way, concepts which

were not learned and whether they managed to make the relations of the new concepts with existing knowledge in their cognitive structure. We realized through this study that a significant number of works that address the use of concept maps as assessment in different areas and with different methodologies and was also observed that there is a concern of the authors to adopt qualitative and quantitative analysis of maps and to check that the maps prepared by students achieved the desired goals.

Keywords : Concept Maps, Assessment, Review Criteria.

## 1. Introdução

Os tradicionais métodos de avaliação da aprendizagem enfocam o caráter quantitativo, buscando classificar e hierarquizar os alunos. Além disso, essas práticas de avaliação nem sempre servem para constatar o que alguns estudiosos consideram como sua principal função que é a de diagnosticar ou observar o nível de aprendizado obtido e a de indicar onde é possível ou necessário melhorar.

Essa perspectiva de avaliação relacionada com provas e exames tem sofrido inúmeras críticas desde meados dos anos 70 e 80 do século XX, mas só na década de noventa nota-se uma mobilização mais ampla por parte dos educadores em decorrência, especialmente, das disposições legais que tentam romper com alguns paradigmas presentes há anos na cultura escolar (CATANI e GALLEGO, 2009, p. 10).

Com o objetivo de inserção de uma avaliação que enfatize o aspecto qualitativo, sugerimos a utilização do mapa conceitual como ferramenta de avaliação da aprendizagem dos alunos. Mapas conceituais são diagramas hierárquicos que servem para estabelecer a relação entre conceitos, são representações das estruturas conceituais dos conteúdos ensinados e que buscam a aprendizagem significativa.

Mapas conceituais são instrumentos úteis, pois podem revelar os conhecimentos prévios dos alunos, resumir conteúdos, programar uma sequência de aula, revisar a matéria e também podem ser utilizados para avaliar a aprendizagem dos estudantes. É interessante destacar que não há um mapa conceitual correto ou incorreto, o professor deverá observar alguns elementos dos mapas (conceitos, proposições e estrutura do mesmo), pois através dele o aluno poderá expor os conceitos aprendidos.

No âmbito internacional é possível perceber que uma mobilização com relação à utilização de novas metodologias de avaliação também vem ocorrendo. Estas mudanças estão relacionadas com o uso de mapas conceituais em diferentes áreas de ensino com o objetivo de utilizar uma avaliação comprometida com a aprendizagem, com a formação dos alunos e não somente com a classificação.

Assim, propomos através deste estudo fazer um levantamento de trabalhos que utilizam mapas conceituais como avaliação e a partir dessa análise identificar se os autores adotam critérios qualitativos/quantitativos para avaliar a eficácia dessa ferramenta na avaliação da aprendizagem. Além disso, verificaremos como são as pesquisas que têm utilizado mapas conceituais como ferramenta de avaliação da aprendizagem.

## 2. Mapas Conceituais utilizados como avaliação

O uso de mapas conceituais como avaliação tem atraído a atenção de pesquisadores e educadores de diversas áreas. Através de uma busca realizada em algumas revistas internacionais conceituadas e também através das referências dos artigos encontrados nessas revistas, foi possível encontrar diversos trabalhos que utilizam mapa conceitual como uma ferramenta de avaliação. Dentre estas revistas podemos citar: Computer Science Education, Ensenanza de la ciência, International Journal of Mathematics Sciences, International Journal of Science and Mathematics Education, International Journal of Science Education, Journal of Applied Social Psychology, Journal of Research in Science Teaching, Research in Science &

3

Thecnological Education, Science Education, School Science and Mathematics, Teaching & Teacher Education, Journal of Educational Research, Journal of Educational Psychology e Instructional Science. Além destas revistas, alguns trabalhos foram encontrados nas conferências sobre mapas conceituais. Os resultados da avaliação destes trabalhos apontam os benefícios e as diversas formas de utilização/construção de mapas conceituais como uma nova metodologia de avaliação a ser utilizada em diferentes áreas e níveis de ensino.

As buscas, através destas revistas anteriormente citadas, foram feitas por meio das palavras chave 'concept map' ou 'concept map assessment'. Inicialmente realizávamos uma leitura do resumo de cada artigo para verificar se o mesmo estava relacionado com o tema da pesquisa e caso houvesse dúvidas quanto a isso realizávamos a leitura de outras partes do texto.

Feita a leitura e análise dos trabalhos encontrados, destacamos a seguir as metodologias de algumas pesquisas que abordam sobre mapas conceituais como avaliação com o objetivo de mostrar as temáticas envolvidas e os resultados da utilização dessa ferramenta em algumas áreas.

Observamos que os mapas conceituais foram utilizados como ferramenta num pré e pós-teste em um curso sobre sustentabilidade para medir os conhecimentos adquiridos pelos alunos (SEGALÀS, FERRER-BALAS e MULDER, 2008); como avaliação no primeiro ano de curso de graduação para estudantes de odontologia e de higiene e terapia. (HAY, TAN e WHAITES, 2010); e foram utilizados por alunos universitários do curso de bioquímica, para avaliar os avanços alcançados pelos alunos, principalmente em relação à sua capacidade de inter-relacionar conceitos, depois de ser envolvido no estudo intensivo da disciplina, com o objetivo de fazer o exame final (COSTAMAGNA, 2001).

No trabalho de Yin e Shavelson (2008) foi feito uma comparação da eficiência da utilização de duas técnicas de construção de mapas conceituais nas aulas de ciências do ensino médio, as técnicas C e S. Esta sugere que o aluno construa o mapa conceitual através da seleção de frases de ligação e aquela sugere que o aluno construa o mapa através da criação de frases de ligação.

O estudo realizado por Kao, Sun e Chen (2010) analisou os méritos potenciais dos mapas conceituais para a externalização conceitual e aprendizagem significativa, com os participantes do estudo sendo convidados a expressar visualmente ideias na forma de mapas conceituais e para armazenar os mapas em um sistema integrado de mapeamento conceitual (ICMSys), para fins de pensamento reflexivo e construção de conhecimento conceitual. Também relacionado com a aprendizagem significativa, no trabalho de Buntting, Coll e Campbell (2006),

- [...] os alunos de classe de nível superior de ciências acharam o uso de mapa conceitual agradável e que pode melhorar a aprendizagem significativa para os tópicos que exigem dos alunos a ligação de conceitos. (BUNTTING, COLL e CAMPBELL, 2006, p. 641, tradução nossa).

Além de ser abordado em algumas situações já citadas anteriormente, o mapa conceitual foi utilizado em aulas de laboratório com o objetivo de determinar a eficácia de uma intervenção que compreende uma combinação de atividades de laboratório apoiado pelo mapeamento conceitual na compreensão de conceitos de ácido-base de química, pelos estudantes, e em solucionar concepções alternativas sobre estes temas. Os resultados da pesquisa sugerem que a intervenção pode melhorar a compreensão dos conceitos de ácidobase (OZMEN, DEMIRCIOGLU e COLL, 2009).

Com relação a utilização de mapas conceituais nas aulas de laboratório destacamos também o trabalho de Markow e Lonning (1998). Este trabalho aborda a importância do uso de mapas conceituais em aulas de laboratório de química. A pesquisa mostrou que os alunos responderam muito positivamente ao uso de mapas conceituais no laboratório. Expressaram

que a construção de mapas conceituais antes e depois das aulas de laboratório ajudou-os a compreender a química conceitual dos experimentos.

Constatamos também, através da leitura dos artigos, que os mapas conceituais, além de serem confeccionados individualmente, podem ser utilizados em grupos (LIU, 2004; CURSEU, SCHALK e SCHRUIJER, 2010). Neste último, os mapas conceituais foram utilizados por alunos que trabalhavam em projetos de pesquisa na graduação, com o objetivo de avaliar o modo como os grupos representam o conhecimento específico relacionado com as suas tarefas. O mapeamento conceitual provou ser um caminho frutífero para entender o modo como os grupos representam o seu conhecimento. Os mapas conceituais foram estáveis e tiveram poder explicativo para o desempenho dos grupos (CURSEU, SCHALK e SCHRUIJER, 2010).

Apesar da grande maioria dos trabalhos citados neste artigo enfatizarem a utilização dos mapas conceituais lineares, o uso de mapas cíclicos é considerado no trabalho de Safayeni, Derbentseva e Cañas (2005).

Destacamos que ao fazer esse estudo em diversas revistas internacionais com as palavras chave 'concept map' ou 'concept map assessment' encontramos diversos trabalhos que utilizam o mapa conceitual, não como avaliação, mas como atividade. Assim, como o nosso objetivo através desse estudo foi enfatizar somente o uso de mapas conceituais como avaliação, o número de trabalhos encontrados tornou-se reduzido.

## 3. Critérios de análise de mapas conceituais

Vimos anteriormente uma discussão sobre os trabalhos, internacionais, que utilizam mapas conceituais como avaliação. Muitos destes trabalhos não estabelecem critérios para verificar se os mapas montados pelos alunos apresentam uma estrutura coerente, se os conceitos formam proposições corretas, além de outros fatores que são possíveis de serem analisados. Nesta pesquisa, encontramos 21 trabalhos que estabelecem/criam critérios para análise de mapas conceituais, os quais descreveremos a seguir.

A grande maioria dos critérios de análise de mapas conceituais, descritos na tabela 1, são fundamentalmente de enfoque qualitativo. Apenas alguns trabalhos enfatizam a necessidade de atribuição de pontos aos mapas dos alunos (NOVAK e GOWIN, 1984; HEINZE-FRY e NOVAK, 1990; RICE, RYAN e SAMSON, 1998; MCCLURE, SONAK e SUEN, 1999; RYE e RUBBA, 2002; MILLER e CAÑAS, 2008; RYE e RUBBA, 2002; YIN et al, 2005; MINTZES e QUINN, 2007; INGEÇ, 2009).

No trabalho de Novak e Gowin (1984), há uma preocupação em analisar as características do mapa, como proposições, hierarquia, ligações cruzadas e exemplos e a partir dessa análise é possível atribuir uma determinada pontuação aos mesmos. Esta pontuação também é atribuída aos mapas, levando em consideração as características semânticas, nos trabalhos de Miller e Cañas, 2008; Rye e Rubba, 2002; Yin et al, 2005, além de utilizar a equivalência semântica presente no mapa do especialista (RYE e RUBBA, 2002), para avaliar o mapa do aluno.

No trabalho de Cañas et al (2006) há uma preocupação com a análise estrutural do mapa, ou seja, ele não analisa a validade dos conceitos, das proposições, dos níveis de hierarquia e das ligações cruzadas, observa apenas se estas características estão presentes, classificando-as em sete níveis (0-6). Quanto maior o nível em que o mapa conceitual se adequar, melhor será a sua qualidade. Com o objetivo de complementar essa análise topológica Miller e Cañas (2008) criaram uma análise semântica para os mapas conceituais, a fim de verificar a validade do conteúdo do mapa.

Além do trabalho de Cañas et al (2006), há outros trabalhos que enfatizam a utilização de critérios, levando em consideração a estrutura do mapa (KINCHIN, HAY e ADAMS, 2000; KINCHIN, 2008). Nestes trabalhos observamos as características dos mapas em três tipos

morfológicos: raios, cadeias e redes. Além disso, eles fazem uma análise do significado destas estruturas e suas implicações para o ensino.

Tabela 1: Critérios de análise de mapas conceituais

Nos artigos de Ávila e Borght (2010) e de Miller et al (2010) são abordadas algumas ideias que já haviam sido propostas em outros trabalhos. Estas ideias referem-se à análise dos mapas através da aplicação da taxonomia topológica (CAÑAS et al, 2006), a qual produz informações a cerca da complexidade estrutural, e da avaliação semântica de mapas conceituais (MILLER E CAÑAS, 2008).

Derbentseva, Safayeni e Cañas (2007) realizaram uma pesquisa de análise de mapas em três momentos: primeiro compararam estruturas cíclicas e hierárquicas; a segunda experiência examinou o impacto da quantificação do conceito de cabeçalho no mapa e a terceira experiência explorou o efeito da questão foco no mapa. Para todas as três experiências, o conteúdo dos mapas foi avaliado pelo número de proposições dinâmicas (proposições que captam e representam uma interdependência funcional entre os dois conceitos) e pela quantificação dos conceitos. Os resultados mostraram que a estrutura cíclica,

a quantificação do conceito de cabeçalho e questão foco aumentaram significativamente o pensamento dinâmico.

## 4. Considerações

Foi possível observar através desta pesquisa que há um número significativo de trabalhos, em revistas internacionais, que estabelecem critérios de análise de mapas conceituais. Analisando estes artigos percebemos que o mapa conceitual como ferramenta avaliativa poderá ser utilizada em diferentes níveis de ensino e com diversas metodologias. Apesar da aplicação dos mapas conceituais em diversas áreas, houve uma ausência de trabalhos na área da Física, algo que não ocorreu a nível nacional (SANTANA e VIANABARBOSA, 2012).

Ao adentrarmos nos critérios de análise de mapas conceituais, percebemos que há trabalhos enfatizam o aspecto qualitativo (conceitos, estrutura do mapa, hierarquias conceituais e ligações cruzadas), porém a pontuação dos mapas dos alunos também é levada em consideração por alguns autores.

Os critérios de análise de mapas conceituais citados nesse trabalho são importantes, pois mostram como vêm sendo desenvolvidas algumas pesquisas e assim faz com que percebamos a necessidade de adoção de critérios que verifiquem se os mapas elaborados pelos alunos atingiram os objetivos desejados.

Esperamos que esta pesquisa sirva como forma de divulgação dos mapas conceituais como avaliação, uma ferramenta que surgiu há várias décadas, mas que tem sido pouco divulgada nos meios educacionais e que poderá ser utilizada para avaliar a aprendizagem dos alunos em diversas áreas, dentre elas, no ensino de Física.

AGRADECIMENTOS: À Fundação de Apoio à Pesquisa e à Inovação Tecnológica do Estado de Sergipe - FAPITEC/SE.

## 5. Referências

ÁVILA, M. E. S ; BORGHT, C. V. Los mapas conceptuales como instrumento de identificacion de la evolución de representaciones del conocimento em ecologia. Concept Maps: Making Learning Meaningful Proc. of Fourth Int. Conference on Concept Mapping. Viña del Mar, Chile, 2010.

BUNTTING, C.; COLL, R. K.; CAMPBELL, A. Student views of concept mapping use in introductory tertiary biology classes. International Journal of Science and Mathematics Education 4: 641Y668, 2006.

CURSEU, P. L.; SCHALK, R.; SCHRUIJER, S. The Use of Cognitive Mapping in Eliciting and Evaluating Group Cognitions. Journal of Applied Social Psychology, 40, 5, pp. 1258-1291, 2010.

CAÑAS, A. J., NOVAK, J. D., MILLER, N. L., COLLADO, C., RODRÍGUEZ, M., CONCEPCIÓN, M., SANTANA, C., PENA, L. Confiabilidad de una taxonomía topológica para mapas conceptuales. Concept Maps: Theory, Methodology, Technology. Proc. of the Second Int. Conference on Concept Mapping San José, Costa Rica, 2006.

CAÑAS, A. J., NOVAK, J. D. Confiabilidad de una taxonomía topológica para mapas conceptuales. Florida Institute for Human and Machine Cognition (IHMC) 2006.

CATANI, D. B.; GALLEGO, R. C. Avaliação. Coleção paradidáticos. Ed. Unesp. São Paulo, 2009.

COSTAMAGNA, A. M. Mapas conceptuales como expresión de procesos de interrelación para evaluar la evolución del conocimiento de alunos universitários. Enseñanza de Las Ciencias, 19 (2), 309-318, 2001.

DERBENTSEVA, N.; SAFAYENI, F.; CAÑAS, A. J. Concept Maps: Experiments on Dynamic Thinking. Journal Of Research In Science Teaching VOL. 44, NO. 3, PP. 448-465, 2007.

HAY, D. B.; TAN, P. L.; WHAITES, E. Non-traditional learners in higher education: comparison of a traditional MCQ examination with concept mapping to assess learning in a dental radiological science course. Assessment & Evaluation in Higher Education Vol. 35, No. 5, 577595, August 2010.

HEINZE-FRY, J.A.; NOVAK, J.D. Concept mapping brings long-term movement toward meaningful learning. Science Education, Volume 74, Issue 4, pages 461-472, July 1990.

INGEÇ, K. S. Analysing Concept Maps as an Assessment Tool in Teaching Physics and Comparison with the Achievement Tests. International Journal of Science Education. Vol. 31, No. 14, 15, pp. 1897-1915, September 2009.

JACOBS-LAWSON, J. M.; HERSHEY, D. A. Concept Maps As an Assessment Tool in Psychology Courses, Teaching of Psychology; Vol. 29, No. 1, 2002.

KAO, G. YI-MING ; CHEN, KUAN-CHIEH; SUN, CHUEN-TSAI. Using an E-learning system with integrated concept maps to improve conceptual understanding. Int'l J of Instructional Media Vol. 37(2), 2010.

KASSAB, S. E.; HUSSAIN, S. Concept mapping assessment in a problem-based medical curriculum. Medical teacher; 32: 926-931, 2010.

KINCHIN, I. M. The qualitative analysis of concept maps: some unforeseen conseqences and emerging opportunities Concept Mapping: Connecting Educators. Proc. of the Third Int. Conference on Concept Mapping. Tallinn, Estonia & Helsinki, Finland, 2008.

KINCHIN, I. M.; HAY, D. B.; ADAMS, A. How a qualitative approach to concept map analysis can be used to aid learning by illustrating patterns of conceptual development. Educational Research Vol. 42 No. 1, 43-57 Spring, 2000.

- LIU, X. Using Concept Mapping for Assessing and Promoting Relational Conceptual Change in Science. Inc. Science Education, 88:373-396, 2004.
- MARKOW, P. G.; LONNING, R. A. Usefulness of Concept Maps in College Chemistry Laboratories: Students' Perceptions and Effects on Achievement. JOURNAL OF RESEARCH IN SCIENCE TEACHING VOL. 35, NO. 9, PP. 1015-1029, 1998.

MCCLURE, J. R.; SONAK, B.; SUEN, H. K. Concept Map Assessment of Classroom Learning: Reliability, Validity, and Logistical Practicality. JOURNAL OF RESEARCH IN SCIENCE TEACHING VOL. 36, NO. 4, PP. 475-492, 1999.

MILLER, N. L.; CAÑAS, A. J. A Semantic scoring rubric for concept maps: design and reliability. 3ª Conferência sobre Mapas Conceituais, Finlândia, 2008.

MILLER, N. L.; CAÑAS, A. J.; NOVAK, J. D.; COLLADO, C. Monitoreo de la estructura y contenido de mapas conceptuales de ciencia y matemáticas en servidores de escuelas incorporadas al proyecto conéctate al conocimiento Concept Maps: Making Learning Meaningful. Proc. of Fourth Int. Conference on Concept Mapping. Viña del Mar, Chile, 2010.

MINTZES, J.; QUINN, H. J. Knowledge Restructuring In Biology: Testing A Punctuated Model Of Conceptual Change. International Journal of Science and Mathematics Education 5: 281Y306, 2007.

NOVAK, J.D. GOWIN, D.B. Aprender a aprender. Lisboa: Plátano Edições Técnicas, 1984.

NICOLL, G.; FRANCISCO, J.; NAKHLEH, M. A three-tier system for assessing concept map links: a methodological study. International Journal of Science Education, v. 23, n. 8, p.863-875, 2001.

OZMEN, H.; DEMIRCIOGLU, G.; COLL, R. K. A comparative study of the effects of a concept mapping enhanced laboratory experience on turkish high school students understanding of acid-base chemistry. International Journal of Science and Mathematics Education 7: 1Y24, 2009.

- RICE, D. C.; RYAN, J. M.; SAMSON, S. M. Using Concept Maps to Assess Student Learning in the Science Classroom: Must Different Methods Compete? Journal Of Research In Science Teaching VOL. 35, NO. 10, PP. 1103-1127, 1998.
- RYE, J. A.; RUBBA, P. A. Scoring Concept Maps: An Expert Map-Based Scheme Weighted for Relationships. School Science and Mathematics, Volume 102(1), January 2002.
- RYE, J. A.; RUBBA, P. A. Scoring Concept Maps: An Expert Map-Based Scheme Weighted for Relationships. School Science and Mathematics. Volume 102(1), January, 2002.

RUIZ-PRIMO, M. A. On the use of concept maps as an assessment tool in science: what we have learned so far. Revista Electrónica de Investigación Educativa. Vol 2, No. 1, 2000.

SAFAYENI, F.; DERBENTSEVA, N.; CAÑAS, A. J. A Theoretical Note on Concepts and the Need for Cyclic Concept Maps. Journal Of Research In Science Teaching VOL. 42, NO. 7, PP. 741-766, 2005.

SANTANA, R. G.; VIANA-BARBOSA, C. J. Análise de Mapas Conceituais utilizados como avaliação: uma investigação no Brasil. Proc. Anais da II Jornada de Debates sobre Ensino de Ciências e Educação Matemática, Itabaiana-SE, 2012.

SEGALÀS, J.; FERRER-BALAS, D.; MULDER, K. F. Conceptual maps: measuring learning processes of engineering students concerning sustainable development. European Journal of Engineering Education. Vol. 33, No. 3, 297-306, 2008.

STARR, M. L.; KRAJCIK, J. S. Concept maps as a heuristic for science curriculum development: Toward improvement in process and product. Journal of Research in Science Teaching, Vol 27(10), 987-1000, 1990.

STODDART, T.; ABRAMS, R.; GASPER, E.; CANADAY, D. Concept maps as assessment in science inquiry learning - a report of methodology. INT. J. SCI. EDUC., VOL. 22, NO. 12, 12211246, 2000.

- YIN, Y.; SHAVELSON, R. J., Application of Generalizability Theory to Concept Map Assessment Research. Applied Measurement In Education, 21: 273-291, 2008.

YIN, Y.; VANIDES, J.; RUIZ-PRIMO, M. A.; AYALA, C. C.; SHAVELSON, R. J. Comparison of Two Concept-Mapping Techniques: Implications for Scoring, Interpretation, and Use. Journal Of Research In Science Teaching VOL. 42, NO. 2, PP. 166-184, 2005.