EYE-TRACKING: UMA METODOLOGIA PARA INVESTIGAR A INTEGRAÇÃO MULTIMODAL

## EYE-TRACKING: UMA METODOLOGIA PARA INVESTIGAR A INTEGRAÇÃO MULTIMODAL

## Esdras Garcia Alves 1 , Eduardo Fleury Mortimer 2

1 IFMG-Congonhas/Departamento de Física/esdras.alves@ifmg.edu.br

2 UFMG/Faculdade de Educação/mortimer@ufmg.br

Palavras-chave : eye-tracking, caminhos de leitura, multimodalidade

## Resumo expandido

O texto do livro didático de Física é uma produção multimodal, composto por diferentes modos semióticos (Kress, 2009), tais como, texto verbal, gráficos, fotografias, figuras esquemáticas e icônicas, equações algébricas e tabelas. Não são raras as páginas do livro onde são empregados vários modos distintos na composição de um mesmo texto. Essa utilização conjunta de diferentes modos tem relações tanto com as potencialidades e limitações de cada modo, quanto com as demandas de comunicação das comunidades onde tais textos são produzidos e utilizados (Kress, 2009). De acordo com Doran (2018), o uso conjunto dos diferentes modos permite à Física a elaboração de teorias gerais e abrangentes, que integram um grande número de fenômenos sob um mesmo modelo teórico, e, ao mesmo tempo, se manter em contato com o mundo empírico.

Se por um lado a utilização conjunta dos diferentes modos amplia as potencialidades de significação, por outro ela coloca a necessidade de pensar a forma como eles são integrados um ao outro, afinal, a presença de um modo afeta a maneira como os demais são empregados (Moro et al., 2015). Esse aspecto parece bastante pertinente quando pensamos sobre os textos dos livros didáticos de Física, pois a utilização de diversos modos em uma mesma página implica a disponibilização de múltiplos caminhos de leitura para os leitores (Kress, 2003). Os caminhos de leitura são constituídos pelos movimentos que os leitores realizam ao ler um texto e podem ser muito variados, dependendo dos modos presentes em uma página (Alves, 2020).

Um grande problema que se coloca ao realizar investigações sobre a integração dos diferentes modos, no sentido de identificar os caminhos de leitura trilhados por uma pessoa ao ler um texto multimodal, é a dificuldade em determinar com precisão o que o leitor está visualizando na página. Essa dificuldade pode ser contornada utilizando uma metodologia denominada eye-tracking . Ela consiste no uso de um hardware e de um software que rastreiam os olhos do leitor durante a leitura de um texto na tela de um computador com um sensor (Duchowski, 2007; Holmqvist et al., 2011). Em nossa pesquisa de doutorado utilizamos o eye-tracking para caracterizar a leitura de um texto multimodal de Física para o Ensino Superior, cujas páginas foram exibidas na tela do computador. Neste trabalho apresentamos parte de nossos dados de pesquisa, no sentido de compartilhar nossa experiência e discutir como as informações fornecidas pelo eye-tracking podem ser utilizadas para se fazer inferências sobre aspectos da leitura multimodal. Todos os dados apresentados são fornecidos pelo software do equipamento de eye-tracking .

\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_

19 a 30 de julho de 2021 - Online

O scanphat (Figura 01) mostra os deslocamentos sucessivos dos olhos do leitor sobre as páginas do texto. Com ele é possível refazer todo o caminho de leitura adotado. Os círculos indicam fixações do olhar (quanto maior o círculo, mais tempo o olho do leitor permaneceu parado sobre aquele ponto), e as retas são os deslocamentos rápidos do olhar, denominados sacadas. O leitor representado na Figura 01 chega à página pela trajetória 1, lê o texto na coluna esquerda, se desloca até a tabela pela trajetória 2, onde visualiza algumas informações, e retorna à coluna esquerda pela trajetória 3. O texto verbal anterior à figura está fortemente relacionado a ela, porém, este leitor ignora este aspecto da integração multimodal.

Figura 01 - Scanpath da leitura de um estudante de química.

<!-- image -->

O heatmap (Figura 02) oferece uma visualização da distribuição da atenção do leitor sobre os elementos da página. Quanto mais vermelha a região, mais tempo o leitor permaneceu com os olhos sobre ela. Podemos ver como a descontinuidade do gráfico, que mostra a transição do atrito estático para o atrito cinético, foi um dos elementos que atraiu bastante a atenção do leitor representado na Figura 02.

Outros dados interessantes podem ser obtidos a partir da definição das chamadas áreas de interesse (ADI). Na Figura 03 são mostradas diferentes ADI, em cores distintas, sobre uma das questões utilizadas no teste da pesquisa. O software permite a criação de qualquer formato de ADI e fornece várias informações sobre cada uma delas nas abas, como o tempo de permanência, o número de fixações, dentre outras. Desta forma é possível verificar, por exemplo, se determinado modo foi preponderante na resolução de determinada questão.

\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_

Figura 02 - Heatmap da leitura de um professor do Ensino Médio.

<!-- image -->

Figura 03 - Áreas de interesse e suas informações de leitura.

<!-- image -->

A definição das áreas também possibilita a construção dos gráficos da sequência de visualização das ADI. Na Figura 04A apresentamos três ADI (Texto 3, Equação 5.5 e Texto 4), e na Figura 04B os gráficos que representam como três

\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_

leitores realizaram a leitura destas ADI. As cores do gráfico correspondem às cores das ADI. O estudante de química (EQU1) vai à equação 5.5 tanto durante a leitura do Texto 3 quanto do Texto 4. O estudante de física (FIS6), por outro lado, lê a equação apenas quando finaliza o Texto 3, e o de mestrado em física (MES2), praticamente não lê a equação. Portanto, o primeiro leitor realiza mais integrações, seguindo as indicações do Texto 3, que atribui significados aos símbolos da equação, o segundo segue basicamente a ordem do aparecimento das informações no texto e o terceiro praticamente ignora a equação, possivelmente por ter maior familiaridade com ela (pois é aluno do mestrado).

Figura 04 - Em A, definição de três ADI sobre o texto, e em B, os gráficos da sequência de visualização para três leitores distintos.

<!-- image -->

Procuramos apresentar alguns dos diferentes tipos de dados que o eyetracking pode oferecer no que diz respeito a investigações sobre os caminhos de leitura em textos multimodais. Em nossa pesquisa, vimos que alguns leitores integram as informações comunicadas pelos diferentes modos, ao passo que outros ignoram a multimodalidade do texto didático de Física. Compreender como os leitores interagem com estes textos e verificar se eles seguem as formas de integração sugeridas pode ser interessante tanto para professores quanto para produtores de materiais didáticos. Os primeiros poderiam orientar melhor seus estudantes na percepção da multimodalidade inerente do texto e na sua leitura, e os outros poderiam aprimorar o material no sentido de favorecer a leitura multimodal.

## Referências

ALVES, E. G. Utilizando o eye-tracking para caracterizar os caminhos de leitura em textos multimodais de Física . Tese (Doutorado em Educação) Universidade Federal de Minas Gerais, Belo Horizonte, 2020.

DORAN, Y. J. The discourse of physics: building knowledge through language, mathematics and image . New York: Routledge, 2018.

DUCHOWSKI, A. T. Eye tracking methodology: theory and practice . 2nd ed. London: Springer-Verlag, 2007.

\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_

HOLMQVIST, K.; NYSTRÖM, M.; ANDERSSON, R.; DEWHURST, R.; JARODZKA, H.; VAN DE WEIJER, J. Eye Tracking: a comprehensive guide to methods and measures , 1 ed. Oxford: Oxford University Press, 2011.

KRESS, G. Literacy in the new media age . London: Routledge, 2003.

KRESS, G. What is mode? In: Carey, J. (Ed.). The Routledge handbook of multimodal analysis . New York: Routledge, 2009. p. 54-67.

MORO, L.; MORTIMER, E. F.; QUADROS, A. L.; COUTINHO. F. A.; SILVA, P. S.; PEREIRA, R. R.; SANTOS, V. C. Influência de um terceiro modo semiótico na gesticulação de uma professora de Química. Revista Brasileira de Pesquisa em Educação em Ciências . v. 15, n. 1, p. 9-32, 2015.

\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_