Aspectos da leitura de textos multimodais revelados pelo movimento dos olhos do leitor

## ASPECTOS DA LEITURA DE TEXTOS MULTIMODAIS REVELADOS PELO MOVIMENTO DOS OLHOS DO LEITOR

## ASPECTS OF THE MULTIMODAL READING TEXTS REVEALED BY READER'S EYES MOVEMENT

## Esdras Garcia Alves 1 , Eduardo Fleury Mortimer 2

1 IFMG-Congonhas / FAE-UFMG, egafisica@yahoo.com.br 2 FAE-UFMG, mortimer@ufmg.br

## Resumo

O texto do livro didático de Física é uma produção multimodal. Ler e compreender esse tipo de texto implica em coordenar as informações advindas dos diferentes modos, integrando-os em um todo coerente. Em geral, o texto verbal presente nos livros didáticos cumpre, em certa medida, o papel de orquestrar os diferentes modos, direcionando o leitor para aspectos das demais representações impressas na página, indicando um caminho de leitura a ser seguido. Nesse trabalho apresentamos os resultados parciais de uma pesquisa de doutorado cuja investigação procura caracterizar a forma como diferentes grupos de leitores leem textos didáticos multimodais de Física. Por meio de uma metodologia de rastreamento ocular, denominada eye-tracking , estamos acompanhando estudantes e professores de nível universitário na leitura de um texto didático na tela de um computador. O computador possui um sensor que permite acompanhar os movimentos dos olhos do participante enquanto lê o texto. Os resultados indicam que alguns leitores promovem uma intensa movimentação entre diferentes modos, tanto durante a leitura do texto, quanto no momento da resolução de um exercício, ao passo que outros ignoram, inclusive, as orientações do texto verbal.

Palavras-chave : multimodalidade, modos semióticos, eye-tracking , caminho de leitura.

## Abstract

Physics textbooks are tipical multimodal texts. To read and to understand this type of text the reader needs to coordinate the informations coming from different modes, integrating these modes in a coherent unity. Verbal texts in textbooks fulfill the role of orchestrating different modes at some extent. They direct the reader's atention to some aspects of others representations printed on the page indicating a reading path to be followed. In this paper we present the partial results of a doctoral research whose investigation seeks to characterize how different groups of readers read multimodal Physics texts. Using an eye-tracking methodology we are watching students and professors of universities by reading texts on a computer screen. The computer has a sensor that allows to follow the readers' eyes movements while reading the text. The results indicate that some readers promote an intense movement between different modes, both in the text reading as in exercise solving, while others ignore, even, the indications of the verbal text.

Keywords : multimodality, semiotic modes, eye-tracking, reading path.

## Introdução

O texto do livro didático de Física é uma produção multimodal, composto por diferentes modos semióticos (KRESS, 2009), tais como, texto verbal, gráficos, fotografias, figuras esquemáticas e icônicas, equações e tabelas. A utilização conjunta desses diferentes modos na composição de um mesmo texto tem relação tanto com as demandas de comunicação das comunidades onde tais textos são produzidos e utilizados, quanto com as potencialidades e limitações de cada modo.

De acordo com Mortimer et al. (2007), uma atividade central às ciências naturais é a construção de modelos do mundo físico, que nos permitem pensar sobre os fenômenos, explica-los e prever eventos e consequências de ações a eles relacionados. Em parte, esses modelos são constituídos por entidades criadas pelos discursos das ciências, como elétrons, forças, campos, dentre outras, cujas representações possibilitam a construção do mundo das teorias e modelos, bem como a comunicação do conhecimento.

Kress (2003) afirma que diferentes modos semióticos possuem potencialidades e limitações distintas para a comunicação, o que implica que determinados modos são mais adequados para comunicar certas informações que outros. Talvez, por isso, Lemke (1998) tenha constatado o emprego conjunto de diversos modos nos periódicos das áreas de ciências e medicina que analisou. Para Lemke (1998), a orquestração dos diversos modos permite a multiplicação dos significados a serem comunicados.

Contudo, a utilização conjunta dos diferentes modos coloca a necessidade de pensar a forma como eles são integrados um ao outro, afinal, a presença de um modo afeta a maneira como os demais são empregados (MORO et al., 2015). Além disso, a utilização de múltiplos modos aumenta o trabalho semiótico a ser realizado pelo interlocutor (KRESS, 2003). Compreender os textos dos livros didáticos de Física, por exemplo, demanda a integração dos vários modos em um todo coerente, uma vez que informações diferentes são comunicadas por modos distintos. No entanto, será que os leitores dos textos didáticos seguem as indicações do texto quanto a integração dos diferentes modos? E no momento de resolver um exercício, os leitores orquestram os diferentes modos de forma apropriada?

Nesse trabalho vamos tratar das questões levantadas anteriormente, discutindo alguns resultados obtidos na pesquisa de doutorado que está sendo realizada pelo primeiro autor desse trabalho. Estamos acompanhando professores e estudantes de nível universitário na leitura de um texto didático multimodal na tela de um computador. Os resultados do rastreamento ocular ( eye-tracking ) mostram que alguns leitores promovem uma intensa movimentação entre os diferentes modos, ao passo que outros ignoram, inclusive, as indicações do texto verbal. Os resultados indicam, também, que certos leitores não integram os diferentes modos ao resolver um exercício. O eye-tracking tem se mostrado uma ferramenta interessante no estudo de questões relacionadas às produções multimodais usadas no ensino de ciências (MASON, TORNATORA e PLUCHINO, 2013; VIIRI et al., 2017).

## Referencial teórico

Kress (2003) defende o ponto de vista de que não existe arbitrariedade do signo; todo signo é motivado. Para esse autor, o produtor do signo escolhe a forma mais apta para representar aquilo que deseja comunicar em função da situação comunicacional na qual se encontra. Se tal premissa puder ser aplicada ao texto do livro didático, então a escolha por múltiplos modos, dentre outras coisas, deve passar por uma necessidade de apresentar determinado fenômeno em suas várias perspectivas. No entanto, empregar diversos modos de forma conjunta implica em disponibilizar para o leitor várias portas de entrada no texto e diferentes caminhos de leitura a percorrer.

- O caminho de leitura (KRESS, 2003) é formado pelos deslocamentos sucessivos que uma pessoa realiza ao ler determinado material. O caminho de leitura pode variar muito, sendo muito bem definido para um texto puramente verbal e bastante aberto para um texto multimodal. A leitura de um texto verbal implica seguir linha por linha, de cima para baixo e da esquerda para a direita (considerando a escrita alfabética ocidental). De forma oposta, em um texto multimodal os caminhos de leitura se multiplicam, pois o leitor tem à sua disposição as informações advindas dos diferentes modos e cada um deles pode funcionar como porta de entrada para o texto.

Considerando que os textos didáticos são destinados, principalmente, aos estudantes, que se encontram em processo de enculturação nas práticas da ciência escolar, não nos parece adequado deixar a cargo do leitor a escolha do caminho de leitura. Considere, por exemplo, a 'Figura 5.19', reproduzida na Figura 1. Há muitas informações nessa figura, como representações de forças, equações, gráfico, textos verbais, chaves delimitando regiões etc. Certamente encontrará dificuldades um leitor que tente atribuir sentido a todos esses elementos a partir da figura. Talvez, por esse motivo, os autores de textos didáticos utilizem estratégias para direcionar o olhar do leitor para certos pontos específicos da página, de modo a levá-lo a se atentar para um detalhe de um desenho, para os símbolos de uma equação ou para o aspecto da curva de um gráfico. Diversas são as indicações presentes no texto verbal reproduzido na Figura 1 que direcionam o olhar do leitor, em momentos específicos, para elementos da 'Figura 5.19'. Dessa forma, o texto contribui para educar a atenção do leitor, auxiliando-o na tarefa de integrar os diferentes modos de uma forma coerente.

- O termo educação da atenção, usado por Ingold (2010), nos parece muito adequado para descrever a ação de guiar o olhar do leitor pela página, auxiliando-o na integração dos diferentes modos e chamando sua atenção para certos aspectos específicos desses elementos. Para Ingold (2010),

mostrar alguma coisa a alguém é fazer esta coisa se tornar presente para esta pessoa, de modo que ela possa apreendê-la diretamente, seja olhando, ouvindo ou sentindo. Aqui, o papel do tutor é criar situações nas quais o iniciante é instruído a cuidar especialmente deste ou daquele aspecto do que pode ser visto, tocado ou ouvido, para poder assim 'pegar o jeito' da coisa. Aprender, neste sentido, é equivalente a uma 'educação da atenção'. (pág. 21)

Ingold (2008) argumenta que, a cada geração, os aprendizes aprendem sendo expostos a situações diversas e sendo orientados por pessoas mais experientes que lhes mostram como fazer e a que se atentar. O ponto que nos

parece interessante nessa discussão é que o aprendizado ocorre por meio da ação direcionada pela mão mais experiente, que orienta o aprendiz a se atentar para os aspectos importantes da atividade em questão. Por esse motivo Ingold (2008) defende que a aprendizagem tem mais a ver com educar a atenção que com transmitir representações. Para ele a aprendizagem é um redescobrimento guiado.

## Metodologia

Inicialmente selecionamos o texto sobre forças de atrito do livro Física I, de Young e Freedman (2008). Tal escolha se baseou em dois pontos: i) analisando obras de vários autores observamos que os textos sobre forças de atrito são compostos por muitos e variados modos; ii) Caldas (1999) afirma que o texto didático de Sears, Zemansky e Young, cuja edição continua com Young e Freedman (2008), trata das forças de atrito com um maior cuidado conceitual.

Reproduzimos esse texto na tela de um computador como uma página de internet, que pode ser rolada com o mouse pelo leitor. Ao final da leitura do texto é apresentado um teste com 8 questões de múltipla escolha que o participante deve responder clicando com o mouse sobre a alternativa correta. Em nossa coleta utilizamos o eye-tracker SMI iView RED 500 Hz, da SensoMotoric Instruments. Os sensores desse equipamento, fixados embaixo do monitor do computador, mapeiam os deslocamentos e as fixações do olhar do leitor enquanto ele lê o texto na tela.

Participaram desta pesquisa, na primeira etapa, 4 estudantes do curso de Licenciatura em Física de uma universidade pública e 1 professor de uma instituição privada de Ensino Superior. Na época, os estudantes Marcos e Guilherme estavam no 4º período do curso e Luciano no 2º. Paula estava cursando o 1º período da Licenciatura, mas já havia concluído o Bacharelado em Física na mesma universidade. O professor Mário possui formação em engenharia e leciona Física em cursos superiores de engenharia. Os nomes atribuídos aos leitores são fictícios.

## Resultados e discussões

A Figura 1 é uma reprodução de parte do material de leitura que estamos utilizando na pesquisa. As regiões coloridas na Figura 1 não aparecem na tela durante a leitura. Elas são criadas pelo pesquisador para fins de análise e são denominadas áreas de interesse (ADI). Foram definidas 5 ADI: Texto1, Texto2, Texto3, Equação5.6 e Figura5.19. Os trechos de texto verbal associados à 'Figura 5.19' (Texto1, Texto2 e Texto3, na Figura 1) sugerem, explicitamente, que o leitor observe elementos específicos dessa figura em pelo menos 8 momentos distintos.

A definição das ADI nos permitiu visualizar em que medida os leitores realizaram transições entre texto verbal, equação e figura, no momento da leitura. A Figura 2 mostra o gráfico das transições entre as ADI para os cinco leitores. Nesse gráfico as bandas coloridas representam tempos de permanência do olhar em cada ADI e as regiões em branco indicam que o leitor está lendo outras partes do texto, que não foram selecionadas como ADI.

- O primeiro ponto que nos chama a atenção, no gráfico da Figura 2, é a diferença nos tempos de leitura do texto entre os participantes. Enquanto Guilherme e Marcos gastaram cerca de 176 s para ler o trecho de texto selecionado, Mário precisou de 424 s e Paula de 389 s. Luciano gastou um tempo intermediário, cerca de 234 s.

Além do tempo de leitura, o número de vezes que os leitores promovem deslocamentos entre o texto verbal e a figura difere bastante. Os leitores Paula e Mário apresentam um padrão de leitura com muitos deslocamentos. Note que as barras que representam a permanência do olhar na figura estão bem distribuídas ao longo do período de leitura. Por outro lado Marcos e, principalmente, Guilherme, não realizaram tantos deslocamentos. Guilherme leu os trechos de texto verbal anteriores à 'Figura 5.19', observou a figura e seguiu para o último trecho de texto após a figura. Guilherme ignora as orientações do texto verbal que sugerem, em determinados pontos, que o leitor observe elementos específicos da figura. Paula e Mário realizam, de fato, uma leitura multimodal, integrando os diferentes modos de forma mais intensa.

Doran (2018) argumenta que a Física constrói seu discurso com base na linguagem, na matemática e nas imagens (figuras e gráficos), sendo, portanto, inerentemente multimodal. Esse autor mostra como esses três recursos são empregados de forma conjunta, e se complementam, de maneira a possibilitar à Física construir teorias

Figura 1 - Reprodução de 2, das 4 páginas do texto utilizado na pesquisa, com a indicação de 5 áreas de interesse (ADI).

<!-- image -->

gerais, capazes de explicar um número muito grande de fenômenos, mas ao mesmo tempo se manter em contato com o mundo empírico.

Figura 2 - Gráfico dos tempos de permanência dos cinco leitores em cada ADI.

<!-- image -->

Em nossa avaliação, atribuir sentido ao trecho de texto da Figura 1, composto por linguagem, matemática e imagem, demanda uma intensa movimentação entre o texto verbal e a figura. Cada trecho do texto verbal está

relacionado a um dos diagramas de forças, a uma equação e a uma região do gráfico. O texto verbal guia o olhar do leitor pela leitura da figura, ajudando-o a atribuir sentido, passo a passo, àquilo que está representado. Portanto, leituras como as de Paula e Mário, que promovem uma maior integração entre os modos, nos parecem mais adequadas a uma melhor apreensão das informações comunicadas por esse tipo de texto.

- O próximo dado que vamos discutir trata da resolução da 4ª questão do teste, reproduzida na Figura 3.

Figura 3 - Quarta questão do teste de leitura

Para responder corretamente a essa questão (alternativa a) o leitor precisa comparar as forças de atrito que atuam sobre os discos. Isso envolve a manipulação da equação fc = μcN. Partindo da informação do enunciado, de que os discos possuem o mesmo peso, ele deve inferir que as forças normais (N) são iguais. Logo, a variável que define a resposta é o coeficiente de atrito cinético (μc). No texto lido pelo participante há uma tabela com valores dos coeficientes de atrito entre vários materiais diferentes, incluindo os citados no exercício. Portanto, uma resposta apropriada a essa questão demanda do leitor a integração entre o texto verbal, a equação e a tabela. Dentre os cinco leitores que responderam a essa questão, um não buscou a informação necessária na tabela.

- A Figura 4 mostra as respostas dos estudantes Luciano e Marcos à questão 4. Os riscos que aparecem na Figura 4 são os deslocamentos rápidos do olhar e os círculos são as fixações. Esse dado é denominado scanpath . No eye-tracking ele é visto como um filme, que apresenta os deslocamentos e as fixações do olhar do leitor em posições sucessivas ao longo do tempo. Para Luciano mostramos apenas a parte do teste com a questão (Figura 4a), pois seus olhos não se deslocaram para outras regiões durante a resolução. No caso de Marcos mostramos a página com a questão (Figura 4c) e também a página que mostra os deslocamentos desse leitor até a tabela (Figura 4b). Cada leitor recebeu, antes de iniciar o teste, a informação de que podia voltar ao texto no momento da resolução das questões. Os testes dos dois estudantes são ligeiramente diferentes, pois o questionário passou por um aprimoramento. A questão 4, contudo, se manteve inalterada nas duas versões.

Luciano leu a questão por 51,7 s e clicou com o mouse escolhendo a alternativa 'c' (incorreta). Em nenhum momento esse estudante se deslocou para buscar a informação necessária na tabela. Marcos, por outro lado, iniciou lendo a questão por 32 s e se deslocou até a tabela, onde permaneceu por 16 s. Ao voltar à questão, ele passou, rapidamente, pela equação da força de atrito cinético (região indicada na Figura 4b). Marcos então leu o enunciado da questão novamente, foi à tabela mais uma vez, retornou, e escolheu a alternativa 'a' (correta). Todo esse processo durou cerca de 82 s. É importante ressaltar que ambos os leitores se detiveram na tabela por cerca de 18 s no momento em que realizaram a leitura do texto.

Figura 4 - Respostas de dois estudantes à quarta questão do teste de leitura: em (a) o estudante Luciano e, em (b) e (c), Marcos.

<!-- image -->

Doran (2018) discute que as equações matemáticas utilizadas na Física condensam, em poucos símbolos, uma grande quantidade de informações e relações. A equação fc = μcN trás consigo informações sobre as características das superfícies em contato (por meio do coeficiente de atrito) e também sobre a interação entre as superfícies (por meio da força normal). Operar de forma competente com esse modo implica em desempacotar as informações e relações contidas em seus símbolos. Isso parece ter ocorrido com Marcos, que após a leitura do enunciado, foi buscar o valor do coeficiente de atrito, integrando o texto verbal, a equação e a tabela. O mesmo não ocorreu com Luciano, que parece ter se baseado apenas na informação 'mesmo diâmetro e mesmo peso', que aparece no enunciado, pois marcou a alternativa 'c' (igual). Se ele chegou a considerar a equação, o fez de modo inadequado, se atentando apenas para a força normal. Nesse caso ele ignorou o fato de que a força de atrito depende, também, do tipo de superfície em contato, pois não buscou o valor do coeficiente na tabela.

## Considerações finais

Apresentamos nesse trabalho alguns dados iniciais de nossa pesquisa de doutorado. A utilização do eye-tracking tem permitido acompanhar o caminho de leitura seguido por leitores de um texto didático multimodal, bem como precisar em que medida eles realizam a integração dos diferentes modos semióticos.

Observamos que alguns leitores simplesmente ignoram o caminho de leitura desenhado pelo texto, realizando poucas integrações entre os diferentes modos. Esse tipo de leitura pode implicar em dificuldade de compreensão do texto multimodal, uma vez que as informações comunicadas pelos diferentes modos se complementam. É importante que o professor esteja atento a esse ponto, de forma a auxiliar os estudantes a realizarem a orquestração dos múltiplos modos de forma apropriada.

Algo semelhante se aplica à resolução de exercícios. Dos cinco participantes de nossa pesquisa, um não mobilizou os modos necessários para resolver a questão, provavelmente por uma dificuldade em lidar com a equação. Modos como gráficos e equações trazem consigo informações e relações condensadas que

precisam ser explicitadas. Sendo a Física uma disciplina inerentemente multimodal é preciso envolver os estudantes em práticas voltadas para a manipulação e a orquestração consciente dos diferentes modos empregados na construção de seu discurso. O professor, no papel do especialista, pode educar a atenção dos estudantes, ajudando-os a perceber o aspecto multimodal da Física.

## Agradecimentos

Agradecemos imensamente ao Prof. Dr. Pablo Juan Greco, coordenador do Centro de Estudos de Cognição e Ação da EEFFTO/UFMG, pela disponibilização do eye-tracking utilizado na pesquisa. Agradecemos também ao IFMG-Congonhas pelo apoio para a realização desse trabalho.

## Referências

CALDAS, H. Atrito: o que diz a física, o que os alunos pensam e o que os livros explicam . Vitória: EDUFES, 1999.

DORAN, Y. J. The discourse of physics: building knowledge through language, mathematics and image . New York: Routledge, 2018.

INGOLD, T. Tres en uno: Como disolver las distinciones entre cuerpo, mente e cultura. In: Criado, T. S. Tecnogénesis: la construcción técnica de las ecologias humanas . Vol. II. Madrid: AIBR, p. 1-33, 2008.

INGOLD, T. Da transmissão de representações à educação da atenção. Educação . v. 33, n.1, p. 6-25, 2010.

KRESS, G . Literacy in the new media age . London: Routledge, 2003.

KRESS, G. What is a mode? In: Jewitt, C. The Routledge Handbook of Multimodal Analysis . New York: Routledge, p. 54-67, 2009.

LEMKE, J. L. Multiplying meaning: visual and verbal semiotics in scientific text. In: Martin, J. R.; Veel, R. Reading science: critical and functional perspectives on discourses of science . London: Routledge, p. 87-113, 1998.

MASON, L.; TORNATORA, M. C.; PLUCHINO, P. Do fourth graders integrate text and picture in processing and learning from na illustrated science text? Evidence from eye-movement patterns. Computers &amp; Education . v. 60, n. 1, p. 95-109, 2013.

MORO, L.; MORTIMER, E. F.; QUADROS, A. L.; COUTINHO. F. A.; SILVA, P. S.; PEREIRA, R. R.; SANTOS, V. C. Influência de um terceiro modo semiótico na gesticulação de uma professora de Química. Revista Brasileira de Pesquisa em Educação em Ciências . v. 15, n. 1, p. 9-32, 2015.

MORTIMER, E. F.; MASSICAME, T.; TIBERGHIEN, A.; BUTY, C. Uma metodologia para caracterizar os gêneros de discurso como tipos de estratégias enunciativas nas aulas de ciências. In: NARDI, R. (Org.) A pesquisa em ensino de ciências no Brasil: alguns recortes . 1 ed. São Paulo: Escrituras, p. 53-94, 2007.

VIIRI, J.; KEKULE, M.; ISONIEMI, J.; HAUTALA, J. Eye-tracking the effects of representation on students' problem solving approaches. Proceedings of the FMSERA annual symposium , p. 88-98, 2017.

YOUNG, H. D.; FREEDMAN, R. A. Física I . Trad. Sônia Midori Yamamoto. 12 ed. São Paulo: Addison Wesley, 2008.