Utilização de Log de dados para o auxílio da avaliação de Objetos Virtuais de Aprendizagem

## Utilização de Log de dados para o auxílio da avaliação de Objetos Virtuais de Aprendizagem

## Marcos Matsukuma 1

1 Estação Ciência / USP, matsukuma2000@hotmail.com

## Resumo

O uso de ferramentas tecnológicas, representadas pelos computadores, por seus programas e pelo acesso à Internet, está cada vez mais presente em diferentes setores da sociedade, inclusive, na educação. Porém, por ainda se constituir uma novidade no ambiente tradicional de ensino, elas podem ser utilizadas de modo descontextualizado, não favorecendo seu uso correto na aprendizagem. Portanto, é necessário que esses recursos sejam introduzidos com cuidado para permitir que os usuários, principalmente professores e alunos, possam contar com uma ferramenta que realmente apoie o ensino. Também é importante que as interfaces sejam desenvolvidas para serem utilizadas de modo mais adequado pelo seu público-alvo, o que pode ser conseguido quando a avaliação de sua produção é centrada no usuário. Assim é possível fazer com que o desenvolvimento de uma interface sofra ciclos de alterações ao se investigar o modo como os usuários se relacionam com o software. Um método utilizado para observar a interação do usuário com a interface é o Log de dados, ou seja, a coleta remota de informações e sua gravação em banco de dados, para posterior análise. A obtenção contínua de dados coletados permite fazer um acompanhamento detalhado da utilização do software, fornecendo informações importantes que auxiliam na avaliação dos objetos de aprendizagem. No presente trabalho avaliou-se uma animação sobre Cores, hospedada no Laboratório Virtual da Estação Ciência / USP. A utilização do método de Log de dados nessa animação revelou que, apesar de orientações presentes na interface, as ações executadas pelo usuário se basearam mais na distribuição dos elementos no software do que nas informações ali presentes. Percebeu-se, dessa maneira, a importância da produção de protótipos para a investigação prévia de seu uso, permitindo o desenvolvimento de um produto final mais adequado ao usuário do ambiente virtual de ensino e aprendizagem.

Palavras-chave : Produção de Software. Usabilidade. Objetos de Aprendizagem. Ensino de Física.

## Introdução

O processo de avaliação de um Objeto de Aprendizagem (OA) pode se relacionar ao seu conteúdo e a sua estrutura didática. Pode, por outro lado, ser orientado ao modo como uma interface é produzida. Uma interface pode ser bastante melhorada quando o processo de produção é centrado no usuário, ou seja, no modo como elas interagem com o produto, e não apenas nos critérios adotados pelos designers .

Existem modelos de Ciclos de Vida de Software (PREECE; ROGERS; SHARP, 2005) em que a avaliação centrada no usuário é fortemente encorajada para que a produção da interface se aproxime mais às suas necessidades. Nesses modelos, um importante passo da produção é a etapa iterativa, ou seja, ciclos de

\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_

avaliações e re-estruturação da interface para que se alcancem os requisitos determinados. Exemplos desses modelos são o Espiral (PREECE; ROGERS; SHARP, 2005), em que o processo circula por várias etapas repetidamente, permitindo que as ideias e o progresso sejam constantemente verificados e avaliados; o Estrela (PREECE; ROGERS; SHARP, 2005), em que as diversas etapas não precisam seguir uma ordem definida, mas devem passar por um processo de avaliação; e o Ciclo de Vida da Engenharia de Usabilidade (PREECE; ROGERS; SHARP, 2005). Esse modelo se caracteriza por apresentar testes de Usabilidade em cada parte do projeto. A Usabilidade, para Nielsen e Loranger (2007), é definida como:

Um atributo de qualidade relacionado à facilidade do uso de algo. Mais especificamente, refere-se à rapidez com que os usuários podem aprender a usar alguma coisa, a eficiência deles ao usá-la, o quanto lembram daquilo, seu grau de propensão a erros e o quanto gostam de utilizá-la. Se as pessoas não puderem ou não utilizar um recurso, ele pode muito bem não existir.

Nos testes de Usabilidade diferentes métodos de coleta de dados são realizados. Uma das técnicas utilizadas para a obtenção de informações é a coleta remota de dados - ou Log de dados - (PREECE; ROGERS; SHARP, 2005). Ela auxilia a coleta tradicional de dados e ocorre no local natural de trabalho do usuário. Nessa técnica, a interface recebe uma programação especial que captura diferentes informações, como cliques de mouse, teclas acionadas, tempo de permanência, entre outras ações.

## Coleta de dados

Para Suchman (1987, apud ROCHA; BARANAUSKAS, 2003, p. 142) o ideal da investigação da tecnologia ocorre onde o trabalho é executado naturalmente em cenários construídos pelos próprios participantes. A investigação no local de trabalho permite que a avaliação se direcione a um objeto, para verificar como a interface se relaciona com o usuário.

A observação das ações que ocorrem no ambiente de trabalho avaliado pode ser realizada direta ou indiretamente (ROCHA; BARANAUSKAS, 2003). Na observação direta, os usuários são observados fazendo seu trabalho normal ou desenvolvendo tarefas especificas. Fazer anotações é a técnica mais simples de se coletar dados. Nesse método, o observador faz registros de como o usuário utiliza a interface, possibilitando investigar a rotina de uso do software ou anotando comportamentos interessantes realizados pelo indivíduo. No entanto, a observação direta é considerada invasiva, já que o usuário tem conhecimento de que está sendo observado e sua performance, sendo monitorada. Com isso, o indivíduo pode ter seu comportamento afetado, acarretando um desvio dos dados observados em relação àqueles desejados.

Na observação indireta os registros são gravados para uma posterior análise. Esse processo cria uma distância maior entre o observador e o usuário, minimizando o efeito invasivo da observação direta. Um exemplo de observação indireta é o registro realizado com câmeras, que permitiriam focalizar diferentes

\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_

aspectos da interação do usuário com a interface, como por exemplo, a ação no teclado ou olhar do individuo para tela do computador, informações essas que comporiam um cenário mais completo para a avaliação da interação do usuário com o software .

## Rastreamento remoto de atividades dos usuários ( Log de dados)

Algumas vezes os métodos de observação direta não permitem um registro completo das ações do usuário, já que nem sempre é possível manter um observador em tempo integral no local de trabalho do indivíduo. Gravações em vídeo também podem não ser totalmente eficazes na observação de uma particular interação do usuário com a interface.

Além dos métodos tradicionais de coleta de dados, há testes que não se limitam à observação direta do usuário no espaço dos laboratórios ou em seus locais de trabalho. Trata-se de métodos de rastreamento remoto que usam a rede como uma ligação ao ambiente de trabalho do indivíduo. Nesses mecanismos o observador e o usuário estão separados em tempo e espaço (Hartson et al, 1996).

Um método de rastreamento remotos atualmente em uso é o Log de dados, software especialmente construído para coletar dados de interação. Uma interface, por exemplo, pode ser preparada para registrar informações sobre as atividades dos usuários, que são armazenadas em um banco de dados, e que podem ser examinadas posteriormente. O Log de dados não requer a presença do pesquisador e parte do processo e análise pode ser automatizada.

## Descrição do trabalho desenvolvido

A animação estudada nesse trabalho, denominada Cores, encontra-se na página do Laboratório Virtual (www.ideiasnacaixa.com/laboratoriovirtual). Essa animação é formada por quatro quadros diferentes. Na sequência apresentada na Figura 1, o primeiro se refere à uma interface em que o usuário tem como tarefa responder quais as cores primárias formam a luz branca (Figura 1a). Seis cores são distribuídas em um círculo cromático e os usuários podem escolher quaisquer combinações de três cores e colocá-los nos círculos vazios localizados à direita do quadro.

Em seguida, é apresentado explicações sobre cores aditivas, ou seja, aquelas originadas das emissões de luz. Nesse quadro o usuário pode alterar a proporção das três cores primárias de luz (vermelho, verde e azul) para obter a resultante dessa combinação (Figura 1 b). Outro quadro apresenta uma animação que relaciona as cores aditivas com as subtrativas (Figura 1c). O último quadro explica o que são as cores subtrativas, ou seja, aquelas provenientes da interação da luz com pigmentos coloridos. O usuário pode alterar a proporção das três cores primárias de pigmento (ciano, magenta e amarelo) para obter a resultante dessa combinação (Figura 1 d).

\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_

<!-- image -->

(a)

<!-- image -->

Figura 01 : Ordem dos blocos da animação Cores em sua primeira versão (jul. 2010): a) tarefa das cores; b) mistura de cores primárias de luz; c) animação do círculo cromático e d) mistura de cores primárias de pigmento.

<!-- image -->

No quadro contendo a tarefa a ser realizada pelo usuário (Figura 1a) foi introduzido o método de Log de dados para observar as cores escolhidas pelos usuários. Esse Log envia para um banco de dados três informações, denominadas cor1, cor2 e cor3. Cada uma delas pode conter o código associado a cada uma das cores escolhidas: corRR (vermelho), corGG (verde), corBB (azul), corRG (amarelo), corGB (ciano) e corBR (magenta). Dessa forma, podem-se observar vinte combinações de cores, conforme mostra a Tabela 01.

Tabela 01 : Combinação de cores possíveis selecionadas pelo usuário.

<!-- image -->

Para acompanhar a evolução das escolhas de cores, foi desenvolvido um programa que distribui em um gráfico (Gráfico 01) as seleções das cores realizadas pelos usuários. Os primeiros resultados permitiram verificar que as escolhas não

\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_

<!-- image -->

estavam associadas apenas às explicações apresentadas no software , mas também pareciam ser decorrentes da distribuição dos elementos na interface - aquelas cores mais próximas dos círculos de vazios de escolha (Figura 1a). Para investigar a hipótese foram realizadas alterações no layout da interface para verificar como as escolhas das cores eram alteradas.

Inicialmente, foram observadas as escolhas de cores com a disposição dos quadros da interface organizados conforme a Figura 01. O início da análise ocorreu no momento da sua publicação, em julho de 2010.

Em março de 2011 foi realizada a primeira modificação da interface: o círculo cromático da tarefa de escolha de cores sofreu uma rotação de 120° no sentido horário (Figura 02).

Figura 02 : Primeira alteração do layout em março de 2011.

<!-- image -->

Em abril de 2011 foi realizada uma nova modificação da interface, dessa vez na ordem dos seus quadros. Assim, diferentemente de como é mostrado na Figura 01, a tarefa sobre as cores foi posicionada após as explicações sobre cores primárias de luz e pigmentos, para verificar se haveria alguma alteração no padrão de respostas.

## Resultados obtidos

O Gráfico 01 mostra a evolução das escolhas dos grupos de cores realizada pelos usuários no período de julho de 2010 a outubro de 2011. A partir desse gráfico é possível perceber que as cores correspondentes à resposta esperada (vermelho, verde e azul, grupo de cores 1, Tabela 01) não foram as mais escolhidas dentro do primeiro período estudado (entre julho de 2010 e março de 2011). Antes dessas, aparece o grupo 3, que correspondem ao azul, ao vermelho e ao amarelo. No entanto, essas são cores utilizadas com frequência nas aulas de arte das escolas e denominadas 'cores primárias'. Portanto, apesar de não serem as corretas, não se tratam de uma resposta inesperada.

\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_

Gráfico 01 : Evolução das escolhas de cores no tempo. Período selecionado: julho de 2010 a outubro de 2011 (disponível em: &lt;http://www.ideiasnacaixa.com/pesquisa/ leituraPesquisaOptica01.html&gt;. Acesso em: 26.jun.2012).

<!-- image -->

No entanto, dois outros grupos aparecem em destaque: o grupo 9, correspondente às cores vermelho, magenta e azul, e o grupo 12, correspondente às cores magenta, azul e ciano. Destacando esses dois grupos no círculo cromático indicado na Figura 01a, obtemos a ilustração apresentada na Figura 03. Assim, observa-se que esses grupos correspondem aos mais próximos dos círculos vazios de escolha, além de serem formados por cores adjacentes.

Figura 03 : Grupos de cores escolhidas com mais frequência antes da primeira alteração.

<!-- image -->

Após a primeira alteração, ou seja, a rotação do círculo cromático (Figura 02) em março de 2011, o grupo de cores formado pela resposta esperada (grupo 1) e àquele formada pelas 'cores primárias' utilizadas nas escolas (grupo 3) continuaram tendo seus ritmos de escolhas praticamente inalterados (Gráfico 01). No entanto, os grupos 9 e 12 tiveram uma redução na frequência de escolhas.

\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_

Por outro lado, o grupo 4 (verde, amarelo e vermelho) e o 7 (amarelo, vermelho e magenta), começaram a ter suas escolhas em um ritmo maior. Destacando esses dois grupos no círculo cromático indicado na Figura 02, obtemos a ilustração apresentada na Figura 04.

Figura 04 : Grupos de cores escolhidas com mais frequência após a rotação do círculo cromático.

<!-- image -->

Novamente, percebemos que os grupos correspondem às cores mais próximos dos círculos vazios de escolha, além de serem formados por elementos adjacentes.

Finalmente, após a última alteração (ordem dos blocos dentro da interface), o crescimento de escolhas dos grupos 1 e 3 continuaram praticamente o mesmo (pequena queda para o grupo 3). As escolhas dos grupos 4 e 7 também continuaram crescendo, embora em ritmo menor.

Além disso, após março de 2012, é possível perceber o crescimento de escolhas do grupo 11. Esse é o grupo formado pelas cores magenta, ciano e amarelo, que são as cores primárias de pigmento.

## Considerações e conclusões

A análise das escolhas de grupos de cores, dentro da tarefa realizada no software estudado, despertou a atenção devido aos resultados obtidos não serem os esperados. Em vez das respostas estarem associadas às cores relacionadas às explicações contidas na animação ou, então, a agrupamentos aleatórios de cores, os usuários apresentaram uma tendência a fazer escolhas ligadas a posições preferencias dentro do layout. Os grupos selecionados eram formados por cores adjacentes e próximos aos círculos vazios de escolha. Esse resultado foi verificado mesmo quando o círculo cromático foi rotacionado. Revelou-se, dessa forma, uma influência do design nas escolhas realizadas pelo usuário.

Os resultados apresentados foram obtidos apenas com a aplicação do método de Log de dados e demonstraram como sua utilização pode auxiliar na avaliação do uso de um software pelo usuário. Contudo, para um resultado mais

\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_

completo seria necessário associá-lo a outros métodos de observação, como o uso de vídeo e aplicação de questionários, e observação direta da interação do indivíduo com a interface.

No entanto, as observações obtidas servem de alerta a uma importante questão que deve ser discutida ao introduzir as TIC no ensino. Caso um OA seja utilizado sem que ocorra uma avaliação de Usabilidade e sem mediação adequada, poderá não ser aplicado adequadamente como uma ferramenta na aprendizagem de conceitos.

Além disso, não basta apenas se preocupar em melhorar o sistema computacional para utilizá-lo como ferramenta auxiliadora na aprendizagem em sala de aula. É necessário que a sua introdução no ambiente escolar seja realizada de modo crítico, evitando que o computador se contraponha ao método tradicional de ensino de um professor, ou que seja utilizado de modo indiscriminado, interferindo no processo de aprendizagem.

Assim, em um ambiente que promova um efetivo diálogo, a introdução e o uso das ferramentas computacionais deve ser discutida com clareza, sendo que o método de investigação de Usabilidade de OA pode se tornar um aliado ao favorecer a participação de alunos e professores na produção de interfaces que se aproximem das reais necessidades do espaço de aprendizagem.

## Referencer

HARTSON, H. R.; CASTILHO, J. C.; KELSO, J. Remote evaluation: the network as an extension of the usability laboratory . Disponível em: &lt;http://www.sigchi.org/chi96/proceedings/papers/Hartson/hrh\_txt.htm&gt;. Acesso em: 30.may.2012.

MATSUKUMA, M. Laboratório virtual . Disponível em: &lt;http://www.ideiasnacaixa.com/laboratoriovirtual&gt;. Acesso em: jul.2011.

NILSEN, J. Projetando websites . São Paulo: Editora Campus, 2000.

NILSEN, J.; LORANGER, H. Usabilidade na web . Rio de Janeiro: Elsevier Editora, 2007.

NILSEN, J.; TAHIR, M. Homepage usabilidade : 50 websites desconstruídos. São Paulo: Editora Campus, 2002.

PREECE, J.; ROGERS, Y.; SHARP, H. Design de interação : além da informação homem-computador. Porto Alegre : Bookman, 2005.

ROCHA, H. V.; BARANAUSKAS, M. C. C. Design e avaliação de interfaces humano-computador . Campinas: Nied/Unicamp, 2003.

SUCHMAN, L. ;TRIGG, R. H. Understanding practice : video as a medium for reflection and design. In: Human-computer interaction: toward the year 2000. Baecker , R. et al. (eds). Morgan Kaufmann Publishers, Inc. 1995.

\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_