Recursividade em avaliações formativas como alternativa para melhorar o aprendizado

## Recursividade em avaliações formativas como alternativa para melhorar o aprendizado

## Charlie V. Sarmiento 1 , Ricardo Caravana 2 , and Lucas Sigaud 3

- 1 Instituto de Física, Universidade Federal do Rio de Janeiro, charliesv@if.ufrj.br
- 2 Instituto de Física Universidade Federal do Fluminense, ricardocaravana@id.uff.br
- 3 Instituto de Física Universidade Federal do Fluminense, lsigaud@id.uff.br

Palavras-chave : Avaliação formativa on-line ; acompanhamento de aprendizagem; feedback .

## Resumo expandido

As avaliações realizadas em uma disciplina são sempre um momento marcante no processo de aprendizagem dos estudantes (RAMSDEN, 2003). Diferentes trabalhos mostram que o envolvimento do aluno depende fortemente do momento da avaliação (MARRIOTT, LAU, 2008; HOLMES, 2018; RUST, 2002) e são elas que definem como os estudantes utilizam seus tempos nos estudos e como eles se enxergam na disciplina em questão. Assim sendo, uma alternativa para promover uma mudança no aprendizado do aluno está em avaliar em detalhes os métodos de avaliação (BROWN, BULL, PENDLEBURY, 2013). Não por acaso, o currículo, a instrução e a avaliação são considerados como os três componentes principais da educação, mas é este último que carece continuamente de uma adequada implementação (JIMAA, 2011). Por este motivo, nosso trabalho tem por objetivo propor melhorias nas avaliações formativas de forma a aprimorar o aprendizado dos alunos.

As avaliações são divididas em: avaliações formativa e somativa. A primeira visa ganhar informação sobre o processo de aprendizagem e pode ser utilizada para dar suporte personalizado, enquanto a segunda principalmente avalia o aprendizado final do aluno (SCRIVEN, 1967). Diversos trabalhos mostram os benefícios da implementação das avaliações formativas na motivação e autorregulação do processo de aprendizado do aluno (CLARK, 2012; BLACK, WILIAM, 2009).

A disciplina de Introdução às Ciências Físicas 1 (ICF1), ofertada pelo CEDERJ, até o segundo semestre de 2019 contava com três avaliações: as oficinas (OF), as avaliações à distância (AD) e as avaliações presenciais (AP). Cada avaliação é aplicada duas vezes, uma vez antes da metade (OF1, AD1 e AP1) e outra vez depois da metade do semestre (OF2, AD2 e AP2). As OFs e ADs, primeiras avaliações de cada metade do semestre, foram pensadas como avaliações formativas responsáveis por 20% da nota final, mas a nossa percepção era que não estavam ajudando na formação dos alunos em seu formato antigo. Na tentativa de contornar essa situação, implementamos um conjunto de avaliações on-line (SARMIENTO, PENELLO, SIGAUD, 2020), como uma mudança nas OFs. Esta nova avaliação consiste de um conjunto de aproximadamente 20 perguntas com resposta numérica e o feedback , ou retorno, proporcionado informa ao estudante apenas se cada resposta dele está correta ou não logo após a conclusão da avaliação. O aluno pode refazê-la quantas vezes quiser durante um intervalo de tempo definido, a correção é imediata, e apenas a nota da última tentativa é considerada na pontuação final.

\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_

Na figura 1 são apresentados os resultados das notas por tentativa. Os triângulos vermelhos representam os alunos que fizeram uma nova tentativa e os pontos azuis os que não fizeram a tentativa seguinte. O número de tentativas mostra que alguns estudantes apresentam um alto nível de engajamento. É observado que alguns alunos conseguem atingir a nota máxima após algumas tentativas, mas existem outros que não conseguem mesmo tentando muitas vezes (p. ex. o aluno representado pela linha marrom). Uma vantagem imediata desse sistema de avaliação aqui proposto é que podemos identificar os alunos que precisam de maior atenção ainda em um momento inicial da disciplina.

Figura 1 - Notas dos alunos para cada tentativa realizada em ICF1 na OF1, incluindo a evolução de alguns dos alunos na avaliação.

<!-- image -->

Uma comparação entre os resultados das avaliações formativas e as somativas é importante para observar o efeito das avaliações no aprendizado do aluno. Na figura 2, apresentamos as notas dos alunos na OF1 e na AD1 em função das notas da AP1 incluindo a situação final do aluno na disciplina. Um fato interessante de se observar nas notas da OF1 é que, no caso dos alunos que reprovaram, a distribuição das notas é mais espalhada e isto não é observado nas notas da AD1, seja nos alunos que foram reprovados ou aprovados. De fato, as notas dos alunos na AD1 são majoritariamente altas, o que não ajuda a identificar alunos que possam apresentar dificuldades no aprendizado da disciplina. Como pode ser observado, as notas não apresentam uma clara correlação em nenhum dos quatro casos porque as notas se encontram amplamente distribuídas.

Uma forma de analisar as notas é considerar uma regressão linear, e podemos fazer uma primeira análise da correlação das notas com esta função. A linha preta na Fig. 2 representa a regressão linear nos quatro casos e a região cinza é seu intervalo

\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_

de confiança. Pode-se observar que a inclinação dos ajustes na OF1 é maior que na AD1, indicando que se um aluno consegue uma nota alta na OF1 há uma maior probabilidade de obter uma nota boa na AP1. Por outro lado, o ajuste linear entre a AD1 e a AP1 apresentam uma reta praticamente horizontal, indicando que o formato antigo da AD1 não propiciava um indicativo confiável de correlação.

Figura 2. Notas dos alunos na AD1 e na OF1 e como elas se relacionam com P1 e a situação final da disciplina.

<!-- image -->

Uma futura continuação desse trabalho está em aprimorar o feedback fornecido. O feedback é um aspecto bastante relevante de uma avaliação formativa, o qual pode ser continuamente incorporado no processo de avaliação (BRIGGS, TANG, 2011; HATTIE, TIMPERELEY, 2007; SHUTE, 2008). O feedback deve ser pensado de forma a preencher as lacunas entre o desempenho atual e o esperado, auxiliando aos estudantes no domínio do tópico (SADLER, 1989). Diferentes tipos de feedback podem ser encontrados, como sendo: dizer se a resposta está correta ou não, dar a solução completa (seja gerada por computador ou pelo instrutor), ou dar conselhos e/ou comentários destinados a melhorar o processo de aprendizagem do aluno, sendo este último, considerado como o melhor.

Com esta metodologia de avaliação recursiva, existe a possibilidade de intervir junto ao estudante e perceber logo nas primeiras avaliações do semestre se o aluno está encontrando dificuldades mesmo após realizar várias tentativas na avaliação formativa. Essa avaliação fornece uma ferramenta extra para o professor identificar esse aluno motivado (por estar tentando diversas vezes). Como continuação deste trabalho, será dada ênfase numa intervenção com foco em auxiliar

\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_

o aprendizado do estudante a tempo de evitar uma reprovação, evitando também que um desestímulo acabe levando à evasão da disciplina.

## Referências

BLACK, Paul; WILIAM, Dylan. Developing the theory of formative assessment. Educational Assessment, Evaluation and Accountability (formerly: Journal of Personnel Evaluation in Education), v. 21, n. 1, p. 5, 2009.

BRIGGS, John; TANG, Catherine. Teaching for quality learning at university. Buckingham: Open University, 1999.

BROWN, George A.; BULL, Joanna; PENDLEBURY, Malcolm. Assessing student learning in higher education. Routledge, 2013. 332 p.

- CLARK, Ian. Formative assessment: Assessment is for self-regulated learning. Educational Psychology Review, v. 24, n. 2, p. 205-249, 2012.

HATTIE, John; TIMPERLEY, Helen. The power of feedback. Review of educational research, v. 77, n. 1, p. 81-112, 2007.

HOLMES, Naomi. Engaging with assessment: Increasing student engagement through continuous assessment. Active Learning in Higher Education, v. 19, n. 1, p. 23-34, 2018.

- JIMAA, Shihab. The impact of assessment on students learning. Procedia-Social and Behavioral Sciences, v. 28, p. 718-721, 2011.

MARRIOTT, Pru; LAU, Alice. The use of on-line summative assessment in an undergraduate financial accounting course. Journal of Accounting Education, v. 26, n. 2, p. 73-90, 2008.

RAMSDEN, Paul. Learning to teach in higher education. Routledge, 2003.

RUST, Chris. The impact of assessment on student learning: how can the research literature practically help to inform the development of departmental assessment strategies and learner-centred assessment practices? Active learning in higher education, v. 3, n. 2, p. 145-158, 2002.

SADLER, D. Royce. Formative assessment and the design of instructional systems. Instructional science, v. 18, n. 2, p. 119-144, 1989.

SARMIENTO, Charlie V.; PENELLO, Germano M.; SIGAUD Lucas Mauricio. Análise Quantitativa do Desempenho dos Alunos em Avaliações na Disciplina de ICF1 do CEDERJ. Revista Educação a Distância, Batatais, v. 10, n. 1, p. 71-87, jan./jun. 2020.

SCRIVEN, Michael. The methodology of evaluation (AERA Monograph series on curriculum evaluation, No. 1). New York: Rand Mc Nally, 1967.

SHUTE, Valerie J. Focus on formative feedback. Review of educational research, v. 78, n. 1, p. 153-189, 2008.

\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_