SONIFICAÇÃO: ARTE E INCLUSÃO NA DISSEMINAÇÃO CIENTÌFICA

## SONIFICAÇÃO: ARTE E INCLUSÃO NA DISSEMINAÇÃO CIENTÌFICA

## Gustavo Chagas de Morais 1 , Caetano Rodrigues Miranda 2

1 Instituto de Física da USP, gustavo.chagas.morais@usp.br

2 Instituto de Física da USP, crmiranda@usp.br

Palavras-chave

: Sonificação, divulgação científica, inclusão

## Resumo expandido

O uso da música como registro e manifestação pode ser observado em diversas culturas em distintos períodos históricos. A linguagem musical pode ser também estendida para o registro e representação dos fenômenos e interações que ocorrem na natureza. Esses comportamentos podem ser traduzidos em melodias, harmonias e ritmos trazendo uma nova forma de experienciá-los e analisá-los. Essa ponte entre os fenômenos físicos e o som é chamada de sonificação e consiste no mapeamento e conversão de dados em som.

Aqui, apresentaremos diversas paisagens sonoras de pesquisas desenvolvidas no Instituto de Física da USP (IFUSP) utilizando distintas estratégias de sonificação. Essas pesquisas cobrem fenômenos físicos que ocorrem desde a microescala até a macro escala [1] percorrendo distintas áreas da Física, seja como ferramenta de pesquisa, ou como estratégia para comunicação científica.

O uso de elementos sonoros para representação dos fenômenos físicos tem algumas vantagens em comparação a análise visual. Por exemplo, pequenas variações do som são mais sensíveis que variações visuais, bem como o uso de timbres possibilita dados serem apresentados simultaneamente de forma multidimensional, mantendo a percepção das relações entre esses dados. Também é possível o uso de diversos parâmetros presentes nas características do som (ex. altura, timbre, duração ou ritmo) que oferecem mais flexibilidade na análise. Como não é necessário o uso de representações visuais, as sonificações também são uma ponte de acessibilidade para pessoas com deficiência visual durante análises de dados e interpretação de fenômenos.

Ferramentas computacionais permitem a produção de sonificações a partir dos vários elementos que compõe a linguagem musical. O processo utilizado é similar, primeiramente realizando a leitura dos dados inseridos e sua normalização. Os dados são então mapeados a partir dos elementos sonoros e protocolos prédefinidos, levando a produção da síntese sonora. Os três tipos de sonificação mais comuns são de MIDI, ciclos e absoluta. A sonificação absoluta normaliza o alcance de dados para o alcance de frequências audíveis pelo ouvido humano e sintetizadas pelo tempo. Essa sonificação é a mais literal, sendo possível ler um gráfico com movimentações idênticas às variações de frequência ouvidas. A sonificação por MIDI normaliza a série de dados e atribui alcances menores dos dados a 88 números inteiros, que correspondem às 88 notas de um piano acionadas via protocolo MIDI. O protocolo MIDI não trabalha com síntese de som e sim com um formato legível por instrumentos virtuais e facilmente lido, transportado e editável. A

\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_

19 a 30 de julho de 2021 - Online

sonificação por ciclos atribui cada dado normalizado individualmente a uma frequência que apenas é ativa durante um ciclo, se repetindo apenas depois de todos os dados terem sidos executados, esse método não cria melodias e sim timbres. Caso os dados apresentam muita variação, então os timbres podem ser considerados ruídos. Cada uma dessas sonificações podem ser tratadas considerando as características exponenciais do som ou não, a sonificação por MIDI considera naturalmente essas características, já a sonificação absoluta não.

Neste sentido, foram sonificados: i) colisão de prótons no contexto de Física de Partículas, ii) estruturas atômicas e moleculares de materiais, como interfaces fluído-sólido (calcita-água) e seus efeitos devido ao confinamento na nano escala, iii) os espectros Raman de materiais nano estruturados e minerais de interesse em Física da Matéria Condensada. Bem como, iv) os comprimentos de onda observados na emissão solar no contexto astronômico [1]. As sonificações foram obtidas a partir de códigos in-house usando os ambientes de programação para síntese de áudio, Supercollider e o Mathematica. Para cada uma dessas aplicações, a sonificação permite identificar e realçar características inerentes ou revelar estruturas e dinâmicas intrínsecas dos fenômenos, que seriam visualmente difíceis de observar.

Em extensão, as sonificações também são ferramentas de disseminação científica e uma ponte para estimular diálogos entre física e arte. O uso do som na experiência dos fenômenos promove uma imersão que contribui na abstração dos mesmos. Sendo possível, propor experimentos em realidades estendidas, em que o som interage simultaneamente com o ambiente. Ajudando assim, a compreender com mais nitidez os impactos das interações físicas que o público propõe. Nesse sentido, desenvolvemos experimentações imersivas combinando o uso de sonificação e realidade virtual para imersões em nano escala, envolvendo desde da construção de estruturas moleculares e experimentações de forças atômicas e moleculares. Neste trabalho, exporemos um panorama dessas ações de disseminação científica com o público geral através da sonificação.

Essas estratégias de disseminação também trabalham com acessibilidade, tentando quebrar barreiras que experiências e representações visuais têm em propostas imersivas ou exposições trazem para pessoas com deficiência visual. As sonificações podem também servir como elementos criativos para produção musical, permitindo contribuições nos fins acadêmico, didáticos e comunicativos e buscando também ser uma forma de registros, experimentações e representações dos fenômenos físicos.

## Referências

[1] Disponível em: <https://somifusp.wixsite.com/criatividade/um-barulhobom>. Acesso em 13 de Março de 2021

\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_