Hace tiempo quería escribir sobre un concepto que me ha fascinado desde que lo descubrí: la acústica patrimonial. En este blog comparto también una pequeña contribución que hice en esta área con NoiseRverb, un plugin de acústica patrimonial que captura la identidad sonora de iglesias históricas de Quito mediante reverberación por convolución.

Solemos asociar el patrimonio con la belleza visual, especialmente en la arquitectura. Esto se debe, en gran parte, a que muchos monumentos artísticos se han conservado por su valor histórico. Con el tiempo, muchos de estos lugares se han convertido en atracciones turísticas populares.

Pero ¿y si pensamos en otro tipo de patrimonio? Uno que se puede escuchar. ¿Puede el sonido tener valor histórico? ¿Se puede preservar? La respuesta es sí. Aunque no es una idea nueva —ya ha sido estudiada por investigadores—, hoy empieza a ganar espacio también dentro de la industria del audio.

Algunos espacios patrimoniales se conservan a través del arte sonoro; otros viven en grabaciones en vivo o canciones. Por ejemplo, el Festival Internacional de Música Sacra (FIMUSAQ) en Quito ha contribuido a preservar la cultura local mediante la música sacra. No es el único caso en el mundo, pero sí demuestra claramente cómo el sonido puede transmitir valor histórico.

¿Qué es la acústica patrimonial?

La acústica patrimonial es un campo que explora y protege el sonido de los espacios históricos. Combina arquitectura, física e ingeniería de sonido. Desde catedrales hasta teatros, el sonido de estos lugares es tan icónico como su estructura.

El objetivo es estudiar cómo se comporta el sonido en estos espacios. Esto implica observar la reverberación, las reflexiones, la absorción y el movimiento de las ondas sonoras. Existen tres técnicas principales:

• Mediciones in situ: Se colocan micrófonos y altavoces en el lugar. Se reproducen señales específicas (como barridos de tonos) y se graba la respuesta del espacio. Esto permite capturar datos acústicos reales.
• Captura de respuesta al impulso (IR): Esta técnica registra cómo reacciona un espacio ante un sonido corto y amplio. El resultado es una huella acústica única del lugar.
• Modelado por computadora: Se crean simulaciones en 3D del espacio a partir de planos arquitectónicos. Así, se puede predecir el comportamiento del sonido sin necesidad de estar físicamente en el sitio.

Estas técnicas ayudan a preservar el sonido único de los edificios históricos y permiten que otras personas lo experimenten, incluso a distancia.

Aplicaciones en la industria musical

El estudio de la acústica patrimonial ha dado lugar a herramientas muy interesantes para músicos y productores. Algunas de ellas son:

• Plugins de reverb por convolución que recrean espacios históricos.
• Modelado acústico para conciertos virtuales.
• Restauración de grabaciones antiguas con su acústica original.
• Experiencias inmersivas en museos o entornos de realidad virtual.

Todas son fascinantes, pero me enfocaré en la reverb por convolución, ya que es el área en la que más trabajo.

Reverb por convolución

Para entender la reverb por convolución, primero hay que saber qué es una respuesta al impulso (IR). Es una grabación de cómo reacciona un espacio a un sonido corto y de amplio espectro, como una palmada o un estallido. Contiene información clave sobre las reflexiones y la duración del sonido en la sala.

Existen varias formas de capturar una IR: una palmada, el estallido de un globo o un barrido de tonos. Aunque el método varía, los resultados suelen ser comparables.

La reverb por convolución utiliza esa IR y la aplica a cualquier señal de audio. El resultado es una simulación realista de cómo sonaría esa señal en el espacio original. Este proceso se realiza mediante una operación matemática llamada convolución, que combina el sonido original con la respuesta del espacio para recrear la experiencia acústica.

Es una técnica muy valorada por su realismo. Permite a músicos llevar una grabación de estudio a un entorno histórico sin salir de su DAW.

Plugin de acústica patrimonial

Como parte de nuestra exploración, trabajé junto a los ingenieros Analí Pinto y Fausto Espinoza para crear un plugin VST3 llamado NoiseRverb. Está basado en respuestas al impulso grabadas en siete iglesias de Quito: San Francisco, Basílica, Catedral, Compañía, Guápulo, El Sagrario y Santo Domingo.

Este plugin de acústica patrimonial permite que cualquier músico experimente los espacios sonoros de iglesias centenarias sin salir de su entorno habitual de producción musical.

Grabamos las respuestas al impulso directamente en los sitios y las procesamos digitalmente. Luego, utilizamos convolución en tiempo real para revivir esos espacios dentro del plugin. El resultado es una experiencia auténtica e inmersiva.

NoiseRverb es gratuito y puedes descargarlo aquí.

Descubre más sobre la acústica patrimonial y su papel en la preservación cultural en este artículo introductorio sobre acústica arquitectónica y en el estudio sobre variables acústicas y perceptuales en tres iglesias patrimoniales de Quito.

The post NoiseRverb: Acústica patrimonial en un plugin appeared first on Jhonatan López.

En mi última publicación, mostré cómo cargar y visualizar formas de onda de audio utilizando Python. Ahora, profundicemos en el análisis espectral con Python, una técnica poderosa para comprender el contenido en frecuencia de las señales de audio. Mediante este enfoque, podemos descubrir patrones y características esenciales para tareas como clasificación de sonidos, reconocimiento de voz y análisis musical.

¿Qué es el Análisis Espectral?

El análisis espectral permite descomponer una señal de audio en sus frecuencias individuales, facilitando la comprensión de sus componentes. Por ejemplo, mientras que una forma de onda muestra la amplitud a lo largo del tiempo, el análisis espectral revela las componentes de frecuencia ocultas en el sonido.

¿Por qué es Importante el Análisis Espectral?

Las frecuencias son los bloques fundamentales del sonido. Analizarlas nos permite distinguir entre diferentes tipos de audio, como una nota de guitarra frente a un golpe de tambor. Además, esta técnica es crucial para tareas como la clasificación de género musical y el reconocimiento de voz.

Conceptos Clave

Espectrograma

Un espectrograma es una representación visual de cómo cambian las frecuencias de una señal de audio con el tiempo. Es similar a un «mapa de calor» del sonido, donde:

• La intensidad del color representa la amplitud (por ejemplo, colores más brillantes indican frecuencias más fuertes).
• El eje x representa el tiempo.
• El eje y representa la frecuencia.

Transformada de Fourier de Tiempo Corto (STFT)

La Transformada de Fourier de Tiempo Corto (STFT) es una herramienta matemática utilizada para generar espectrogramas. A diferencia de la Transformada de Fourier estándar, que analiza toda la señal a la vez, la STFT divide el audio en segmentos cortos y superpuestos, aplicando la Transformada de Fourier a cada segmento. Esto nos permite ver cómo evolucionan las frecuencias con el tiempo, lo cual es ideal para analizar audio real, que rara vez es estacionario como un tono puro.

Un Avance de las Próximas Publicaciones

Aunque los espectrogramas basados en STFT son poderosos, son solo el comienzo. En futuras publicaciones, exploraremos características avanzadas como los espectrogramas Mel y los MFCCs (Coeficientes Cepstrales en la Frecuencia de Mel), que son ampliamente utilizados en aprendizaje automático para la clasificación de audio.

Ejemplo Práctico: Cómputo y Visualización de un Espectrograma con Python

Pongamos en práctica la teoría. Primero, cargaremos un archivo de audio usando Librosa. Luego, calcularemos la STFT y visualizaremos el espectrograma. Finalmente, interpretaremos los resultados para comprender el contenido en frecuencia del audio. Aquí tienes una guía paso a paso:

0 Montar Google Drive

Puedes omitir este paso si seguiste mi publicación anterior.

from google.colab import drive
drive.mount('/content/drive')

1 Cargar el Archivo de Audio

import librosa
import librosa.display
import numpy as np  # Importar numpy como np
import matplotlib.pyplot as plt

# Cargar un archivo de audio
y, sr = librosa.load('/content/drive/path/to/your/audio.wav')

2 Calcular la STFT y Convertir a Decibeles

# Calcular la STFT y convertir a decibeles
S = librosa.feature.melspectrogram(y=y, sr=sr, n_mels=128)
S_db = librosa.power_to_db(S, ref=np.max)  # Espectrograma Log-Mel

3 Graficar el Espectrograma

plt.figure(figsize=(14, 5))
librosa.display.specshow(S_db, sr=sr, x_axis=’time’, y_axis=’mel’)
plt.colorbar(format=’%+2.0f dB’)
plt.title(‘Espectrograma Log-Mel de la Canción’)
plt.show()

Aquí está el resultado después de ejecutar el código con un archivo de audio de muestra:

Entenidendo el resultado

• Tiempo (eje x): Muestra cómo evoluciona el audio a lo largo del tiempo.
• Frecuencia (eje y): Muestra el rango de frecuencias presentes en el audio.
• Intensidad del color: Representa la amplitud (las frecuencias más fuertes aparecen más brillantes).

Por ejemplo:

¿Qué Nos Dice el Espectrograma?

Los espectrogramas proporcionan una gran cantidad de información que las formas de onda no pueden mostrar. Por ejemplo:

• Líneas Horizontales: Indican tonos sostenidos, como una nota de violín o un sonido de zumbido.
• Picos Verticales: Representan sonidos cortos y agudos, como un golpe de tambor o una palmada.
• Patrones: Patrones repetitivos en el espectrograma pueden corresponder a ritmos musicales o fonemas en el habla.

Estas características proporcionan información valiosa sobre la estructura y el contenido de las señales de audio, haciendo que los espectrogramas sean una herramienta esencial para tareas como la clasificación de sonidos, el reconocimiento de voz y el análisis musical.

Reflexión

Aprender análisis espectral ha sido una experiencia transformadora para mí. Me ha permitido comprender la complejidad de las señales de audio y apreciar las herramientas matemáticas que hacen posible el procesamiento de audio. Uno de los desafíos que enfrenté fue elegir el tamaño de ventana adecuado para la STFT. Si es demasiado corta, la resolución en frecuencia se ve afectada; si es demasiado larga, la resolución en tiempo se vuelve difusa. A través de la experimentación y la investigación, aprendí a equilibrar estas compensaciones.

Este viaje ha reforzado mi creencia de que el análisis espectral no es solo una habilidad técnica, sino una puerta de entrada a la comprensión del rico y oculto mundo del sonido. A medida que continúo explorando técnicas avanzadas como CQT y HCQT, estoy emocionado por compartir mis descubrimientos y desafíos en futuras publicaciones.

Conclusión

El análisis espectral es una herramienta poderosa para desentrañar el contenido en frecuencia de las señales de audio. Al ir más allá de las formas de onda y explorar los espectrogramas, podemos descubrir patrones y características esenciales para tareas como clasificación de sonidos, reconocimiento de voz y análisis musical.

Recursos Adicionales

• Documentación de Librosa: Una guía completa de la biblioteca Librosa.
• Google Colab: Un entorno gratuito basado en la nube para ejecutar código Python.
• Freesound.org: Un repositorio de muestras de audio gratuitas para experimentación.
• Deep Learning 101 for Audio-based MIR, ISMIR 2024 Tutorial por Geoffroy Peeters et al. (2024).
• Kinsler, L. E., Frey, A. R., Coppens, A. B., & Sanders, J. V. (2000). Fundamentos de Acústica (4ª ed.). Wiley.
  Este libro incluye una explicación detallada de la Transformada de Fourier y su aplicación en el análisis de señales acústicas.

The post AllYouNeedIsSound 2: De Formas de Onda a Representaciones Espectrales appeared first on Jhonatan López.

Ha pasado un tiempo desde mi última publicación, he estado bastante inmerso en mi trabajo y en el desarrollo de mi último proyecto, PureWaveShaper. Recientemente, he estado explorando cómo investigadores e innovadores utilizan el análisis de audio digital con Python para comprender datos de audio. Ya seas músico, ingeniero de audio, científico de datos o simplemente alguien curioso por el sonido, este post te introducirá al increible mundo del análisis de datos de audio.

¿Qué es el Análisis de Audio Digital?

El análisis de audio digital estudia las señales de sonido para obtener información útil. En esencia, el sonido es una onda de presión que viaja por el aire. En el dominio analógico (eléctrico), estas variaciones se representan como cambios en voltaje. Al digitalizarse, el sonido se convierte en una secuencia de valores de amplitud a lo largo del tiempo. Analizar propiedades como la frecuencia, la amplitud y su variación nos permite crear nuevas representaciones visuales asi como tambien de datos. Esto es invaluable para tareas como la clasificación de sonidos, la identificación del género de una canción, la detección de tono, el reconocimiento de patrones de habla o la monitorización de sonidos ambientales.

¿Por qué Python?

Personalmente recomiendo Python ya que es una de las herramientas más populares para el análisis de audio y esto debido a:

• Facilidad de uso: Su sintaxis limpia y legible lo hace accesible para principiantes y eficiente para la creación rápida de prototipos.
• Ecosistema rico: Librerías como Librosa, NumPy y Matplotlib facilitan la carga, procesamiento y visualización de datos de audio.
• Comunidad activa: Una gran comunidad de desarrolladores proporciona abundantes recursos y soporte para resolver problemas.
• Integración con IA: Python es el lenguaje líder en machine learning e inteligencia artificial, lo que lo hace ideal para modelos avanzados de análisis de audio.
• Costo: Es gratuito y de código abierto, a diferencia de herramientas propietarias como MATLAB.

¿Por qué no otros lenguajes?

Primeros Pasos: Cargando y Visualizando Audio

Configurando el Entorno

Antes de comenzar con el código, necesitas un entorno donde ejecutar Python. Aquí algunas opciones:

• Google Colab: Entorno gratuito basado en Jupyter Notebook en la nube. (Mi recomendación)
• Instalación local de Python: Instala Python y usa un IDE como Jupyter Notebook, VS Code o PyCharm. (Recomiendo si hay experiencia previa con programación)
• Anaconda Distribution: Incluye Python y muchas librerías científicas, ideal para principiantes.

Cargando y Visualizando Audio

Empecemos con lo básico, cargar un archivo de audio y visualizar su forma de onda. Una forma de onda muestra cómo cambia la amplitud del sonido a lo largo del tiempo, dándonos una primera impresión de su estructura.

```python
import librosa
import librosa.display
import matplotlib.pyplot as plt
from google.colab import drive

# Montar Google Drive para acceder a los archivos
drive.mount('/content/drive')

# Cargar el archivo de audio desde Google Drive
y, sr = librosa.load('/content/drive/path/to/your/audio.wav')

# Mostrar la forma de onda
plt.figure(figsize=(14, 5))
librosa.display.waveshow(y, sr=sr)
plt.title('Forma de onda del archivo de audio')
plt.xlabel('Tiempo')
plt.ylabel('Amplitud')
plt.show()
```

• drive.mount('/content/drive') conecta tu Google Drive con Colab. Al ejecutar esto, Colab te pedirá autorización.
• librosa.load() carga el archivo de audio. y es la serie de tiempo del audio y sr es la tasa de muestreo. Debes reemplazar '/content/drive/path/to/your/audio.wav' con la ruta de tu archivo.
• librosa.display.waveshow() genera una representación visual de la forma de onda.
• matplotlib.pyplot nos ayuda a mostrar el gráfico.

Si aún no tienes un archivo de audio en Google Drive, puedes subir uno manualmente o descargar muestras gratuitas desde Freesound.org. Si trabajas en una instalación local, simplemente cambia la ruta del archivo a la ubicación correspondiente en tu computadora (por ejemplo, C:/Users/TuNombre/audio.wav).

Ejemplo de salida:

Reflexión

Escribir este post ha sido un buen ejercicio de simplificación de ideas y conceptos complejos, todo para ponerlo en palabras sencillas intentando no perder su esencia. Al principio, subestimé el reto de elegir el punto de partida adecuado: ¿debería empezar directamente con espectrogramas o construir desde la base con formas de onda? Opté por lo segundo, entendiendo que comprender la señal en crudo sería fundamental para cualquier investigación así como tambien para el aprendizaje de nuevas herramientas.

Elegí Librosa después de explorar otras herramientas como scipy.signal. Su enfoque en el análisis de música y audio se alinea con mi objetivo de clasificar características de audio. Este proceso también me recordó los desafíos de accesibilidad en la investigación—por ejemplo, conectar Google Drive con Colab requirió pruebas y ajustes para hacerlo más simple para otros.

A medida que avance, espero ver cómo estas técnicas básicas evolucionan en los modelos de machine learning que estoy desarrollando, que quizas no pueda compartilo inmediatamente pero espero que en un futuro próximo si. Espero tambien que este blog documente algunos de mis avances y desafíos y sobretodo me ayude a organizar mejor mis ideas.

Conclusión

Este es solo el comienzo de un viaje en el análisis de audio digital con Python. Hoy aprendimos qué es el análisis de audio, por qué Python es una gran herramienta para ello y cómo visualizar una forma de onda básica. En futuras publicaciones, profundizaré sobre visualización de características de la forma onda como espectro.

Recursos Adicionales

• Librosa Documentation
• Freesound.org
• Google Colab
• Deep Learning 101 for Audio-based MIR, ISMIR 2024 Tutorial

The post AllYouNeedIsSound 1: Explorando el Análisis de Audio Digital para Aplicaciones Avanzadas appeared first on Jhonatan López.