Tiento

Creatividad artificial con GenoMus para la composición colaborativa de música electrónica

José López-Montes
Doctorando de la EITSIIT - Universidad de Granada

Pilar Miralles
Estudiante de Máster de la Sibelius Academy - Uniarts Helsinki


MAY 2021

1. Diálogo creativo a tres partes:
humano-máquina-humana

Tiento es una obra electrónica compuesta por encargo del festival FACBA (Facultad de Bellas Artes de la UGR), que propuso a los autores de este artículo la creación de una pieza sonora destinada al formato podcast. La obra dura 35 minutos y está compuesta con sonidos sintéticos espacializados para la escucha binaural como opción preferente. La composición se ha llevado a cabo en su casi totalidad con GenoMus, una herramienta musical para la exploración de técnicas de creatividad artificial que los autores están desarrollando en los últimos años. Tiento es por tanto un demostrador tecnológico de esta herramienta.

El proceso colaborativo se articuló en varias fases:

1. Creación de material sonoro sintético en bruto partiendo de la exploración abierta con GenoMus en conexión con cSound y con rutinas de SuperCollider como motores de síntesis de audio.
2. Intercambio de materiales seleccionados entre los autores, para volver a mutarlo usando GenoMus como controlador en tiempo real de una herramienta de manipulación sonora creada en Max.
3. Composición de secciones de duración media a partir de la ordenación temporal y superposición de los materiales conseguidos, evitando modificar los productos de la manipulación algorítmica autónoma.
4. Propuestas de ordenación secuencial de las secciones seleccionadas.
5. Mezcla, espacialización binaural y procesos finales de posproducción

La síntesis sonora es un campo ilimitado que permite virtualmente la creación de, literalmente, cualquier sonido concebible. Al mismo tiempo, conseguir riqueza tímbrica implica el control dinámico de muchos parámetros, inmanejable a partir de cierto punto. Es por esto que este es un campo idóneo para emplear inteligencia artificial y automatización de mecanismos complejos.

2. Recombinación y mutación para la micro y mesoestructura sonora

Sin entrar en los entresijos técnicos de GenoMus, explicaremos el método estableciendo una analogía entre nuestro proceso de creación artística y los estadios de transformación genética en biología:

• Vector germinal: El material primordial del que se parte es una sucesión aleatoria de números entre 0 y 1, una pura abstracción matemática que determina el complejo árbol de decisiones que forma cada fragmento musical. A esta sucesión numérica la llamamos vector germinal, el cual se correspondería con el ADN como repositorio de la información genética desde la que se inician el resto de procesos generativos. Cualquier secuencia numérica es válida como vector germinal.
• Genotipo decodificado: El vector germinal, junto con otras condiciones iniciales tales como restricciones a las dimensiones máximas permitidas de ramificación y extensión del árbol de parámetros, se traduce en el genotipo decodificado, que es una cadena de texto ejecutable como expresión de JavaScript. Esta expresión textual está integrada por funciones musicales tomadas de una biblioteca de procedimientos compositivos básicos (repetición, remapeo, procesos generativos y estocásticos, adición de más líneas polifónicas, etc.). El genotipo codificado se corresponde en esta analogía con el ARNm, producto de la transcripción de cadenas de ADN como paso intermedio en la producción de las proteínas.
• Fenotipo: El último paso es la traducción de esos procesos invocados por el genotipo decodificado, el cual se consigue al evaluar finalmente la expresión funcional en que consiste el propio genotipo. El fenotipo sería el análogo al organismo final, integrado por distintos elementos musicales, cual proteínas materializadas por la ejecución de la información transcrita en el ARNm.
• Genotipo codificado: Una vez se ha seleccionado un genotipo decodificado, considerado útil por su resultado musical, se hace una transcripción inversa, recodificándolo de nuevo como un vector germinal optimizado (puramente numérico). Esta operación permite que las características seleccionadas se desprendan de las partes innecesarias del vector germinal original, mejorando así la calidad y precisión expresiva del material con el que se va a continuar mutando y recombinado. La codificación inversa existe también en biología: la enzima retrotranscriptasa copia ARNm en forma de ADN, lo que se da por ejemplo en los retrovirus. En nuestro caso, esta operación es esencial para conseguir que desde el material genético aleatorio inicial se obtengan vectores germinales de calidad, sin información redundante o innecesaria.

Esta rutina de creación musical evolutiva, esquematizada en la figura 1, es una más entre numerosos proyectos inspirados en la metáfora de la evolución biológica y los mecanismos genéticos para trasladarlos a la modelización de la creatividad. Lo que distingue a GenoMus de otros sistemas similares es la confluencia de estas características:

• No se trata de imitar o modelizar estilos previos de música, sino de propiciar la novedad y la creación de mundos sonoros originales e insospechados, que sorprendan al humano. En este aspecto se enmarca en las técnicas contemporáneas y más experimentales de composición musical.
• Pone el énfasis en los procedimientos compositivos subyacentes y no en la partitura: lo que representan los vectores germinales no es música, sino los procedimientos que se emplean para crearla.
• Busca un grado máximo de abstracción matemática de esa información, para que pueda ser aplicada a diferentes paradigmas de aprendizaje automático.

3. Composición desde la escucha

La actividad compositiva, atendiendo a su modalidad más tradicional (compositor, papel pautado y lápiz), suele representar una actividad premeditada y limitante, precisamente acotada de forma pragmática para no ahogar la creatividad en la inconmensurabilidad de sus posibilidades. Ahora bien, es posible que esta actitud prudente, pero en muchos casos también inconsciente, aparte al creador de la capacidad exploratoria más allá de los muros que ha ido construyendo al camino de su lenguaje común, muros constituidos por años de educación, referentes y práctica personal. La composición asistida por ordenador, en general, requiere un cambio de actitud sustancial durante el proceso compositivo. La creatividad artificial ofrecida por GenoMus supone un nuevo nivel en este proceso de apertura, de ensanchamiento del camino lingüístico.

En una primera aproximación al proceso creativo, nos presentamos ante la máquina no como compositores, sino como espectadores. Se ha introducido como punto de partida un material sonoro que se percibe como propio, pero es imposible predecir qué ocurrirá a continuación con dicho material. La tarea real del compositor ante esta situación consiste en juzgar la validez y efectividad del producto resultante, lo cual podría retrotraer al creador al punto de partida, a la acotación subconsciente de su lenguaje común. No obstante, la curiosidad y capacidad sorpresiva de la máquina es en muchos casos más fuerte que esta autosugestión limitante.

GenoMus es una herramienta que permite una gran flexibilidad en cuanto a la actitud compositiva en el proceso creativo. Es posible delimitar el rango de libertad en cuanto al valor de una gran variedad de parámetros, de acuerdo al gusto general u objetivos concretos propios, aplicados a un material sonoro o incluso a una pieza completa. Sin embargo, en el caso específico de Tiento, el propósito era, de algún modo, testear la herramienta explotando el máximo de su libertad creadora, obteniendo como consecuencia la total impredecibilidad del material resultante y la máxima expansión del lenguaje propio de cada compositor. El tiento, como forma musical proveniente del Renacimiento español, buscaba precisamente la exploración de las capacidades del instrumento solista al cual se dedicaba, razón por la cual fue escogido como inspiración para el planteamiento de esta pieza.

La actitud de escucha, más que de creación, que al inicio del proceso creativo se percibe como extraña y ajena al compositor acostumbrado a su actividad premeditada y racional, comienza a sentirse como una actitud necesaria ante la expectación y fascinación generadas por el material resultante, que representa una deformación, distorsión e incluso deconstrucción de un material previo conocido, ahora articulado y reconstruido a voluntad de la máquina.

4. Autopercepción de la autoría

La exposición del compositor a la total libertad creadora de la máquina puede generar un gran interés y atractivo por su novedad en cuanto a la aproximación del proceso compositivo. No obstante, plantea una importante paradoja relacionada con la autopercepción de la autoría, la cual también puede minar la disposición del compositor y la aceptación de esta nueva actitud creativa. Cualquier proceso de composición algorítmica, tal como la síntesis estocástica, la síntesis granular, los comportamientos caóticos, etc., consiste en el empleo de algoritmos capaces de dar lugar a material sonoro por sí mismos. Este material puede resultar extremadamente exitoso en cuanto a la expectación generada por su carácter sorpresivo e impredecible, lo cual conduce a la posibilidad de despertar una reacción emocional verdaderamente efectiva. Sin embargo, no deja de ser, a priori, un material sonoro ajeno a la creatividad propia.

Es en este punto donde se pone en funcionamiento la paradoja anteriormente mencionada. A pesar de utilizar la máquina, incluso en su modalidad más libre y abierta posible en cuanto a la elección de valores para cada parámetro, el hecho de haber diseñado uno mismo los algoritmos generativos devuelve la percepción de la autoría a su posición original, provocando que el material sonoro resultante sea apreciado, de alguna manera, como propio. El programador es, de alguna forma, el responsable de su producto final, obtenido bajo un mayor o menor control de su comportamiento aleatorio. La creación de sistemas algorítmicos plantea muchas veces la posibilidad de predecir el tipo de material resultante al que dará lugar aproximadamente. Sin embargo, en el caso concreto del uso de GenoMus como herramienta creativa para la composición de Tiento, esta posibilidad de mínimo control se ha reducido únicamente a la elección del material de partida, que queda, en la mayoría de los casos, prácticamente irreconocible, lo cual acentúa aún más la paradoja de la autoría.

¿Cuál es entonces el verdadero interés que reside en el uso de máquinas como sistemas creativos? Al igual que la práctica musical performativa y las limitaciones tímbricas de los instrumentos acústicos convencionales pueden verse expandidas por el uso, a modo de ejemplo, de la electrónica, en el caso del proceso compositivo la creatividad artificial supone una expansión de las capacidades del compositor, dando lugar a materiales sonoros que podrían, de otro modo, verse limitados por las barreras anteriormente comentadas, así como por la propia experiencia y capacidad técnica del autor como humano, y dando lugar así a realidades sonoras de otro modo inconcebibles bajo la práctica convencional, es decir, de forma manual. Esta expansión se plantea en diversas direcciones, tanto estética y estilísticamente como en el más puro sentido técnico y experiencial, lo cual encierra un potencial creativo mucho más fuerte que cualquier limitación moral impuesta por el posible autocuestionamiento de la autoría del material sonoro.

5. Desarrollos en curso

Tiento es un nuevo escalón en un proceso de desarrollo iterativo de GenoMus como herramienta para la creatividad musical aumentada. La novedad que incorpora es la integración de procesos de microestructura sonora con la mesoestructura temporal de la pieza, la capacidad para controlar remotamente aplicaciones de síntesis sonora en tiempo real y, sobre todo, el control de la mutación del vector germinal como piedra angular de la exploración sonora.

Las próximas versiones incorporarán métodos más avanzados de recombinación, mutación y evolución de los genotipos musicales, una librería de procesos compositivos mucho más amplia y una interfaz simplificada para un trabajo intuitivo sin necesidad de conocimientos técnicos de música o programación.

Este modelo de herramienta de creatividad artificial puede adaptarse fácilmente a cualquier manifestación artística, especialmente a aquellas que se desarrollan en el tiempo. Los eventos de la partitura generada podrán aplicarse a cualquier dispositivo final, tal como un sistema de iluminación, de síntesis de vídeo, etc., posibilitando la creación de arte multimedia donde todos los elementos en juego puedan estar vinculados.

El nivel de máxima abstracción alcanzado en la representación de los procesos creativos subyacentes, cristalizados en una pura secuencia numérica, permitirá desencadenar la creación musical a partir de cualquier tipo de estímulo: un movimiento, una imagen, un objeto tridimensional o un texto pueden constituir un vector germinal, estableciéndose así relaciones y acoplamientos que den lugar a diálogos transmedia que están por explorar.

Más información:

• Genomas sonoros mutantes, una entrevista de José López-Montes a Pilar Miralles sobre su obra electroacústica y la composición de Tiento.
• Web del festival FACBA
• Seminario podcast La variación infinita
• Tiento en SoundCloud
• Tiento en Spotify
• Tiento en Apple Podcasts