Música, expresividad y gamificación

Con el auge de los llamados smartphones y las PC tablets, y aprovechando las posibilidades de las pantallas táctiles, se abre una novedosa dimensión en el diseño de aplicaciones enfocadas a la creación de instrumentos musicales virtuales que “gamifican” e integran diversas mecánicas de juego en la interpretación musical. La búsqueda de un objetivo definido a modo de recompensa o la posibilidad de progresar a través de diversos niveles de dificultad creciente, se han incorporado a los simuladores de instrumentos musicales creados para dispositivos móviles, que toman como punto de partida planteamientos generales de los videojuegos de acción ritmica, como Guitar Hero o Rocksmith, pero tratando de buscar una libertad expresiva de la que carecían sus predecesores.

Buena parte de las investigaciones realizadas para la creación de las nuevas aplicaciones musicales han tenido su origen en el Center for Computer Research in Music and Acoustics (CCRMA) de la Universidad de Stanford busca, por el que han pasado como alumnos o han estado vinculados como profesores, algunos de los creadores de la empresa Smule, pionera en el desarrollo de estas nuevas aplicaciones para móviles y tabletas, como Jeff Smith o Ge Wang. El análisis del simulador Magic Piano (Smule, 2011) puede servirnos para conocer algunas de las múltiples propuestas realizadas en los últimos años por este grupo de investigadores-diseñadores para acercar las particularidades de la interpretación musical en tiempo real a los juegos musicales para dispositivos móviles.

Uno de los principales atractivos de Magic Piano es un sistema de sincronización musical que soslaya la obligación de mantener un tempo constante, habitual en la gran mayoría de juegos de acción rítmica anteriores. La aplicación cuenta con cuatro niveles diferentes de dificultad que gradúan la complejidad polifónica y la velocidad de las piezas. Sin embargo, a diferencia de otros juegos de acción rítmica, en Magic Piano el jugador puede tocar las diferentes notas introduciendo efectos de rubato, realizando arpegios o desplazando el tempo a su gusto. La partitura musical multitáctil, con hasta cuatro voces polifónicas, aparece codificada a través de un sistema de puntos de luz que descienden en vertical desde la parte superior de la pantalla y reaccionan de un modo dinámico, ya que con cada gesto táctil que se realiza sobre la pantalla se activa la siguiente nota de la secuencia que aún no ha sido reproducida. Esta mecánica provoca, la percepción de que ciertas notas que van después de las que poseen mayor duración deben ser tocadas antes. El juego permite también algunas variaciones dinámicas, pues la intensidad sonora aumenta ligeramente cuando se toca más cerca  de la parte inferior de la pantalla. Asimismo, los sonidos pueden desafinarse levemente si el jugador desplaza horizontalmente su pulsación del lugar donde aparece el punto de luz (Video 1).

Video 1.  Demostración de las posibilidades expresivas de Magic Piano.

Con un enfoque más didáctico y social, Smule había lanzado un año antes Magic Fiddle, una aplicación basada en una interfaz que representa un violín de tres cuerdas y cuya difusión y soporte abandonó en 2012. En este caso, el carácter expresivo se centraba en las alturas de los sonidos que, como en un instrumento, podían controlarse por el intérprete-jugador y alterarse a través de glissandi y vibrato. Los efectos dinámicos se realizaban con la interfaz circular que sustituye al arco, tal y como puede apreciarse en esta interpretación del famoso Canon en Re Mayor de Johann Pachelbel por el Cuarteto de cuerda St. Lawrence, en donde puede apreciarse también la dificultad para conseguir una afinación aceptable causada por las limitaciones de tamaño y las carencias ergonómicas de las pantallas táctiles (Véase Video 2).

Video 2.  Interpretación del Canon en Re Mayor de J. Pachelbel a cargo del Cuarteto St. Lawrence sustituyendo sus instrumentos habituales por la aplicación Magic Fiddle para tabletas.  

Magic Fiddle iba provisto, además, de un modo dídáctico (“Storybook”) que aportaba aspectos “gamificables” y sociales a la interpretación de las piezas. A través de las diferentes partes de ese “libro” se enseñaba al usuario a mantener correctamente el instrumento o se proporcionaban instrucciones sobre cómo tocar pizzicato, escalas o arpegios, entre otras posibilidades. Más interesantes eran las aportaciones que la aplicación ofrecía para socializar y lograr la interacción del jugador con otros intérpretes o con los potenciales oyentes y con espacios del mundo real. Para este fin, el software adoptaba la personalidad del instrumento musical y, a través de diversos mensajes, encomendaba al jugador tareas o misiones que debía realizar. Estas tareas podían ir desde tocar una determinada pieza para un amigo o practicarla en la posición corporal correcta, hasta preparar su ejecución para interpretarla en la calle. Los aspectos sociales se apoyaban además en una red mantenida por la empresa que permitía escuchar las interpretaciones de otros jugadores.

Smule ha explorado también los aspectos expresivos y “gamificables” de la interpretación musical en otras aplicaciones como Leaf Trombone World Stage (2009), Magic Guitar (2011) u Ocarina 2 (2012). Su carácter lúdico, ha convertido a todos estos juegos en uno de los principales atractivos para su difusión. Músicos aficionados de todo el mundo han comenzado a crear y divulgar a través de la red millones de interpretaciones. En muy poco tiempo y con un esfuerzo mínimo, los usuarios aprenden a tocar y crean grabaciones de una amplia gama de piezas pre-compuestas en distintos estilos, derivados todos de la práctica musical occidental. Las propias limitaciones rítmicas y agógicas del software permiten, sin embargo, que las grabaciones se registren y almacenen con una notable precisión, lo que ha propiciado que este vasto conjunto de registros, haya comenzado a valorarse desde el punto de vista académico debido a su potencialidad para realizar estudios a gran escala sobre la musicalidad en el medio digital y las influencias socioculturales y geopolíticas. El más completo estudio realizado hasta el momento en este campo es Statistical Analyses of Encoded Musical Performancestesis doctoral de Jeff Smith, Director Ejecutivo y cofundador de la empresa Smule (Center for Computer Research in Music and Acoustics Stanford Department of Music, 2013) en donde se analizan minuciosamente los datos obtenidos de las interpretaciones musicales realizadas en la aplicación Magic Piano por músicos aficionados de una buena parte del mundo.

Cite this article as: Juan Pablo Fernández-Cortés, "Música, expresividad y gamificación", in Ludomusicología, 24/04/2018, https://ludomusico.hypotheses.org/122.

Para saber más:

WANG, Ge. “Game Design for Expressive Mobile Music.” New Interfaces for Musical ExpressionAcceso online.

 


Autor: Juan Pablo Fernández-Cortés

Músico, investigador y profesor universitario. Doctor en Historia y Ciencias de la Música. Profesor de Fundamentos de Música y Diseño de Sonido en el Centro Universitario de Tecnología y Arte Digital. U-tad. Madrid (España)

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Este sitio usa Akismet para reducir el spam. Aprende cómo se procesan los datos de tus comentarios.