Mais où ?는 피아니스트 프레데릭 볼랑티(Frédéric Volanti)와 함께 개발한 라이브 오디오비주얼 퍼포먼스로, 제너러티브 이미지와 피아노 연주가 실시간으로 함께 펼쳐집니다.
이 작품에서 비주얼은 단순히 사운드를 시각화하는 데 그치지 않습니다. 영상 시스템은 그 자체의 고유한 논리를 가진 하나의 악기로서 작동합니다. 피아니스트의 손동작은 커스텀 트래킹 파이프라인(TouchDesigner에 통합된 MediaPipe)으로 포착되며, 손가락의 위치, 움직임의 속도, 그리고 정지 상태가 모두 구성적 입력값으로 해석됩니다. 이 신호들은 음표에 직접 대응되는 것이 아니라, 시각적 상태의 변화로 번역됩니다. 변형의 장(field), 그러데이션, 불안정성이 긴장과 이완의 다양한 리듬 속에서 펼쳐지는 것입니다.
이 시스템은 예측 가능성에 저항하도록 설계되었습니다. 임계값, 지연, 그리고 모호성의 영역을 의도적으로 도입함으로써, 완전한 제어란 존재하지 않고 끊임없이 협상되는 공간을 만들어냅니다. 매 퍼포먼스는 고정된 악보가 아닌, 연주자와 시스템 사이의 상호작용으로 빚어지는 고유한 궤적이 됩니다.
이 작품은 비디오 매핑 페스티벌 릴(Video Mapping Festival Lille)에서 처음 공개됐습니다. 릴 팔레 데 보자르(Palais des Beaux-Arts de Lille)의 아트리움을 무대로, 일련의 라이브 퍼포먼스 형식으로 선보였으며, 지속성과 반복, 그리고 미묘한 변주를 핵심 축으로 삼았습니다.
이 프로젝트는 TouchDesigner로 구축되었으며, 토린 블랭큰스미스(Torin Blankensmith)의 통합 구현을 통해 MediaPipe를 사용한 실시간 손 추적 기능을 갖추고 있습니다. 커스텀 매핑 레이어는 건반 위 손가락의 위치를 움직임의 강도, 비감지 순간과 결합해 해석하여 연속적인 제어 신호를 생성합니다. 이 신호는 변형, 색상 전파, 시간적 드리프트에 초점을 맞춘 GLSL 기반 비주얼 시스템을 구동합니다.
시스템은 라이브 입력과 렌더링된 폴백 상태를 모두 지원해, 퍼포먼스 환경에서도 끊김 없이 작동합니다.
Mais où ? is a live audiovisual performance developed with pianist Frédéric Volanti, where generative image and piano are co-performed in real time. Rather than illustrating sound, the visual system operates as an instrument with its own logic. The pianist’s gestures are captured through a custom tracking pipeline (MediaPipe integrated in TouchDesigner), where finger positions, velocity, and absence of movement are interpreted as compositional inputs. These signals do not map directly to notes but are translated into evolving visual states: fields of deformation, gradients, and instabilities that unfold with varying degrees of tension and release. The system is designed to resist predictability. It introduces thresholds, delays, and zones of ambiguity, producing a space where control is partial and continuously negotiated. Each performance becomes a distinct trajectory shaped by the interaction between performer and system, rather than a fixed composition. Premiered at the Video Mapping Festival Lille, in the atrium of the Palais des Beaux-Arts de Lille, the work was presented as a series of live performances, emphasising duration, repetition, and subtle variation. The project is built in TouchDesigner , using MediaPipe (via Torin Blankensmith’s integration ) for real-time hand tracking. A custom mapping layer interprets finger positions relative to the keyboard, combined with movement intensity and moments of non-detection, to generate a continuous control signal. This signal drives a set of GLSL -based visual systems focused on deformation, colour propagation, and temporal drift. The system operates with both live input and a rendered fallback state, ensuring continuity under performance conditions. Project Page | Ruby Maude Creation : Ruby-Maude Rioux Pianist : Frédéric Volanti Production : Rencontres AudioVisuelles
