algorithmArtificial IntelligenceautomationgenerativeInterfacemusicNFCNVIDIA Jetson Orin Nanoobject
머신러닝 도구가 날로 정교해지고 누구나 쉽게 접할 수 있게 되면서, 음악 산업은 '진정성'이라는 문제와 마주하고 있습니다. 창작 과정의 마찰을 줄이겠다는 명목으로 빠르게 성장하는 테크 스타트업들은 공정 이용(fair use)이라는 논리 뒤에 숨어, 아티스트의 통제권과 소유권, 그리고 동의할 권리를 빼앗으면서도 정작 새로운 기술이 가져다줄 수 있는 실질적인 혜택마저 훼손하고 있습니다.
IMAGO는 머신러닝 데이터셋을 만드는 행위 자체를 하나의 능동적인 예술 실천으로 재정의합니다. 이 프로젝트에서 데이터셋의 소유권은 온전히 뮤지션에게 있으며, 수록된 모든 것은 뮤지션의 동의 아래 섬세하게 큐레이션됩니다. IMAGO는 윤리적이면서도 서로에게 이로운 방향을 제시합니다. 아티스트를 위한 새로운 작업 방식을 모색하는 동시에, IRCAM Centre Pompidou의 ACIDS 그룹과 협력해 관객을 위한 로컬 기반의 딥 리스닝(deep listening) 장치를 개발했습니다.
이 장치는 아티스트와 관객의 관계를 새롭게 정의합니다. 턴테이블에 레코드를 올려놓듯, 전용 디스크를 장치 위에 올리면 해당 아티스트의 모델이 활성화됩니다. 그 순간부터 세 개의 생성형 음성이 실시간으로 작곡을 시작합니다. 청취자는 확산형 인터페이스를 통해 각 음성을 이동시키며 아티스트의 데이터셋을 탐색할 수 있습니다. 손의 움직임 하나하나가 사운드스케이프의 질감을 바꾸는 동시에 음악적 구성 자체를 변화시킵니다. 이렇게 만들어진 각각의 곡은 단 한 번만 존재합니다. 캡처도, 저장도, 재현도 불가능합니다.
IMAGO의 핵심에는 AFTER의 맞춤형 버전이 자리합니다. AFTER는 닐스 데메를레(Nils Demerlé)와 IRCAM의 ACIDS 리서치 그룹이 개발한 확산 기반 생성 모델입니다. 원래 아키텍처는 단일 음성을 처리하기 위해 음색과 구조를 분리하는 방식으로 설계되었지만, 이번 프로젝트를 위해 데메를레와의 직접 협업을 통해 개발된 버전은 세 개의 음성을 동시에 생성하고, 무엇보다 완전한 오프라인 환경에서도 구동될 수 있도록 확장되었습니다.
전체 시스템은 NVIDIA Jetson Orin Nano에서 구동됩니다. 엣지 컴퓨팅 기기인 이 장치는 모든 오디오 생성을 로컬에서 처리합니다. 외부 서버로 전송되는 데이터는 없으며, 상호작용이 끝나는 순간 그 어떤 것도 저장되지 않습니다. 이는 아티스트의 데이터셋을 보호하고, 기기가 처음 기획된 윤리적 원칙 안에 머물도록 하기 위한 조건입니다.
각 아티스트의 모델은 전용 메탈 퍽(puck)에 담겨 있습니다. 퍽을 기기의 모서리 슬롯에 올려놓으면 NFC 리더가 해당 모델을 인식하고 복호화합니다. 모델이 활성화되면, 반투명 상단 케이스 아래에 자리한 7인치 정전식 터치스크린으로 탐색이 시작됩니다. 작은 흰 점으로 표현된 세 개의 보이스가 음색의 잠재 공간을 가로질러 움직이며, 위치를 바꿀 때마다 사운드스케이프의 질감이 달라지고 동시에 시스템을 지배하는 작곡 규칙도 함께 변화합니다.
As machine learning tools become increasingly sophisticated and widely accessible, the music industry is facing questions around authenticity. High-growth tech startups, striving to remove friction from the creative process, frequently hide behind a veneer of fair use — stripping artists of their control, ownership, and consent while undermining the actual functional benefits of these new technologies. IMAGO reframes the creation of a machine learning dataset as an active artistic pursuit — one that is fully owned, consented to, and carefully curated by the musician. It identifies an ethical, mutually beneficial path forward, proposing both a new working practice for the artist and a locally hosted deep listening device for the audience, developed with ACIDS group at IRCAM Centre Pompidou. The device reimagines the relationship between artist and audience. In a similar manner to placing a record on a turntable, each artist's model is activated by positioning a dedicated disc on the device. From here, three generative voices begin to compose in real time. The listener navigates the artist's dataset by moving each voice via a diffused interface — each movement enacting a textural shift in the soundscape while simultaneously altering the composition. Each composition exists only once, unable to be captured, stored, or repeated. At the core of IMAGO is a bespoke iteration of AFTER, the diffusion-based generative model developed by Nils Demerlé and the ACIDS research group at IRCAM . Where the original architecture disentangles timbre from structure to process a single voice, the version built for this project — developed in direct collaboration with Demerlé was extended to generate three simultaneous voices and, critically, to run entirely offline. The entire system is hosted on an NVIDIA Jetson Orin Nano, an edge computing device that executes all audio generation locally. No data is transmitted to external servers, and nothing is stored beyond the moment of interaction a condition that protects the artist's dataset and keeps the device within the ethical framework from which it was conceived. Each artist's model is held on a dedicated metal puck. When the puck is positioned in the device's corner slot, an NFC reader identifies and decrypts the corresponding model. Once active, the listener navigates a 7-inch capacitive touchscreen diffused beneath the semi-transparent upper shell. Three voices, each represented by a small white dot, move across the timbral latent space — shifting their position enacts a textural change in the soundscape while simultaneously altering the compositional rules governing the system. UAL MAID | Domenico Di Paolo | Kieran Feechan
