DRIFT는 브라질 출신 디렉터이자 아티스트 마누엘 노게이라(Manuel Nogueira)의 음악·비주얼 프로젝트 WAAVE Orchestra가 선보이는 브라우저 기반의 생성형 오디오비주얼 작품입니다.
이 프로젝트는 마누엘이 빈티지 신시사이저로 제작한 한 곡에서 출발했습니다. 올루그벤가 아델레칸(Olugbenga Adelekan), 드러머 빅토리아 스미스(Victoria Smith)와의 원격 협업을 거쳐 천천히 완성된 이 트랙은 이후 바이닐로 발매되었습니다. 음악에 어울리는 비주얼을 찾던 중, 마누엘은 왜곡된 폴라로이드 사진과 개인 사진을 바탕으로 모노크롬 AI 이미지 실험을 시작했습니다. 처음에는 소셜 미디어용 콘텐츠로 만들어졌던 이 작업은 어느새 전혀 다른 무언가로 진화했습니다. 단 하나의 완성본이 존재하지 않는, 끊임없이 변화하는 시네마틱 시스템으로.
재생 버튼을 누를 때마다 DRIFT는 브라우저 안에서 실시간으로 새로운 영상을 조립합니다. 음악은 고정되어 있지만, 영상은 매번 달라집니다. 바다, 안개 속 인물, 불꽃, 돌고래, 피아노 위의 손, 추상적 풍경 등 모노크롬 장면들이 트랙의 구조에 맞춰 새로운 순서로 재편성됩니다. 이 시스템이 만들어낼 수 있는 편집의 경우의 수는 약 82.6조 가지에 달합니다.
바다, 안개 속 인물, 불꽃, 돌고래, 피아노 위의 손, 추상적 풍경 등 모노크롬 장면들이 트랙의 구조에 맞춰 매번 새로운 시네마틱 시퀀스로 재편성됩니다.
작품은 스펙트럼 분석과 악절 구조를 통해 식별된 스무 개의 음악적 섹션으로 나뉩니다. 각 섹션에는 '대기적', '인물', '형식적', '어둡고 고요한', '절정' 같은 감정적·시각적 분위기가 부여됩니다. 재생 중 브라우저는 즉각적인 반복을 피하면서 이렇게 태그된 풀에서 다양한 장면을 선택해, 끊임없이 변화하는 시각적 서사를 만들어냅니다. 단 하나의 순간만은 고정되어 있습니다. 2분 47초, 곡의 클라이맥스에서 모든 버전은 동일한 트리오 피날레로 수렴합니다.
영상들은 관람자의 시선 밖에서도 계속 존재하며, 부재와 평행한 가능성 자체를 경험의 일부로 만듭니다.
'멀티버스(The Multiverse)'라는 이름의 두 번째 모드는 프로젝트를 한층 더 확장합니다. 하나의 생성형 영상 대신, 아홉 개의 서로 다른 편집본이 하나의 공유된 3D 환경 안에서 동시에 재생됩니다. 관람자가 그 사이를 넘나드는 동안, 영상들은 시선 밖에서도 멈추지 않고 흘러갑니다. 부재와 평행한 가능성 자체가 경험의 일부가 되는 것입니다.
DRIFT는 뮤직비디오와 브라우저 시네마, 인터넷 아트, 생성형 영화 제작 사이 어딘가에 존재합니다. 코드를 단순한 기술적 도구로 다루는 대신, 전통적인 프로그래밍 배경 없이도 시스템과 영화적 구조를 깊이 사유한 아티스트로부터 이 작업이 탄생했습니다. 마누엘(Manuel)은 음악, 비주얼, 편집 로직, 웹사이트 아키텍처까지 프로젝트 전체를 AI 코딩 도구와의 대화를 통해 독립적으로 완성했습니다.
무드
풀
섹션
배열
인트로
4
4
108
차분한 오브젝트
7
4
1,512
대기적
8
4
2,744
인물
9
3
576
형식적
5
3
80
어둡고 고요한
4
1
4
클라이맥스
1
1
1
총 82,590,884,167,680가지의 고유한 편집 조합
이 작품의 핵심에는 단순한 아이디어 하나가 있습니다. 노래는 고정되어 있고, 시스템도 고정되어 있지만, 영상은 단 한 번도 똑같이 재생되지 않는다는 것입니다.
DRIFT는 외부 프레임워크나 별도의 앱, 설치 과정 없이 바닐라 HTML, CSS, JavaScript만으로 오픈 웹 환경에서 구동되도록 제작되었습니다.
프로젝트
20개의 음악 섹션 30개의 분류된 시각 장면
7가지 무드 카테고리 약 82.6조 가지의 구조적 편집 조합
이 프로젝트는 브라우저 네이티브 기반의 생성형 편집 시스템으로 작동합니다. 재생이 시작되면 오디오 트랙이 마스터 클락 역할을 하고, 브라우저는 곡의 구조에 맞춰 무드별로 태그된 장면 풀에서 영상 시퀀스를 실시간으로 조합해냅니다.
모든 경험은 브라우저에서 직접 구동되며, WAAVE Orchestra 소속의 마누엘 노게이라(Manuel Nogueira)가 독립적으로 개발했습니다.
바닐라 JavaScript 기반 생성형 시퀀싱 시스템 듀얼 플레이어 크로스페이드 구조의 HTML5 비디오 엘리먼트 실시간 장면 선택 및 타임라인 동기화 브라우저 기반 시청각 렌더링 오디오 구동 방식의 편집 로직 음악적 전환점 감지를 위한 스펙트럴 노벨티 탐지 및 멜-스펙트로그램 분석 음악 타이밍 구조 기반의 프레이즈 그리드 세그멘테이션 무드 태그가 적용된 영상 데이터베이스 및 확률적 장면 선택 시스템
동기화된 비디오 엘리먼트 간 크로스페이드 전환 멀티버스 모드를 위한 3D 내비게이션 환경 드래그, 스크롤, 키보드를 활용한 브라우저 인터랙션 AI 생성 시각 자료와 직접 큐레이션한 영상 및 사진의 결합 이미지 생성의 소스 레퍼런스로 활용된 왜곡된 폴라로이드 및 개인 사진 자료 개발 과정에서 협업 코딩 어시스턴트로 활용된 Anthropic의 Claude
DRIFT is a browser-based generative audiovisual work created by WAAVE Orchestra , the musical and visual project of Brazilian director and artist Manuel Nogueira . The project began with a song produced by Manuel using vintage synthesizers, built slowly through remote collaborations with Olugbenga Adelekan and drummer Victoria Smith. The track was later released on vinyl. While searching for visuals for the music, Manuel started experimenting with monochrome AI-generated imagery based on distorted Polaroids and personal photographs. What initially began as visual material for social media gradually evolved into something else entirely: a mutable cinematic system with no definitive version. Every time the viewer presses play, DRIFT assembles a different film in real time directly in the browser while the song remains fixed. The system reorganises a pool of monochrome scenes including oceans, mist-covered figures, sparks, dolphins, hands at a piano and abstract landscapes into new cinematic sequences synchronised to the structure of the track. The project contains around 82.6 trillion possible structural edits. The system reorganizes a pool of monochrome scenes including oceans, mist-covered figures, sparks, dolphins, hands at a piano and abstract landscapes into new cinematic sequences synchronized to the structure of the track. The work is divided into twenty musical sections identified through spectral analysis and phrase structure. Each section is associated with emotional and visual moods such as atmospheric, figures, formal, dark-quiet and peak. During playback, the browser selects different scenes from these tagged pools while avoiding immediate repetition, creating a constantly shifting visual narrative. One moment alone remains fixed: the climax of the song at 2:47, where every version converges into the same trio finale. The films continue existing even outside the viewer’s focus, turning absence and parallel possibility into part of the experience itself. A second mode titled The Multiverse expands the project further. Instead of a single generative film, nine different edits run simultaneously in a shared 3D environment while the viewer navigates between them. The films continue existing even outside the viewer’s focus, turning absence and parallel possibility into part of the experience itself. DRIFT exists somewhere between music video, browser cinema, internet art and generative filmmaking. Rather than treating code as a purely technical layer, the work emerged from an artist thinking through systems and cinematic structures without coming from a traditional programming background. Manuel developed the entire project independently, including music, visuals, editing logic and website architecture, in dialogue with AI-assisted coding tools. MOOD POOL SECTIONS ARRANGEMENTS intro 4 4 108 calm-object 7 4 1,512 atmospheric 8 4 2,744 figures 9 3 576 formal 5 3 80 dark-quiet 4 1 4 peak 1 1 1 total • 82,590,884,167, 680 distinct edits At the centre of the work is a simple idea: the song is fixed, the system is fixed, but the film is never exactly the same twice. DRIFT was built entirely for the open web using vanilla HTML, CSS and JavaScript , with no external framework, app or installation required. Project 20 musical sections 30 categorised visual scenes 7 mood categories approximately 82.6 trillion possible structural edits The project operates as a browser-native generative editing system. During playback, the audio track functions as the master clock while the browser assembles video sequences in real time from mood-tagged scene pools synchronised to the song structure. The entire experience runs directly in the browser and was developed independently by Manuel Nogueira under WAAVE Orchestra. Project Page | WAA V E Orchestra | Manuel Nogueira Core Technical Vanilla JavaScript generative sequencing system HTML5 video elements with dual-player crossfade architecture Real-time scene selection and timeline synchronisation Browser-based audiovisual rendering Audio-driven editing logic Spectral novelty detection and mel-spectrogram analysis used to identify musical transition points Phrase-grid segmentation based on musical timing structure Mood-tagged video database and probabilistic scene selection system Crossfade transitions between synchronised video elements 3D navigation environment for The Multiverse mode Browser interaction through drag, scroll and keyboard navigation AI-generated visual material combined with manually curated footage and photography Distorted Polaroids and personal photographic material used as source references for image generation Claude by Anthropic used as a collaborative coding assistant during development
