0. 소개
무븐트(MVNT)는 '누구나 음악만 넣으면 춤이 나오는' 세상을 만드는 회사입니다. 그 밑바닥에는 춤을 위한 AI 인프라가 있죠. 전 세계 누구나 쉽게 춤을 만들 수 있도록 댄스 생성 AI 모델을 개발하고 있으며, 유명 안무가인 최영준 공동창업자를 필두로 모션 생성·3D·컴퓨터 비전·휴머노이드 백그라운드의 엔지니어들이 함께하고 있습니다. 현재 무븐트의 서비스는 웹앱과 API, 언리얼엔진 플러그인으로 제공되며, 안무가는 물론 K-Pop 기획사, AI UGC 크리에이터, 게임 개발자, 버추얼 프로덕션 스튜디오 등 폭넓은 분야에서 쓰이고 있습니다.
1. 배경
"모두가 Suno로 음악을 뚝딱 만드는 시대인데, 춤은 왜 안 될까?" 무븐트는 설립 초기 바로 이 질문에서 출발했습니다. "음악을 넣기만 하면, 그 음악에 어울리는 안무가 바로 생성되면 어떨까?"
수요는 분명합니다. 오늘날 K-Pop 산업에서만 매년 약 1,500여 개의 안무가 만들어지고, J-Pop·라틴·발리우드·팝·뮤지컬까지 더하면 그 수는 몇 배로 뛰죠. SNS에서 댄스 챌린지는 음악 프로모션의 핵심 코스가 됐고, 게임에서 춤 아이템은 어엿한 매출원이 됐습니다. 그런데도 '모두가 좋아할 만한 춤'을 만드는 일은 프로 안무가에게조차 여전히 어렵습니다.
문제는, 모션 생성 중에서도 '안무'가 생성형 AI에서 가장 까다로운 영역에 속한다는 점입니다. 춤은 단순한 포즈의 나열이 아니라 음악, 리듬, 신체 구조, 장르 문법, 동작의 해석, 3차원 시공간성이 한데 얽힌 복합 데이터거든요. 글로벌 AI 영상 시장이 2033년까지 60조 원 규모로 커지고 있지만, 바로 이 난이도 때문에 범용 영상 AI 모델들은 여전히 '제대로 된 춤'을 만드는 데 한계를 보입니다.
그래서 댄스 AI는 '영상을 많이 모아 학습시키면 끝'이 아니었습니다. 고품질 3D 모션 캡처 데이터에 더해, 대량의 영상에서 human mesh recovery로 동작 데이터를 뽑아내야 했고, 안무가의 해석과 표현을 모델이 알아들을 수 있는 언어로 정제하는 과정도 필요했습니다. 춤에 특화된 애노테이션 데이터를 일일이 확보해 학습시킨 뒤, 이를 전 세계 사용자와 파트너에게 안정적으로 제공하는 인프라까지 갖춰야 했죠.
이 글에서는 그중에서도 무븐트가 AWS 위에서 데이터 파이프라인과 추론 서빙 아키텍처를 어떻게 설계하고 있는지를 중심으로 풀어보려 합니다.
2. 데이터 파이프라인: 춤의 언어를 AI 학습 데이터로 번역하는 법
지난 5년간 무븐트는 안무가들과 댄스 데이터를 어떻게 수집하고 분석할지에 대해 연구하며 안무가의 문법을 학습하도록 워크플로우를 구축해왔습니다. 예를 들어 안무가는 춤을 만들 때 단순한 포즈 나열보다는 “어떤 음악 구간에서 어떤 에너지로, 어떤 신체 부위를 중심으로, 어떤 질감의 움직임을 만드는가”라는 기준을 두고 동작을 생성합니다.
2.1 춤 데이터를 트레이닝하는 방법들
데이터셋 확보를 위해 신체 관절 및 3D 모션 데이터 확보를 위해 모션 캡처와 영상 분석 두가지를 사용하고 있습니다. 댄스 데이터의 양(quantity)과 질(quality)을 잡기 위한 하이브리드 방식이라고 볼 수 있습니다.
Quality: 게임 엔진 혹은 VFX에 호환되는 고품질의 댄스 데이터 확보를 위해 직접 모션 캡처를 통해 자체 데이터셋을 구축하고 있습니다. 관련한 컨텐츠 업계에서는 손가락 관절의 디테일한 모션과 실제 댄서의 동작 및 의도를 그대로 옮겨오는 것이 중요하기 때문입니다. 모션 캡처 장비를 통해 1mm 이하의 오차로 정확한 동작을 포착해냅니다.
Quantity: 원본 댄스 영상에서는 실제 댄서의 움직임, 카메라 구도, 퍼포먼스 맥락을 담고 있으며, 모션 캡처로 구축하기 어려운 방대한 양의 데이터셋을 만들 수 있습니다. 다만 모션 캡처를 통해 확보한 데이터에 동작의 뉘앙스 등 디테일이 떨어지고, 발이 공중에 떠 있는 등 부정확할 수 있기 때문에 추가적인 데이터 처리 작업이 필요합니다.
2.2 데이터 라벨링 파이프라인
위와 같은 동작 데이터와 더불어 춤에 대한 다양한 정보 및 맥락이 함께 기록되어야 춤에 대한 더 깊은 지식을 트레이닝할 수 있습니다. 특정 구간의 동작 의도 및 설명, 장르적 특성, 움직임의 강도, 음악과의 대응 관계 등이 여기에 포함됩니다. 실제 댄서가 직접 춤에 대한 설명과 부가적인 장르적 분류는 더 디테일한 춤을 생성할 수 있도록 합니다.
자체 구축한 라벨링 플랫폼에서 댄서들과 함께 춤 온톨로지를 구축하고 있으며, 이는 춤에 대한 기술적인 설명 외에도 질감과 감정에 대한 정보도 포함합니다. 데이터 라벨링 예시는 다음과 같습니다.
비정형 영상 데이터를 모델 학습 데이터로 바꾸는 과정은 계산량이 크고 반복적인 작업입니다. 특히 대량의 영상에서 사람의 움직임을 프레임 단위로 분석하고, 2D 포즈를 3D 구조로 복원하거나, 여러 사람의 움직임을 추적하고, 그 결과를 다시 학습 가능한 시계열 데이터셋으로 정리하는 과정은 로컬 환경만으로 처리하기 어렵습니다.
2.3. AWS로 대량의 댄스 영상 처리하기
무븐트는 이 문제를 해결하기 위해 AWS 기반의 Event-driven 데이터 처리 파이프라인을 활용합니다. 원본 댄스 영상과 이미지, 그리고 분석 대상 파일은 Amazon S3에 저장됩니다. 새로운 댄스 영상이 S3에 업로드되면, 이벤트 알림이 후속 처리 작업을 시작합니다. 이 요청은 Amazon SQS를 통해 큐잉되어 처리량을 안정적으로 조절합니다. 댄스 영상 처리 작업은 파일 크기와 영상 길이에 따라 처리 시간이 크게 달라질 수 있기 때문에, 모든 요청을 즉시 동기적으로 처리하는 방식은 적합하지 않습니다. SQS를 사용하면 업로드 피크가 발생하더라도 요청을 안정적으로 버퍼링할 수 있고, 백엔드 처리 컴포넌트는 큐에 쌓인 작업을 순차적으로 가져와 처리할 수 있습니다.
무븐트의 리서처가 자체 라벨링 툴에 접근하면, AWS WAF가 일반적인 웹 공격과 과도한 요청으로부터 애플리케이션을 보호하고, Amazon Cognito가 사용자 인증과 접근 제어를 담당합니다. 인증된 사용자의 요청은 Amazon API Gateway를 통해 백엔드로 전달되며, AWS Lambda 함수가 요청의 종류에 따라 데이터 조회, 업로드, 처리 작업 생성 등을 라우팅합니다.
Human Mesh Recovery (HMR) 영상 기반 인체 분석 모델의 경우 GPU 리소스를 필요로 하고, 입력 영상의 길이에 따라 처리 시간이 길어질 수 있습니다. 따라서 무븐트는 Amazon SageMaker AI를 활용해 모델 추론 작업을 분리합니다. 특히 SageMaker Asynchronous Inference는 요청을 큐에 넣고 비동기적으로 처리할 수 있으며, 큰 payload와 긴 처리 시간이 필요한 near-real-time 워크로드에 적합합니다.
실패한 작업도 동일하게 추적됩니다. 모델 입력 파일이 손상되었거나, 영상이 너무 길거나, 사람이 제대로 검출되지 않거나, 리소스 제한으로 처리가 실패한 경우에는 실패 이벤트가 SNS와 Lambda를 통해 DynamoDB에 기록됩니다. 이를 통해 운영자는 실패 원인을 확인하고, 필요한 경우 영상을 다시 분할하거나, 전처리 파라미터를 조정하거나, 특정 샘플을 학습 데이터셋에서 제외할 수 있습니다.
이 과정을 통해 무븐트는 댄스 영상을 단순한 미디어 파일이 아니라 모델 학습 가능한 구조화 데이터로 바꿉니다. 원본 영상은 S3에 안전하게 저장되고, SageMaker 기반 분석 파이프라인을 통해 포즈·모션·메시·시각화 결과로 변환되며, DynamoDB에는 각 샘플의 상태와 메타데이터가 기록됩니다. 이후 데이터 팀은 이 결과를 검수하고, 필요한 라벨을 추가하며, 최종적으로 음악 조건부 안무 생성 모델의 학습 데이터셋으로 편입시킵니다.
3. 추론 서빙 아키텍처: 전 세계 유저들에게 모델과 서비스를 효율적으로 서빙하는 방법
다음은 춤 생성 요청을 처리하기 위한 모델 서빙 파이프라인 구축기입니다. 초기 PoC 단계에서는 빠른 개발을 위해 EC2 한 대에서 API 서버와 diffusion 계열 자체 모델 추론을 함께 처리했습니다. 이 방식은 소규모 팀이 빠르게 실험하고 제품 가능성을 검증하는 데는 유용했지만, 글로벌 사용자와 엔터프라이즈 파트너에게 안정적인 서비스를 제공하기 위해서는 확장성과 가용성 측면에서 개선이 필요했습니다.
사용자가 늘어나고 외부 플랫폼과의 API 연동이 확대될수록, 단일 서버 기반 구조는 트래픽 급증, GPU 리소스 부족, 장애 전파, 배포 리스크에 취약해집니다. 따라서 AWS 기반의 다중 계층 아키텍처로 전환해 API 처리와 모델 추론을 분리하고, 각 계층을 독립적으로 확장할 수 있도록 설계하고 있습니다.
하나의 VPC 안에서 Web Tier, App Tier, Database Tier를 분리하는 구조를 설계하고 있습니다. 각 계층의 역할은 다음과 같습니다.
- 외부 트래픽은 Internet Gateway와 Elastic Load Balancing을 통해 Web Tier로 들어옵니다. Web Tier는 Internal Load Balancer를 통해 App Tier의 GPU 서버로 요청을 전달합니다.
- App Tier는 GPU 기반 EC2 인스턴스를 Auto Scaling Group으로 구성합니다. 트래픽 패턴에 따라 GPU 서버 수를 조정할 수 있고, 특정 Availability Zone 또는 인스턴스 장애가 발생해도 다른 인스턴스로 요청을 분산할 수 있습니다.
- Database Tier에는 Amazon Aurora를 사용합니다. Primary DB와 Read Replica를 분리해 읽기 트래픽을 분산하고, 데이터 계층의 가용성을 높입니다.
이러한 아키텍처 전환을 통해 무븐트는 빠른 PoC 단계에서 벗어나, 글로벌 사용자가 동시에 접속해도 안정적으로 모델을 제공할 수 있는 기반을 마련하였습니다. 예를 들어 지난 6월, Unreal Fest 26 Chicago 에서 70여 명을 대상으로 무븐트 댄스 AI 플러그인 실습 워크샵을 진행했습니다. 70개의 생성 요청을 동시다발적으로 autobalancing 하여 성공적으로 워크샵을 마칠 수 있었습니다.
4. 향후 계획
음악 조건부 안무 생성 모델의 품질은 결국 학습 데이터의 품질에 좌우되고, 데이터의 품질은 안무가의 도메인 지식을 얼마나 구조화된 형태로 담아내느냐에 달려 있습니다. 그래서 무븐트의 시스템은 안무가의 언어를 데이터로 바꾸는 데이터 파이프라인, 대규모 모션 데이터를 안정적으로 정제하는 분석 인프라, 그리고 전 세계 사용자에게 모델을 제공하는 추론 서빙 아키텍처가 함께 맞물려 돌아가도록 설계되었습니다.
AWS는 이 과정에서 무븐트가 소규모 팀으로도 확장 가능한 AI 인프라를 설계할 수 있도록 돕는 기반이 되고 있습니다. Amazon S3, Lambda, SageMaker, DynamoDB를 조합한 데이터 파이프라인은 댄스 영상을 학습 가능한 구조화 데이터로 변환합니다. Elastic Load Balancing, Auto Scaling, Amazon Aurora, Amazon SageMaker를 활용한 서빙 아키텍처는 글로벌 사용자와 파트너에게 모델을 안정적으로 제공하기 위한 기반을 제공합니다.
앞으로 무븐트는 더 많은 장르, 더 다양한 음악 구조, 더 정교한 움직임 표현을 학습한 모델을 기반으로, 게임, 엔터테인먼트, 크리에이터 워크플로우에서 춤을 더 쉽게 만들고 활용할 수 있는 AI 인프라를 구축해 나갈 계획입니다.
