## 퍼포먼스 캡처 및 모션 캡처 워크플로우 심층 분석 **발표자:** Ben Kidd (Epic London Lab, Media & Entertainment 솔루션 아키텍트) ### 1. 소개 및 목표 * **발표자 소개:** 런던 Epic London Lab 소속 솔루션 아키텍트 Ben Kidd * **주요 목표:** 참석자들이 퍼포먼스 캡처 기술을 이해하고 실제 워크플로우에 적용할 수 있도록 돕기 * **발표 구성:** * 퍼포먼스 캡처 및 모션 캡처 현황 개괄 * 실습 데모 시연 * Q&A 및 추가 학습 리소스 제공 ### 2. 퍼포먼스 캡처 및 모션 캡처 기술 소개 #### 2.1. 바디 캡처 솔루션 * **인체 역학 슈트 (Inertial Suits):** * 센서가 내장된 슈트를 착용하여 가속도계 및 자이로스코프 데이터를 수집 * 간편한 착용 및 빠른 설정 * *예시:* Rococo, XSense, Perception Neuron * **마커리스 캡처 (Markerless Capture):** * 슈트나 마커 없이 동작 캡처 * 패션쇼, 라이브 이벤트 등 의상이나 소품이 중요한 경우에 유용 * 빠른 애니메이션 제작 및 레퍼런스 활용 가능 * *예시:* Capturey, Move.AI, Radical Motion * **광학 마커 시스템 (Optical Marker Systems):** * 가장 높은 정확도 제공 (생명 과학, 스포츠, 대규모 영화 제작에 활용) * 상대적으로 많은 설정 시간 필요 * *예시:* Vicon, OptiTrack, Qualisys * **하이브리드 마커리스 (Hybrid Markerless):** * 마커리스 캡처의 장점과 마커 시스템의 정밀도를 결합 * 소품(Props) 추적에 용이 * *예시:* Vicon (하이브리드 마커리스 솔루션) #### 2.2. 페이스 캡처 솔루션 * **Rococo 헤드 마운트 웹캠:** * 간편하고 접근성이 높은 솔루션 * UE Live Link Face 앱 (Android 지원)과 연동하여 실시간 데이터 스트리밍 * 가볍고 편리함 * **Captive Devices 헤드셋:** * 대규모 프로덕션에 적합한 고급 솔루션 * 듀얼 카메라 (스테레오), 웨어러블 컴퓨터, 타임코드 및 Genlock 지원 * 오프라인 솔브 및 프로덕션 이점 제공 ### 3. MoCap 파이프라인 데이터 흐름 1. **모션 캡처 시스템 / HMC (Head Mounted Camera)** 2. **Live Link** (데이터 프로토콜) 3. **Live Link Hub** (중앙 집중식 허브) * 데이터 녹화 및 재생 기능 * IP 주소 기반 소스 추가 4. **Unreal Editor** (로컬 인스턴스 또는 다수) 5. **Performer Actor Class** (디지털 더블) * IK (Inverse Kinematics) 및 Retargeter 활용 * *IK:* 관절 움직임을 기반으로 연결된 다른 관절 자동 애니메이션 * *Retargeter:* 다른 비율의 캐릭터 간 애니메이션 재매핑 ### 4. 실습 데모 시연: "Demon & MetaHuman High-Five" * **시나리오:** * 두 캐릭터 (Demon, MetaHuman) 간의 하이파이브 장면 * 실제 배우 (Richard, Elise)의 모션 캡처 데이터 활용 * 키 차이가 있는 배우 (Elise)를 통해 Retargeter 기능 시연 #### 4.1. 데이터 수집 및 통합 * **Live Link Hub:** * Live Link 소스 (Capturey, LiveLink Face) 추가 및 관리 * IP 주소를 통한 무선 연결 * **Virtual Live Link Subject:** * 얼굴 (Live Link Face)과 몸 (Capturey) 데이터를 통합 * **Switchboard:** * 다중 Unreal Editor 인스턴스 제어 및 동기화 * 버전 관리 (Perforce CL) * 기타 장치 (KeyPro, Motive, Shogun) 관리 * **Multi-User:** * 실시간 협업 환경 구축 * 레벨 변경 사항 실시간 동기화 #### 4.2. MoCap Manager 활용 * **생산 생성 (New Production) 및 세션 (New Session) 생성:** 프로젝트 및 캡처 세션 관리 * **폴더 구조 자동 생성:** 데이터 정리 및 관리를 용이하게 함 * **스테이지 (Stage):** 실제 스테이지를 가상화하여 월드 공간 정렬 (1미터 격자) * **모션 탭 (Motion Tab):** Live Link 데이터 프리뷰 및 확인 * **퍼포머 (Performer):** * 실제 배우의 디지털 더블 생성 * Capturey 스켈레톤 타입 선택 * 배우의 비율에 맞는 IK Rig 및 Mesh 생성 * MetaHuman 애니메이션 적용 #### 4.3. 애니메이션 및 편집 * **Retargeter:** * 자동 Retargeting으로 MetaHuman에 애니메이션 적용 (초기 결과 확인) * **계층적 제어 리그 (Layered Control Rig) / 계층적 추가 변환 (Layered Additive Transform):** * 원본 키프레임을 수정하지 않고 선택적으로 애니메이션 수정 (prop 상호작용, 카메라 포즈 조정) * 필요한 부분만 키프레임 추가하여 블렌딩 * **Skeletal Mesh Editor:** * 스켈레톤 편집 (회전, 변형) 및 스킨 웨이트 페인팅 * 실시간으로 결과 확인 가능 * **카메라 (Vcam):** * iPad를 이용한 무선 Vcam 제어 * 렌즈 선택, 프레이밍, 액션 탐색 * **Take Recorder:** * 슬레이트 관리 및 노트 기록 * 캐릭터, Vcam, Live Link 소스 녹화 * *팁:* 성능 이슈 발생 시 Live Link 소스 녹화를 권장 #### 4.4. 검토 및 수정 (Review Tab) * **촬영 결과물 신속 검토:** 실시간으로 테이크 확인 및 개선점 파악 * **수정:** 계층적 제어 리그를 사용하여 필요한 부분만 수정 (예: 손 접촉 불량) #### 4.5. 페이스 캡처 데이터 처리 (MetaHuman Animator) * **Capture Manager:** * Live Link Hub와 연동하여 원격으로 디바이스 데이터 전송 (무선) * 비디오, 깊이 데이터, 오디오 추출 * **MetaHuman Animator:** * **MetaHuman Identity 생성:** 촬영된 비디오를 기반으로 배우의 얼굴 유사성 재현 * **MetaHuman Performance 생성:** * 비디오 데이터 및 MetaHuman Identity를 사용하여 얼굴 애니메이션 생성 * 생성된 애니메이션을 기존 MetaHuman에 적용하거나, 새로운 MetaHuman으로 대체 가능 ### 5. 결론 및 추가 정보 * **Goodie Bag 제공:** * Live Link Hub 애니메이션 녹화 데이터 및 재현 방법 * Slay 샘플 콘텐츠 링크 (Epic Games Launcher) * 추가 학습을 위한 PDF 문서 (링크 포함) * **질의응답:** AnimVis 팀과 함께 추가 논의 및 질문 가능 * **활용 사례 공유 요청:** 사용자들이 모션 캡처를 어떻게 활용하고 있는지 공유하도록 권장 --- **참고:** 원본 텍스트에서 사용된 전문 용어는 번역하지 않고 유지하였습니다.