## Meta SAM3D Part 1: 3D 캐릭터 포즈 자동 생성 및 ComfyUI 연동 ### 🚀 소개 - **최현희 (소이랩)**: 만나서 반갑습니다. - **핵심 기능**: 이미지 한 장으로 3D 캐릭터 포즈 자동 생성. ### ✨ SAM3D: 놀라운 기능 - **기능**: 이미지의 특정 오브제 또는 인물을 선택하여 3D로 변환. - **활용**: - 건물 등 오브제 3D 변환 - 인물 이미지 기반 3D 포즈 생성 - **모델 다운로드**: - `SAM3D Object` - `SAM3D Body` - 로컬 환경에서 직접 실행 가능. - **플레이그라운드**: 다운로드 없이 웹에서 기능 테스트 가능. #### 💡 플레이그라운드 체험 - **`Create 3D Body`**: 이미지 업로드 시 인물 3D화. - 샘플 이미지 클릭 시 자동 세그맨틱 매칭. - `generate all people` 버튼 클릭으로 3D 포즈 완성. - **3D 캐릭터 포즈 변환**: - 원하는 각도로 자연스럽게 돌려보며 포즈 조정 가능. - 생성된 모델 다운로드 가능. ### 💻 ComfyUI 연동: 무한한 가능성 - **목표**: SAM3D를 ComfyUI에서 활용하여 강력한 워크플로우 구축. #### 📝 Step 1: 커스텀 노드 설치 - **필수**: SAM3D Body 작동을 위한 커스텀 노드 설치. - **설치 방법**: 1. 소이랩 채널에서 관련 콘텐츠 검색. 2. ComfyUI Manager 활용: - `SAM3D` 검색. - `ComfyUI SAM3D Body` 커스텀 노드 설치. #### 📝 Step 2: 워크플로우 준비 - **별도 제작 불필요**: ComfyUI 설치 폴더 내 `custom_nodes/workflows` 폴더에 4개의 워크플로우 제공. - **사용 방법**: 1. `workflow.json` 파일 불러오기. 2. ComfyUI 실행: - `Open Folder` > `Open Custom Node Folder`. - 설치된 `Sam3DBody` 폴더 > `Workflows` 폴더. - `Workflow.json` 파일을 Drag&Drop으로 불러오기. 3. **이미지 로드**: - `workflows` 폴더 상위의 `assets` 폴더에서 이미지 사용. - 이미지 없을 시 `assets` 폴더로 드래그 앤 드롭. 4. **실행 및 오류 해결**: - 실행 시 오류 발생 시 당황하지 말 것. - **허깅스페이스 (Hugging Face) 접속 및 인증**: - 에러 메시지 URL 참고하여 접속 (`dinov3`까지). - 회원가입 후 정보 입력 및 Submit. - **승인 절차**: 약 1~10분 소요. - **액세스 토큰 발급**: - 허깅스페이스 로그인 > 상단 버튼 > `Access Token` 클릭. - `Create New Token`으로 토큰 생성. - **중요**: 최초 생성된 토큰은 **반드시 저장** 후 페이지 닫기 (이후 축약된 정보만 노출). - **토큰 입력**: ComfyUI의 `Load Sam3D Body Model` 노드에 발급받은 토큰 입력. 5. **모델 다운로드 및 실행**: - 최초 실행 시 모델 다운로드로 인해 시간 소요. - 결과물: 입력 이미지 기반 3D 오브제 포즈 생성. - **모델 내보내기**: 원하는 타입으로 저장 가능. #### 💡 추가 활용 및 팁 - **마스킹 해제**: 때에 따라 마스크 연결 해제 후 실행 필요. - **상반신만으로 하반신 포즈 생성**: 상반신 이미지를 기반으로 자연스러운 하반신 포즈 및 신체 볼륨 표현 가능. - **SAM3D Body의 특징**: 포즈 뿐만 아니라 크기, 볼륨까지 감지 및 생성. #### 📝 Step 3: 로컬 모델 사용 (로컬 환경 최적화) - **문제점**: ComfyUI 종료 후 재실행 시 모델 재다운로드로 인한 딜레이 발생. - **해결 방안**: 모델을 로컬 경로로 이동하여 직접 로딩. - **방법**: 1. ComfyUI 설치 폴더 > `huggingface` 폴더 확인. 2. `huggingface` 폴더를 ComfyUI 설치 폴더 하위의 `models` 폴더로 이동. 3. ComfyUI `Load Sam3D Body Model` 노드의 `model_path` 수정: - 기존: `huggingface/` - 변경: `models/huggingface/` (또는 실제 이동된 경로) 4. 토큰 삭제 후 `models` 경로 설정하여 실행. ### 🌟 SAM3D 활용 예시 - **플레이그라운드 캡처**: 1. SAM3D 플레이그라운드에서 원하는 각도로 3D 모델 회전. 2. 특정 각도 캡처 (Windows 단축키 활용). 3. ComfyUI `Image Load` 노드에 붙여넣기. 4. `Nanobana Pro` 등 프롬프트와 결합하여 이미지 생성. - **결과**: 캡처한 포즈를 기반으로 독창적인 이미지 생성 가능. ### 🚀 다음 단계 (Part 2 예고) - 캡처 없이 ComfyUI에서 직접 SAM3D 포즈를 활용하여 결과물 생성하는 방법 소개 예정. - `Part 2` 콘텐츠에 대한 기대감 고조. ### 🙏 마무리 - **도움이 되셨다면**: 구독, 좋아요, 알람 설정, 댓글 응원 부탁. - **다음 콘텐츠 예고**: 더 좋은 콘텐츠로 찾아뵙겠음. - **감사 인사**: 끝까지 시청해주셔서 감사합니다.