ByteDance의 OmniHuman 2.0: 사진 한 장과 목소리로 말하는 영상 만들기

어떤 말하는 아바타 모델은 스위치가 가득한 패널과 함께 옵니다. ByteDance의 OmniHuman 2.0에는 입력이 세 개뿐입니다. 인물 사진, 음성 녹음, 그리고 선택 사항인 연출 지시 한 줄이죠. 해상도 메뉴도, 화면 비율도, 표현력 슬라이더도 없습니다. 제약처럼 들리지만 실제로 의미하는 바를 보면 다릅니다. 결과의 거의 전부가 여러분이 건네는 두 파일로 결정되므로, 할 일은 그 파일을 잘 고르는 것입니다. 친구가 처음 돌려 보기 전에 제가 해 줄 이야기를 정리했습니다.

실제로 잘하는 것

길고 자연스러운 말하기입니다. 오디오는 최대 5분까지 가능하고(처음 300초만 사용됩니다), 이는 대부분의 클립 모델이 허용하는 길이보다 훨씬 깁니다. 그래서 제품 설명 전체, 짧은 강의, 캐릭터의 독백이 다섯 조각을 이어 붙이는 대신 한 번의 렌더링에 들어갑니다. 얼굴은 목소리를 따라갑니다. 멈춤, 강조, 문장의 리듬이 입과 눈과 고개에 드러납니다. 직접 마이크로 녹음했든 텍스트 음성 변환 모델로 만들었든 완성된 음성 트랙이 있고, 그걸 전달할 얼굴이 필요할 때 좋은 선택입니다.

인물 사진 고르기

이미지는 JPEG로 변환되어 모델이 지원하는 크기에 맞춰지고, 아주 넓거나 아주 긴 사진은 가운데를 기준으로 잘립니다. 그러니 구도는 직접 잡으세요. 머리와 어깨까지 나온 사진, 대략 카메라를 향한 얼굴, 보이는 입, 입술 앞을 가리는 것이 없는 상태가 좋습니다. 머리 위에 여백이 있는 사진이 머리카락이 가장자리에 닿는 사진보다 잘림을 더 잘 견딥니다. 생성한 캐릭터도 사진만큼 잘 됩니다. 피부가 밀랍처럼 보인다면 플라스틱 피부 가이드로 먼저 고치세요. 애니메이션은 그 문제를 감추지 않고 오히려 더 드러냅니다.

오디오 고르기

• 깔끔한 말이 기발한 말보다 낫습니다. 배경 음악과 방 울림은 단어가 아닌 무언가에 입이 반응하게 만듭니다.
• 4초보다 짧으면 무음으로 채워지므로, 2초짜리 대사는 끝에서 얼굴이 기다리는 클립이 됩니다. 완전한 문장을 녹음하거나 그 멈춤을 받아들이세요.
• 시작 부분의 공백은 잘라 내세요. 긴 무음 도입부는 카메라를 오래 쳐다보는 장면이 됩니다.
• 5분을 넘는 부분은 잘립니다. 더 긴 원고는 챕터로 나눠 각각 렌더링하세요.

가져다 쓸 만한 연출 세 가지

프롬프트는 움직임과 스타일을 이끕니다. 비워 두면 목소리가 모든 것을 이끌고, 채우면 분위기를 정할 수 있습니다. 이미지 프롬프트가 아니라 배우에게 주는 메모처럼 쓰세요.

다른 모델을 골라야 하는 경우

출력 형태를 조절하거나 해상도를 고르고 싶다면 OmniHuman에는 그런 손잡이가 없습니다. 프레임은 사진을 따릅니다. HeyGen Avatar IV에는 표현력 설정, 해상도 선택, 화면 비율이 있고, 그 가이드에서 하나씩 설명합니다. 인물 사진이 아예 없고 준비된 진행자가 필요하다면 Avatar V 가이드에서 시작하세요. 나머지 말하는 아바타와 립싱크 모델은 모델 페이지에 있습니다.

솔직한 한계

이것은 말하는 인물 사진이지 장면이 아닙니다. 인물은 방을 가로질러 걷거나, 무언가를 집어 들거나, 옷을 갈아입지 않으며, 프롬프트로도 그걸 요청할 수 없습니다. 나쁜 입력을 살려 주지도 못합니다. 옆모습, 입을 가린 손, 잡음 섞인 녹음은 결과에 그대로 드러납니다. 그리고 쓸 권리가 없는 얼굴은 여전히 금지입니다. 이용약관은 실존하며 식별 가능한 인물의 딥페이크를 금지합니다. 내 얼굴, 가상의 캐릭터, 또는 명확한 허락을 받은 인물 사진을 쓰세요.