BackgroundRemover와 LatentSync는 같은 일을 하는 영상 편집기가 아닙니다. 배경을 분리해 합성용 파일을 얻으려면 BackgroundRemover 쪽의 입출력을, 이미 준비한 더빙 오디오에 얼굴의 입모양을 맞추려면 LatentSync 쪽의 입력 조건을 봐야 합니다.
두 도구를 모두 ‘AI 영상 편집’으로 묶으면 준비물부터 헷갈립니다. BackgroundRemover 문서는 CPU 설치 경로를 안내하지만, LatentSync 1.6의 공식 추론 요구량은 최소 18GB VRAM입니다. 여기서 VRAM은 시스템 RAM이 아니라 GPU 메모리입니다.
먼저 필요한 결과물을 한 줄로 적어보세요
“발표자 뒤의 방을 지우고 다른 화면 위에 올리고 싶다”와 “새 더빙은 완성됐는데 영상 속 입이 원래 말을 하고 있다”는 다른 문제입니다. 앞의 일은 피사체와 배경을 나누는 작업이고, 뒤의 일은 영상과 오디오의 움직임을 맞추는 작업입니다.
BackgroundRemover 공식 README는 이미지·영상 배경 제거용 명령줄 도구라고 설명합니다. 반면 LatentSync 공식 소개는 오디오를 조건으로 사용하는 립싱크 방법을 다룹니다. 기능 이름이 비슷해 보이는지가 아니라, 내가 받아야 할 파일이 무엇인지를 기준으로 읽는 편이 낫습니다.
가정해 보겠습니다. 직접 촬영한 설명 영상과 새로 녹음한 더빙 파일이 있습니다. 얼굴은 그대로 두고 배경만 교체할 계획이라면 배경 분리가 먼저 필요한 일입니다. 배경은 문제없고 더빙과 입모양의 불일치가 문제라면 립싱크 쪽을 살펴볼 이유가 생깁니다. 이는 공식 입출력에 맞춘 선택 예시이며, 두 도구를 설치하거나 해당 영상으로 실행한 결과는 아닙니다.
둘 다 필요하더라도 ‘어느 한 도구가 나머지까지 자동으로 해준다’고 이어 붙일 근거는 없습니다. 특히 번역문 작성, 새 목소리 만들기, 배경 합성은 별개의 단계로 남겨 두어야 합니다.
BackgroundRemover에서 마스크와 투명 영상은 다른 파일입니다
이 도구는 배경을 지운다는 한 문장보다 출력 선택지를 보는 쪽이 유용합니다. 현재 CLI 정의는 흑백 마스크인 matte key와 투명 영상을 서로 다른 옵션으로 구분합니다. 배경 이미지·다른 영상 위에 합성하는 경로도 따로 있습니다.
흑백 매트는 무엇을 남길지 표시하는 파일입니다. 그것 자체가 색이 살아 있는 투명 인물 영상이라는 뜻은 아닙니다. 투명 영상은 다른 배경 위에 겹칠 수 있도록 피사체의 영상과 알파 정보를 다루는 쪽입니다. 기존 편집기에서 매트 입력이 필요한지, 투명 클립을 받아야 하는지에 따라 고를 출력이 달라집니다.
공식 문서와 CLI의 기본 투명 영상 설정에는 ProRes 4444 계열의 prores_ks가 명시돼 있습니다. README는 yuva444p10le 픽셀 형식을 설명합니다. 다만 파일 이름이 .mov로 끝난다는 사실만으로 내 편집기에서 투명도가 원하는 대로 보인다고 판정할 수는 없습니다. 이 글에서는 Premiere Pro·DaVinci Resolve·Final Cut Pro로 실제 가져오는 시험을 하지 않았습니다.
이 차이를 모르면 ‘파일이 만들어졌다’는 확인과 ‘다른 화면 위에 정상 합성됐다’는 확인을 섞게 됩니다. 필요한 것은 확장자 하나가 아니라 색 영상인지, 매트인지, 투명 영상인지와 다음에 받을 프로그램입니다.
폴더 단위 처리는 README와 CLI에 명시돼 있습니다. 반복 작업을 검토하는 사람에게 살펴볼 만한 기능이지만, 파일 수를 늘리기 전에 출력 종류부터 맞춰야 합니다. 머리카락·빠른 움직임·가림이 있는 장면의 경계 품질이나 처리 시간은 이번 조사에서 측정하지 않았습니다. README의 GPU 속도 홍보 수치도 이 글의 성능 결론으로 가져오지 않습니다.
LatentSync는 더빙 파일을 만드는 도구가 아니라 받는 쪽입니다
공식 Gradio 예제 코드에는 Input Video와 Input Audio가 각각 있습니다. 처리 함수도 영상 경로와 오디오 경로를 별도로 받아 결과 MP4 경로를 돌려주도록 작성돼 있습니다.
따라서 이 예제를 보고 “원본 영상을 넣으면 번역·대본·보이스오버까지 끝난다”고 이해하면 범위를 넓힌 것입니다. 이 경로에서는 맞출 오디오가 이미 준비돼 있어야 합니다. 어떤 언어로 더빙할지, 발음과 문장 길이가 적절한지, 사용할 목소리에 권리가 있는지는 입력을 준비하는 쪽의 문제로 남습니다.
또한 결과 MP4는 이 예제의 영상 출력입니다. 자막·음성·효과 트랙이 남는 기존 NLE 프로젝트를 내보낸다는 설명과 같지 않습니다. 후반 작업에서 원래 편집 상태를 계속 고쳐야 한다면 영상 결과와 프로젝트 교환을 구분해 판단해야 합니다.
원본 얼굴의 모든 표정과 디테일을 유지한다거나 한국어 더빙 품질이 일정하다고 보장할 자료는 이번 검토에서 확보하지 못했습니다. 논문·제작자 데모는 구조를 이해하는 자료이며, 내 영상에서의 결과를 대신하지 않습니다.
8GB·18GB·20GB를 같은 요구량으로 읽으면 안 됩니다
LatentSync README의 요구량은 버전과 작업을 나눠 적고 있습니다.
| 공식 문서의 조건 | 기재된 GPU 메모리 |
|---|---|
| LatentSync 1.5 추론 | 최소 8GB VRAM |
| LatentSync 1.6 추론 | 최소 18GB VRAM |
| 효율화한 Stage 2 학습 설정 | 20GB VRAM |
20GB는 별도 학습 설정의 숫자입니다. 이를 1.6 추론의 최소값으로 옮기거나, 반대로 1.5의 8GB를 모든 버전에 적용하면 안 됩니다. 제작자가 제시한 요구조건이지, 이 글에서 같은 GPU로 세 환경을 재현한 측정값은 아닙니다.
현재 공식 추론 코드는 오디오 인코더와 파이프라인에 CUDA를 지정합니다. 설치 스크립트도 Conda와 apt를 사용하는 경로를 담고 있습니다. 그래서 이 저장소만 보고 Windows 네이티브·Apple Silicon·CPU 실행을 동일하게 보장할 수는 없습니다. 별도 포팅이나 커뮤니티 배포판은 공식 예제와 다른 환경으로 구분해야 합니다.
BackgroundRemover는 공식 문서에 CPU용 PyTorch 설치 경로가 있습니다. 이것이 긴 영상도 빠르다는 뜻은 아닙니다. 배경만 분리할 목적이라면 립싱크 모델의 18GB 조건을 그대로 가져와 GPU 구매부터 결정할 이유가 없다는 뜻입니다. 영상 길이·해상도·자원 사용량별 성능은 별도로 확인할 항목입니다.
공개 코드와 모델 가중치의 사용 조건도 나눠 보세요
BackgroundRemover 코드의 라이선스는 MIT입니다. LatentSync GitHub 코드에는 Apache-2.0이 표시돼 있지만, ByteDance의 LatentSync 1.6 공식 모델카드는 openrail++로 표시합니다. 공식 모델카드를 코드 저장소의 라이선스와 함께 읽어야 하는 이유입니다.
코드 사용 조건 하나를 확인했다고 가중치·다른 의존 모델·원본 영상·목소리의 권리까지 모두 해결된 것은 아닙니다. 특히 타인의 얼굴을 새 발화에 맞추는 사용은 촬영물과 음성의 이용 권한, 당사자의 동의를 별도로 검토해야 합니다. 라이선스 구분은 앞서 정리한 오픈소스 AI의 코드·가중치를 나눠 보는 글과도 이어지는 문제입니다.
2026년 10월 18일 조사 시점 GitHub API의 별 수는 BackgroundRemover 8,097개, LatentSync 6,150개였습니다. 둘 다 archive 상태는 아니었습니다. 별은 관심 신호일 뿐, 출력 품질이나 상업 이용 적합성을 확인한 점수는 아닙니다.
이 글의 비교 범위는 공식 문서·공개 코드·모델카드의 입출력과 준비 조건입니다. 설치, 모델 다운로드, 렌더, 실제 NLE 가져오기, 한국어 더빙 품질·속도 측정은 수행하지 않았고, 독립적인 품질·효능 검증 결과도 제시하지 않습니다. 따라서 실행 명령이나 “따라 하면 완성된다”는 절차 대신, 어떤 결과물이 필요한지와 그 결과를 받기 위해 무엇을 준비해야 하는지를 구분했습니다.
출처 및 확인일
- nadermx, BackgroundRemover 공식 README 및 CLI 소스. 원문 게시일 미표기. https://github.com/nadermx/backgroundremover / https://github.com/nadermx/backgroundremover/blob/main/backgroundremover/cmd/cli.py
- nadermx, MIT License. 원문 게시일 미표기. https://github.com/nadermx/backgroundremover/blob/main/LICENSE.txt
- ByteDance, LatentSync 공식 README·추론 코드·Gradio 예제. README에 1.6 공개일 2025-06-11 표기. https://github.com/bytedance/LatentSync / https://github.com/bytedance/LatentSync/blob/main/scripts/inference.py / https://github.com/bytedance/LatentSync/blob/main/gradio_app.py
- ByteDance, LatentSync 1.6 공식 모델카드. 원문 게시일 미표기. https://huggingface.co/ByteDance/LatentSync-1.6
- ByteDance, Apache License 2.0. 원문 게시일 미표기. https://github.com/bytedance/LatentSync/blob/main/LICENSE
- 확인: 2026-10-18 KST. GitHub 별 수는 2026-10-18 01:10 KST API 관측값. 공식 요구조건과 직접 측정은 구분했습니다.
'💻IT' 카테고리의 다른 글
| 자소서 AI 첨삭 전, 입력 빈칸을 찾고 필요한 결과물 고르기 (0) | 2026.10.21 |
|---|---|
| 개발자 이력서를 AI에 맡기기 전, 양식·경력기술서·포트폴리오부터 구분하세요 (0) | 2026.10.21 |
| 자막 파일이 필요한가, 쓸 장면을 찾을 것인가: AutoSubs와 StoryToolkitAI (0) | 2026.10.20 |
| 하이라이트·문장 컷·새 해설: AutoClip·FunClip·NarratoAI의 다른 결과물 (0) | 2026.10.19 |
| 대화로 맡긴 AI 영상 편집, 다음 수정은 어디서? (0) | 2026.10.19 |
