편집 프로그램 해지했습니다 — 클로드 코드로만 영상 만드는 법

URL: https://www.youtube.com/watch?v=MS3PxXhnNDM 날짜: 2026-08-04 채널: 윤자동

---

📌 핵심 질문 / 이 영상이 다루는 핵심 논점

유튜브 영상 제작자 윤자동이 프리미어 프로를 해지하고 Claude Code + FFmpeg + Whisper + TTS 조합으로 영상 편집 전체를 자동화한 실제 워크플로우를 공개한다. AI가 1시간짜리 원본 영상을 무음 컷, 중복/습관어 제거, BGM/효과음 삽입까지 어느 정도까지 자동으로 처리할 수 있는지, 그리고 어디까지가 인간의 감각이 필요한지를 보여주는 사례 연구이다.

• 핵심 목표: 1시간 원본 → 30분 → 10분으로 줄이는 편집 파이프라인 자동화
• 핵심 도구: Claude Code, FFmpeg, Whisper, Qwen TTS, ElevenLabs, 리모션/하이퍼프레임
• 핵심 인사이트: AI는 100점 품질은 못 내도, 1초 만에 90점을 만들어주는 가성비가 압도적이다.

---

1. 워크플로우 개요: 프리미어 프로 해지 → 클로드 코드

1.1. 프리미어 프로를 해지한 이유

1. 기존에는 Adobe Premiere Pro를 사용해 영상을 편집했다.
2. Claude Code를 활용해 FFmpeg 기반 자동 편집 파이프라인을 구축하면서 프리미어 프로 구독이 불필요해졌다.
3. AI가 스스로 영상을 자르고, 붙이고, 컷 편집하고, 전사하고, BGM과 효과음을 넣는 구조를 만들었다.

1.2. 전체 파이프라인의 4단계

1. 무음 컷 제거: 1시간 원본에서 4,000개 이상의 무음 구간을 FFmpeg로 자동 제거
2. 전사 및 정제: Whisper로 대본을 뽑고, 중복 표현·습관어·말더듬을 AI로 제거
3. 길이 축소: 1시간 → 30분 → 10분 단계별로 압축
4. 후반 가공: 리모션/하이퍼프레임 효과, BGM, 효과음 자동 삽입

---

2. 영상 편집 자동화의 각 단계

2.1. 무음 구간 자동 컷 (FFmpeg)

1. 원본 처리: 1시간짜리 원본 영상을 Claude Code + FFmpeg에게 넘긴다.
2. Whisper 전사: Whisper 모델로 모든 음성을 0.01초 단위로 전사한다.
3. 무음 파형 분석: 전사 결과를 바탕으로 무음 구간의 파형을 분석해, 몇 데시벨 이하를 무음으로 판정할지 결정한다.
4. 무음 보호 구간: 무음을 칼같이 자르면 음성이 같이 잘리는 문제가 있어, 0.15초 정도의 무음 보호 구간을 둔다.
5. 실행 결과: 1시간 원본에서 4,000개의 무음 구간을 자동으로 제거한다.
6. 시간 절약: 사람이 4,000개 컷 편집을 손으로 하면 10시간이 걸릴 작업을 AI가 단번에 처리한다.

2.2. 중복 표현과 습관어 제거

1. 전사된 대본을 Claude Code에게 입력하면, AI가 "그런데, 그런데", "음", "이런 거" 같은 중복 표현과 습관어를 찾아낸다.
2. AI는 단순히 키워드 매칭이 아니라 문맥을 파악해 어떤 부분을 날릴지 판단한다.
3. 예: "그런데, 그런데 이런 거 말 꼬인 거" 같은 부분을 자연스럽게 제거해 말의 흐름을 유지한다.
4. 1시간짜리가 30분으로 줄어드는 핵심 요인이다.

2.3. 30분 → 10분으로 압축하기

1. 30분 버전에서도 여전히 임팩트 없고 재미없는 부분이 남아 있다.
2. Claude Code에게 "1, 2, 3순위로 날릴 구간을 추천해달라"고 요청한다.
3. AI가 추천한 후보 중에서 사람이 직접 1, 3, 5번을 날리라고 지시한다.
4. 이 단계에서 사람이 개입하는 이유: "감각적인 부분"이 있어서 AI 혼자 판단하기 어렵다.
5. 결과적으로 30분짜리가 10분으로 압축된다.

2.4. BGM과 효과음 자동 삽입

1. Claude Code가 전사된 말과 파형을 보고, 어떤 구간에 어떤 음악이 어울릴지 판단한다.
2. 예: "지금 파형이 엄청 신났다" → 신난 음악을 깔아야 한다고 판단.
3. AI가 직접 사이트에 들어가 BGM과 효과음을 다운로드한다.
4. DJing처럼 말하는 순간에 BGM이 자연스럽게 덕킹(ducking) 처리되도록 볼륨 조절한다.
5. 효과음("삐용삐용")도 AI가 알아서 넣는다.
6. 이 모든 과정이 사람의 손길 없이 Claude Code가 스스로 실행한다.

---

3. Claude Code의 역할과 인간 개입 지점

3.1. AI가 대신하는 것

1. FFmpeg 명령어 생성과 실행
2. Whisper 전사 및 타임스탬프 기반 무음 분석
3. 중복/습관어 제거를 위한 편집 포인트 제안
4. BGM/효과음 선정, 다운로드, 볼륨 덕킹
5. 리모션/하이퍼프레임 같은 효과 자동화

3.2. 사람이 여전히 개입하는 지점

1. 최종 10분 압축 단계: AI가 추천한 날릴 구간 중에서 사람이 직접 선택해야 한다.
2. 이유: 재미와 임팩트는 맥락과 감각의 문제라, AI가 아직 완벽히 판단하기 어렵다.
3. AI가 보고하는 형식: "날릴 거 1, 2, 3순위"로 제시하면 사람이 "1, 3, 5번 날려"라고 지시.
4. 즉 AI는 후보를 만들고, 사람은 최종 승인/선택하는 "human-in-the-loop" 구조.

3.3. 워크플로우의 철학

1. 100% 자동화가 아니라, 반복적이고 시간이 많이 드는 90%를 AI에게 맡긴다.
2. 사람은 감각과 창의성이 필요한 10%에 집중한다.
3. "90점을 1초 만에 만드는 AI" vs "100점을 10시간 들여 만드는 사람" — 가성비가 압도적으로 AI 쪽이라고 판단.

---

4. 실제 사례: 1시간 반 녹화에서 음성 누락 복구

4.1. 사고 상황

1. 강의를 1시간 30분 동안 녹화했는데, OBS 설정 문제로 음성이 녹음되지 않았다.
2. 화면 녹화는 다 됐지만, 1시간이 무음 상태였고, 30분만 음성이 있었다.
3. 1시간 반 분량의 강의를 폐기할 수밖에 없는 상황.

4.2. AI 복구 시도: 24시간 집중 작업

1. 구글 미트(Google Meet)로 강의를 진행했기 때문에 Gemini로 전사된 텍스트가 있었다.
2. Codex에게 상황을 설명하고, 누락된 1시간 반을 복구하는 방법을 찾아달라고 요청.
3. AI가 24시간 동안 작업을 진행했다.
4. Whisper로 전사된 텍스트를 기반으로, 초 단위로 음성 파일을 생성.
5. 화면 장면을 파악해 음성이 들어가야 할 타이밍을 맞춘다.
6. TTS 선택: ElevenLabs 대신 무료로 사용할 수 있는 Qwen TTS를 사용.
7. Qwen TTS로 본인 목소리와 비슷한 음성을 생성해 1시간 반을 채웠다.
8. 결과물을 업로드해서 강의를 살렸다.

4.3. 복구 결과의 한계와 가능성

1. 100% 완벽하지는 않았다.
2. 하지만 "음성이 없이 보는 것"과 "음성이 있는 것"은 청중 경험에서 큰 차이.
3. 맥락과 흐름이 살아있기 때문에, 본인의 목소리로 들리는 TTS라면 충분히 수용 가능.
4. 이 사례는 AI가 단순 편집을 넘어 "콘텐츠 복구"까지 가능함을 보여준다.

---

5. 생산성 vs 품질 트레이드오프

5.1. AI 편집의 품질 한계

1. 발표자 본인도 AI 영상 편집에 하루에 남는 시간을 거의 다 투자하고 있다.
2. 퇴근 후에도 새벽 3시까지 Claude Code를 만지작거리며 실험 중.
3. 본인 평가: 사람이 100점이면 AI는 현재 50~70점 수준.
4. 처음에는 50점도 안 됐지만, 계속 실험하며 60~70점까지 끌어올렸다.

5.2. 그럼에도 AI를 쓰는 이유: 가성비

1. AI가 1초 만에 90점짜리를 만들 수 있다.
2. 사람이 10시간을 투자해 100점을 만드는 것과 비교하면 가성비가 말이 안 된다.
3. 100점을 위해 사람이 세세하게 조정하는 것은 대형 채널, 방송, 제작비가 몇 억씩 드는 프로젝트에나 적합하다.
4. 중소형 채널, 강의 채널, 1일 1영상을 목표로 하는 경우에는 90점짜리를 많이 만드는 게 더 나을 수 있다.

5.3. 채널 유형별 전략 차이

1. 대형 채널/방송: 100점 하나를 위해 일주일 갈아넣는 전략.
2. 중소형 채널/강의 채널: 90점짜리를 1일 1영상으로 만드는 전략.
3. 발표자는 본인 채널이 후자에 해당하므로 AI 자동화를 택했다.
4. 이는 채널의 성격과 목표에 따라 전략이 달라야 한다는 의미.

---

6. 코칭/컨설팅 적용: 녹음 → 텍스트 → Claude/Codex

6.1. 직장인 코칭 워크플로우

1. 직장인 클라이언트가 방문하면 "녹음부터 켜라"고 말한다.
2. 대화하는 동안 나오는 모든 내용을 녹음한다.
3. 녹음 내용을 Whisper 등으로 전사한 뒤, Claude Code나 Codex에게 던진다.
4. "이걸 고쳐달라"고 요청하면 하루 뒤에 완성된 결과물이 돌아온다.
5. 이 방법이 굉장히 중요하다고 강조한다.

6.2. 유튜브 아이디어 로컬라이징

1. 해외 좋은 콘텐츠 아이디어를 본다.
2. 해당 영상의 대본을 추출한다.
3. "나 이렇게 하고 싶다"고 Claude Code에게 요청하면, 한국형으로 로컬라이징해서 스크립트를 만들어준다.
4. 1시간짜리 라이브 강의 형식으로 풀어서 콘텐츠로 만든다.
5. 이런 방식으로 매주 라이브를 진행하고 있다.

6.3. 실제 수익 사례

1. 어제 "딸깍"으로 17만 천 원을 벌었다.
2. 영상 편집 자동화를 실험하다가 SNS에 글을 썼고, 그 글이 수익으로 이어졌다.
3. AI를 활용한 콘텐츠 생산은 단순히 시간 절약을 넘어 새로운 수익 모델로 연결될 수 있다.

---

7. 청중에게 던지는 메시지와 실행 제안

7.1. 핵심 조언

1. "그냥 하라."
2. Claude Code나 Codex에게 자막 전사본을 던지고 "이걸로 만들어줘"라고 해보라.
3. 발표자는 이 방법을 계속 말하지만, 정작 실행하는 사람은 많지 않다.
4. 본인 강의 전사본도 Claude Code에게 넣어 원하는 형태로 만들라고 시킨다.

7.2. 실행의 시작점

1. 자신이 좋아하는 유튜브 영상의 자막을 복사한다.
2. Claude Code/Codex에게 던진다.
3. "이거 윤자동 님이 말한 건데, 이런 식으로 만들어줘"라고 요청.
4. 웬만한 것은 다 만들 수 있다.
5. 본인의 강의, 대화, 녹음 등을 재료로 활용하면 더욱 효과적이다.

7.3. AI 시대의 콘텐츠 제작 철학

1. AI는 아이디어를 실행하는 장벽을 낮춰준다.
2. 완벽하지 않아도 90점을 빠르게 만들고, 시장 반응을 보며 개선하는 것이 중요.
3. 100점을 추구하다가 아무것도 안 올리는 것보다, 90점을 꾸준히 올리는 것이 낫다.
4. AI를 도구로 삼아 본인만의 워크플로우를 실험하고 다듬어야 한다.

---

핵심 요약 (20줄)

1. 윤자동은 프리미어 프로를 해지하고 Claude Code + FFmpeg + Whisper 조합으로 영상 편집을 자동화했다.
2. 핵심 파이프라인은 1시간 원본 → 30분 → 10분으로 단계별로 압축하는 4단계 구조다.
3. FFmpeg는 1시간 원본에서 4,000개 이상의 무음 구간을 0.15초 보호 구간을 두고 자동 제거한다.
4. Whisper는 0.01초 단위로 전사해 대본을 뽑고, 파형 분석을 통해 정밀한 컷 포인트를 찾는다.
5. Claude Code는 전사된 대본에서 "그런데, 그런데", "음" 같은 중복 표현과 습관어를 문맥으로 제거한다.
6. 1시간 원본이 30분으로 줄어든 후, AI가 날릴 구간을 1, 2, 3순위로 추천하면 사람이 최종 선택한다.
7. 최종 10분 압축 단계는 아직 감각과 재미 판단이 필요해 인간 개입이 필수다.
8. BGM과 효과음도 Claude Code가 전사와 파형을 보고 자동으로 선정하고, 볼륨 덕킹까지 처리한다.
9. 발표자는 AI가 100점은 못 내도 1초 만에 90점을 만들어주는 가성비가 압도적이라고 평가한다.
10. 1시간 반 강의에서 OBS 음성 누락 사고가 발생했고, Codex가 24시간 동안 복구 작업을 수행했다.
11. 복구는 구글 미트의 Gemini 전사 텍스트를 바탕으로, Qwen TTS로 본인 목소리와 비슷한 음성을 생성하는 방식이었다.
12. 100% 완벽하지 않았지만, 음성이 있는 버전이 무음 버전보다 청중 경험이 훨씬 좋았다.
13. 발표자 본인은 AI 영상 편집에 하루의 남는 시간을 거의 다 투자하며 50점에서 60~70점까지 끌어올리고 있다.
14. 대형 채널은 100점 하나를 위해 일주일을 투자하지만, 중소형 채널은 90점짜리를 1일 1영상으로 만드는 전략이 더 나을 수 있다.
15. 직장인 코칭에서는 녹음부터 켜고, 대화 내용을 전사해 Claude Code/Codex에 던져 하루 만에 결과물을 받는 방식을 사용한다.
16. 해외 유튜브 콘텐츠의 대본을 뽑아 "한국형으로 바꿔달라"고 요청하면 로컬라이징된 스크립트를 얻을 수 있다.
17. 본인 강의 전사본을 AI에 넣어 원하는 형태로 재구성하는 것도 매일 실천하고 있다.
18. 어제 SNS에 올린 AI 영상 편집 관련 글 하나가 17만 천 원의 수익으로 이어졌다고 사례를 공유한다.
19. 핵심 실행 조언은 "그냥 해보라"는 것 — 자막을 복사해서 Claude Code/Codex에게 던지는 것부터 시작하면 된다.
20. AI 시대에는 완벽을 기다리기보다 90점을 빠르게 만들고 시장 반응을 보며 개선하는 방식이 더 유리하다.