용어 · 이미지→영상 연출

말보다 먼저 반응

Speech Lead Sync

내레이션의 낱말이 말해지기 0.05~0.30초 전에 화면이 먼저 반응하게 시각을 앞당기는 맞춤법이다. 단어 단위와 줄 단위 두 방식을 나란히 놓고 본다.

중급타이밍과 리듬설명

01직접 돌려 보기

‘연출 전’은 대충 시켰을 때를 가정해 만든 화면이고 실제 AI 결과와 다를 수 있다.

연출 전흔한 첫 결과
연출 후완성본
0.00초 / 4.0초

02이름으로 시키는 지시문

대충 시킴말에 맞춰서 자막이랑 강조가 나오게 싱크 맞춰줘→ ‘맞춰’가 어절 단위인지 줄 단위인지, 동시인지 먼저인지 정해지지 않아 요청마다 방식이 달라진다
이름으로 시킴A 방식으로 각 어절이 시작되기 0.15초 전에 켜고, 어절마다 화면 반응에서 말 시작을 뺀 차이를 적고, 합격 범위는 -0.05에서 -0.30초→ 여섯 어절이 말보다 약 0.12초에서 0.13초 먼저 켜지고 어절마다 차이 값과 합격 표시가 붙은 눈금
Claude Code · Codex에 그대로 붙여 넣기

내레이션 한 줄 '사진에 깊이를 주고 천천히 밀어 넣습니다'에 화면 반응을 두 방식으로 나란히 달아 줘. 어절이 말해지기 시작하는 시각은 사진에 0.60, 깊이를 1.20, 주고 1.80, 천천히 2.30, 밀어 3.00, 넣습니다 3.45초이고, 줄은 0.60초에 시작해 4.20초에 끝나. 연출 전 상태는 자막 줄이 처음부터 떠 있고 말과 상관없이 가만히 있는 모습이야.

  1. A 단어 단위각 어절이 시작되기 0.15초 전에 그 어절이 어두운 상태에서 밝게 켜져. 핵심어 깊이, 천천히, 밀어는 같은 순간 화면 가운데에 큰 글자(42px)로 튀어 올라.
  2. 아직 안 말한 어절은 밝기 0.35로 두고, 말한 어절은 켜진 채로 둬.
  3. B 줄 단위줄이 시작되는 0.60초에 자막 줄 전체가 한 번에 나타나고 4.20초에 사라져. 줄은 시작보다 0초 먼저 나타나고 어절별 켜짐은 없어.
  4. 아래 눈금에 말 어절 막대, 화면 A 반응 표시, 화면 B 줄 막대를 그리고, 어절마다 화면 반응 시각에서 말 시작 시각을 뺀 차이를 초 단위로 적어 줘. 합격 범위는 -0.05초에서 -0.30초야. 그 밑에 한 줄로 합격한 어절 수와 B 줄이 몇 초에 몇 번 나타났는지 적어 줘.
  5. 금지화면이 말보다 늦게 반응하기, 반응이 1초 넘게 어긋나기, 어느 방식이 낫다고 단정하는 문구.

구현에 쓰이는 기술: 어절 시작 시각표(음성 인식으로 얻은 값을 시각표로 저장)WebVTT 큐와 큐 안 시각 태그(<00:01.200>)로 줄 단위와 단어 단위를 모두 표현결과 영상을 30fps 로 읽어 영역별 프레임 변화로 화면 반응 시각을 재는 도구

03응용 팁

팁은 데모에서 값만 바꿔 같은 장면과 비교한 것이다. AI가 같은 결과를 내는지는 직접 해 봐야 안다.

1

먼저 반응하는 게 거의 안 느껴져

화면이 말을 앞선다는 느낌이 약할 때

지시문에서
각 어절이 시작되기 0.15초 전에
이렇게 바꾸세요
각 어절이 시작되기 0.30초 전에
그러면
0.98초 시점에 이미 깊이가 켜져 화면 가운데에 큰 글자로 떠 있고, 눈금의 차 값은 -0.12~-0.13초에서 -0.27~-0.30초로 합격 범위 끝에 붙는다.
확인
2

핵심어 글자가 작아 보여

핵심어가 튀어 오르긴 하는데 존재감이 약할 때

지시문에서
큰 글자(42px)로
이렇게 바꾸세요
큰 글자(60px)로
그러면
1.35초 시점에 깊이의 글자 높이가 42px에서 60px로 커져 패널의 위쪽 절반을 채우고, 밑줄도 글자 아래로 따라 내려간다. 큰 글자가 아래 자막과 가까워지는 만큼 화면 가운데가 답답해진다.
확인
3

줄 자막이 말 뒤에 뜨는 듯

줄 단위 자막이 첫 어절보다 늦게 뜨는 것처럼 보일 때

지시문에서
줄은 시작보다 0초 먼저
이렇게 바꾸세요
줄은 시작보다 0.15초 먼저
그러면
줄 전체가 0.60초가 아니라 0.45초에 나타나서 0.5초 시점에 B 패널 아래에 자막이 이미 떠 있다. 줄 단위에도 선행을 주는 것은 어느 기록에도 없는 가정이다.
확인

04만드는 순서

각 단계의 버튼을 누르면 위의 데모가 그 단계까지의 모습으로 바뀝니다.

  1. 화면을 어절이 말해지는 시각에 맞춰 켠다

    어절 시작 시각표를 받아 그 시각에 어절을 켜면 눈금의 차가 0.00초로 읽힌다. 합격 범위(-0.05~-0.30초) 밖이다. 제작자의 첫 실측에서도 한 키가 0.0초(범위 밖)로 나와 앞당겼다. 사람이 보기에 늦게 느껴지는지는 이 도구로 판정하지 못했다.

    const rt = WT[i];                              // 화면 반응 시각 = 말 시작 시각
    opacity = lerp(UNLIT, 1, outC(seg(t, rt, rt + 0.18)));
  2. 반응을 0.15초 앞당긴다

    반응 시각에서 LEAD(0.15초)를 뺀다. 30fps로 읽어 보면 차는 -0.12~-0.13초로 나온다. 프레임 눈금이 0.033초라 계획한 -0.15와 조금 다르다. 합격 범위 -0.05~-0.30초는 기준 문서의 판정선이고, ITU 입모양 기준(소리가 125ms 뒤처지면 인지)보다 넓다. 0.15초가 가장 좋다는 근거는 없고, 근거 없이 정한 값이다.

    const LEAD = 0.15;
    const rt = WT[i] - LEAD;                       // 말보다 0.15초 먼저
  3. 줄 단위 방식을 나란히 둔다

    B는 줄이 시작되는 0.60초에 자막 줄 전체가 한 번에 나타나고 어절별 켜짐이 없다. 한 저장소는 A를 규칙으로, 다른 저장소는 2026-11-13에 A를 폐기하고 B를 규칙으로 적어 서로 반대였다. 어느 쪽이 시청에 낫다는 증거는 없다. 2026-11-13에 제작자가 줄 단위(B)로 정했다. 화면에는 A도 비교용으로 보여 주고, B에는 '줄 단위로 정함'을 표시한다.

    const lineOp = E.outC(seg(t, LINE0 - LINE_LEAD, LINE0 - LINE_LEAD + 0.15))
                 * (1 - seg(t, LINE1, LINE1 + 0.3));
  4. 눈금에 합격 범위를 깐다

    말 막대 앞쪽 0.30~0.05초 구간을 옅은 파란 띠로 깔면 화면 표시가 띠 안에 있는지가 눈으로 보인다. 읽는 값의 차는 화면을 코드가 같은 방식으로 훑어 얻은 값이다. 제작자의 영상 실측값과는 다르다.

    band.left = tx(WT[i] + PASS_LO);  band.width = tx(WT[i] + PASS_HI) - tx(WT[i] + PASS_LO);
    pass = diff >= PASS_LO && diff <= PASS_HI;

05전문용어 풀이

싱크(말 맞춤)Sync

말과 화면 반응의 시각을 맞추는 일이다. 이 분야에서는 화면이 말보다 조금 먼저 오게 맞추는 것을 뜻한다.

AI에게“말과 화면 반응 시각을 맞춰 줘”
선행 시간Lead time

화면이 말보다 앞서는 시간이다. 화면 시각에서 말 시각을 뺀 값이 음수면 먼저다.

AI에게화면이 말보다 0.15초 먼저
어절 시각표Word timestamps

내레이션에서 어절마다 말이 시작되는 시각을 적은 표다. 음성 인식으로 얻으며 오차가 있다.

AI에게“어절 시작 시각표를 기준으로 반응을 걸어 줘”
단어 단위 싱크Word-level sync

어절이 말해지는 순간마다 그 어절이 켜지는 방식이다. 노래방 자막이 이 모양이다. 아직 안 말한 어절을 어둡게 두는 탓에 읽기 어렵다는 걱정이 기록에 있으나 확인된 적은 없다.

AI에게어절마다 말하기 0.15초 전에 켜기
줄 단위 싱크Line-level sync

한 줄이 시작될 때 줄 전체가 한 번에 나타나고, 끝나면 사라지는 방식이다. 어절별 맞춤이 없다.

AI에게“자막은 줄이 시작될 때 통째로 한 번에”
반응 시각Onset

화면이 실제로 바뀌기 시작한 첫 프레임의 시각이다. 계획한 시각이 아니라 결과 영상에서 읽은 값이라 프레임 눈금만큼 어긋난다.

AI에게결과 영상 30fps 로 읽은 반응 시각
큐(자막 구간)Cue

자막 파일에서 시작과 끝 시각을 가진 한 덩어리다. 그 안에 시각 태그를 넣으면 단어 단위로 켤 수 있다.

AI에게“큐 안에 어절 시각 태그를 넣어 줘”

06결과를 받으면 이것부터 확인

  • A 방식에서 여섯 어절이 각자 말해지기 0.15초 전에 어두운 상태에서 밝게 켜진다
  • 핵심어 깊이, 천천히, 밀어가 켜지는 순간 화면 가운데에 큰 글자가 나타난다
  • 눈금에서 화면 A 표시가 늘 말 막대의 시작보다 왼쪽에 놓이는가?
  • 읽는 값의 '차'가 -0.05에서 -0.30 사이면 '합격', 그 밖이면 '범위 밖'으로 찍힌다
  • B 방식은 0.60초에 자막 줄 전체가 한 번에 나타나고 어절별 켜짐이 없다
  • 3단계부터 '줄 단위로 정함' 표시가 보이나?

07이럴 때 쓰세요

  • 말이 정보를 하나씩 짚어 가는 설명 쇼츠
  • 자막과 핵심어 강조를 말에 맞출 때 어느 방식을 쓸지 정해야 하는 영상 작업

08같이 쓰는 용어

09근거와 확인 범위

‘확인’은 출처 문서에서 사실로 확인한 내용, ‘추정’은 결과물을 보고 추론한 내용, ‘원본 없음’은 흔히 쓰이지만 대표 원본 사례를 확인하지 못해 성공 사례로 제시하지 않은 기법이다.

  • 확인방송 입모양 싱크 연구(ITU-R BT.1359-1)에서 소리가 영상보다 45ms 앞서거나 125ms 뒤처지면 알아챈다고 한다. 대상이 입 모양이라, 화면 강조가 말을 앞서는 이 데모의 범위와 바로 비교하지는 못한다. Wikipedia — Audio-to-video synchronization
  • 확인자막 파일 한 줄(큐)은 시작과 끝 시각을 가지며, 큐 본문 안에 시각 태그를 넣으면 단어별로 켜지는 노래방식 자막을 만들 수 있다고 적혀 있다. 줄 단위와 단어 단위가 같은 형식 안에 있는 셈이다. MDN — Web Video Text Tracks Format (WebVTT)
  • 확인결과 영상을 30fps 로 읽어 정한 영역의 프레임 변화가 앞 4프레임 중앙값의 4배를 처음 넘는 프레임을 화면 반응 시각으로 쟀다. 20초 영상 어절 7개에서 -0.13~-0.33초(6개 합격), 롱폼 한 편 9개 중 변화를 잡은 8개에서 -0.13~-0.23초. 말 시각은 음성 인식으로 얻어 귀로 검증하지 못했다.
  • 확인한 제작 저장소는 큰 글자가 말해지는 순간 켜지는 방식을 규칙으로 두었고, 다른 저장소는 2026-11-13 에 단어마다 밝아지는 자막과 내레이션 단어 맞춤을 폐기하고 줄 단위로 통째로 내라고 적었다. 폐기 이유는 기록에 없다.
  • 확인쇼츠 두 편의 계속 시청 비율이 싱크 편 36.3%, 스포트라이트 편 31.0%이지만 두 편은 줌과 말풍선, 스포트라이트처럼 효과 구성이 달라 싱크만의 효과를 분리하지 못했다. 표본은 각 1편.