먼저 반응하는 게 거의 안 느껴져
화면이 말을 앞선다는 느낌이 약할 때
- 지시문에서
- 각 어절이 시작되기 0.15초 전에
- 이렇게 바꾸세요
- 각 어절이 시작되기 0.30초 전에
- 그러면
- 0.98초 시점에 이미 깊이가 켜져 화면 가운데에 큰 글자로 떠 있고, 눈금의 차 값은 -0.12~-0.13초에서 -0.27~-0.30초로 합격 범위 끝에 붙는다.
Speech Lead Sync
내레이션의 낱말이 말해지기 0.05~0.30초 전에 화면이 먼저 반응하게 시각을 앞당기는 맞춤법이다. 단어 단위와 줄 단위 두 방식을 나란히 놓고 본다.
‘연출 전’은 대충 시켰을 때를 가정해 만든 화면이고 실제 AI 결과와 다를 수 있다.
말에 맞춰서 자막이랑 강조가 나오게 싱크 맞춰줘→ ‘맞춰’가 어절 단위인지 줄 단위인지, 동시인지 먼저인지 정해지지 않아 요청마다 방식이 달라진다
A 방식으로 각 어절이 시작되기 0.15초 전에 켜고, 어절마다 화면 반응에서 말 시작을 뺀 차이를 적고, 합격 범위는 -0.05에서 -0.30초→ 여섯 어절이 말보다 약 0.12초에서 0.13초 먼저 켜지고 어절마다 차이 값과 합격 표시가 붙은 눈금
내레이션 한 줄 '사진에 깊이를 주고 천천히 밀어 넣습니다'에 화면 반응을 두 방식으로 나란히 달아 줘. 어절이 말해지기 시작하는 시각은 사진에 0.60, 깊이를 1.20, 주고 1.80, 천천히 2.30, 밀어 3.00, 넣습니다 3.45초이고, 줄은 0.60초에 시작해 4.20초에 끝나. 연출 전 상태는 자막 줄이 처음부터 떠 있고 말과 상관없이 가만히 있는 모습이야.
구현에 쓰이는 기술: 어절 시작 시각표(음성 인식으로 얻은 값을 시각표로 저장)WebVTT 큐와 큐 안 시각 태그(<00:01.200>)로 줄 단위와 단어 단위를 모두 표현결과 영상을 30fps 로 읽어 영역별 프레임 변화로 화면 반응 시각을 재는 도구
팁은 데모에서 값만 바꿔 같은 장면과 비교한 것이다. AI가 같은 결과를 내는지는 직접 해 봐야 안다.
화면이 말을 앞선다는 느낌이 약할 때
핵심어가 튀어 오르긴 하는데 존재감이 약할 때
줄 단위 자막이 첫 어절보다 늦게 뜨는 것처럼 보일 때
각 단계의 버튼을 누르면 위의 데모가 그 단계까지의 모습으로 바뀝니다.
어절 시작 시각표를 받아 그 시각에 어절을 켜면 눈금의 차가 0.00초로 읽힌다. 합격 범위(-0.05~-0.30초) 밖이다. 제작자의 첫 실측에서도 한 키가 0.0초(범위 밖)로 나와 앞당겼다. 사람이 보기에 늦게 느껴지는지는 이 도구로 판정하지 못했다.
const rt = WT[i]; // 화면 반응 시각 = 말 시작 시각 opacity = lerp(UNLIT, 1, outC(seg(t, rt, rt + 0.18)));
반응 시각에서 LEAD(0.15초)를 뺀다. 30fps로 읽어 보면 차는 -0.12~-0.13초로 나온다. 프레임 눈금이 0.033초라 계획한 -0.15와 조금 다르다. 합격 범위 -0.05~-0.30초는 기준 문서의 판정선이고, ITU 입모양 기준(소리가 125ms 뒤처지면 인지)보다 넓다. 0.15초가 가장 좋다는 근거는 없고, 근거 없이 정한 값이다.
const LEAD = 0.15; const rt = WT[i] - LEAD; // 말보다 0.15초 먼저
B는 줄이 시작되는 0.60초에 자막 줄 전체가 한 번에 나타나고 어절별 켜짐이 없다. 한 저장소는 A를 규칙으로, 다른 저장소는 2026-11-13에 A를 폐기하고 B를 규칙으로 적어 서로 반대였다. 어느 쪽이 시청에 낫다는 증거는 없다. 2026-11-13에 제작자가 줄 단위(B)로 정했다. 화면에는 A도 비교용으로 보여 주고, B에는 '줄 단위로 정함'을 표시한다.
const lineOp = E.outC(seg(t, LINE0 - LINE_LEAD, LINE0 - LINE_LEAD + 0.15))
* (1 - seg(t, LINE1, LINE1 + 0.3));말 막대 앞쪽 0.30~0.05초 구간을 옅은 파란 띠로 깔면 화면 표시가 띠 안에 있는지가 눈으로 보인다. 읽는 값의 차는 화면을 코드가 같은 방식으로 훑어 얻은 값이다. 제작자의 영상 실측값과는 다르다.
band.left = tx(WT[i] + PASS_LO); band.width = tx(WT[i] + PASS_HI) - tx(WT[i] + PASS_LO); pass = diff >= PASS_LO && diff <= PASS_HI;
말과 화면 반응의 시각을 맞추는 일이다. 이 분야에서는 화면이 말보다 조금 먼저 오게 맞추는 것을 뜻한다.
화면이 말보다 앞서는 시간이다. 화면 시각에서 말 시각을 뺀 값이 음수면 먼저다.
내레이션에서 어절마다 말이 시작되는 시각을 적은 표다. 음성 인식으로 얻으며 오차가 있다.
어절이 말해지는 순간마다 그 어절이 켜지는 방식이다. 노래방 자막이 이 모양이다. 아직 안 말한 어절을 어둡게 두는 탓에 읽기 어렵다는 걱정이 기록에 있으나 확인된 적은 없다.
한 줄이 시작될 때 줄 전체가 한 번에 나타나고, 끝나면 사라지는 방식이다. 어절별 맞춤이 없다.
화면이 실제로 바뀌기 시작한 첫 프레임의 시각이다. 계획한 시각이 아니라 결과 영상에서 읽은 값이라 프레임 눈금만큼 어긋난다.
자막 파일에서 시작과 끝 시각을 가진 한 덩어리다. 그 안에 시각 태그를 넣으면 단어 단위로 켤 수 있다.
‘확인’은 출처 문서에서 사실로 확인한 내용, ‘추정’은 결과물을 보고 추론한 내용, ‘원본 없음’은 흔히 쓰이지만 대표 원본 사례를 확인하지 못해 성공 사례로 제시하지 않은 기법이다.