용어 · 이미지→영상 연출

코드로 움직일 것과 AI에 맡길 것

Code Motion or AI Video

정지 사진을 영상으로 만들 때 움직임을 둘로 가르는 기준이다. 사진에 이미 있는 것을 옮기고 키우면 되는 움직임은 코드가 맡고, 사진에 없는 모양을 새로 그려야 하는 움직임은 AI 영상 생성이 맡는다.

중급변화와 비교설명

01직접 돌려 보기

‘연출 전’은 대충 시켰을 때를 가정해 만든 화면이고 실제 AI 결과와 다를 수 있다.

연출 전흔한 첫 결과
연출 후완성본
0.00초 / 4.0초

02이름으로 시키는 지시문

대충 시킴사진을 영상으로 만들어 줘, 움직이게 해 줘→ 줌만 건 정지 영상이 나오거나, 줌으로 충분한 컷에도 영상 생성이 걸릴 수 있다. 어느 쪽이 맞는지 판단 기준이 남지 않는다
이름으로 시킴컷마다 사진에 이미 있으면 코드(확대 배율 1.28, 시차 세기 1배, 구름 70 단위), 없는 모양이 필요하면 영상 생성으로 나누고 8초 1개 크레딧을 적어 줘→ 컷마다 코드 처리인지 영상 생성 대상인지와 예상 크레딧이 한 줄씩 적힌 분류표
Claude Code · Codex에 그대로 붙여 넣기

장면: 해 질 녘 호수 사진 한 장(하늘, 먼 능선, 가까운 능선, 호수, 앞쪽 소나무와 바위의 5개 층)을 6초 영상으로 만든다.

카메라: 0초부터 4.0초 동안 확대 배율 1.28까지 올리고(outCubic), 같은 시간에 옆으로 폭의 5%(48 단위)를 훑는다. 한 겹으로만 움직이면 평평하게 보인다.

층 나누기: 시차 세기 1배로 가까운 층일수록 더 옮긴다. 앞 층이 비켜난 자리에 생기는 빈 틈은 화면에 비율(%)로 표시한다.

요소: 구름 이동 70 단위를 6초에 걸쳐 밀고, 배는 0.6초에 출발해 230 단위를 나아가며, 표시 핀은 1.6초에 0.4초 동안 outBack 으로 뜬다.

판정: 코드로 되는 것은 위 네 가지뿐이다. 빈 틈은 빗금으로 칠하고 처음에는 회색이다가 마지막 단계에서 붉게 바뀐다. 구름 모양이 바뀌는 것, 노를 젓는 것, 사람이 돌아서는 것은 사진에 없는 그림이 필요하므로 영상 생성 쪽 일로 적어 둔다.

표시: 사진이 화면 전체를 채우고 왼쪽 위에 작은 흰 상자 하나를 둔다. 상자에는 줌 속도(%/초), 프레임 차와 ‘정지’나 ‘움직임’, 빈 틈(%)을 세 줄로 적는다. 마지막 단계에서는 빈 틈 줄 끝에 ‘사진에 없는 부분’을 붙인다. 화면 아래에는 지금 단계 이름을 한 줄로 적는다.

금지: 연출 전에는 모든 층이 멈추고 프레임 차가 0.00이어야 한다. 등속 이동은 쓰지 않고, 확대 배율은 1.3을 넘기지 않는다.

구현에 쓰이는 기술: 코드로 되는 것 (줌, 팬, 시차, 전환, 요소 모션): FFmpeg zoompan 필터, Remotion, GSAP, CSS transform안 되는 것 (새 움직임, 인물 연기, 가려졌던 뒷면): 이미지 투 비디오 모델이 새로 그려 넣는 몫판정 질문: 필요한 픽셀이 사진에 이미 있는가, 없는가측정: 10fps, 64px 프레임 차(정지는 0.5 미만)와 빈 틈 비율을 코드가 직접 계산

03응용 팁

팁은 데모에서 값만 바꿔 같은 장면과 비교한 것이다. AI가 같은 결과를 내는지는 직접 해 봐야 안다.

1

더 가까이 당기고 싶다

끝 장면에서 피사체를 더 크게 보여 주고 싶을 때

지시문에서
확대 배율 1.28
이렇게 바꾸세요
확대 배율 1.6
그러면
끝 장면의 배와 표시 핀이 눈에 띄게 커지고, 능선과 해 가장자리가 부드럽게 번진다. 사진 해상도보다 더 키운 값이라 흐려짐이 그대로 드러나고, 1.3 상한도 넘긴 설정이다. 0.5초 시점의 줌 속도는 화면 숫자로 +15.4에서 +30.5 %/초가 되어 두 배가 된다.
확인
2

층 사이를 더 벌려 보면?

깊이감을 더 세게 주고 싶을 때

지시문에서
시차 세기 1배
이렇게 바꾸세요
시차 세기 3배
그러면
2.0초 시점에 앞 소나무가 훨씬 많이 밀려난다. 프레임 차는 3.94에서 5.61로, 빈 틈은 4.1%에서 6.3%로 커진다. 앞 층을 많이 움직일수록 사진에 없는 부분이 더 드러난다.
확인
3

구름을 더 멀리 흘려보내면?

하늘이 너무 정적이라 구름을 더 흘려보내고 싶을 때

지시문에서
구름 이동 70 단위
이렇게 바꾸세요
구름 이동 200 단위
그러면
구름 띠가 70 단위가 아니라 200 단위 밀려 하늘의 구름 위치가 크게 바뀐다. 구름 모양은 하나도 변하지 않는다.
확인

04만드는 순서

각 단계의 버튼을 누르면 위의 데모가 그 단계까지의 모습으로 바뀝니다.

  1. 정지 사진 한 장

    프레임 차는 0.00이고 판정은 정지다. 코드 모션이든 AI 영상 생성이든 여기서 출발한다. 아직 어느 쪽도 고르지 않은 상태다.

    const c = { z: 1, pan: 0 };   // 아무것도 안 움직인다
  2. 카메라만 옮기는 줌과 팬

    확대 배율을 1.00에서 1.28로 4.0초 동안 올리고, 옆으로 48 단위 훑는다. 사진에 이미 있는 픽셀을 키우고 옮길 뿐이라 새 그림이 필요 없다. 움직이는 동안 프레임 차는 0.5를 훌쩍 넘는다(2.0초 시점에 2.41). 4.0초에 멈추면 0.02로 돌아가 다시 정지로 읽힌다. FFmpeg 에서는 zoompan 필터가 같은 일을 한다. 확대 상한은 원본 해상도에 따라 달라지므로 고정값을 두지 않는다. 원본이 출력보다 충분히 크면 더 키워도 되고, 아니면 1.3까지로 본다.

    z = lerp(1, ZOOM_END, E.outC(seg(t, 0, 4.0)));
    pan = PAN_END * E.inOutC(seg(t, 0, 4.0));
  3. 층을 나눠 시차를 건다

    하늘, 능선, 호수, 앞 소나무를 따로 잘라 가까운 층일수록 더 옮긴다(시차 세기 1배). 깊이가 생기는 대신, 앞 층이 비켜난 자리에는 원래 사진에 없던 부분이 드러나 빗금 틈이 생긴다. 코드로는 이 틈을 메울 그림이 없다. 화면의 ‘빈 틈’ 숫자가 그 비율이다.

    ox = pan * layer.depth * PAR;   // 가까울수록 크게
  4. 구름, 배, 표시 핀 따로 움직이기

    이미 그려진 요소를 통째로 미는 일은 코드로 된다. 구름 띠를 70 단위 밀고, 배를 230 단위 나아가게 하고, 표시 핀을 1.6초에 outBack 으로 띄운다. 구름 모양이 변하거나 노가 물을 가르는 움직임은 없다. 모양을 바꾸려면 새 그림이 필요하다.

    bx = 420 + BOAT_DX * E.inOutC(seg(t, .6, 5.4));
    cloud = CLOUD_PX * E.inOutC(seg(t, 0, 6));
  5. 코드의 경계와 영상 생성 비용

    빈 틈 빗금이 붉게 바뀌어 코드로 메울 수 없는 자리를 가리킨다. 이 장면에서는 끝 무렵 약 6%다. 인물이 돌아서거나 구름이 흩어지는 것처럼 사진에 없는 모양이 필요한 컷은 AI 영상 생성이 새로 그려 넣는 몫이다. 영상 생성 한 번(8초짜리 1개)에 드는 크레딧은 모델마다 다르다. Lite 는 5, Fast 는 10이다. Omni 1.1 Flash 는 12이고 Veo 3.1 Quality 는 100이다. 6컷으로 한 편을 만들면 Omni 1.1 Flash 는 72, Quality 는 600이 든다. 크레딧은 제작자가 직접 잰 값이라 요금이 바뀌면 달라진다.

    if (필요한 픽셀이 사진에 없다) 영상 생성;
    else 코드 모션;

05전문용어 풀이

코드 모션Code-driven motion

정지 이미지를 프로그램 식으로 옮기고 키우고 겹쳐 움직임을 만드는 방식이다. 새 그림은 만들지 못한다. 같은 입력이면 매번 같은 결과가 나온다.

AI에게“이 컷은 영상 생성 말고 코드 모션으로, 확대 배율 1.28”
이미지 투 비디오Image-to-video

사진을 입력으로 주면 모델이 시간 축의 새 프레임을 그려 영상으로 돌려주는 방식이다. 사진에 없는 모양도 만들 수 있다. 대신 결과를 매번 눈으로 확인해야 한다.

AI에게이미지 투 비디오, 8초, 인물 동작만
켄번스 효과Ken Burns effect

정지 사진 위를 팬하고 줌하는 가장 단순한 카메라 연출. FFmpeg 의 zoompan 이 같은 일을 한다.

AI에게“켄번스 줌, 중심 고정, 끝에서 감속”
빈 틈Disocclusion

층을 나눠 시차를 걸 때 앞 층이 비켜나며 드러나는, 사진에 원래 없던 부분이다. 코드는 여기를 채울 그림이 없다.

AI에게시차 세기 1배, 빈 틈 비율 표시
영상 생성 크레딧Generation credits

영상 생성 한 번에 차감되는 사용량 단위다. 모델마다 다르고 요금이 바뀌므로 날짜와 함께 적는다.

AI에게“8초 1개당 크레딧을 모델별로 같이 적어 줘”
프레임 차Frame difference

10fps, 64px로 줄인 앞뒤 프레임의 밝기 차를 평균한 값이다. 0.5 미만이면 정지로 읽는다. 정지를 얼마나 봐줄지는 기록마다 달랐다. 여기서는 정지 비율 20% 이하만 기준으로 삼는다. 정지 비율 자 페이지에서 이어진다.

AI에게10fps, 64px, 프레임 차 0.5 미만이면 정지

06결과를 받으면 이것부터 확인

  • 1단계 화면에서 프레임 차가 0.00으로 찍히고 판정이 '정지'다
  • 3단계에서 앞쪽 소나무와 먼 능선이 서로 다른 거리만큼 움직이는가?
  • 4단계에서 구름 띠는 모양이 그대로 옆으로만 밀리고, 배는 같은 윤곽으로 미끄러진다
  • 5단계에서 빈 틈 빗금이 붉은색으로 바뀌고, 화면 글자에 '사진에 없는 부분'이 붙는다

07이럴 때 쓰세요

  • 풍경이나 제품 사진 한 장으로 쇼츠를 만들기 전, 코드로 충분한 컷과 영상 생성이 필요한 컷을 나눌 때
  • 영상 생성 크레딧을 쓰기 전에 컷마다 ‘사진에 이미 있는가’를 한 줄로 적어 두는 제작 장부
  • AI 영상 생성 클립에서 손동작이나 얼굴이 어색해, 코드 이동으로 되돌릴지 고민되는 순간
  • 눈으로 보고 이거다 싶은 연출을 어느 쪽 방식으로 시킬지 정하는 첫 질문

08같이 쓰는 용어

09근거와 확인 범위

‘확인’은 출처 문서에서 사실로 확인한 내용, ‘추정’은 결과물을 보고 추론한 내용, ‘원본 없음’은 흔히 쓰이지만 대표 원본 사례를 확인하지 못해 성공 사례로 제시하지 않은 기법이다.

  • 확인zoompan 필터는 입력 이미지 한 장에 줌과 팬을 건다. 확대(범위 1~10)와 x, y 위치를 프레임마다 식으로 정하고, 출력 크기와 프레임 수를 고른다는 설명. FFmpeg Filters Documentation — zoompan
  • 확인영상을 코드로 만드는 도구라고 소개한다. React 로 장면, 애니메이션, 타이밍을 소스 파일에 두고 데이터만 바꿔 여러 변형을 뽑을 수 있다고 한다. Remotion
  • 확인CSS 속성과 HTML 속성, 배열 값 등을 움직이는 자바스크립트 라이브러리. 핵심 기능으로 타임라인이 나열된다. GSAP Docs
  • 확인켄번스 효과는 정지 사진 위를 팬하고 줌해 움직임을 주는 기법이라고 한다. 영상 자료가 없을 때 주로 쓰는 단순화된 효과로 서술되고, 시차를 흉내 내면 평평한 그림이 입체로 보일 수 있다는 언급도 있다. Wikipedia — Ken Burns effect
  • 확인2026-11-13에 열어 보니 Gemini API 의 Veo 3.1 Preview 는 2026-10-22에 종료됐다고 안내하고, 후속으로 Omni Flash(3~15초, 텍스트와 이미지와 영상 입력)를 가리킨다. 모델 이름과 제공 범위가 몇 달 사이 바뀐다는 근거이고, 가격표는 이 문서에서 확인하지 못했다. Google AI Studio — 영상 생성 문서
  • 확인2026-09-01에 제작자가 구글 영상 도구(Flow)에서 8초 영상 1개를 만들 때 든 크레딧을 잰 값. Lite 5, Fast 10, Omni 1.1 Flash 12, Veo 3.1 Quality 100. 1회 측정이고 요금은 변하므로 이후 달라졌을 수 있다.
  • 확인2026-11-05, 여행 채널에서 풍경 이미지만 영상으로 만든 ‘AI 생성’ 쇼츠 6편은 시청자가 거의 없었다. 표본이 작아 단정하지 않으며, 연출을 넣으면 달라지는지는 아직 확인되지 않았다.
  • 확인[측정] 이 데모가 직접 계산한 값이다. 움직이는 동안 프레임 차는 2.0초 시점에 2.41, 4.0초에 멈춘 뒤 0.02다. 빈 틈은 이 장면에서 끝 무렵 약 6%다. 프레임 차는 10fps, 64px 회색으로 줄인 앞뒤 프레임으로 잰다. 다른 사진에서는 값이 달라진다.
  • 확인[지시, 2026-11-13] 기록마다 값이 달랐던 것의 정리. 확대 상한은 1.3 대 원본이 충분히 크면 허용이라는 두 값이 있었고, 원본 해상도에 따라 달라지므로 고정값을 두지 않기로 했다. 정지 허용값은 비율 20% 이하, 연속 1.3~5초 등이 있었으나 비율 20% 이하만 쓰기로 정했다.