용어 · 쇼츠 제작 포맷

성공작과 실패작 표본 짜기

Winner and Flop Sampling

잘 된 쇼츠와 안 된 쇼츠를 어떻게 모아 비교하느냐에 따라 같은 지표가 전혀 다른 답을 낸다. 같은 채널의 중앙값에 대 보고 성공 30편, 실패 12편을 고르는 방법과 AUC 를 읽는 법을 다룬다.

고급변화와 비교데이터 표현

01직접 돌려 보기

‘연출 전’은 대충 시켰을 때를 가정해 만든 화면이고 실제 AI 결과와 다를 수 있다.

연출 전흔한 첫 결과
연출 후완성본
0.00초 / 4.0초

02이름으로 시키는 지시문

대충 시킴터진 영상이랑 안 터진 영상을 비교해서 뭐가 다른지 알려줘→ 조회수가 높은 영상과 낮은 영상이 채널을 가리지 않고 섞여 오고, 큰 채널의 평소 습관이 '터진 이유'로 읽히는 분석이 나오곤 한다
이름으로 시킴가상 채널 26곳 x 50편에서 성공작은 조회 10만 이상이고 그 채널 중앙값의 3배 이상(채널당 2편까지), 실패작은 같은 채널 안에서 중앙값의 0.5배 이하로 뽑고 AUC 를 짝 비교로 직접 계산해 줘→ 채널을 가리지 않던 1단계의 AUC 1.00 이 같은 채널 기준으로 바꾸면 0.72, 채널당 2편으로 제한하면 0.78 로 내려오고, 다시 뽑은 폭까지 보이는 화면
Claude Code · Codex에 그대로 붙여 넣기

쇼츠 채널 26곳을 가상으로 만들고 채널마다 영상 50편의 조회수와 10초당 컷 값을 코드로 뽑아 둔다. 화면 왼쪽 큰 칸에는 채널을 중앙값 순으로 한 줄씩, 영상을 조회수 눈금(100, 1천, 1만, 10만, 100만) 위의 점으로 늘어놓고 10만 자리에 빨간 점선을 긋는다. 고른 성공작은 크고 빨간 점, 실패작은 크고 검은 점이다. 오른쪽 한 칸에는 위에서부터 그 단계의 규칙 세 줄, 고른 표본의 컷 값 분포(성공은 빨강, 실패는 검정, 각각 가운데 선), AUC 큰 숫자, 확인값 두 줄을 쌓는다. 왼쪽 위에는 큰 단계 번호와 이름('어느 채널이든 조회수로', '같은 채널 중앙값에 대고', '채널당 두 편까지만')을 둔다. 1단계는 채널을 가리지 않고 조회 10만 이상이면 성공작, 조회 1천 이하면 실패작으로 뽑는다(성공 30편, 실패 12편). 2단계는 성공작을 조회 10만 이상이면서 그 채널 중앙값의 3배 이상으로 바꾸고, 실패작은 성공작이 나온 채널 안에서 중앙값의 0.5배 이하로 뽑는다. 이 단계부터 채널 줄마다 성공 구간은 연한 빨강, 실패 구간은 회색으로 깐다. 3단계는 채널당 2편까지만 성공작으로 받는다.

단계마다 AUC 를 성공 하나와 실패 하나의 짝 비교로 직접 계산하고, 같은 채널 안에서 짝지어진 쌍만의 AUC 와 같은 규칙으로 표본을 200번 다시 뽑았을 때의 AUC 폭도 적는다('같은 채널 안 쌍만', '200번 다시 뽑으면' 두 줄). 연출 전에는 1단계 그대로 두고, 오른쪽 아래에 '가상 세계의 값이다'를 항상 붙인다.

금지: 숫자를 손으로 적는 것, 가상 데이터를 실제 쇼츠 값처럼 쓰는 것, AUC 가 높다고 영상이 좋다고 말하는 것.

구현에 쓰이는 기술: 채널마다 최근 50편 조회수의 중앙값을 구한다(크기순 가운데 값)성공작은 조회 10만 이상이면서 중앙값의 3배 이상, 채널당 2편까지. 실패작은 성공작이 나온 채널 안에서 중앙값의 0.5배 이하AUC 는 성공 하나와 실패 하나를 짝지어 지표가 더 좋은 쪽이 성공인 쌍의 비율을 센다(같으면 0.5쌍)같은 규칙으로 성공·실패를 복원추출해 200번 다시 뽑아 AUC 의 10번째와 90번째 백분위수를 적는다

03응용 팁

팁은 데모에서 값만 바꿔 같은 장면과 비교한 것이다. AI가 같은 결과를 내는지는 직접 해 봐야 안다.

1

성공 기준을 더 빡빡하게

터진 편만 골라 비교하고 싶을 때

지시문에서
그 채널 중앙값의 3배 이상
이렇게 바꾸세요
그 채널 중앙값의 6배 이상
그러면
성공작이 26편에서 24편으로 줄고 AUC 가 0.78 에서 0.85 로 오른다.
확인
2

실패작이 너무 많이 섞였나?

조금 못한 편까지 실패작에 들어와 있다고 느낄 때

지시문에서
중앙값의 0.5배 이하
이렇게 바꾸세요
중앙값의 0.1배 이하
그러면
실패작 후보가 209편에서 26편으로 줄지만 표본은 12편 그대로다. AUC 는 0.78 에서 0.84 로 오르고, 확실히 못한 편만 남길수록 가르는 힘이 커 보이는 쪽으로 기운다.
확인
3

채널당 한 편만

한 채널의 습관이 표본에 너무 크게 들어올까 걱정될 때

지시문에서
채널당 2편까지만
이렇게 바꾸세요
채널당 1편까지만
그러면
성공작이 26편에서 14편으로 거의 반이 된다. AUC 는 0.78 에서 0.74 로 조금 내려오고 같은 채널 안 쌍은 20쌍에서 12쌍으로 줄어, 표본이 적을수록 값 하나의 무게가 커진다.
확인

04만드는 순서

각 단계의 버튼을 누르면 위의 데모가 그 단계까지의 모습으로 바뀝니다.

  1. 어느 채널이든 조회수로

    채널을 가리지 않고 조회 10만 이상을 성공작, 1천 이하를 실패작으로 모아 30편과 12편을 뽑는다. 이 가상 세계에서는 AUC 가 1.00 이고, 같은 채널에서 나온 성공·실패 쌍은 하나도 없다. 큰 채널일수록 컷이 많게 코드에 일부러 넣어 두었다. 그래서 이 숫자는 영상이 아니라 채널의 평소 습관을 잰 값에 가깝다. 실제 쇼츠가 그런지는 화면이 말해 주지 않는다.

    const sp = all.filter((v) => v.views >= ABS_HI);   // 채널은 따지지 않는다
    const fp = all.filter((v) => v.views <= ABS_LO);
    const auc = pairs(S, F);   // 성공 하나, 실패 하나를 짝지어 비교
  2. 같은 채널 중앙값에 대고

    성공작은 10만 이상이면서 자기 채널 중앙값의 3배 이상, 실패작은 성공작이 나온 채널 안에서 중앙값의 0.5배 이하로 바꾼다. AUC 가 1.00 에서 0.72 로 내려오고, 같은 채널 안 쌍(28쌍)만 보면 0.64 다. 채널 이름값이 빠진 만큼 내려왔다고 읽는다. 제작 기록의 가전 쇼츠 표본(성공 30, 실패 12)이 이 방식이었고, 직접 재 보니 컷 AUC 는 0.71 이었다.

    const REL_HI = 3, REL_LO = 0.5;
    sp = all.filter((v) => v.views >= ABS_HI && v.views >= REL_HI * med[v.c]);
    fp = all.filter((v) => hasWinner[v.c] && v.views <= REL_LO * med[v.c]);
  3. 채널당 두 편까지만

    한 채널이 성공작을 독차지하지 못하게 채널당 2편까지만 받는다. 성공작이 26편으로 줄고 AUC 는 0.78, 같은 채널 안 쌍은 20쌍에 0.85 다. 같은 규칙으로 표본을 200번 다시 뽑으면 AUC 가 0.64 에서 0.86 사이를 오간다. 30편 대 12편 크기에서는 0.71 과 0.78 의 차이가 이 흔들림 안에 들어간다.

    const CAP = 2;
    const cnt = {};
    sp = sp.filter((v) => (cnt[v.c] = (cnt[v.c] || 0) + 1) <= CAP);
    const boot = Array.from({ length: 200 }, () => auc(resample(sp, 30), resample(fp, 12)));

05전문용어 풀이

표본 설계Sampling design

비교할 성공작과 실패작을 어떤 규칙으로 모을지 먼저 정하는 일이다. 규칙이 결과를 미리 기울일 수 있어서 분석 숫자보다 앞에 적어 둔다.

AI에게“성공작과 실패작을 고른 규칙을 분석 맨 앞에 적어 줘”
채널 이름값Channel effect

영상 한 편의 차이보다 채널의 평소 크기와 편집 습관이 먼저 숫자에 섞여 드는 것. 큰 채널과 작은 채널을 한 바구니에 담으면 생긴다.

AI에게채널 이름값을 빼고 비교
같은 채널 안 비교Within-channel comparison

성공작과 실패작을 같은 채널들 안에서 골라 채널 차이를 걷어 내는 방식이다. 이 표본의 성공 기준은 채널 중앙값의 몇 배인지로 정한다.

AI에게“중앙값의 3배 이상, 0.5배 이하를 같은 채널 안에서 나눠 줘”
채널 중앙값Channel median

그 채널 최근 50편의 조회수를 크기순으로 늘어놓았을 때 가운데 값. 한두 편이 터져도 크게 움직이지 않아 평소 크기의 자로 쓴다.

AI에게최근 50편 조회수 중앙값
AUCArea under the ROC curve

성공 하나와 실패 하나를 뽑았을 때 성공이 더 좋은 값을 가질 확률이다. 0.5 면 동전 던지기이고 1 에 가까울수록 잘 가른다.

AI에게“이 지표가 성공과 실패를 가르는지 AUC 로 알려줘”
선택 편향Selection bias

표본을 무작위가 아닌 방식으로 고르는 바람에 분석 결과가 한쪽으로 치우치는 것이다. 조회수라는 결과로 표본을 고르면 그 결과에 딸린 것이 함께 따라 들어온다.

AI에게결과로 표본을 골랐다는 한계를 적어 줘
바닥값Floor value

성공작 30편 어디에도 이 아래는 없다는 최솟값이다. 넘으면 터진다는 보증이 아니라 이 아래로 내려가면 성공작에서 보이지 않는다는 표시에 그친다.

AI에게성공작 30편의 최솟값을 바닥값으로 표기

06결과를 받으면 이것부터 확인

  • 1단계의 AUC 는 1.00 이고 같은 채널 안 쌍은 '쌍 없음'이다
  • 2단계에서 AUC 가 0.72 로 내려오고 같은 채널 안 쌍이 28쌍, 값은 0.64 인가?
  • 3단계 성공작은 26편이고 점 그림에서 한 줄에 빨간 점이 3개 이상인 채널이 없다
  • 3단계의 '200번 다시 뽑으면' 줄이 0.64 ~ 0.86 이다
  • 단계 1~3 모두 오른쪽 아래에 '가상 세계의 값이다' 표시가 있나?

07이럴 때 쓰세요

  • 잘 된 쇼츠의 편집 숫자를 바닥값으로 삼기 전에 표본이 어떻게 모였는지 따져 보는 일
  • 컷 수, 정지 비율 같은 지표가 성공과 실패를 가르는지 AUC 로 확인하기
  • '이 틀이 이긴다'는 말이 채널의 평소 크기를 섞은 비교는 아닌지 의심해 볼 때
  • 남의 채널 쇼츠를 모아 기준값을 세우는 분석 전반

08같이 쓰는 용어

09근거와 확인 범위

‘확인’은 출처 문서에서 사실로 확인한 내용, ‘추정’은 결과물을 보고 추론한 내용, ‘원본 없음’은 흔히 쓰이지만 대표 원본 사례를 확인하지 못해 성공 사례로 제시하지 않은 기법이다.

  • 확인AUC 는 무작위로 뽑은 양성 하나를 음성 하나보다 높게 매길 확률과 같다고 한다. 정보가 없는 분류기는 0.5 이고, 양성이 음성보다 높게 놓이는지 보는 Mann-Whitney U 와 가까운 관계라고 적혀 있다. Wikipedia — Receiver operating characteristic
  • 확인선택 편향은 분석 대상을 고르는 과정이 무작위가 아니어서 생기는 통계적 치우침이다. 표본에서 살아남은 것만 분석하는 탈락(생존자) 편향과 실패한 것만 보는 실패 편향이 함께 다뤄진다. 결과를 기준으로 고른 표본의 문제를 직접 다룬 항목은 없었다(이 페이지의 해석). Wikipedia — Selection bias
  • 확인[측정] 2026-10-19 한국 가전 쇼츠, 최근 12개월, 90초 이하. 성공 30편은 조회 10만 이상이고 같은 채널 최근 50편 중앙값의 3배 이상(26개 채널, 채널당 2편까지). 실패 12편은 그 성공 채널 안에서 조회가 채널 중앙값의 0.5배 이하. 컷 중앙값은 성공 11.45, 실패 8.10(10초당). 지표별 AUC 는 컷 0.71, 움직임 0.68, 정지 0.63, 무음 0.48이다. 같은 채널 안의 쌍만 따로 센 AUC 는 기록에 없다.
  • 확인[측정] 2026-10-11 진단. 개설 1년 이내 채널 304곳(약 3.2만 편)을 대조군으로 두었다. 같은 자로 잰 편집 숫자는 터진 편 40과 안 터진 편 40에서 거의 같았다(분당 컷 중앙값 43 대 48, 정지 0.5% 대 1.0%). 같은 채널, 같은 틀에서도 조회가 100배 갈리는 일이 흔해서 한 편 단위는 운의 폭이 크다고 적혀 있다. 자와 표본이 달라 위의 컷 AUC 와 값을 곧바로 비교할 수 없다.
  • 확인[기록] 한계. 실패 12편은 조회가 적은 편일 뿐 나쁜 편으로 확인된 것이 아니다. 외부 성공작은 거의 실제 촬영 영상이고 우리 편은 그래픽 설명형이라 같은 화면 문법끼리의 비교가 아니다. 성공작 바닥값은 이 아래로 내려가면 성공작 30편 어디에도 없다는 뜻이고, 이 바닥값이 조회를 올린다는 증거는 아직 없다.