성공 기준을 더 빡빡하게
터진 편만 골라 비교하고 싶을 때
- 지시문에서
- 그 채널 중앙값의 3배 이상
- 이렇게 바꾸세요
- 그 채널 중앙값의 6배 이상
- 그러면
- 성공작이 26편에서 24편으로 줄고 AUC 가 0.78 에서 0.85 로 오른다.
Winner and Flop Sampling
잘 된 쇼츠와 안 된 쇼츠를 어떻게 모아 비교하느냐에 따라 같은 지표가 전혀 다른 답을 낸다. 같은 채널의 중앙값에 대 보고 성공 30편, 실패 12편을 고르는 방법과 AUC 를 읽는 법을 다룬다.
‘연출 전’은 대충 시켰을 때를 가정해 만든 화면이고 실제 AI 결과와 다를 수 있다.
터진 영상이랑 안 터진 영상을 비교해서 뭐가 다른지 알려줘→ 조회수가 높은 영상과 낮은 영상이 채널을 가리지 않고 섞여 오고, 큰 채널의 평소 습관이 '터진 이유'로 읽히는 분석이 나오곤 한다
가상 채널 26곳 x 50편에서 성공작은 조회 10만 이상이고 그 채널 중앙값의 3배 이상(채널당 2편까지), 실패작은 같은 채널 안에서 중앙값의 0.5배 이하로 뽑고 AUC 를 짝 비교로 직접 계산해 줘→ 채널을 가리지 않던 1단계의 AUC 1.00 이 같은 채널 기준으로 바꾸면 0.72, 채널당 2편으로 제한하면 0.78 로 내려오고, 다시 뽑은 폭까지 보이는 화면
쇼츠 채널 26곳을 가상으로 만들고 채널마다 영상 50편의 조회수와 10초당 컷 값을 코드로 뽑아 둔다. 화면 왼쪽 큰 칸에는 채널을 중앙값 순으로 한 줄씩, 영상을 조회수 눈금(100, 1천, 1만, 10만, 100만) 위의 점으로 늘어놓고 10만 자리에 빨간 점선을 긋는다. 고른 성공작은 크고 빨간 점, 실패작은 크고 검은 점이다. 오른쪽 한 칸에는 위에서부터 그 단계의 규칙 세 줄, 고른 표본의 컷 값 분포(성공은 빨강, 실패는 검정, 각각 가운데 선), AUC 큰 숫자, 확인값 두 줄을 쌓는다. 왼쪽 위에는 큰 단계 번호와 이름('어느 채널이든 조회수로', '같은 채널 중앙값에 대고', '채널당 두 편까지만')을 둔다. 1단계는 채널을 가리지 않고 조회 10만 이상이면 성공작, 조회 1천 이하면 실패작으로 뽑는다(성공 30편, 실패 12편). 2단계는 성공작을 조회 10만 이상이면서 그 채널 중앙값의 3배 이상으로 바꾸고, 실패작은 성공작이 나온 채널 안에서 중앙값의 0.5배 이하로 뽑는다. 이 단계부터 채널 줄마다 성공 구간은 연한 빨강, 실패 구간은 회색으로 깐다. 3단계는 채널당 2편까지만 성공작으로 받는다.
단계마다 AUC 를 성공 하나와 실패 하나의 짝 비교로 직접 계산하고, 같은 채널 안에서 짝지어진 쌍만의 AUC 와 같은 규칙으로 표본을 200번 다시 뽑았을 때의 AUC 폭도 적는다('같은 채널 안 쌍만', '200번 다시 뽑으면' 두 줄). 연출 전에는 1단계 그대로 두고, 오른쪽 아래에 '가상 세계의 값이다'를 항상 붙인다.
금지: 숫자를 손으로 적는 것, 가상 데이터를 실제 쇼츠 값처럼 쓰는 것, AUC 가 높다고 영상이 좋다고 말하는 것.
구현에 쓰이는 기술: 채널마다 최근 50편 조회수의 중앙값을 구한다(크기순 가운데 값)성공작은 조회 10만 이상이면서 중앙값의 3배 이상, 채널당 2편까지. 실패작은 성공작이 나온 채널 안에서 중앙값의 0.5배 이하AUC 는 성공 하나와 실패 하나를 짝지어 지표가 더 좋은 쪽이 성공인 쌍의 비율을 센다(같으면 0.5쌍)같은 규칙으로 성공·실패를 복원추출해 200번 다시 뽑아 AUC 의 10번째와 90번째 백분위수를 적는다
팁은 데모에서 값만 바꿔 같은 장면과 비교한 것이다. AI가 같은 결과를 내는지는 직접 해 봐야 안다.
터진 편만 골라 비교하고 싶을 때
조금 못한 편까지 실패작에 들어와 있다고 느낄 때
한 채널의 습관이 표본에 너무 크게 들어올까 걱정될 때
각 단계의 버튼을 누르면 위의 데모가 그 단계까지의 모습으로 바뀝니다.
채널을 가리지 않고 조회 10만 이상을 성공작, 1천 이하를 실패작으로 모아 30편과 12편을 뽑는다. 이 가상 세계에서는 AUC 가 1.00 이고, 같은 채널에서 나온 성공·실패 쌍은 하나도 없다. 큰 채널일수록 컷이 많게 코드에 일부러 넣어 두었다. 그래서 이 숫자는 영상이 아니라 채널의 평소 습관을 잰 값에 가깝다. 실제 쇼츠가 그런지는 화면이 말해 주지 않는다.
const sp = all.filter((v) => v.views >= ABS_HI); // 채널은 따지지 않는다 const fp = all.filter((v) => v.views <= ABS_LO); const auc = pairs(S, F); // 성공 하나, 실패 하나를 짝지어 비교
성공작은 10만 이상이면서 자기 채널 중앙값의 3배 이상, 실패작은 성공작이 나온 채널 안에서 중앙값의 0.5배 이하로 바꾼다. AUC 가 1.00 에서 0.72 로 내려오고, 같은 채널 안 쌍(28쌍)만 보면 0.64 다. 채널 이름값이 빠진 만큼 내려왔다고 읽는다. 제작 기록의 가전 쇼츠 표본(성공 30, 실패 12)이 이 방식이었고, 직접 재 보니 컷 AUC 는 0.71 이었다.
const REL_HI = 3, REL_LO = 0.5; sp = all.filter((v) => v.views >= ABS_HI && v.views >= REL_HI * med[v.c]); fp = all.filter((v) => hasWinner[v.c] && v.views <= REL_LO * med[v.c]);
한 채널이 성공작을 독차지하지 못하게 채널당 2편까지만 받는다. 성공작이 26편으로 줄고 AUC 는 0.78, 같은 채널 안 쌍은 20쌍에 0.85 다. 같은 규칙으로 표본을 200번 다시 뽑으면 AUC 가 0.64 에서 0.86 사이를 오간다. 30편 대 12편 크기에서는 0.71 과 0.78 의 차이가 이 흔들림 안에 들어간다.
const CAP = 2;
const cnt = {};
sp = sp.filter((v) => (cnt[v.c] = (cnt[v.c] || 0) + 1) <= CAP);
const boot = Array.from({ length: 200 }, () => auc(resample(sp, 30), resample(fp, 12)));비교할 성공작과 실패작을 어떤 규칙으로 모을지 먼저 정하는 일이다. 규칙이 결과를 미리 기울일 수 있어서 분석 숫자보다 앞에 적어 둔다.
영상 한 편의 차이보다 채널의 평소 크기와 편집 습관이 먼저 숫자에 섞여 드는 것. 큰 채널과 작은 채널을 한 바구니에 담으면 생긴다.
성공작과 실패작을 같은 채널들 안에서 골라 채널 차이를 걷어 내는 방식이다. 이 표본의 성공 기준은 채널 중앙값의 몇 배인지로 정한다.
그 채널 최근 50편의 조회수를 크기순으로 늘어놓았을 때 가운데 값. 한두 편이 터져도 크게 움직이지 않아 평소 크기의 자로 쓴다.
성공 하나와 실패 하나를 뽑았을 때 성공이 더 좋은 값을 가질 확률이다. 0.5 면 동전 던지기이고 1 에 가까울수록 잘 가른다.
표본을 무작위가 아닌 방식으로 고르는 바람에 분석 결과가 한쪽으로 치우치는 것이다. 조회수라는 결과로 표본을 고르면 그 결과에 딸린 것이 함께 따라 들어온다.
성공작 30편 어디에도 이 아래는 없다는 최솟값이다. 넘으면 터진다는 보증이 아니라 이 아래로 내려가면 성공작에서 보이지 않는다는 표시에 그친다.
‘확인’은 출처 문서에서 사실로 확인한 내용, ‘추정’은 결과물을 보고 추론한 내용, ‘원본 없음’은 흔히 쓰이지만 대표 원본 사례를 확인하지 못해 성공 사례로 제시하지 않은 기법이다.