대부분의 A/B 테스트가 실패하는 이유
썸네일 두 개를 만들어 번갈아 걸어보는 것만으로는 테스트가 되지 않는다. 노출 조건이 매번 다르기 때문이다. 어제 올린 영상과 오늘 올린 영상은 요일도, 경쟁 콘텐츠도, 알고리즘이 배분한 초기 노출량도 다르다.
그래서 "A가 B보다 클릭률이 높았다"는 관찰은 대개 썸네일의 차이가 아니라 노출 환경의 차이를 측정한 것이다.
한 번에 하나만 바꾼다
테스트의 기본은 변수 통제다. 썸네일에서 바꿀 수 있는 요소는 생각보다 많다.
- 인물의 표정과 크기
- 텍스트의 길이와 위치
- 배경의 복잡도
- 색 대비
두 썸네일이 이 중 세 가지가 동시에 다르다면, 어느 쪽이 이기든 무엇 때문에 이겼는지 알 수 없다. 다음 영상에 적용할 수 있는 지식이 남지 않는다는 뜻이다.
표본은 얼마나 쌓여야 하는가
클릭률 차이를 신뢰하려면 노출 수가 충분해야 한다. 노출 1,000회에서 나온 2%p 차이는 우연일 가능성이 높다.
실전 절차
결과를 자산으로 남기기
테스트 결과는 반드시 기록으로 남겨야 한다. 기록되지 않은 테스트는 같은 실험을 반복하게 만든다.
