마케팅 실험을 위한 A/B 테스트 설계 (1)

 

내가 처음 광고대행사에서 일을 할 때, 거의 모든 마케팅의 방법론이 A/B 테스트가 될 만큼 수 없이 많은 A/B 테스트를 진행했었다. 아마 지금도 많은 대행사들이 최적화 과정에서 마케팅 효율을 고도화 시키고자 A/B 테스트를 다방면에서 활용하고 있을 것이다.

 

내가 대행사 일하며 진행했던 대부분의 A/B 테스트 진행 방식은 주로 다음과 같았다.

• 서로 다른 유형의 소재(브랜딩 목적의 소재 / 가격할인, 이벤트 등의 후킹성 소재)로 소재간 효율 차이를 분석
• 서로 다른 랜딩페이지로 두 가지 광고를 세팅하여 랜딩 간의 사용자 행동 차이를 분석
• 동일한 소재를 서로 다른 광고 매체에 노출시켜 각 매체간 성과 차이를 분석
• 동일한 소재를 서로 다른 타켓에 노출시켜 각 타겟군별 성과 차이를 분석

이렇게 A/B 테스트를 한 뒤 광고 채널에서 제공하는 다양한 리포트와 GA 등을 활용하여 테스트 결과를 분석하고 광고주에게 전달했다. 하지만 대부분의 실험에서 A와 B의 이렇다 할 차이를 찾아내기란 늘 어려움이 있었다. 그럼에도 광고주에게 실험 결과 보고서를 전달하기 위해 조금의 클릭율 차이, 전환율, 참여율 등의 근소한 차이로 유의한 결과를 발견한 것처럼 보고서를 작성하곤 했지만, 항상 속으로는 이게 과연 정말 유의성을 띄는 실험 결과가 맞는지에 대한 의문이 남았다. 

 

결론적으로 이러한 방법은 정확한 A/B 테스트가 아니다. 그냥 단순한 마케팅 테스트에 불과하다. 명확한 실험설계가 이루어지지 않았으니 당연히 의미 있는 결과 해석이 불가능한 실험 방법이다.

 

물론 대행사에서 담당하는 업무 풀이 오직 마케팅 채널 운영 까지라면 대행사에서 완벽한 A/B 테스트를 설계 하기에는 큰 어려움이 따른다. 또한 온라인 마케팅 특성상 100% 명확한 실험 대상자 선정과 결과 측정이 불가능한 점도 큰 제약이라고 할 수 있을 것이다.

 

최근에 GTM과 GA를 통해서 보다 유의성을 높인 A/B 테스트를 진행할 수 있는 실험을 설계했는데 위와 같은 제약이 따르는 상황에서도 쉽고 간단하게 도입하기 좋은 방법인 것 같아 블로그에 올려본다.

 

일단 진행 방법 소개에 앞서 명확한 A/B 테스트를 진행하기 위해서는 반드시 필요한 조건이 있다. 바로 실험군과 대조군이 있어야 한다는 것인데 예를 들어 A 집단과 B 집단의 100m 달리기 속도의 차이를 비교하는데 A 집단의 사람들에게 새로 개발한 영양제를 먹게 하여 영양제를 먹지 않고 달리는 B 집단의 100m 달리기 속도와의 차이를 분석하는 것이 바로 A/B 테스트이다. 

 

이때 A/B 테스트 실험 결과의 유의성을 높이기 위해서는 한 가지 필요한 부분이 있다. 바로 A 집단과 B 집단에 속한 사람들에게 영양제 섭취 유무를 제외한 서로 다른 집단 간의 특성이 존재하면 안된다는 점이다. 만약 영양제 섭취군인 A 집단에 속한 사람들의 평균 연령이 60대 이상이라면 당연히 영양제 섭취 유무와 무관하게 B 집단보다 달리기 속도가 느릴 것이다.

 

서로 다른 집단 간의 차이를 분석하기 위해 의도하여 타겟군을 다르게 설정하는 것이 아니라면 A/B 테스트는 무작위 통제 실험(Randomized Controlled Trial)으로 진행될 때 실험 결과의 유의성이 높아진다. 즉, A 와 B 집단을 설정할 때 기준 없이 무작위로 그룹을 구분지어야 한다는 것이다.

 

그리고 A/B 테스트 진행 시 A 와 B 그룹 모두에 해당하는 중복된 실험 참가자가 늘어날 수록 실험의 유의성이 낮아진다. 하지만 온라인 마케팅 진행 시 사용자를 정확하게 한 그룹에만 속할 수 있도록 유도하는 것은 불가능하기 때문에, 실험의 기간이 너무 길지 않도록 하고, 도달 당 클릭, 노출빈도 등의 지표 등을 지속적으로 체크하여 실험의 유의성을 높여야 한다.

 

A/B Test

서로 다른 디자인의 웹 페이지로 A/B 테스트를 진행할 때 사용자를 무작위로 분리하기 위해 내가 사용한 방법은 리디렉션이다. 대부분은 랜딩 A/B 테스트를 진행할 때 캠페인이나 광고 그룹 혹은 소재에 서로 다른 랜딩 페이지를 세팅한 뒤 두 랜딩간의 반응율 차이를 확인하려고 할 것이다.

 

 

하지만 동일한 타겟으로 설정한 광고 그룹에 같은 디자인의 소재를 랜딩url만 다르게 세팅했다 할지라도 최적화 과정의 모든 변수를 두 소재가 동일하게 적용받을 수는 없다. 심지어 머신러닝은 클릭율이 좋거나 전환이 많이 발생되는 소재가 더 많이 노출되고 소진될 수 있도록 푸시하기 때문에 두 랜딩페이지의 사용자 유입량도 서로 달라질 수 있다.

 

 

그래서 고안한 방법이 바로 리디렉션이다. 하나의 소재에서 사용자의 클릭 시점에 랜덤으로 두 가지 랜딩 중 하나로 유입될 수 있도록 리디렉션 시키는 것이다. 사용자가 소재를 클릭하면 (알파벳 한자리) +  (0~9 숫자 10자리)가 임의의 배열로 조합된 총 11자리의 난수를 부여받게 된다.

 

난수의 마지막 숫자가 홀수면 A 그룹에 속하여 A 랜딩 페이지로 리디렉션 되고, 난수 마지막 숫자가 짝수 혹은 0 이면 B 그룹으로 분리되어 B 랜딩이 보여지게 된다. 그리고 이 확율은 50%로 세팅된다.