마케팅 실험을 위한 A/B 테스트 설계 (2)

https://adbutler.tistory.com/14

마케팅 실험을 위한 A/B 테스트 설계 (1)

 

 

지난번 리디렉션을 활용한 A/B 테스트 실험 설계에 대해 소개하였다. 그리고 이 방법으로 진행한 A/B 테스트의 결과는 생각보다 유의미한 결과를 얻는데에 효과적이었다.

 

실험 배경에 대해 먼저 설명하자면, 최근 메타 광고를 통해 두가지 랜딩을 두고 A/B 테스트를 진행한 적이 있었는데 이때 한가지 캠페인에서 두개의 광고그룹을 생성하고 동일한 광고영상을 각각 업로드하여 랜딩페이지만 다르게 세팅하였다.

 

실험 결과는 당연히 큰 차이가 없었다. 두 소재가 동일할지라도 각각의 랜딩에 전환율이 높은 유사 사용자들을 찾아 다르게 최적화가 진행되었기 때문일 것이다. 그러므로 두 소재의 최적화 척도가 비슷하면 A, B 두 집단 간의 실험 결과 즉, 광고 효율에 큰 차이가 나타나지 않을 수 있다.

 

이후 동일한 소재와 두 가지 랜딩을 두고 리디렉션 방식을 활용해 무작위 통제 실험의 원칙을 따르도록 A/B 테스트를 다시 진행해보았다.

---

실험목적

• 두 페이지 간의 차이를 분석
  • A 페이지 : 빠르게 정보를 파악하고 문의를 남길 수 있도록 문의폼이 비교적 간단하게 구현된 페이지
  • B 페이지 : 진성 고객 확보 가능성을 높일 수 있도록 문의 폼 완료까지의 단계를 높여 구현된 페이지
    (문의 완료까지 작성해야 할 양식이 5단계로 구성)
• 귀무가설 : B 페이지의 문의 완료 허들이 높은 부분이 진성 고객 확보와 무관할 것
• 대립가설 : B 페이지의 문의 양식은 문의 완료까지 허들이 높기에 진성고객 확보에 긍정적 영향을 보일 것

---

실험 기획

• AB 테스트 진행 시 캠페인 내에 각각 다른 2개의 광고그룹을 세팅하여 AB 테스트를 진행하였을 때, 큰 유의성이 확인되지 않았기에 리디렉션 AB 테스트 방식을 적용하여 테스트 재진행을 실시
  • Group A : 문의 양식이 간단한 페이지로 유입된 그룹 (A 페이지)
  • Group B : 문의 완료까지의 단계가 여러 개로 나누어진 페이지로 유입된 그룹 (B 페이지) 

---

진행 과정

실험 기간 : 2024년 11월 19일 ~ 2024년 11월 27일 (9일)

운영 광고 매체 : 메타

• 단일 캠페인, 그룹 내에서 다중 소재로 A/B테스트 실행
  • 캠페인 1개 생성
    • 그룹 1개 생성
      • 1개의 캠페인, 그룹 내에서 소재만 바꿔가며 캠페인 최적화
      • 소재 등록 시 랜딩은 허브랜딩을 제작하여 utm 태깅 후 세팅
        • ab_test 파라미터 값 t2 유입 시 A 페이지 혹은 B 페이지로 리디렉션
          

랜딩 예시

허브 페이지로 유입 후 50% 확율로 A 혹은 B 랜딩으로 리디렉션

• URL에 ab_test 파라미터 값이 t2일 경우 (ab_test=t2) 설정된 임의의 난수를 부여하고 부여된 난수의 마지막 자리 숫자의 짝홀수 여부에 따라 A or B 페이지로 리디렉션
  • 이때 세션 스토라지에 사용자 세션 값을 저장하여 세션이 열려있는 동안은 부여받은 난수와 그룹이 변하지 않아 동일한 페이지만 노출됨
    • 메타 광고에 세팅했던 UTM 항목은 리디렉션 시 전부 함께 넘어가도록 설정하여 UTM 파라미터 유실을 방지 

---

실험 결과

메타 광고관리자와 내부 데이터플랫폼 및 CRM 그리고 GA4를 활용하여 분석을 진행 

1. 사용자 유입은 거의 비슷하게 발생했으나 A 페이지에서 약 2배 높은 전환수 기록
   • 각 단계별 퍼널 또한 A 페이지가 B페이지와 비교하여 우수한 수치를 기록
2. 두 그룹에 비슷한 수준의 참여 세션이 발생했으나 form_start 이벤트 수 즉, 문의 작성 시도는 A 그룹이 B 그룹보다 74% 더 높게 나타남 (form_start 이벤트는 사용자가 문의 양식에 최초 클릭하는 시점에 트리거 됨)
   •  
3. 참여율은 B 그룹 사용자가 더 높게 나타남 즉, 이탈율은 A 페이지가 더 높았다는 뜻 
   • 그러나 문의 시도율은 A 그룹이 높았으며, 양식작성 완료율(문의시도 대비 문의완료) 역시 A 그룹이 높게 나타난 것으로 보아 문의 완료까지 허들이 높은 부분이 전환율에 크게 영향을 미친 것으로 볼 수 있음
4. 실험 전 수립한 가설과 대립되는 결과 발견
   • A 페이지 그룹의 퍼널별 지표가 B 페이지 그룹보다 우수함
5. B 그룹의 문의 허들이 진성 고객 확보에 유의미한 도움이 되지 않는 다는 것을 자명하는 또 다른 근거 > 허수 및 거부율
   • 문의 완료까지의 단계가 높은 B 페이지를 통해 문의를 완료한 집단에서 A 그룹보다 많은 허수 DB와 거부 고객(부정적 반응)이 발견됨

귀무가설 채택

• B 페이지의 문의 완료 허들이 높은 부분이 진성 고객 확보와 무관할 것

---

참고로 AB 테스트를 진행하며 사용자가 부여받은 난수와 그룹은 GA4 맞춤측정기준을 통해 확인이 식별이 가능하다. 맞춤 측정기준을 활용하여 두 그룹간에 다양한 차이를 분석해볼 수도 있다.