상관계수와 회귀분석을 통한 온라인 광고 매체 카니발 효과 분석

 
온라인 애드테크를 통해 캠페인을 운영하다 보면, 동종 업계 간 혹은 자사 캠페인 간의 비딩 경쟁이 발생하여 경쟁이 치열해지고 서로의 광고 효율을 떨어뜨린다는 얘기를 들어본 적이 있을 것이다. 그래서 머신러닝 기반의 네트워크 광고 구좌를 제공하는 광고 매체들은 캠페인을 최소화하고 동일한 광고소재를 중복으로 운영하지 않는 것을 권장한다. 
 
일명 카니발, 자기잠식효과(Cannibalization)라고도 하며 지나친 광고 구좌 점유 시도가 서로의 광고효율을 떨어뜨리며 비효율적인 광고비 소진을 촉진한다는 내용인데, 실제로 광고를 운영하며 카니발 효과로 인해 효율이 떨어지고 있는지, 의외로 별다른 영향을 받지 않는지를 광고 성과로만 판단하기는 매우 어렵다.
 
나 또한, 현업에서 일하며 카니발 효과가 일어날 위험이 있는 캠페인 운영 전략을 시도하였음에도 오히려 KPI 달성율이 증가한 사례가 있었다.
 
아래 케이스는 잠재고객 획득이 주요 KPI 인 광고주이다. 일명 DB 마케팅이라고 불리는 고객 DB 수집이 주 목표이며, 내부, 대행사 A, 대행사 B 를 통해 고객 DB를 창출한다. 각기 다른 광고계정을 사용하기에 내부, 대행사1, 대행사2에서 같은 광고 매체를 이용했을 때 카니발 효과가 발생하여 전환 성과가 떨어지진 않을지에 대한 우려가 논점이다.
 
 
1. 우선 분석을 위해 필요한 로우 데이터를 추출하였다. 수집된 고객리스트가 저장되어있는 데이터베이스에 접속하여 최근 3개월간 유입된 고객과 유입 출처를 구분할 수 있는 컬럼 값들을 추출하였다.

 
 
2. 추출한 데이터를 엑셀파일로 저장 한 뒤 Jupyter Notebook을 통해 상관계수 분석을 실행했다. 파이썬 코드는 챗GPT를 통해 쉽게 구현이 가능하다.

 
상관계수 분석 코드를 실행하면 아래와 같은 상관계수 히트맵을 확인할 수 있다.

 
[상관계수 해석]
 

1. 상관계수 1: 완전한 양의 선형 관계.
   • 두 변수는 동일한 방향으로 완벽하게 움직이며, 하나의 변수가 증가하면 다른 변수도 증가
2. 상관계수 0: 선형 관계 없음.
   • 두 변수 간에는 아무런 선형 관계가 없으며, 하나의 변수가 변하더라도 다른 변수는 독립적 움직임
3. 상관계수 -1: 완전한 음의 선형 관계.
   • 두 변수는 반대 방향으로 완벽하게 움직이며, 하나의 변수가 증가하면 다른 변수는 감소

• 1 또는 -1: 완벽한 양/음의 상관관계
• 0.8 이상 또는 -0.8 이하: 강한 상관관계
• 0.5 ~ 0.8 또는 -0.5 ~ -0.8: 중간 정도의 상관관계
• 0.3 ~ 0.5 또는 -0.3 ~ -0.5: 약한 상관관계
• 0 ~ 0.3 또는 0 ~ -0.3: 상관관계 없음

 
[히트맵 분석]
 
대행사A_당근마켓 / 내부_당근마켓 : 상관계수 -0.51
중간 정도의 상관관계를 가지고 있으며 대행사A_당근마켓의 전환수가 증가하면 내부_당근마켓의 전환수가 감소하고, 반대로 내부_당근마켓의 전환수가 증가하면 대행사A_당근마켓의 전환수는 감소함.
 
대행사B_당근마켓 / 내부_당근마켓 : 상관계수 0.66
중간 정도의 상관관계를 가지고 있으며 대행사B_당근마켓의 전환수가 증가하면 내부_당근마켓의 전환수도 증가하고, 내부_당근마켓의 전환수가 증가해도 대행사B_당근마켓의 전환수가 증가함.
 
대행사B_토스 / 내부_타불라 : 상관계수 -0.60
중간 정도의 상관관계를 가지고 있으며 대행사B_토스의 전환수가 증가하면 내부_타불라의 전환수가 감소하고, 반대로 내부_타불라의 전환수가 증가하면 대행사B_토스의 전환수가 감소함.
 
대행사B_유튜브 / 내부_틱톡 : 상관계수 -0.54
중간 정도의 상관관계를 가지고 있으며 대행사B_유튜브의 전환수가 증가하면 내부_틱톡의 전환수가 감소하고, 반대로 내부_틱톡의 전환수가 증가하면 대행사B_유튜브의 전환수가 감소함.
 
기타로 분류된 항목들은 인입 고객 수가 적어 제외하고 나머지 항목중 상관계수가 0.5 이상 혹은 -0.5 이하인 항목들을 분류하였다.
 
우선 대행사B_당근마켓과 내부 당근마켓 광고의 전환성과는 비슷한 변동추이를 나타냄을 확인함으로써 내부 및 대행사B 간의 카니발 효과보다는 더 큰 시장 전체의 비딩 경쟁에 영향을 함께 받고 있음을 예상할 수 있다. 예를 들어 명절 기간 커머스 업종의 비딩이 높아지며 자사 관련 업종 전체가 영향을 받는 등의 경우가 있을 수 있겠다.
 
대행사B_토스&내부_타불라, 대행사B_유튜브&내부_틱톡은 매체가 다름에도 전환성과의 반비례 영향도를 확인하였다. 토스와 타불라의 경우 공유되는 지면도 적어 단순한 우연일 가능성도 있다. 보다 긴 기간의 데이터로 추가적인 분석과 모니터링이 필요하다.
 
유튜브와 틱톡은 동일하게 숏폼이 강화된 지면이라 매체가 다르더라도 다수의 동일한 사용자가 존재할 가능성이 있다. 해당 가설을 확인하기 위해 아래와 같은 실험계획을 수립할 수 있다.
 

1. 대행사B_유튜브와 내부_틱톡 광고에 동일한 랜딩 페이지를 세팅하여 캠페인 운영
2. GA를 통해 해당 랜딩페이지의 세션 소스/매체별 재사용자 추이와 광고 전환수 측정
3. 회귀분석을 통해 대행사B_유튜브 채널 랜딩유입 / 내부_틱톡 채널 랜딩유입 두 가지 세그먼트별 재사용자와 전환수 간의 인과관계를 분석

 
 
마지막으로 대행사A 와 내부 당근마켓 광고인데 동일한 광고 매체에서 전환수가 반비례하게 움직이는 것을 확인하였다.  카니발 효과가 영향을 미쳤을 수 있다는 합리적 의심을 할 수 있다. 회귀분석을 통해 대행사A 당근마켓 전환수와, 내부 당근마켓의 전환수의 인과관계를 보다 자세하게 분석해 보았다.
 
 (회귀분석 결과)

 
우선 R-squared 값이 0.260으로 대행사A_당근마켓 전환수의 변동성 중 약 26%가 독립 변수인 내부_당근마켓 전환수에 의해 설명된다는 것을 의미한다. 추출한 로우 데이터만으로 둘의 인과관계를 충분히 설명하기에는 다소 무리가 있는 수치이다.
 
내부_당근마켓 전환수가 1 증가할 때 대행사A_당근마켓 전환수가 평균적으로 약 0.3115 감소한다는 것을 확인할 수 있고 p-value가 0.000으로 어느정도는 둘 사이의 유의미한 인과관계가 있다고 볼 수 있다. 
 
이를 보다 정확히 분석하려면 대행사A 의 당근마켓 예산과 내부 당근마켓 광고 예산을 일정한 수준으로 맞추고 높은 상관계수가 지속적으로 나타나는지 모니터링 할 필요가 있다. 만약 -0.5 이하의 상관계수가 지속적으로 나타난다면 타겟팅 혹은 캠페인 세팅이 지나치게 비슷하여 카니발이 심하게 발생되는건 아닌지 분석 해보야 한다.

이처럼 다량의 광고 소재와 여러 광고 매체를 운영할 때 미세한 카니발 여부를 상관계수와 회귀분석을 통해 분석하면 보다 쉽게 확인 및 실험 설계가 가능하다. 또한 광고매체, 소재, 광고계정 간의 전환수, 혹은 클릭수, 클릭율, CPC 등의 상관관계가 의심되거나 분석이 필요하다면 위와 같은 방법으로 보다 의미있는 결과를 도출해볼 수 있다.