A/B Test

A/B 테스팅이란?

• 웹 사이트 방문자를 임의로 두 집단으로 나누고, 한 집단에게는 기존 사이트를 보여주고, 다른 집단에게는 새로운 사이트를 보여준 다음, 두 집단 중 어떤 집단이 더 높은 성과를 보이는지 측정한다.

• 새 사이트가 기존 사이트에 비해 좋은지를 정량적으로 평가하는 방식이다.

  <aside> 💡 성과란?

  sparta builder의 경우에는 외주 신청률과 방문률 정도로 생각하면 될듯 하다.

  • 회원 가입률
  • 재방문률
  • 구매전환율 </aside>

A/B 테스팅 하는 이유

• 상관관계로부터 인과관계일 가능성이 높은 것을 찾아내기 위함.
• 원인에 해당하는 요소에 개입하여 결과에 해당하는 요소가 원하던 방향으로 변화될 수 있도록 한다.
• 이미 결과에 변화가 생겼을 때 이 변화의 원인이 우리가 개입했던 것 때문이 맞는지 아닌지 판단할 수 있다.

주의할 점

• A/B 테스팅을 통해 인과관계를 찾기 위해서는 두 집단을 임의로 나누어야 한다.

  • 이를 임의적 할당 (random assignment)라고 한다.
    • 아래 예시의 경우에는 두 집단 차이가 무엇 때문에 발생하는지 가려낼 수 없게 된다.
      • 남성은 A집단, 여성은 B집단
      • 짝수 시간대 방문자는 A집단, 홀수 시간대 방문자는 B집단
      • 첫 일주일 동안 방문한 사용자는 A집단, 그 다음 일주일 동안 방문한 사용자는 B집단

• A/B 테스팅을 통해 찾아낸 결과가 범용성을 지니려면 실험에 참가한 집단에 모집단을 대표할 수 있어야 한다.

A/B 테스팅의 단점

1. 테스트를 많이, 그리고 자주하게되면 단기적 손해가 발생할 수 있다.

   • 2주 동안 50:50으로 나눠 기존 상품 이미지와 새로운 상품 이미지를 보여주고자 한다. 테스트를 3일 정도 진행했더니 새로운 이미지를 본 집단에서 매출이 기존에 비해 절반 밖에 나오지 않는다면, 2주동안 테스트를 진행하려면 막심한 매출 손해를 감수해야한다.

2. A/B테스팅의 결과는 계절 변화, 취향 변화 등 시간의 흐름에 따라 바뀔 수 있다.

3. A/B 테스팅만 해서는 지역최적점에 머물게 될 위험이 있다. 기존 상태에서 작은 변화를 가하며 점진적으로 더 나은 상태를 찾아가는 방식으로 진행된다.

   → 하지만 이 방식으로는 지역 최적접에 수렴할 수 있을 뿐, 전역적인 최적접을 찾을 수 없다.

<Script type="text/javascript" id="naver-log" strategy="lazyOnload">
          {`
              if (!wcs_add) var wcs_add={};
              wcs_add["wa"] = "s_21cea09e4fd1";

              if (!_nasa) var _nasa={};
              if(window.wcs){
                wcs.inflow("sparta-builders.com");

                wcs_do(_nasa);
              }
          `}
        </Script>

Naver Wsc 스크립트