실험 결과 분석
결과 분석시 우선적으로 중요하게 봐야 할 부분은 성공 이나 가드레일 같은 주요 지표들을 체크하고 통계적 유의성을 검증하는 것 입니다. 이때 통계적 유의성이 무엇을 이야기 하는지 그 개념을 알아야 합니다.
통계적 유의성이란 모집단에 대한 가설이 가지는 통계적 의미를 말합니다. 좀 더 자세히 이야기 한다면 어떤 실험 결과 자료를 보았을 때 확률적으로 봐서 단순한 우연이라고 생각되지 않을 정도로 의미가 있다라는 뜻을 가졌기 때문에 통계적 유의성을 확인하는 것은 실험 결과가 우연에 의한 것인지 아닌지를 판별해 내는 것 입니다.
통계적 유의성을 검정하기 위해선 p-value 값을 사용합니다. p value는 유의 확률이라는 뜻으로 귀무가설이 참이라는 가정하에 현재 관찰된 결과나 그보다 더 극단적인 결과가 우연히 나타날 확률을 나타내는 값입니다. 정의에 집중하기보단 실무에서 어떻게 사용하는 지가 중요하고 p value 계산기 라고 검색하고 값을 대입해서 사용 할 수 있습니다. 보통 5%를 기준으로 많이 보며 5% 보다 작으면 통계적으로 유의하다고 판단합니다.
후속 액션
실험 결과 분석 이후 취해야 할 행동에 대해 알아보겠습니다.
- User Reasearch : 실험을 통해 데이터는 나왔지만 데이터 이면에 숨겨진 유저들의 생각과 의도까지 파악이 불분명 할 땐 유저 인터뷰를 진행해 유저들의 생각과 의도롤 파악해보는 것이 좋습니다.
- 후속 실험 설계 : 실험에서 목표로 했던 지표를 계속 올려야 하는 상황이라면 실험의 성공/실패 여부와 관계 없이 다음 실험을 또 진행 할 수 있습니다. 실험 성공 이후 후속 실험을 설계 한다면 우선순위가 낮았던 다른 가설을 채택하여 할 수 있고 실험 실패 이후 후속 실험을 설계 한다면 실패 원인을 분석 후 다시 실험을 설계 할 수 있습니다.
- 전면 배포 및 대시보드 세팅 : 실험이 성공했다면 실험군에 적용했던 조작변인을 전체 서비스에 적용하는 전면 배포 과정을 거치고 실험 진행을 위해 사용했던 모니터링 대시보드를 health Check 및 지표 확인용 대시보드로 바꿔줍니다.
인앱광고 BM 최적화 실험 케이스 스터디 - 인앱광고 시장 소개
인앱 광고란
인앱 광고란 앱 개발자가 자체 앱에 과고를 게재하여 수익을 창출하는 수단 입니다. 앱 사용 유저가 구매를 하지 않고 무료로 앱을 사용하더라도 앱 개발자가 수익을 올릴 수 있는 거의 유일한 수단이기 때문에 거의 대부분의 앱 퍼블리셔들이 이를 채택하여 사용하고 있습니다.
인앱 광고 구조
인앱광고 시장은 광고주, 광고 네트워크, 앱 퍼블리셔 세 그룹의 이해관계자와 연결 되어 있고 광고주가 광고 네트워크에게 입찰을 하고 광고를 집행하면 광고 네트워크는 앱 퍼블리셔에게 광고를 전송해 주는 역할을 합니다. 여기서 광고주가 광고 네트워크에게 광고비를 지불하면 광고 네트워크는 수수료를 제외하고 앱 퍼블리셔에게 광고비를 정산해주는 구조 입니다.
인앱 광고 지표
광고 매출은 광고 노출량 x 노출 당 광고 단가의 값 입니다. 따라서 광고 매출을 높이기 위해선 광고 노출량과 노출 당 광고 단가의 값을 올려야 합니다. 광고 노출량 같은 경우는 광고 지면에 노출 빈도를 높이거나 새로운 광고 지면을 개발하여 올릴 수 있고 노출당 광고 단가의 경우 광고 단가가 높은 광고 형식을 추가하거나 새로운 광고 네트워크를 추가하여 올릴 수 있습니다.
인앱광고 BM 최적화 실험 케이스 스터디 - 배경
본격적인 케이스 설계에 앞서 실험을 왜 하게 되었고 어떤 실험을 할 것인지 이야기 해보겠습니다.
- 콴다 앱 내 트래픽을 통한 수익 창출을 위해 인앱광고를 삽입 했을 때 어떤 효과를
- 최적화 실험을 통해 인앱광고를 통해 매출을 얼마나 낼 수 있는지와 이로 인한 이탈 유저는 없는지 확인해 보고자 합니다.
인앱광고 BM 최적화 실험 케이스 스터디 - 가설 수립
가설 수립 당시 인앱광고 BM으로 수익을 내는 타 회사 조사, 광고 네트워크 및 미디에션 회사를 만나 정보 수집, 앱 내 주요 지면별 트래픽 조사, 이전 실험으로부터 얻은 인사이트 활용 등 이와 같은 방법으로 가설 수립을 위한 정보를 수집하고 가설을 수립 하였습니다. 다음은 우선순위를 적용한 실험 방법과 가설 입니다.
1차 실험
- 제일 중요한 가드레일 지표인 이탈 확인과 메인 기능에서의 지면 개발에 집중 하였습니다.
- 유저들에게 광고를 노출했을 때의 잔존율은 광고 비노출 유저의 잔존율과 차이가 나지 않을 것이다
- Main 기능인 검색 기능에서 기능 사용 전과 기능 사용 후에 노출되는 광고 지면에는 유의미한 ARPU 차이가 있을 것이다. (ARPU란 앱의 활동 사용자 1인당 평균 결제 금액을 뜻합니다.)
후속 실험
- 노출 빈도를 상향시켜 매출과 이탈의 trade-off를 확인합니다.
- 새로운 지면 개발하고 기존 실험군과 대조해서 확인해봅니다.
- 광고 네트워크 추가하여 어떤 효과를 불러오는지 확인해봅니다.
인앱광고 BM 최적화 실험 케이스 스터디 - 실험 설계
- 실험 대상 : 광고가 유저에게 부정적인 경험을 줄 수 있는 요소이기 때문에 전체 유저가 아닌 일부 유저를 대상으로 진행하고 또한 신규 유저도 제외하여 기존 유저를 대상으로 진행 했습니다. 후속 실험 시에는 이전 실험에 영향을 받지 않도록 이전에 광고를 보지 않았던 유저를 대상으로 진행하였습니다.
- 실험 기간 : 빠른 실험과 분석을 위해 실험기간을 최소한으로 설정하고 전체 실험 기간동안 유저에게 광고를 노출하는 것이 아닌 그룹 내 유저가 모두 동일한 기간동안 광고를 보게끔 실험을 설계 했습니다.
- 성공 지표/가드레일 지표
가드레일 지표 : 잔존율을 단기/중기/장기로 나누어 세부적으로 비교
성공 지표 : AD ARPU - 대조군 설정
초기 : 실험 대상이 아닌 유저 중 랜덤으로 샘플링을 진행하고 샘플링된 대조군이 실험군과 활동성 차이가 없는지 검증하는 과정을 거쳤습니다.
이슈 발생 : 원인 불명, 어떻게 랜덤 샘플링을 진행해도 대조군에서 활동성 지표가 더 높은 locale 이 생겨났습니다. 아무래도 실험군이 아닌 유저가 더 많다보니 이런 이슈가 발생했을 것으로 추정됩니다.
이슈 발생 이후 : 대조군을 실험군 중 하나로 편입하고 대조군으로 설정된 실험군은 광고 노출을 아예 하지 않도록 설정 하였고 이후 활동성 차이 이슈가 없어졌습니다.
인앱광고 BM 최적화 실험 케이스 스터디 - 개발 및 QA
개발자에게 계획을 미리 공유하여 확장성을 고려하여 실험 환경을 세팅하고, Admin Page(관리자 페이지)를 만들어 후속 실험 시 추가 개발이 필요하지 않도록 만들었습니다.
인앱광고 BM 최적화 실험 케이스 스터디 - 실험 진행 시 유의 사항
대시보드 모니터링하기
실험 진행 시 실수로 실험군 1개에서 조건이 누락한 경우가 발생한 적이 있었고 대시보드 모니터링을 하면서 실험 시작 3일 후 발견하였습니다. 결국 해당 실험은 바로 종료하고 실험 세팅을 다시하고 실험을 진행 했습니다. 만약 실험이 끝난 후 이를 발견했다면 실험이 무의미 해질 수도 있었습니다.
모의 실험 진행하기
위와 같은 불상사를 막기 위해 일부 유저들을 대상으로 모의 실험을 진행하기도 했습니다. 우자 작은 유저들에게 3일의 실험 기간을 세팅하고 대시보드에 원하는 데이커가 잘 쌓이는지 각 실험군에게 설계한대로 광고가 노출되고 있는지를 미리 확인 후 실제 실험을 진행했습니다.
인앱광고 BM 최적화 실험 케이스 스터디 - 결과 분석하기
성공 지표인 ARPU와 가드레일 지표인 Retention을 비교하고 지표간 차이에 대한 유의성을 검증 합니다. 이후 유의한 차이가 있는 그룹 사이에 어떤 요소로 해당 차이가 발생했는지 확인하여 실험 결과를 도출합니다.
*해당 글은 제로베이스 PM 파트타임 스쿨의 강의 자료 일부를 발췌하여서 작성되었습니다.