콴다 소개
콴다는 대한민국의 에듀테크 기업 매스프레소가 개발한 AI 기반의 맞춤형 학습 플랫폼 입니다. 초,중,고 대상으로 하며 글로벌 서비스를 운영하고 있습니다. 한국의 경우 3명중 2명의 학생이 사용하고 있습니다.
콴다는 모든 학생들이 공평하게 맞춤형 교육을 얻게하기 위해 모든 쿄육 콘텐츠를 디지털화 하고 AI 기술을 통해 학생이 모르는 부분을 파악하여 학생이 알아야 할 개념, 풀어야 할 문제만 연결해서 보여주는 학습계 네이베이션 스터디 플랫폼을 지향 합니다.
콴다의 주요 서비스
- 문제 사진을 촬영해 인공지능에게 인식시키고 문제를 검색
- 찾은 문제의 다양한 풀이를 찾아서 제공
- 비슷한 유형의 문제 및 맞춤 강의와 개념서를 제공하는 추가 학습
- 질문한 문제에 대한 명문대 선생님의 동영상 풀이인 프리미엄 강의 제공
- 핵심 기능 이외에도 수식 계산기, 개념 검색, 스터디 그룹 등 학습에 도움을 줄 수 있는 기능들 제공
실험의 개념
최근 실험이라는 개념이 대부분의 회사에서 보편적으로 사용되는 개념이고 PM에게 굉장히 중요한 역량으로 여겨지고 있습니다. 따라서 실험이란 무엇이고 왜 중요하며 실험을 활용해 어떻게 기획을 진행하는지 알아보도록 하겠습니다.
실험이란?
가설이나 이론이 실제로 들어맞는지를 확인하기 위해 다양한 조건 아래에서 여러가지 측정을 실시하는 일이다. 지식을 얻기 위한 방법의 하나이다.
해당 부분은 위키백과에서 정의한 실험입니다. 여기서 우리가 집중해야 할 것은 스타트업에서의 실험은 가설을 세우고 해당 가설을 검증하기 위해 조건을 세팅하며 맞았을 때와 틀렸을 때를 분석하는 것이 실험이며 이에 대해 인사이트를 얻는 것 이라는 점을 미루어 봤을 때 보편적으로 사용하는 실험이란 용어와 스타트업의 실험은 별반 다르지 않다는 것 입니다.
실험의 예시
그렇다면 실제로 회사에서 실험은 어떻게 이루어지는지 예시를 알아보도록 하겠습니다.
- 회원가입 A/B Test : 회원가입 시 Funnel 개선을 진행하여 사용자 중 50%는 개선된 화면을, 나머지 50%에게는 기존 화면을 노출하고 어떤 그룹에서 회원가입 완료 비율이 높았는지 확인해보는 실험
- 랜딩페이지 A/B Test : 제품 판매 랜딩 페이지를 변경하여 사용자 중 30% 에게는 변경된 랜딩 페이지를, 나머지 70%에게는 기존 랜딩 페이지를 노출하고 어떤 그룹에서 결제 전환율이 높았는지 확인해보는 실험
실험의 중요성
- 고객 및 시장에 대한 정확한 학습 : 학습은 유저 인터뷰를 통해서도 가능하지만 명확한 데이터를 수집하고 이를 통해 고객과 시장이 원하는 바를 분명히 할 수 있습니다.
- 자본 효율적 방식 : 실험을 하는 과정에서 불필요한 제품을 만드는데 들어가는 시간과 인력을 최소화 할 수 있습니다.
실험에 대한 오해
1. 실험은 간단하다?
보통 실험이라고 함은 그냥 가볍게 테스트 해보는 것 이라고 생각 할 수 도 있지만 이는 그렇지 않습니다. 실험의 목표는 정확한 Insight를 얻어 정확하고 필요한 제품을 실패 없이 만들고자 하는 것이 목표기 때문에 실험을 하기 위해서 사전에 해당 실험이 정말 시간을 들일만 한지 Impact와 우선순위를 검토하여 진행합니다.
2. 실험은 빨라야 한다?
실험이 길어지면 길어질수록 시간이나 인적 자원이 많이 들어가기 때문에 빠르게 실험을 끝내야 한다고 생각 할 수 도 있지만 시간을 들여야만 Insight를 얻을 수 있는 실험도 있기 때문에 꼭 모든 실험이 빠르게 끝나야 하진 않습니다. (ex. 월간 재방문율에 관련한 실험)
3. 모든 것을 실험해야 한다?
실험을 통해 다양한 정보를 얻고 제품을 발전 시켜 나가는 것은 매우 중요 하지만, 결론적으로 불필요한 자본은 사용하지 않는 것이 좋기 때문에 앞서 이야기 한 것 과 같이 꼭 필요한 실험인지 검토를 마치고 진행하는 것이 중요합니다.
실험 프로세스
문제 정의 → 가설 수립 → 실험 설계 → 개발 후 진행 → 결과 분석 → 후속 액션
다음은 실험의 프로세스에 따라 각 단계별로 어떻게 진행 되는지 알아 보도록 하겠습니다.
가설 수립하기
가설이란 실험을 통해 반증 가능한 구체적이고 명시적인 진술 입니다. 여기서 중요한 것은 반증이 가능하다는 것 입니다. 스타트업에서의 예시로 좀 더 자세히 알아보겠습니다.
- 현재 3단계로 구성된 회원가입 Flow를 1단계로 줄이면, 회원가입 전환율이 10% 상승 할 것이다.
- 상품 랜딩 페이지에 고객들이 만족한 후기를 추가한다면, 구매 전환율이 5% 상승할 것이다.
여기서 핵심은 두 가설 모두 결론에 명확한 수치가 표현되에 있으면 해당 수치 이상 상승하게 된다면 참인 가설 그렇지 않다면 거짓인 가설이 되기 때문에 이는 반증이 가능하다는 점 입니다.
가설과 가정의 차이
가정이란 반증 가능한 형태로 진술되지 않은 암묵적인 믿음이나 추측 입니다. 앞서 가설에서 집중 했던 것은 반증이 가능하다는 점 입니다. 다음은 가정의 예시 입니다.
- 고객들은 회원가입 과정이 너무 길다고 느낄 것이다.
- 고객들은 다른 사람들의 후기를 보고싶어 할 것이다.
가설의 예시와 달리 명확한 수치가 표현되어 있지 않아 반증이 불가능 하다면 가정 입니다.
가설을 수립하는 방법
앞서 가설과 가정을 함께 설명한 이유는 가정 먼저 수립하고 가정을 가설로 변환해 결론적으로 가설을 수립 할 수 있기 때문입니다. 다음은 가정을 가설로 변환하는 방법 입니다.
- 실험을 통해 반증 가능한 형태로 → 어떤 지표가 어떻게 변할 것인지
- 구체적이고 명시적으로 → 제품을 어떻게 변화 시킬 것인지
xyz 가설 템플릿을 활용하는 것도 하나의 방법 입니다.
- 적어도 X퍼센트는 Y는 Z할 것이다.
- 적어도 10%의, 대기질 지수가 100 이상인 도시에 사는 사람들은, 120 달러짜리 휴대용 오염 탐지기를 구매할 것이다.
*해당 글은 제로베이스 PM 파트타임 스쿨의 강의 자료 일부를 발췌하여서 작성되었습니다.