조직에 필요한 ‘실험 문화’와 관련된 얘기를 해볼까 한다.
‘나는 성장에 관심 없어.’
‘실험? 모르겠고 나는 내 일이나 해야지.’
혹시 조직의 구성원들이 이런 생각을 가지고 있다면 실험 문화를 만드는 것은 불가능하다.
이 글은 그렇지 않은 조직을 위한 글이다.
실험 문화는 곧 조직과 개인이 함께 성장할 수 있는 방법이 되기도 한다.
실험 문화가 왜 필요한데?
A라는 회사의 매출액 그래프가 위 그림과 같다고 해보자.
점점 성장하는 모습을 보여주고 있다.
그런데 미래에는 어떨까? 그건 아무도 알 수 없다.
“확신할 수 없다는 것만 확신할 수 있다”
3번처럼 성장이 둔화될 수도 있고, 2번처럼 조금만 성장할 수도 있고, 1번처럼 급성장할 수도 있다.
조직에 속한 사람이라면 누구든지 2, 3번 보다는 1번처럼 되는 것을 좋아할 것이다.
1번처럼 되기위한 방법은 ‘실험 문화’에 있다.
실험이 뭔지를 이해하면 그 이유를 알 수 있다.
실험이란?
실험은 고객이 마주하는 변화의 임팩트를 측정하는 과정이다. 흔히 A/B 테스트라고도 불린다.
특정 기능이나 제품, 서비스가 유저에게 미치는 영향을 정확하게 파악하기 위한 과정을 의미한다.
대조군 1개와 실험군 1개로 구성하고, 가설을 통해 검증하고자 하는 개선된 제품(기능이나 서비스)을 실험군으로 설정하여 실험을 진행한다.
실험에 대한 정의를 충분히 이해했다면 왜 실험을 해야 하는지도 자연스럽게 알 수 있다.
우리가 취하는 모든 액션은 결과물을 만들어낼 것이고, 결과에는 자연스럽게 성과도 따라오게 된다.
이는 꼭 제품 개발이나 마케팅에만 국한된 것이 아니다.
우리 모두는 “~하면 ~이 ~만큼 더 좋아질 것이다.”라는 기대와 목표로 일을 하게 된다. 말 그대로 가설이라고 볼 수 있다.
문제는 “~하면 ~이 ~만큼 더 좋아질 것이다.”라는 것은 그저 우리의 기대라는 것이다.
세상은 우리의 기대대로 움직이지 않는다.
결국은 기대대로 되는지 실험을 통해 성과를 측정/검증해야 우리가 취한 액션이 잘 한 건지 못 한 건지를 알 수 있다.
중요한 것은 단순히 결과물을 내놓는 것이 아니라 결과가 가져오는 성과이다.
이러한 접근이 없는 조직은 비효율과 고비용의 막다른 길로 가게 되어 결국은 망하게 된다.
조직이 망하면 개인도 망하게 되기 때문에 모든 조직의 구성원들에게 실험의 중요성을 인지시킬 필요가 있다.
그렇다면 실험을 하는 방법(절대로 망하지 않는 방법)은 무엇일까?
실험을 진행하는 방법
조금씩 차이는 있지만 실험은 대개 아래와 같은 절차로 진행된다.
1. 문제/기회 발견
실험을 진행하는 것보다 이 부분이 가장 중요하다.
문제를 정의하고 발견하는 능력을 최대치로 발휘해서 '우리에게는 어떤 문제가 있고, 여기에는 어떤 기회가 있다'라는 것을 찾아야 한다.
문제가 무엇인지 명확하게 알지 못하고 진행하게 되면 실험이 산으로 가버릴 수 있다.
문제 정의만 잘 하면 해결은 실행만 하면 되기 때문에 무엇이 진짜 문제인지 ‘잘’ 규정해야 한다.
A. 우리 병원은 산소호흡기가 부족하다.
B. 우리 병원은 ‘이용 가능한’ 산소호흡기가 부족하다.
A와 같은 방식으로 문제를 단조롭게 정의하면 나올 수 있는 해결책은 뻔하다. 산소호흡기를 더 구매하기만 하면 된다.
하지만 B와 같이 문제를 정의하면 바로 답을 내기 어렵다. ‘이용 가능한’ 산소호흡기가 부족한 이유에 대해서 더 파고들게 된다. 수리 중인 산소호흡기는 몇 대인지, 병원 내 산소호흡기의 회전율은 얼마나 되는지 등등.
이렇게 문제를 정의해서 방법을 찾으면 산소호흡기 구매로 많은 비용을 지출하지 않고 산소호흡기 부족이라는 상황을 해결할 수 있다.
예시
(문제) 앱을 신규 다운로드해서 실행한 사람들 중 단 30%만이 다음 주에 또 앱을 실행한다. 다시 말해, 신규 유저의 2주 차 잔존율은 30%(이탈률은 70%)이다.
(기회) 신규 유저 중 첫 3일 내에 A 기능을 이용한 이들은 70%가 2주 차에도 앱을 실행했다. 어쩌면 더 많은 사람이 A 기능을 쓰게 되면 리텐션 지표가 개선될 수도 있겠다.
2. 가설 수립
‘진짜 문제’가 정의되었다면 이를 해결하는 방안을 ‘제안’하듯이 상세히 설명하여 예측된 결과를 나타낸다.
'우리가 OOO를 하면, 고객들은 OOO 하게 반응할 것이고, 그러면 OOO라는 결과를 얻을 것이다' 같은 식으로 가설을 세운다.
예시
A 기능을 앱 홈 화면 최상단에 노출한다면, 앱 신규 유저들이 그 기능의 존재를 알게 될 것이다. 매주 앱 신규 유저가 평균 1만 명이고, 그중 80%인 8천 명은 3일 내에 A 기능을 사용할 것이다.
3. 핵심 지표 설정
“한 놈만 팬다!”
가설이 수립되었다면 가설과 가장 연관 있는 핵심 지표를 찾아야 한다.
가설을 검증할 때 모든 지표를 신경 쓰는 건 비효율적이다. 특히 가설과 전혀 관련 없는 지표는 굳이 들여다볼 필요가 없다.
개인적인 경험이나 주관적인 견해가 아니라 데이터 기반의 정량 지표 단 하나!
이것을 정하고 이 핵심 지표를 중심으로 가설 검증을 진행한다.
실험이 끝나는 날에 핵심 지표가 목표 수치에 도달했다면 “이 가설은 참이다!”라고 판단한다.
예시
앱 신규 유저의 2주 차 잔존율
4. 실험 설계
앞에서 수립한 가설이 맞는지 확인하기 위해 실험을 설계한다.
실험군과 대조군은 어떻게 나눌지, 실험 기간은 언제부터 언제까지로 할지, 실험의 성공과 실패는 어떤 것으로 할지, 후속 조치는 어떻게 할지 등
실험은 하루 또는 일주일 이내에 종료될 수도 있고 6개월~1년까지 오랜 기간 동안 진행될 수도 있다.
절대적 진리는 없다.
5. 실험 진행
설계한 대로 실험을 진행한다.
상황에 따라서 설계를 변경할 수도 있다.
유동적으로 진행하되 수립했던 가설에서 벗어나는 것은 안 된다.
6. 결과 분석
실험이 끝나면 수집된 데이터를 가지고 가설 검증을 진행한다.
설정했던 핵심 지표를 기준으로 가설의 참/거짓을 판단한다.
하지만 단순히 수치 비교만으로 가설 검증을 진행하면 특이 케이스를 담아낼 수 없다.
가령, 가설 수립 시 목표 수치를 너무 낮게 잡아서 실험이 성공했을 수도 있고, 목표를 너무 높게 잡아서 실험이 실패했을 수도 있다.
'단순 비교'가 아닌 '해석'을 해야 한다.
문서로 정리하기(중요)
이렇게 가설을 검증하는 과정은 학습의 일환이다. 한 가지 가설을 검증해서 새로운 것을 배우고 다음 가설에 다시 활용할 수 있다.
중요한 것은 이 모든 것을 반드시 '문서화'해야 한다는 것이다.
인간은 망각의 동물이기 때문에 특정한 기억을 제외하고는 일정 시간이 지나면 대부분의 기억들은 자연스럽게 잊힌다.
생각만으로 실험을 진행하지 말고 반드시 글로 써서 남겨야 한다.
글쓰기는 두뇌 발달을 돕는 가장 효과적인 방법 중 하나이다. 글을 쓰는 동안에는 쉬지 않고 생각을 해야 하기 때문이다.
자신이 가지고 있는 생각과 현재의 상황을 글로 옮기기 위해 논리적으로 정리하다 보면 자연스럽게 뇌를 자극하게 된다.
논리성과 창의성을 증진시키기에 글쓰기만큼 효과적인 방법은 없다고 한다.
실험을 자주 진행하면 뇌도 성장시킬 수 있다.
실험하는 문화 만들기
다시 한번 말하자면 이는 마케팅이나 개발만을 위한 것이 아니다.
조직 전체에서 하나의 문화가 되어야 한다.
기존 관점
“우리는 매출을 늘려야 한다. 그러니 매출을 바로 늘릴 수 있도록 판매를 위한 이벤트와 프로모션을 하자! (또는 우리와 거래할 만한 업체들에게 최대한 많이 연락을 돌리자!) 그게 제일 효과적으로 매출을 늘리는 방법이다!”
새로운 관점
“매출에 영향을 끼치는 input은 무엇일까? 그중에서 지금 활용했을 때 가장 효과적인 것은 무엇일까?”
기존 관점
“잘나가는 제품의 재고가 부족해서 이번 이벤트 기간에 매출이 예상했던 것만큼 나와주질 못했다. 다음에는 이런 일이 벌어지지 않도록 예상되는 수요보다 조금 더 발주를 넣어야겠다! 내 실수였으니 다음에는 실수하지 말자!”
새로운 관점
“제품의 수요 예측값과 실제 판매량에는 얼마 정도의 차이가 발생할까? 이 차이를 줄이는 방법은 무엇일까?”
구성원들 각자의 업무 영역에서 기존의 방식과는 다르게 일을 진행하여 성과를 개선할 수 있는 부분이 최소한 한 가지 이상은 존재할 것이다.
그 한 가지만 개선해도 모두가 함께 성장할 수 있다.
사고방식 전환하기
실험을 해야겠다고 결심했다면 시작하기 전에 주의해야 할 점이 있다.
바로 실험을 통해 확실한 성과를 얻으려는 사고방식이다.
개선하고자 하는 지표가 상승한 경우에만 실험이 성공한 것으로 간주하는 경향이 있다.
하지만 ‘실패’한 실험은 지표 상승보다 더 가치가 있다. 이러한 ‘실패’는 팀에게 하지 말아야 할 일에 대한 구체적인 예시를 알려주기 때문이다.
Google이나 Bing, Microsoft에서 진행되는 서비스 변화를 실험으로 엄밀히 측정해 봤더니, 10%~20% 혹은 1/3에 해당하는 경우에만 긍정적인 결과가 관측되었다고 한다.
10%~30%의 성공률은 결코 높은 수치가 아다. 이는 우리의 기대와 시장의 반응이 많이 다르다는 것을 다시 한번 명백하게 보여주는 결과이다.
그렇지만 그들은 무엇이 어떻게 성공하는지, 무엇이 왜 실패했는지를 명백하게 입증하면서 배움의 길을 나아간다.
실험이 꼭 성공해야만 하는 것은 아니다.
마치며
Q : ‘당연한 결과가 예상되는데 굳이 실험을 해야 돼?’
A : 그래도 진행해야 된다. 세상은 언제나 예상대로 돌아가지 않는다. 제품과 서비스를 고객들에게 내놓을 때 고객이 어떤 반응을 보이는지 측정하고 검증해야 그다음 방향을 정할 수 있다. 실험을 통해 가장 정확하게 고객의 반응을 측정할 수 있다.
Q : ‘일정이 바쁜데 실험까지 챙겨야 돼?’
A : 가능하다면 실험하는 걸 권장하지만 필수는 아니다. 실험 때문에 스트레스를 받으면 중요한 업무에 누락이 생겨서 오히려 더 큰 비효율이 생길 수 있다. ‘일하는 것’이 아니라 ‘문화’가 되어야 한다.
실험하는 환경을 도입하면 물론 처음에는 어색하고, 또 새로운 걸 하려고 하니 번거로울 수 있다. 문제를 정의하고 가설을 작성하는 것부터 쉽지 않을 수도 있다. 하지만 지속적으로 커뮤니케이션하고 협력하여 실험하는 과정을 반복하다 보면 모두가 함께 성장하는 날이 반드시 올 것이다.