토스 리더가 말하는 유저를 끌어당기는 서비스 개선 | PO SESSION

토스의 핵심 노하우를 나누는 PO SESSION.
PO(프로덕트 오너)들이 항상 궁금해하는 서비스 개선의 핵심, 리텐션과 엑티베이션.
95%의 유저를 남게 만드는 아하 모먼트 구하는 방법부터
회원 가입 과정과 퍼널로만 알고 있었던 엑티베이션까지.
그 숨겨진 핵심을 소개합니다.
지금, 토스팀에 합류하고 싶다면?
➡️ toss.im/career
*해당 영상은 방역수칙 준수 하에 안전하게 촬영하였습니다.
*욕설, 비방, 또는 유튜브 채널의 정상적인 운영을 저해하는 댓글은 무통보 삭제될 수 있습니다.

[@user-cx3ye4lp9n]

승건이형님 다음 영상 마렵습니다. 빨리 내놓으십쇼..

[@babygo_market]

말씀을 잘하셔서 귀에 쏙쏙이네요. 우연히 영상 하나 보다가 여기까지 끌려왔네요;;

[@cappsk532]

지난 몇년동안 계속해서 공부하시는 영상을 올리시는 것을 보면서 번아웃이 올때마다 동기부여가 되고 있습니다. 꾸준한 영상 감사드립니다. ahk1을 ahk2로 옮기다보니 힘들어서 포기했는데, 영상 보며 다시 시작해보려합니다. 응원합니다.

[@catsriding]

아하!😲 오호! 🤩 감사합니다 🙏🏻

[@Coooolinable]

감사합니다. 잘 배웠어요.

[@wh842]

너무 좋은 강의 감사드립니다. 한가지 정말 답변이 절실한 질문을 드립니다. RPV 95%는 모든 종류의 어플에 적용되는지 문의드립니다. 예를 들어 모바일 게임일 경우도 RPV가 95%에 도달해야 되는지 아니면 어플 유형에 따라 RPV가 95%이하인 경우도 aha moment로 정의할수 있는지 문의드립니다.

[@브랜드디자인]

12:15 active, activated, retained user의 차이점을 어설프게나마 추론해보자면 active user는 자연스럽게 아하모먼트에 도달한 유저들이고 activated user는 기업이 의도한 대로 아하모먼트에 도달한 유저들인것 같네요 예를 들면 토스의 아하모먼트가 2일안에 4번 송금을 하는 것일 때 active user들은 자연스럽게 송금 할 일이 생겨서 아하모먼트를 느낌 유저들이고 activated user들은 토스가 제공한 1원 무료송금 5회의 혜택을 이용하면서 아하모먼트를 느낀 유저들인거죠 그리고 Retained user는 아하모먼트가 지속적인 행복경험으로 전환된 유저들일 것 같네요. 궁극적인 목표는 Active user와 activated user가 retained user로 전환되는 것일텐데 두 비율의 차이가 있다면 그 차이에 대해 고민하고 아하모먼트를 수정해가면서 유저들이 어떤부분에서 행복경험을 느끼는지 본질을 찾을 수 있지 않을까 싶습니다. *전문분야가 아닌 사람의 주관적인 추론이라 얕고 방향성이 아예 다를지도 모르지만 개인적인 생각입니다

[@byeongsookim1303]

Active user는 95% 이상의 방문자가 하는 행동이라고 12:19에 나오네요. 보통 대부분의 서비스는 방문 자체가 기본적인 active 행동으로 정의 될것 같습니다(토스의 경우에 송금일수도). 그중에서 아하 모먼트를 경험한 유저들이 activated유저이고, 이 유저들은 계속 돌아와서 active로 정의된 행동(송금)을 하면 retained 유저라고 볼 수 있을 것같습니다.

[@hommer235]

배우고 갑니다

[@user-pb6dz2qp3h]

항상 너무 쉽게 강의해주셔서 감사합니다. 아직 부족한 부분이 많아서 제가 잘 이해하지 못한 부분일수도 있지만 위 지표를 봤을때 의문점이 들어서 질문 남깁니다. 1. 위 지표에서 추정되는 부분은 churn중에서 해당 액션이 x인 경우에 0명이라는 의미는 전체 churn 집합이 12,121명이라는 의미일까요? 2. churn 집단또한 액션이 1,2,3 회까지 큰 수의 변화가 없는 것으로 보아 churn유저의 경우도 아하 모멘트에 도달했다고 보여지는데 결국 이탈한 유저가 아하모멘트에 달성했음에도 이를 아하모멘트로 바라보는 걸까요? 3. 해당 지표에서 churn 유저와 retain 유저의 총 인원이 각각 12,000 15,000명으로 보여집니다. 아하모멘트를 3회라고 보았을때 churn 유저중 3회를 했음에도 결국 이탈한 유저가 11,215명이고 retain 집단이 총 15,000명이라고 했을때 큰 차이가 보이지 않는것 같습니다. 이 경우에도 아하모멘트로 확신할수 있는지 궁금합니다.

[@tokyoleenow]

이 영상을 목이 빠지도록 기다렸습니다

[@user-wi6ds4jz4d]

기획 포지션의 첫 커리어를 맨땅에 헤딩으로 작은 스타트업에서 시작했어요. 그래서 어렴풋이 뇌피셜로만 생각하고 있던 것들을 용어와 개념으로 설명들으니 정말 클리어 해집니다. 지금까지는 그저 감으로 "A하면 B가 될것같지 않아?"로 일을 해왔다면 이제는 제 뇌피셜에 대한 근거를 갖고 설득할 수 있을것 같아요. 너무 귀한 세션입니다. 감사합니다!

[@ilili3138]

헤이님 혹시 리사이클링 사업 (중고거래) 사업, 투잡 관심 있으실까용? 생각 있으시면 말씀해주세용 kzbin.info/www/bejne/j3TUe5qGrZV7pa8

[@supersonic5384]

질문 있습니다. 서비스 내 이해관계자가 여럿일 경우가 있을 것 같은데, 그럴 경우 각 이해관계자들에 대한 아하모먼트를 만들고 별도의 팀으로 대응해야할까요? 예를 들어, 마켓 플레이스의 형태라면 공급자와 소비자 두개의 사이드를 따로 두고 아하모먼트를 만드는 것이겠지요? 만약 그렇다면, 팀을 두개로 나눠서 운영하시는지, 그렇게 해서 두개의 팀으로 분리 됐다면, 그 두팀을 관통하는 또 다른 목표가 존재해야 하는 것일까요?

[@byeongsookim1303]

예를 들어, 마켓 플레이스의 형태라면 공급자와 소비자 두개의 사이드를 따로 두고 아하모먼트를 만드는 것이겠지요? --> 저도 그렇다고 생각힙니다. 이해관계자를 다른 고객군(공급자와 소비자)으로 정의한다면, 두개의 다른 KPI가 생기는 것이고, 따라서 두개의 아하 모먼트가 생기는게 맞다고 생각합니다. 그 두팀을 관통하는 또 다른 목표가 존재해야 하는 것일까요--> 네, 두개의 목표가 선순환 되는 그로스모델링이 필요합니다. 말씀하신 예시에는 공급자는 충분한 소비자의 액션이 있어야 할것이고, 소비자도 충분한 공급이 있어야 retain이 될텐데, 닭이 먼저나 달걀이 먼저냐의 문제로 귀결되어, 이걸 어떻게 선순환 할 수 있는 그로스 모델을 만드느냐가 마켓플레이스같은 플랫폼사업의 핵심이겠지요.

[@toss_official]

안녕하세요. 토스팀입니다. Q&A 세션에 해당 질문에 대한 답변 드렸습니다. 소중한 댓글 감사합니다. 토스팀 드림

[@user-bb2dl7om3f]

좋네요

[@JRIM2]

15:38 진짜 스펠링 틀리심 ㅋㅋ 귀엽

[@seosurrrrr]

후.. 사랑합니다!

[@liliiilllilillilii]

2번째 질문입니다. 8:05 리테인된 유저가 제일많은걸 3번할때 95.16%를 가르키시는데. 2번이면 97%고 그위에는 100%(당연히 전수일테 100%일것같고) 여기에 토스는 4일내에 2번 송금할때라고 하신 결론까지 어떻게 나온건지 이해가 안되네요.

[@greatpioneer]

재밌다

[@limit3360]

진짜 토스는 일에 열정 있는 사람들 끌어들이는 아우라가 있음...계속 뭔가를 해야 하는 성격인데 진짜 가고 싶네요

[@_fortune_man]

14:41 애플에서 영감을 받은 회사가 디자인을 중요하게 생각하지 않는다..? 물론 리더님이 훨씬 잘 아시겠지만 디자인만으로 꾸준히 아하 모먼트 만들어오다 창업하게 된 우형 이야기도 있지 않나 일 하는 방법은 참 다양하구나 신기하다

[@rapidexecution]

와 젊어.. 노인네들 ㅋㅋ 승건이형 젊음 질투하겠누

[@liliiilllilillilii]

질문있습니다. XX를 구하는 과정에서 "A하면 B한다" 의 명제에서 B하는 사람을 찾아 A하게 만든다로 action list로 넘어가는 것 같은데요 B를 한 것과 A행동의 대한 것이 우연의 일치인지, 연관관계가 있는지에 대한 분석은 어떻게 하게 되나요? 까마귀가 10마리 날았는데 5개의 배가 떨어졌다... 배가 떨어진거보니 까마귀가 난것이다.. 가 아니라 그 사이 바람이 불었다라거나.. 다른 요인도 있을수 있을것 같은데.. -> 이미 XX후보군중에 바람이 불었다 같은건 제외가 된걸까요? 10마리중 5개의 배가 떨어진 것의 대한 co relation이 충분히 있다고 보는것일까요?

[@byeongsookim1303]

영상의 핵심이 correlation(연관관계)이 아닌 causality(인과관계)를 찾는 현실적인 방법을 설명한 것이라 생각합니다. 말씀하신 까마귀, 배 예제에서 배가 떨어지는 것을 retain된 사용자라고 가정하면, 어떤 액션이 그것을 만드느냐를 찾는 것이죠. 액션의 후보군은 까마귀가 난다, 바람이 분다, 사람이 지나간다, 등등으로 놓고, RPV가 95%가 넘는것중 교차값이 최대인걸 골라내면 "까마귀가 난다" 같은 액션들은 탈락하게 되는 원리입니다.

[@liliiilllilillilii]

@@byeongsookim1303 네. 제가 인과관계라고 정확히 말씀은 못드렸지만.. 까마귀 날자 배떨어진다에서의 인과관계성이 부족한데.. 그것을 어떻게 걸러낼거냐라는 것이 질문이었습니다. 뒤에 RPV 95%이야기해주시면 걸러질것 같긴 합니다만.. 그정도까지 분석하기는 쉽지 않을것 같네요. p/m fit이 강하지 않은 경우 또는 경쟁사와의 시장주기에 따라서 사람들의 행동도 달라질것 같거든요.

[@user-po6bw3ct1j]

19:30 페이지 단위가 아니라 버튼 단위로 이탈율을 보는 방법이 있나요?? 페이지 도달률을 측정하면서 동시에 이탈을 보는건가요? 예상하는 특정 액션 단위로 이탈 검증 방법이 궁금합니다.

[@greatpioneer]

웹이랑 앱 차이같기도 한데 한 페이지 내에서 버튼으로 액션이 있는 경우 버튼마다로 더 잘게 나누라는 취지같습니다

[@junghyunpark2017]

Amplitude와 같은 이벤트 기반의 트래킹 툴을 활용하면, 해당 페이지 도달 후 우리가 의도한 버튼을 눌렀냐 안눌렀냐 등으로 이탈율을 볼 수 있지 않을까 싶습니다.

[@soooowwwww]

입력폼 같은 경우도 해당 입력폼에 내용을 입력했냐 안했냐 같이 이벤트를 잡을 수 있어요

[@yun4677]

저희는 일단 버튼클릭로그를 심었는데요 이렇게 하면 전반적으로 어디까지는 입력하고 나가는지는 파악 가능하지만 어디서 유입한 어떤 유저인지까지는 파악이 어렵네요..! 토론의 장을 열어주셨으니 다른 분들도 어떻게 측정했는지 공유해주시면 좋겠습니다🙏🙏🙏

[@byeongsookim1303]

@@yun4677 어디서 유입한 유저인지는 UTM source를 랜딩페이지에서 로깅하고 같은 세션으로 묶어주면 되지 않을까요?

[@supersonic5384]

Retain의 정의도 꽤나 중요해보입니다. 어떤 기준으로 유저가 Retain 되었다라고 판단할 수있을지, 물론 서비스마다 그에 따른 주기가 있을테고 그에 맞는 기간을 정의할 것 같지만 실제로 해보면 꽤나 어려운 부분들이더라구요. 그래서 질문 드립니다. 토스는 Retain과 Churn을 각각 어떻게 정의하셨나요? 아하 모먼트가 액티베이션이라면, 리테인의 기준이 액티베이션 통과 여부는 아닐거라 보이고.. 기간만으로 잡으셨을것 같은데. 실제 토스의 사례를 알려주시면 큰 도움이 될 것 같습니다..!

[@junghyunpark2017]

Retention이 된 유저를 retain 되었다고 본다고 저는 이해했습니다! Retention으로 잡는 기준은 특정 기간 동안 의미있는 액션을 했냐 안했냐로 볼 것 같아요. 예) 가입 후 매주 송금을 했으면 retain된 유저, 해당 기간 내에 송금을 하지 않았으면 churn된 유저.

[@byeongsookim1303]

중요한 질문이라 생각합니다. retain과 churn의 기준을 잘못잡으면 이게 모두 헛일이 되고 맙니다. 저도 토스의 정의는 모르지만 추측해 보자면 지난번 설명하신 retention cohort platau를 찾고 그 것이 시작되는 최초 시점이 retained 되었느냐 아니냐를 가름하는 기준이 될 것 같네요. churn은 retained된 유저들이 돌아오는 시간을 재봐서 95%이상이 돌아오는 최대시간을 넘는 것 정도로 정하면 되지 않을까요

[@rapidexecution]

ㅋㅋ 복잡하지 않고 걍 집계 쉬운 방법으로 했을거 같은뎅..

[@chatongooglemaps3869]

버즈맵에서 액티베이션 개선을 위해 버즈맵 지도에서 채팅시 4달러 상당의 가상부동산을 무료로 주고 있습니다.

[@hello1539]

화면 비율을 영화처럼 만들어놨네요 ㅋㅋㅋㅋ

[@user-pg3ub3xv5o]

RPV와 교차값 모두 교집합 부분을 뜻하는데, 어떤 점이 차이가 있어서 용어를 다르게 설정하셨나요? RPV는 단순히 교집합 부분(A)만을 뜻하고, 교차값은 A / (A+B+C) 값인지 궁금합니다.

[@junghyunpark2017]

7:42 에서 힌트를 얻을 수 있을 것 같아요. RPV는 retain된 유저가 그 행동을 할 확률을 의미하는 것이고, 교차값은 이 액션이 retain되는 유저에게만 해당되는 것인지를 파악하는 수단으로 이해했어요.

[@byeongsookim1303]

RPV = A/(A+B), 교차 = A/(A+B+C)

[@soso-zt5jl]

편하긴 해

[@ThinkWithSteven]

이런 좋은 정보는 남들이 안 봤으면 하는 바람이 있습니다.

[@rapidexecution]

ㅋㅋ 감동은 이해하지만 한국밖 애들이랑 떠서 이기려면 우리 다 각자 일당백해도 부족해요.. 더 나누고 커져야..

[@user-ik2ju7tj3v]

나 진짜 잘할 수 있는데 좀 뽑아주라~~~~~

[@tttttttttttt170]

12:47

[@user-rn7dd8rt5w]

ㅎㅇ

[@deallike]

토스 는 우리와 일하게 될 것 입니다. 우리는 2500만이 거주하고 있는 아파트 및 공동시설물 관리 플랫폼 프롭테크 딜라이크 입니다 딱 6개월 후에보시죠!

[@rapidexecution]

ㅋㅋㅋㅋㅋㅋㅋ 어우 반가워 이런스타일

[@junhhao2233]

Ux는 개발자나 연구진들이 더 잘한다는거 사실이였네

[@rapidexecution]

이 파트는 주제가 사용자량이라 유동성 얘긴데 이건 흐름이고 끈끈함 점도는 디자이너가 많은 영역을 차지하는 스토리가 관건임 얼마나 임팩트 줬는지 감동하는지 3x4 엑셀표에 드라이하게 보여줘도 되는거 곰이나 왕관 같은 아이콘을 쓴다던가 하는.. 아이콘들 그냥 주길래 받았는데 뱃지 모은거 확인해 보니까 코 빠진거 미션 하려다 보니 서비스 기획의도대로 행동하게 되는 그런거요 다 모아서 친구한테 자랑하고ㅇㅇ 암튼 디자이너 짱짱맨 design or resign!