다른 사람의 마음을 읽는 일은 항상 어렵습니다. 다른 나라에 살고 있는 사람의 마음을 읽기는 더욱 어려운것 같습니다.

안녕하세요. 강남언니에서 해외사업 프러덕트 디자이너 Ally입니다. 회사에서 일본을 대상으로 서비스를 만들고 있습니다. 오늘은 해외의 유저를 대상으로한 여러번의 A/B테스트를 통해서 배운점들을 공유해보고자 합니다.

한국에서 해외의 서비스를 만들고 있기 때문에 해외 유저의 마음을 더 잘알기 위해 정성적, 정량적인 방법을 사용하고 있습니다. 그 중 정량적으로 고객을 더 잘 알아가기 위해 진행하고 있는 AB테스트는, 유저에 대한 흐릿했던 많은 가설들을 더 선명하게 알아갈 수 있는 지름길 중에 하나라고 생각합니다. 우리가 목표한 지표에 닿기 위한 UX는 무엇인지 워딩은 무엇인지 유저에게 직접 인터뷰하지 않고 유저는 사용하면서 자연스럽게 서비스를 사용하면서 선택으로 우리에게 답을 말해주기 때문입니다.

이번 테스트는 강남언니 일본 유저가 사용하는 로그인 화면을 실험했습니다. 초기에 시행했던 AB테스트는 아래와 같은 절차를 거쳐 설계를 진행했습니다.

1차 실험 - 시행착오의 시작

문제사항 정의

마케팅을 통해서 유저를 많이 모아왔지만, 회원가입 창에서의 이탈이 많아 회원가입으로 이루어지지않는다.

로그인 화면을 보는 유저 수에 비해 회원가입까지 완료하는 유저의 수는 59.9%로 절반 조금 넘는 회원들만 가입으로 전환하는 현상을 발견할 수 있었습니다.

가설 설정

일본 유저들은 액션을 취하려면 정보가 필요하다. 기존의 회원가입/로그인 화면(Control)에서 주는 정보의 양이 너무 적기 때문에 유저가 다운로드 한 앱이 무슨 앱인지 파악하기 어려워 전환이 되지 않을 것이다.

결론 도출

일본 유저들에게 회원가입 단계에서 앱에 대한 정보를 제공해 전환율을 높이도록하자.

디자인 개선

개선된 ABC안을 만들면서 집중했던 점은 앱에 대한 정보를 다양하게 전달해주는 것이었습니다. 어떤 정보가 유저의 가입 전환율을 가장 높일 수 있을까? 라고 생각해보며 이벤트강조안(A), 앱 기능강조안(B), 앱 내용보여주기안(C)을 만들었습니다.

한가지 더 개선해보았습니다. 시작하기 버튼이 너무 다양해서 무엇을 눌러야할지 모르는 유저에게 한가지를 가장 강조해주면서 고민할 시간을 줄여준다는 가설에서 시작하여 일본에서 가장 많이 사용하는 SNS 버튼만을 강조하고 나머지 버튼의 시각적 중요도를 낮춰주었습니다.

신나게 실험에 들어갔습니다. 그러나 처참한 결과를 맞게됩니다. A 기존안이 가장 높은 전환률로 모두 하향평준화 되어 버린것입니다. 디자인을 개선했는데, 기존안이 더 효율이 좋다는 결론이 나오면서 디자이너는 엄청난 탄력감을 겪게되었습니다.. (Cry)

실험에 대해서 복기해보니, 뭔가 잘못 실험한것만 같은 생각이 들었습니다. 그래서 바로 스쿼드원들과 이번 실험에 대한 회고를 해보았습니다. 다음 실험에는 같은 실수를 반복하지 않기 위해서..!

변수가 너무 많았다.

과연 가설이 틀렸던 것이었나? 그에 대한 답은 '알 수 없었다'입니다. 유저에게 테스트할때에는 무엇이 변수인지 확실히 알려면 통제변수가 필요합니다. 이 실험은 정확히 말하면 가설이 2가지였던 것입니다. '일본 유저들은 액션을 취하려면 정보가 필요하다.' 와 '버튼이 많아서 로그인 전환이 힘들었을 것이다.'

적은 모수에 너무 많은 시안을 테스트했다.

일본 유저의 유입자체가 적어 유의미한 테스트 결과를 얻기까지 2달정도가 걸렸습니다. 결과를 얻기 까지 너무 오랜시간이 걸리니 그 중간에 마케팅의 방향성이 바뀌어 버리는 상황도 발생했었습니다. 성과를 빠르게 측정하기 위하여 2-3개의 시안을 테스트하자는 방향성이 정해졌습니다.

새로운 가설

이번 실험을 통해서 새로운 가설이 등장했습니다. '유저는 소셜로그인 버튼이 부담스러웠을 수 있다.' 유저의 정보가 성형관련 어플에서 드러날 수도있을 것이라는 우려에 거부감을 느꼈다는 유저인터뷰가 있었습니다. 일본 유저가 사용하는 대표적인 간편로그인으로 몰면 생각할 시간이 줄어 빠르게 전환될 것이라 생각한 버튼에 대한 가설이 틀렸을 가능성을 알게되었습니다.

2차 실험 - 반영의 결과

회고를 반영하여 실험을 다시 계획해 보았습니다.

제한변수

하단의 버튼 갯수, 위치, 문구를 제한하였습니다. 그리고 위에 컨텐츠만 변화를 주어

그리고 하단에는 'SNS에 공유되지 않으니 안심하세요.' 문구를 추가해주어 한번더 안심하고 전환될 수 있도록 마이크로카피를 추가했습니다.

갯수를 줄여 AB 테스트

기한을 3주로 정해두고 실험의 갯수를 줄여 유의미한 결과를 얻을 수 있도록 실험을 설계하였습니다. 이전 테스트에서 빠르고 정확하게 실험하하고 그 안에서 레슨을 얻는것이 테스트의 의미라는 교훈을 확실히 얻었기 때문입니다.

테스트 결과

로그인 화면에 들어온 유저를 세 그룹으로 나눠서 한 그룹에는 바뀐 A안(이벤트 강조안) 보여주고, 두번째 그룹에는 B안(앱 내용보여주기) 다른 한 그룹에는 기존과 동일하게 워딩으로만 노출하였습니다. 두번째 그룹이 병원을 보는 수는 기존 그룹보다 3.58% 높게 나왔습니다.

지난 1년동안 여러 테스트를 통해 유저의 가입 퍼널을 개선한 결과 회원 가입 전환률이 1년 대비 20% 상승한 결과를 관찰할 수 있었습니다.

로그인 페이지는 유저가 가장 많이 선택하고 회원가입 A안(이벤트 강조안)이 선택되었습니다. 단순히 문구만 적혀있는 안보다 앱에 로그인 하게되면 어떤 컨텐츠를 볼 수 있는지 보여주는 안이 더 효율적이라는 것을 알게 된 실험이었습니다! 이 다음에도 유저들의 관심사 기반으로 컨텐츠를 보여줄 수 있는 실험을 계획해보고 있습니다.

욕심을 내려놓고 한가지만 물어보자

이번 테스트를 통해서 배운점은 테스트를 설계할때에는 문제상황을 명확히 설정한 뒤 가설을 날카롭게 가다듬어 한가지로 통일하는 것이 정말 중요하다는 것입니다.

공을 들여 가설을 한가지로 설정했다면 이번 테스트에서 관찰 하는 것은 그것 한가지입니다. 일정의 여유로 다른 개선을 할 수 있더라도 가설을 검증하기 위해 다른 변수들을 통제해야합니다. 많은 개선을 해내는것이 때로는 실험에서 중요한 일이 아닐 수 있습니다. '당연히..'라고 생각하면서 넣었던 변화가 테스트의 목적을 흐릴 수 있다는 것을 알았습니다.

AB테스트의 이론에 대해 모두 알고 있으실지도 모르겠습니다. A/B 테스트를 약 4달간 2번 개선해보면서 얻게된 교훈을 통해, 이 글을 읽는 여러분들 그리고 제가 다음 테스트할때 같은 시행착오를 겪지 않았으면 하는 간절한 마음으로 기록하고 공유합니다.