본문 바로가기

PM의 일

 (19)
A/B 테스트의 모든 것 by. 핵클 2021.12.02 힙데비와 핵클에서 진행한 A/B 테스트 강의 정리 👉 노션으로 좀 더 편하게 볼 수 있습니다 :) 배경 왜 A/B test를 해야할까? Agile 개발을 하는 이유: 빠른 성장 속도 빠르게 변화하는 환경에서 고객들의 요구 사항을 받아 반영하기 위해 우리의 목적? 고객들이 필요한 것을 제공하고, 불편한 것은 적용하지 않음 📌 A/B test는 빠른 성장을 위해 고객들이 원하는 서비스를 제공하기 위한 테스트 방법 1. 실험은 무엇인가요? 우리가 배웠던 실험을 되돌아보면? 강낭콩 예시 강낭콩을 더 잘 키우기 위해(output) 강낭콩이 원하는 요소(input)를 어떻게 찾을 수 있을까? 햇빛이 중요하지 않을까? → 변수(햇빛)의 영향도를 파악하는 것 = 실험 가설 빛의 양이 많으면 강낭콩이..
기업의 디지털 책임: 카카오 증오발언 근절을 위한 원칙 나는 어떤 프로덕트를 만들고 싶을까? 솔직히 아직까지도 잘 모르겠지만 확실한 건 누구도 상처주지 않고 아무도 다치지 않는 안전한 프로덕트를 만들고 싶다는 생각을 한다. 그게 불가능에 가까운 일이라고 해도, 불가능하다는 핑계에 숨어서 책임을 회피하는 사람이 되기는 싫다. 가능하냐 안 하느냐가 아니라, "그럼에도 불구하고" 노력과 책임감이 더 중요한 영역도 있다. 그런 점에서 1/13일에 발표한 카카오의 "기업의 디지털 책임" 의 일부로, 증오 발언 관련 원칙을 정하는 숙의 과정을 공개한 점이 인상깊다. 형식적으로 꾸며낸 말이 아니라 진지한 고민이 보이기 때문이다. 표현의 자유를 이야기 하면서, 어떻게 hate speech가 다른 누군가의 발언권을 빼앗을 수 있는 지 설명한다. 모든 말을 허용하는 것이 표현..
서비스 뒤에 사람 래퍼분 인터뷰를 했다. 사실 지난 몇개월 동안 프로젝트를 진행하면서 내가 기획한 서비스에 대한 열정도, 새로운 서비스에 대한 아이디어를 낼 자신도 다 사라진 상태였다. 몇달째 이 프로젝트는 끝내지도, 제대로 책임지지도 못하고 마음 한 켠에 불쑥불쑥 찾아오는 불편한 존재였다. 그리고 대표가 래퍼들을 위한 가사를 생성해주는 인공지능을 다음 서비스로 만들겠다며, 나한테 화면을 기획 해달라고 했다. 그래서 화면을 짜는데, 화면을 짜는 내내 스스로 짜증과 화가 치밀었다. '대체 이걸 왜 해야 되지?' '이게 도대체 무슨 의미지?' 스스로도 납득이 안되는데, 그걸로 누가 누굴 설득하겠다는건지라는 한심함이 머리 속에서 떠나질 않았다. 대표한테 전화해서 이걸 왜 해야 되는지 모르겠다고 말했다. 내 이야기를 듣더니 대표..
개발 지식 컴퓨터는 CPU, 메모리, 보조기억장치(HDD, SSD)와 같은 부품을 가지고 있습니다. CPU는 중앙처리 장치로, 인간의 뇌 역할이라고 생각하면 된다. 주로 연산(함수, 덧셈, 뺄셈 다), 제어(명령어 순서), 저장 등을 처리한다. CPU가 작동하는 방식은 다음과 같다. 1. 주기억장치는 입력장치에서 입력받은 데이터 또는 보조기억장치에 저장된 프로그램을 읽어옵니다. 2. 중앙처리장치는 프로그램을 실행하기 위해 주기억장치에 저장된 프로그램 명령어와 데이터를 읽어와 처리하고 결과를 다시 주기억장치에 저장합니다. 3. ​주기억장치는 처리 결과를 보조기억장치에 저장하거나 출력장치로 내보냅니다. 4. 제어장치는 1 ~ 3 과정에서 명령어가 순서대로 실행될 수 있도록 각 장치를 제어합니다. 출처: https://..
지난 6주 돌아보기 PM은 함께 만들 것을 기획하고 고객 가치와 사업가치를 창출하는 역할이다. 이에 대해 첫 2주는 고객 가치, 나머지 2주는 사업 가치, 지난 2주는 프로덕트를 만드는 실행에 대해 배웠다. 기획에서 전략은 목표를 달성하는 일이다. 전략은 제품 전략(하위 전략)과 사업 전략(상위 전략)으로 나뉘는데, 초기에 두 전략은 유사하지만, 사업이 확장될수록 조금씩 괴리가 생긴다. 따라서 프로덕트 전략과 사업 전략을 구분해서 설명하면, 프로덕트 전략은 고객의 문제를 해결해주는 것이다. 때문에 PM에게 고객의 문제를 정의하는 일은 가장 중요한 일의 일부이다. 사실 "고객의 문제 정의"가 중요하다는 건 반복해서 들어서 머리로는 이해했는데, 막상 6주차인 지금 와서 프로덕트 리뷰를 할 때는 일단 스토리 매핑과 UX 분석을 ..
애자일과 워터폴 애자일과 워터폴의 차이는 무엇인가? 애자일과 워터폴 수업을 들으며, 이해가 안 되었던 부분을 위주로 질문을 던지고 답하면서 정리해 보았다. 그 결과 애자일과 워터폴이 일하는 과정에서 직면하는 문제와 일하는 방법이 드라마틱한 차이를 보이지는 않을 것 같다고 생각했다(프로덕트 자체가 너무 불확실하다는 점에서 그러하기도 하고, 애자일과 워터폴이 짬뽕되서 그럴 수도 있고..). 다만, 구성원들끼리 문제에 어떻게 반응하고 해결할 지를 고민하는 철학과 문화가 다르다는 생각이 들었다. 가령, 개발자와 디자이너가 프로덕트를 어느 수준으로 이해하고 있고, 따라서 어디까지를 자신의 역할로 생각하는 지, 실수와 실패를 어떻게 받아들이는 지 등등이 애자일과 워터폴의 큰 차이라고 생각한다. 실제로 애자일 선언을 보면 “개인과 ..
A/B 테스트와 p-value A/B 테스트는 뭘까? 앞선 글에서 A/B 테스트를 정리하면서도 여러 질문이 떠올랐다. 지표 개선을 위해 과연 매번 A/B 테스트를 해야 하는 걸까? A/B 테스트는 결국 화면 설계 이상의 문제를 검증하긴 하는 걸까? 결과에 영향을 미치는 외부 변수는 어떻게 통제하는 걸까? 통계 분석에 필요 가정들을 실무 단계에서 어떻게 지키는걸까? 등등 그래서 A/B 테스트가 어떨 때 활용되는지 좀 더 자세히 찾아보았다. 보통 A/B 테스트의 목적은 사이트 최적화와 전환율(conversion)을 높이는 것이라고 한다. 콘텐츠나 배너의 배치에 따른 유저 클릭수의 변화 측정이 A/B 테스트의 전형적인 예시이다. 보통 두 집단 비교가 많지만, 여러 변수를 비교하고 싶을 경우 multivariate testing을 실시하기도..
PM의 데이터분석 데이터…….통계.…GA…….SQL…?!!!! 데이터 분석을 떠올리면 머리가 뒤죽박죽이 된다. 왜인지는 잘 모르지만 데이터가 중요하다는 이야기가 맴돌고, 뭔지는 모르지만 어디선가 주워들은 파이썬과 SQL만 떠오르기 때문이다. 뒤죽박죽이 된 머리를 정리하기 위해, 실제 프로덕트가 운영되면서 쌓이는 데이터란 무엇인지, 어디부터 어디까지 어떻게 데이터가 흐르는 것인지, 데이터 관련해서 사람들이 뭘 하고 있는지, 도대체 실무에서 쓰는 통계 분석은 뭐고 그놈의 GA와 SQL은 뭔지!부터 정리해보았다. (다만, 이 질문에서는 기획자의 데이터 설계 역할(어떤 데이터를 어떻게 수집할 지 범위를 정의하고, 어떻게 사용할 지 운영 정책을 세우는 일 등)은 제외했다. 넷플릭스나 왓챠의 추천 알고리즘처럼 데이터 자체가 프로덕트..

티스토리툴바