실험 사후 분석/회고 (Post-Mortem Analysis)
Post-Mortem Analysis
💡 3줄 핵심 꿀팁 요약
실험 사후 분석은 성공 여부 검증을 넘어 통계적 유의성 이면의 사용자 행동 변화를 정량·정성적으로 해부하는 과정입니다. 실패한 실험에서 '왜곡된 세그먼트'나 '숨겨진 반대 효과'를 찾아내어 다음 스프린트의 고성능 가설로 전환합니다.
많은 그로스 팀이 A/B 테스트에서 유의미한 결과(P-value < 0.05)가 나오지 않으면 실험을 실패로 규정하고 단순히 백로그에 묻어둡니다. 이로 인해 동일한 실패 패턴을 반복하고 유용한 인사이트를 폐기하는 심각한 비효율이 발생합니다. 실험 사후 분석(Post-Mortem)은 전체 집단에서는 효과가 없었더라도 특정 코호트나 세그먼트에서 발생한 긍정적/부정적 시그널을 발굴하여 리소스 낭비를 막고 데이터 기반의 다음 액션을 도출합니다.