2nd/10_Wiki/Topics/Topic_Agent/Hierarchy of Evidence.md

id, title, category, status, verification_status, canonical_id, aliases, duplicate_of, source_trust_level, confidence_score, created_at, updated_at, review_reason, merge_history, tags, raw_sources, applied_in, github_commit

id	title	category	status	verification_status	canonical_id	aliases	duplicate_of	source_trust_level	confidence_score	created_at	updated_at	review_reason	merge_history	tags	raw_sources	applied_in	github_commit
hierarchy-of-evidence	Hierarchy of Evidence	10_Wiki/Topics	draft	conceptual		증거의 위계 Validation Hierarchy		B	0.85	2026-06-12	2026-06-12			research Assumption Validation Loop	NotebookLM Synthesis	Dropbox: Demo Video Waitlist [1] Airbnb: Paying Guests [2] Buffer: Landing Page with Pricing [1] Zappos: Manual Fulfillment [2]

Hierarchy of Evidence

🎯 한 줄 통찰 (One-line insight)

가설 검증의 신뢰도는 사용자의 단순한 긍정적 답변이 아니라, 사용자가 투입하는 행동적 헌신(Commitment)의 강도에 의해 결정된다 [3, 4].

🧠 핵심 개념 (Core concepts)

• 헌신 기반 검증 (Commitment-based Validation): 검증의 핵심은 '무엇을 말하는가'가 아니라 '무엇을 거는가(Skin in the game)'에 있다 [4, 5].
• 의도-행동 격차 (Say-Do Gap): 구매 의향에 대한 구두 답변은 실제 구매 행동을 약 60%가량 과대평가하는 경향이 있다 [4].
• 증거의 강도 (Evidence Strength): 수집된 데이터의 유형에 따라 사업적 결정을 내릴 수 있는 확신의 수준이 달라진다 [3, 4].

🧩 추출된 패턴 (Extracted patterns)

• 점진적 투자 패턴: 증거의 위계가 낮을 때는 적은 자원을 투입(랜딩 페이지 등)하고, 위계가 높아짐에 따라 투자를 확대하는 전략을 취한다 [4].
• 행동 데이터 우선 주의: 의견(Opinion)이나 설문(Survey)보다 행동(Action) 데이터(클릭, 가입, 결제)를 상위 증거로 간주한다 [6-8].
• 실패 지점의 명확화: 위계가 높은 실험일수록 가설이 틀렸음을 입증하는 '킬 크라이테리어(Kill Criteria)'를 설정하기가 더 용이하다 [9, 10].

📖 세부 내용 (Details)

증거의 위계는 수집된 검증 데이터의 신뢰 수준을 4단계로 구분한다 [3].

1. 언어적 확인 (Verbal Confirmation) - 가장 낮음(Weak):

   • "그 제품이 나오면 사용할 것 같아요"와 같은 구두상의 칭찬이나 긍정적 피드백이다 [3].
   • 사람들은 예의를 지키기 위해 거짓말을 하는 경향이 있으므로, 비즈니스를 걸기에는 매우 위험한 신호다 [4, 9].

2. 평판 헌신 (Reputation Commitment) - 보통(Moderate):

   • 사용자가 자신의 동료를 소개하거나, 공개적으로 해당 솔루션을 지지하는 등 자신의 사회적 평판을 거는 행위이다 [3].
   • 단순한 말보다 한 단계 더 나아간 의지를 보여준다 [3].

3. 시간 헌신 (Time Commitment) - 높음(Strong):

   • 제품 대기 명단(Waitlist)에 가입하거나, 상세 데모 세션에 참석하거나, 베타 테스팅에 시간을 할애하는 경우이다 [3].
   • 사용자가 자신의 유한한 자원인 '시간'을 투입한다는 점에서 강한 수요 신호로 간주된다 [3, 4].

4. 재무적 헌신 (Financial Commitment) - 가장 높음(Strongest):

   • 사전 주문, 보증금 지불, 또는 구속력 있는 의향서(LOI) 서명이 이에 해당한다 [3, 4].
   • 실제 현금이 오가는 시점에서 비즈니스 모델의 수익성이 실질적으로 검증된다 [4, 11].

검증의 유효성 판단 기준:

• 저충실도(Low-Fi) MVP: 주로 수요(Demand)와 언어적 확인을 검증하는 데 적합하다 [6, 12].
• 고충실도(High-Fi) MVP: 실제 사용자 행동과 재무적 헌신을 이끌어내어 가치(Value)와 사용성(Usability)을 심층적으로 검증한다 [6, 13].

⚖️ 모순 및 업데이트 (Contradictions & updates)

• 검증 연극 (Validation Theater): 단순히 질문을 하고 긍정적인 답을 얻는 행위는 실제 검증이 아니라 안심하기 위한 '의식'에 불과하며, 위계상 최하위 증거에 머문다 [14, 15].
• AI 도구의 양면성: AI를 활용해 더 빠르게 무언가를 만들 수 있게 되었으나, 이는 '실제 수요'와 상관없는 '잘못된 제품'을 만드는 속도 또한 가속화하므로 증거 위계에 따른 엄격한 검증이 더욱 중요해졌다 [16].

🛠️ 적용 사례 (Applied in summary)

• Dropbox: 실제 코드를 짜기 전, 동작 원리를 설명하는 데모 비디오를 공개하여 75,000명의 대기 명단(시간 헌신)을 확보함으로써 수요를 검증했다 [1, 16].
• Airbnb: 디자인 컨퍼런스 기간 중 자신의 아파트에 에어매트리스를 놓고 실제 3명의 유료 투숙객(재무적 헌신)을 받아 비즈니스 모델의 생존 가능성을 입증했다 [2, 17, 18].
• Buffer: 랜딩 페이지에서 가격 책정 페이지를 클릭하는 행동을 추적하여, 사용자가 단순히 관심이 있는 것인지 실제로 지불 의사(재무적 헌신 의도)가 있는지를 구분하여 검증했다 [1, 19, 20].
• Zappos: 재고를 확보하기 전, 인근 신발 가게의 사진을 찍어 웹사이트에 올리고 주문이 들어오면 직접 가서 사서 배송하는 방식(재무적 헌신 수집)으로 온라인 신발 구매 수요를 확인했다 [2, 21, 22].

✅ 검증 상태 및 신뢰도

• 상태: draft
• 검증 단계: conceptual (실제 적용 사례 발견 시 applied/validated로 승격 가능)
• 출처 신뢰도: B (Official Documentation / Primary Source via NotebookLM)
• 중복 검사 결과: 신규 생성 (New discovery)

📝 변경 이력 (Change history)

• 2026-06-12: Initial draft generated via Datacollector_MAC P-Reinforce engine.