2nd/10_Wiki/Topics/AI/A_B-Testing-Platforms.md

id, category, confidence_score, tags, last_reinforced

id	category	confidence_score	tags	last_reinforced
P-REINFORCE-AI-ABTEST	10_Wiki/💡 Topics/AI	0.96	A/B Testing Statistics Experiment Growth Hacking	2026-04-20

A_B-Testing-Platforms (A/B 테스트 및 실험 설계)

📌 한 줄 통찰 (The Karpathy Summary)

"내 생각엔 이게 좋다"는 주관성을 버리고, "사용자는 실제로 이렇게 반응한다"를 통계적으로 증명하는 마케팅과 엔지니어링의 결합체다.

📖 구조화된 지식 (Synthesized Content)

• Hypothesis Testing (가설 검증):
  • "버튼 색상을 파란색에서 빨간색으로 바꾸면 클릭률(CTR)이 10% 오를 것이다"라는 명확한 가설을 세우고 실험군(A)과 대조군(B)으로 트래픽을 분할한다.
• Statistical Significance (p-value):
  • 실험 결과가 '우연'에 의한 것인지 아니면 '의도된 변화'인지 판별한다. 보통 p-value < 0.05를 기준으로 유의미함을 결정한다.
• Multi-armed Bandit (MAB):
  • 실험 중간에 성적이 좋은 쪽에 트래픽을 실시간으로 더 배분하여 '실험 비용'을 최소화하고 '수익'을 극대화하는 고도화된 타겟팅 알고리즘.

⚠️ 모순 및 업데이트 (RL Update)

• 한 번에 너무 많은 변수를 바꾸는 것은 금물이다(Simpsons Paradox). 오직 하나의 변인만 통제하여 결과의 인과관계를 명확히 해야 한다. 또한 장기적 영향(Late Arrival Bias)을 고려하여 최소 일주일 이상의 실험 기간을 확보하라.

🔗 지식 연결 (Graph)

• Related: Behavioral-Economics , Nudge Theory
• Implementation: React_State_Management_Strategy