---
id: P-REINFORCE-AI-ABTEST
category: "[[10_Wiki/💡 Topics/AI]]"
confidence_score: 0.96
tags: [A/B Testing, Statistics, Experiment, Growth Hacking]
last_reinforced: 2026-04-20
---

# [[A_B-Testing-Platforms]] (A/B 테스트 및 실험 설계)

## 📌 한 줄 통찰 (The Karpathy Summary)
> "내 생각엔 이게 좋다"는 주관성을 버리고, "사용자는 실제로 이렇게 반응한다"를 통계적으로 증명하는 마케팅과 엔지니어링의 결합체다.

## 📖 구조화된 지식 (Synthesized Content)
- **Hypothesis Testing (가설 검증)**:
    - "버튼 색상을 파란색에서 빨간색으로 바꾸면 클릭률(CTR)이 10% 오를 것이다"라는 명확한 가설을 세우고 실험군(A)과 대조군(B)으로 트래픽을 분할한다.
- **Statistical Significance (p-value)**:
    - 실험 결과가 '우연'에 의한 것인지 아니면 '의도된 변화'인지 판별한다. 보통 p-value < 0.05를 기준으로 유의미함을 결정한다.
- **Multi-armed Bandit (MAB)**:
    - 실험 중간에 성적이 좋은 쪽에 트래픽을 실시간으로 더 배분하여 '실험 비용'을 최소화하고 '수익'을 극대화하는 고도화된 타겟팅 알고리즘.

## ⚠️ 모순 및 업데이트 (RL Update)
- 한 번에 너무 많은 변수를 바꾸는 것은 금물이다(Simpsons Paradox). 오직 하나의 변인만 통제하여 결과의 인과관계를 명확히 해야 한다. 또한 장기적 영향(Late Arrival Bias)을 고려하여 최소 일주일 이상의 실험 기간을 확보하라.

## 🔗 지식 연결 (Graph)
- Related: [[Behavioral-Economics]] , [[Nudge Theory]]
- Implementation: [[React_State_Management_Strategy]]