Files

T

koriweb 5ba5a55c78 feat: Wiki 지식 자산 업데이트 - UX Scenarios, Frontend, Game Design, Topics 추가 [2026-05-08]

2026-05-08 19:52:07 +09:00

5.7 KiB

Raw Blame History

id, title, category, status, canonical_id, aliases, duplicate_of, source_trust_level, confidence_score, tags, raw_sources, last_reinforced, github_commit, inferred_by, tech_stack

title

Exploration vs Exploitation

📌 한 줄 통찰 (The Karpathy Summary)

"모험과 안주의 저울질: 이미 알고 있는 최선을 선택하여 확실한 이득을 챙길 것인가(Exploitation), 아니면 더 큰 보상이 있을지 모르는 새로운 영역을 탐험할 것인가(Exploration) 사이의 영원한 전략적 딜레마."

"안전한 현재의 수익과 불확실한 미래의 가능성 사이에서 최적의 배팅 지점을 찾아라" — 강화학습의 핵심 딜레마로, 이미 알고 있는 최선의 행동을 반복하여 보상을 얻는 것(Exploitation)과 더 나은 행동을 찾기 위해 새로운 시도를 하는 것(Exploration) 사이의 트레이드오프.

📖 구조화된 지식 (Synthesized Content)

탐사 대 이용(Exploration vs Exploitation)은 강화학습과 의사결정 이론의 핵심적인 트레이드오프 문제입니다.

두 개념:
- Exploitation (이용): 과거 경험상 보상이 가장 컸던 행동을 반복. 단기 수익 최적화.
- Exploration (탐사): 정보가 부족한 새로운 행동을 시도. 장기적인 '더 나은 최적해' 발견 가능성.
해결 전략:
- Epsilon-Greedy: 대부분(1-\epsilon)은 이용하되, 무작위(\epsilon)로 탐사.
- UCB (Upper Confidence Bound): 불확실성(가보지 않은 곳)에 가중치를 두어 탐사 유도.
- Thompson Sampling: 확률 분포를 기반으로 유연하게 선택.

추출된 패턴: 제한된 자원(시간, 에너지) 내에서 누적 보상을 극대화하기 위해 초기에는 광범위하게 탐색하고, 정보가 쌓일수록 최선의 선택에 집중하는 적응형 의사결정 패턴.
주요 전략:
- $\epsilon$-greedy: 아주 작은 확률(\epsilon)로 무작위 행동을 하고, 나머지 확률로 최선의 행동 수행.
- Softmax: 보상 가치에 비례한 확률로 행동 선택.
- Upper Confidence Bound (UCB): 불확실성이 큰 행동에 가산점을 주어 우선적으로 탐색.
- Thompson Sampling: 확률 분포를 모델링하여 샘플링 기반으로 탐색 결정.
의의: 너무 빨리 활용에만 집중하면 지역 최적해(Local Optima)에 갇히고, 너무 탐색만 하면 보상을 충분히 얻지 못함.

⚠️ 모순 및 업데이트 (Contradictions & Updates)

과거 데이터와의 충돌: 과거에는 최대한 빠르게 '안주 정책'으로 들어가는 것이 효율적이라 보았으나, 현대 정책은 복잡한 환경일수록 시스템에 '호기심(Curiosity) 정책'을 주입하여 끝까지 탐사하게 하는 것이 궁극의 지능을 만든다고 믿음(RL Update). (Reinforcement Learning과 연결)
정책 변화(RL Update): 비즈니스 전략 정책에서, 기존 수익 모델에 안주하는 것(Exploitation)과 신사업을 발굴하는 것(Exploration) 사이의 '양손잡이 경영 정책'의 이론적 토대가 됨. (Strategic-Planning과 연결)

과거 데이터와의 충돌: 단순히 '운'에 맡기던 무작위 탐색에서, 수학적 근거(UCB 등)를 바탕으로 '똑똑하게' 탐색하는 방식으로 진화.
정책 변화: Antigravity 프로젝트의 지식 검색 에이전트는 사용자의 질문에 대해 가장 관련성 높은 문서만 보여주는 것(Exploitation)을 넘어, 가끔은 의외의 연결 고리를 가진 문서를 제안(Exploration)하여 창의적 통찰을 돕도록 설계됨.

🔗 지식 연결 (Graph)

Reinforcement Learning (RL), Multi-Armed Bandit (MAB), Decision Theory, Strategic-Planning, Optimization
Modern Tech/Tools: Recommender_systems (Exploration balance), A/B Testing algorithms.

Reinforcement-Learning, Q-Learning-Foundations, Multi-Armed-Bandit-MAB, Decision-Making
Raw Source: 10_Wiki/Topics/AI/Exploration-vs-Exploitation.md

🤖 LLM 활용 힌트 (How to Use This Knowledge)

언제 이 지식을 쓰는가:

(TODO)

언제 쓰면 안 되는가:

(TODO)

🧪 검증 상태 (Validation)

정보 상태: needs_review
출처 신뢰도: A
검토 이유: (P-Reinforce Phase 1 자동 정규화. 본문 검증 필요.)

🧬 중복 검사 (Duplicate Check)

기존 유사 문서: (TODO: 인덱서 클러스터 리포트 참조)
처리 방식: UPDATE (자동 정규화)
처리 이유: Phase 1 정규화 — 옛 템플릿/누락 필드 보강.

🕓 변경 이력 (Changelog)

날짜	변경 내용	처리 방식	신뢰도
2026-05-08	P-Reinforce Phase 1 정규화 (frontmatter + 헤더 표준화)	UPDATE	A

💻 코드 패턴 (Code Patterns)

패턴 1: (TODO: 이 프로젝트 컨벤션 반영한 구조 스켈레톤)

# TODO

🤔 의사결정 기준 (Decision Criteria)

선택 A를 써야 할 때:

(TODO)

선택 B를 써야 할 때:

(TODO)

기본값:

(TODO)

❌ 안티패턴 (Anti-Patterns)

[안티패턴]: (TODO: 무엇을 하면 안 되는가 + 이유 + 대신 무엇을)

5.7 KiB Raw Blame History