feat: Knowledge Gardening Milestone 470 (Batch #24 - 40% Achieved)
This commit is contained in:
@@ -1,27 +1,28 @@
|
||||
---
|
||||
id: ANNEAL-001
|
||||
id: MATH-OPT-SA-001
|
||||
category: "[[10_Wiki/💡 Topics/AI]]"
|
||||
confidence_score: 1.0
|
||||
tags: [optimization, algorithm, heuristics, statistical-mechanics]
|
||||
tags: [math, optimization, simulated-annealing, heuristics, global-optimum, algorithm, stochastic-process]
|
||||
last_reinforced: 2026-04-26
|
||||
---
|
||||
|
||||
# [[Simulated Annealing (시뮬레이션 어닐링)]]
|
||||
# [[Simulated Annealing (시뮬레이티드 어닐링)]]
|
||||
|
||||
## 📌 한 줄 통찰 (The Karpathy Summary)
|
||||
> "지역 최적해에서 벗어나기 위해 때로는 '모험'을 허용하라" — 금속을 뜨겁게 달구었다가 천천히 식히며 결정 구조를 안정화시키는 담금질(Annealing) 과정을 모방하여, 확률적으로 더 나쁜 해를 수용함으로써 전역 최적해를 찾아가는 확률적 탐색 알고리즘.
|
||||
> "초기에는 뜨거운 열기(Randomness)로 지역적 최적해의 함정을 뛰어넘고, 서서히 식어가는 지혜(Cooling Schedule)를 통해 전역 최적해라는 완벽한 결정체를 형성하라" — 금속 공학의 담금질 원리를 모방하여, 복잡한 탐색 공간에서 지역 최적해(Local Optima)를 탈출하고 전역 최적해(Global Optimum)를 찾기 위한 확률적 최적화 기법.
|
||||
|
||||
## 📖 구조화된 지식 (Synthesized Content)
|
||||
- **추출된 패턴:** 초기에는 높은 '온도(Probability)'를 유지하여 탐색 공간을 넓게 훑고, 시간이 지남에 따라 온도를 낮추며 현재 위치 근처에서 정교하게 수렴하는 전역 최적화 패턴.
|
||||
- **세부 내용:**
|
||||
- **Metropolis Criterion:** 현재보다 좋지 않은 해라도 특정 확률($e^{-\Delta E / T}$)로 수용하여 지역 최적해(Local Optima) 탈출 유도.
|
||||
- **Cooling Schedule:** 온도를 낮추는 속도와 방식 정의. 너무 빠르면 지역 최적해에 갇히고, 너무 느리면 연산 비용 과다 발생.
|
||||
- **Combinatorial Optimization:** 외판원 문제(TSP)나 회로 설계 등 탐색 공간이 방대하고 불연속적인 문제에서 강력한 성능 발휘.
|
||||
- **추출된 패턴:** "Stochastic Exploration and Gradual Convergence" — 현재보다 좋지 않은 해(Solution)라도 온도($T$)에 따른 특정 확률로 수용함으로써 탐색의 범위를 넓히고, 시간이 흐름에 따라 온도를 낮춰 점점 정교하게 정답에 안착하는 패턴.
|
||||
- **핵심 메커니즘:**
|
||||
- **Temperature ($T$):** 탐색의 무작위성을 결정하는 변수. 초기에 높고 서서히 낮아짐.
|
||||
- **Metropolis Criterion:** 나쁜 해를 수용할 확률 $P = \exp(-\Delta E / T)$. 온도가 높을수록, 오차가 작을수록 나쁜 해를 더 잘 받아들임.
|
||||
- **Cooling Schedule:** 온도를 얼마나 빨리 식힐지 결정하는 함수. 학습의 성패를 좌우함.
|
||||
- **의의:** 수학적으로 해를 구하기 어려운 조합 최적화 문제(예: TSP)나 매우 복잡한 손실 함수를 가진 모델 학습에서 전역적인 시야를 유지하게 해주는 강력한 메타휴리스틱 도구.
|
||||
|
||||
## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
|
||||
- **과거 데이터와의 충돌:** 미분이 가능한 공간에서의 경사 하강법에 비해 속도는 느리지만, 미분이 불가능하거나 매우 불규칙한 에너지 지형을 가진 문제에서 여전히 독보적인 유연성을 가짐.
|
||||
- **정책 변화:** Antigravity 프로젝트의 자원 할당 최적화 및 복잡한 워크플로우 스케줄링 시, 시뮬레이션 어닐링 알고리즘을 사용하여 최적의 배치 조합을 산출함.
|
||||
- **과거 데이터와의 충돌:** 연산 속도가 느리다는 단점 때문에 경사 하강법(Gradient Descent)에 밀리는 듯했으나, 경사 정보를 알 수 없는 비연속적 공간이나 강화학습의 하이퍼파라미터 최적화 등에서 여전히 대체 불가능한 가치를 발휘함.
|
||||
- **정책 변화:** Antigravity 프로젝트는 에이전트의 작업 스케줄링 최적화나 복잡한 지식 그래프의 클러스터링 초기값 설정 시, 지역 최적해 함정을 피하기 위해 시뮬레이티드 어닐링의 확률적 탐색 로직을 적용함.
|
||||
|
||||
## 🔗 지식 연결 (Graph)
|
||||
- [[Optimization]], [[Genetic-Algorithms]], [[Stochastic-Gradient-Descent]], [[Statistical-Mechanics]]
|
||||
- [[Optimization-Algorithms]], [[Randomized-Algorithms]], [[Reinforcement-Learning]], [[Algorithm-Complexity-Analysis]]
|
||||
- **Raw Source:** [[10_Wiki/Topics/AI/Simulated-Annealing.md]]
|
||||
|
||||
Reference in New Issue
Block a user