chore(wiki): reinforce knowledge batch #6-#10 (200 docs milestone)

This commit is contained in:
Antigravity Agent
2026-04-26 15:07:47 +09:00
parent f541717fe1
commit c612160a13
265 changed files with 8026 additions and 1113 deletions
+15 -24
View File
@@ -1,36 +1,27 @@
---
id: P-REINFORCE-AUTO-SIAN-001
id: ANNEAL-001
category: "[[10_Wiki/💡 Topics/AI]]"
confidence_score: 0.94
tags: [auto-reinforced, optimization, algorithms, simulated-annealing, physics-inspired]
last_reinforced: 2026-04-20
confidence_score: 1.0
tags: [optimization, algorithm, heuristics, statistical-mechanics]
last_reinforced: 2026-04-26
---
# [[Simulated-Annealing]]
# [[Simulated Annealing (시뮬레이션 어닐링)]]
## 📌 한 줄 통찰 (The Karpathy Summary)
> "천천히 식히며 찾는 최적해: 금속을 달궜다 서서히 식히는 담금질(Annealing) 과정을 모하여, 당장의 이익보다는 전역적인 최적점(Global Optimum)을 향해 확률적으로 탐험하는 최적화 알고리즘."
> "지역 최적해에서 벗어나기 위해 때로는 '모험'을 허용하라" — 금속을 뜨겁게 달구었다가 천천히 식히며 결정 구조를 안정화시키는 담금질(Annealing) 과정을 모하여, 확률적으로 더 나쁜 해를 수용함으로써 전역 최적해를 찾아가는 확률적 탐색 알고리즘.
## 📖 구조화된 지식 (Synthesized Content)
시뮬레이티드 어닐링(Simulated Annealing, SA)은 넓은 탐색 공간에서 복잡한 최적화 문제의 근사해를 찾기 위해 확률론적 접근을 사용하는 알고리즘입니다.
1. **메커니즘 (Energy & Temperature)**:
* **Temperature (기온)**: 초기에는 높은 온도로 설정하여 좋지 않은 해(Solution)도 수용함 (고도의 탐험).
* **Cooling Schedule**: 시간이 지날수록 온도를 낮추어 점점 더 좋은 해만 수용하도록 탐색 범위를 좁힘 (활용 단계로 전이).
* **Probabilistic Jump**: 현재보다 나쁜 해로 이동할 확률($e^{-\Delta E / T}$)을 부여하여, 지역 최적점(Local Optimum)이라는 함정에서 탈출할 기회 제공.
2. **장점**:
* 구현이 비교적 간단함.
* 볼록 함수가 아닌(Non-convex) 복잡한 손실 함수에서도 효과적으로 전역 최적해를 찾아낼 가능성이 높음.
3. **적용 사례**:
* **Traveling Salesman Problem (TSP)**: 도시 간 최단 경로 찾기.
* **VLSI 설계**: 칩 내부의 수조 개 소자들을 가장 효율적으로 배치하는 문제.
* **Resource Allocation**: 한정된 자원의 최적 할당 시뮬레이션.
- **추출된 패턴:** 초기에는 높은 '온도(Probability)'를 유지하여 탐색 공간을 넓게 훑고, 시간이 지남에 따라 온도를 낮추며 현재 위치 근처에서 정교하게 수렴하는 전역 최적화 패턴.
- **세부 내용:**
- **Metropolis Criterion:** 현재보다 좋지 않은 해라도 특정 확률($e^{-\Delta E / T}$)로 수용하여 지역 최적해(Local Optima) 탈출 유도.
- **Cooling Schedule:** 온도를 낮추는 속도와 방식 정의. 너무 빠르면 지역 최적해에 갇히고, 너무 느리면 연산 비용 과다 발생.
- **Combinatorial Optimization:** 외판원 문제(TSP)나 회로 설계 등 탐색 공간이 방대하고 불연속적인 문제에서 강력한 성능 발휘.
## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
- **과거 데이터와의 충돌**: 과거에는 컴퓨팅 파워 부족으로 SA의 느린 수렴 속도가 단점으로 지적되었으나, 현대의 분산 처리 환경 정책은 정확도 확보를 위해 SA와 유전 알고리즘 등을 하이브리드로 섞어 쓰는 방식(RL Update)을 권장함.
- **정책 변화(RL Update)**: 양자 어닐링(Quantum Annealing) 하드웨어의 보급 가능성이 커짐에 따라, 기존의 소프트웨어 기반 SA 정책을 하드웨어 가속 기반의 양자 최적화 정책으로 전환하기 위한 알고리즘 재설계 프로젝트가 국가 단위에서 진행 중임.
- **과거 데이터와의 충돌:** 미분이 가능한 공간에서의 경사 하강법에 비해 속도는 느리지만, 미분이 불가능하거나 매우 불규칙한 에너지 지형을 가진 문제에서 여전히 독보적인 유연성을 가짐.
- **정책 변화:** Antigravity 프로젝트의 자원 할당 최적화 및 복잡한 워크플로우 스케줄링 시, 시뮬레이션 어닐링 알고리즘을 사용하여 최적의 배치 조합을 산출함.
## 🔗 지식 연결 (Graph)
- [[Quantum Computing (Intro)]], [[Operations-Research]], [[Reinforcement Learning (RL)]], [[Complex Adaptive Systems]], [[Algorithm-Ethics]]
- **Modern Tech/Tools**: Python libraries (mlrose, simanneal), D-Wave Quantum Annealers.
---
- [[Optimization]], [[Genetic-Algorithms]], [[Stochastic-Gradient-Descent]], [[Statistical-Mechanics]]
- **Raw Source:** [[10_Wiki/Topics/AI/Simulated-Annealing.md]]