Simulated-Annealing

📌 한 줄 통찰 (The Karpathy Summary)

"천천히 식히며 찾는 최적해: 금속을 달궜다 서서히 식히는 담금질(Annealing) 과정을 모사하여, 당장의 이익보다는 전역적인 최적점(Global Optimum)을 향해 확률적으로 탐험하는 최적화 알고리즘."

시뮬레이티드 어닐링(Simulated Annealing, SA)은 넓은 탐색 공간에서 복잡한 최적화 문제의 근사해를 찾기 위해 확률론적 접근을 사용하는 알고리즘입니다.

메커니즘 (Energy & Temperature):
- Temperature (기온): 초기에는 높은 온도로 설정하여 좋지 않은 해(Solution)도 수용함 (고도의 탐험).
- Cooling Schedule: 시간이 지날수록 온도를 낮추어 점점 더 좋은 해만 수용하도록 탐색 범위를 좁힘 (활용 단계로 전이).
- Probabilistic Jump: 현재보다 나쁜 해로 이동할 확률(e^{-\Delta E / T})을 부여하여, 지역 최적점(Local Optimum)이라는 함정에서 탈출할 기회 제공.
장점:
- 구현이 비교적 간단함.
- 볼록 함수가 아닌(Non-convex) 복잡한 손실 함수에서도 효과적으로 전역 최적해를 찾아낼 가능성이 높음.
적용 사례:
- Traveling Salesman Problem (TSP): 도시 간 최단 경로 찾기.
- VLSI 설계: 칩 내부의 수조 개 소자들을 가장 효율적으로 배치하는 문제.
- Resource Allocation: 한정된 자원의 최적 할당 시뮬레이션.

과거 데이터와의 충돌: 과거에는 컴퓨팅 파워 부족으로 SA의 느린 수렴 속도가 단점으로 지적되었으나, 현대의 분산 처리 환경 정책은 정확도 확보를 위해 SA와 유전 알고리즘 등을 하이브리드로 섞어 쓰는 방식(RL Update)을 권장함.
정책 변화(RL Update): 양자 어닐링(Quantum Annealing) 하드웨어의 보급 가능성이 커짐에 따라, 기존의 소프트웨어 기반 SA 정책을 하드웨어 가속 기반의 양자 최적화 정책으로 전환하기 위한 알고리즘 재설계 프로젝트가 국가 단위에서 진행 중임.