Optimization Algorithms (최적화 알고리즘)

📌 한 줄 통찰 (The Karpathy Summary)

"가능성의 숲에서 가장 깊은 골짜기(최소 비용)를 찾기 위해, 때로는 눈앞의 내리막을 걷고 때로는 과감한 도약으로 산맥을 넘으라" — 주어진 제약 조건 하에서 목적 함수의 값을 최대로 하거나 최소로 만드는 변수들의 최적 조합을 효율적으로 탐색하는 알고리즘들의 총칭.

추출된 패턴: "Iterative Improvement and Search Space Exploration" — 현재 상태에서 조금씩 더 나은 방향으로 이동하거나(Local Search), 무작위성을 부여하여 지역 최적해(Local Minima)에서 탈출하며 전역 최적해를 향해 나아가는 탐색 패턴.
주요 알고리즘 분류:
- Gradient-based: 함수를 미분하여 기울기 방향으로 이동 (SGD, Adam 등). 연속적인 공간에 최적.
- Meta-Heuristics: 자연 현상을 모방한 범용 탐색법.
  - Simulated Annealing: 확률적 도약을 통해 지역 최적해 탈출.
  - Genetic Algorithms: 교배와 변이를 통한 진화적 탐색.
  - Particle Swarm Optimization: 집단의 정보를 공유하며 최적점 추적.
의의: AI 모델 학습뿐만 아니라 물류 경로 최적화, 반도체 설계, 금융 포트폴리오 구성 등 모든 공학적 의사결정의 핵심 도구.

과거 데이터와의 충돌: 항상 전역 최적해를 찾아야 한다는 집착에서 벗어나, 현실적인 시간 내에 충분히 훌륭한 해(Sub-optimal Solution)를 찾는 '휴리스틱'의 가치가 현대 대규모 복잡계 최적화의 주류로 자리 잡음.
정책 변화: Antigravity 프로젝트는 에이전트의 작업 스케줄링 및 리소스 할당 시, 문제의 성격에 따라 정교한 수리 계획법(Linear Programming)과 유연한 메타 휴리스틱 알고리즘을 혼합하여 사용함.

Optimization-in-AI, Gradient-Descent-Foundations, Genetic-Algorithms, Hyper[[Parameter-Optimization]]
Raw Source: 10_Wiki/Topics/AI/Optimization-Algorithms.md