---
id: MATH-OPT-ALGO-001
category: "[[10_Wiki/💡 Topics/AI]]"
confidence_score: 1.0
tags: [math, algorithms, optimization, heuristic, simulated-annealing, genetic-algorithms]
last_reinforced: 2026-04-26
---

# [[Optimization Algorithms (최적화 알고리즘)]]

## 📌 한 줄 통찰 (The Karpathy Summary)
> "가능성의 숲에서 가장 깊은 골짜기(최소 비용)를 찾기 위해, 때로는 눈앞의 내리막을 걷고 때로는 과감한 도약으로 산맥을 넘으라" — 주어진 제약 조건 하에서 목적 함수의 값을 최대로 하거나 최소로 만드는 변수들의 최적 조합을 효율적으로 탐색하는 알고리즘들의 총칭.

## 📖 구조화된 지식 (Synthesized Content)
- **추출된 패턴:** "Iterative Improvement and Search Space Exploration" — 현재 상태에서 조금씩 더 나은 방향으로 이동하거나(Local Search), 무작위성을 부여하여 지역 최적해(Local Minima)에서 탈출하며 전역 최적해를 향해 나아가는 탐색 패턴.
- **주요 알고리즘 분류:**
    - **Gradient-based:** 함수를 미분하여 기울기 방향으로 이동 (SGD, Adam 등). 연속적인 공간에 최적.
    - **Meta-heuristics:** 자연 현상을 모방한 범용 탐색법.
        - **Simulated Annealing:** 확률적 도약을 통해 지역 최적해 탈출.
        - **Genetic Algorithms:** 교배와 변이를 통한 진화적 탐색.
        - **Particle Swarm Optimization:** 집단의 정보를 공유하며 최적점 추적.
- **의의:** AI 모델 학습뿐만 아니라 물류 경로 최적화, 반도체 설계, 금융 포트폴리오 구성 등 모든 공학적 의사결정의 핵심 도구.

## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
- **과거 데이터와의 충돌:** 항상 전역 최적해를 찾아야 한다는 집착에서 벗어나, 현실적인 시간 내에 충분히 훌륭한 해(Sub-optimal solution)를 찾는 '휴리스틱'의 가치가 현대 대규모 복잡계 최적화의 주류로 자리 잡음.
- **정책 변화:** Antigravity 프로젝트는 에이전트의 작업 스케줄링 및 리소스 할당 시, 문제의 성격에 따라 정교한 수리 계획법(Linear Programming)과 유연한 메타 휴리스틱 알고리즘을 혼합하여 사용함.

## 🔗 지식 연결 (Graph)
- [[Optimization-in-AI]], [[Gradient-Descent-Foundations]], [[Genetic-Algorithms]], [[Hyperparameter-Optimization]]
- **Raw Source:** [[10_Wiki/Topics/AI/Optimization-Algorithms.md]]