31 lines
2.4 KiB
Markdown
31 lines
2.4 KiB
Markdown
---
|
|
id: MATH-OPT-ALGO-001
|
|
category: "10_Wiki/💡 Topics/AI"
|
|
confidence_score: 1.0
|
|
tags: [math, algorithms, optimization, heuristic, simulated-annealing, genetic-algorithms]
|
|
last_reinforced: 2026-04-26
|
|
---
|
|
|
|
# Optimization Algorithms (최적화 알고리즘)
|
|
|
|
## 📌 한 줄 통찰 (The Karpathy Summary)
|
|
> "가능성의 숲에서 가장 깊은 골짜기(최소 비용)를 찾기 위해, 때로는 눈앞의 내리막을 걷고 때로는 과감한 도약으로 산맥을 넘으라" — 주어진 제약 조건 하에서 목적 함수의 값을 최대로 하거나 최소로 만드는 변수들의 최적 조합을 효율적으로 탐색하는 알고리즘들의 총칭.
|
|
|
|
## 📖 구조화된 지식 (Synthesized Content)
|
|
- **추출된 패턴:** "Iterative Improvement and Search Space Exploration" — 현재 상태에서 조금씩 더 나은 방향으로 이동하거나(Local Search), 무작위성을 부여하여 지역 최적해(Local Minima)에서 탈출하며 전역 최적해를 향해 나아가는 탐색 패턴.
|
|
- **주요 알고리즘 분류:**
|
|
- **Gradient-based:** 함수를 미분하여 기울기 방향으로 이동 (SGD, Adam 등). 연속적인 공간에 최적.
|
|
- **Meta-heuristics:** 자연 현상을 모방한 범용 탐색법.
|
|
- **Simulated Annealing:** 확률적 도약을 통해 지역 최적해 탈출.
|
|
- **Genetic Algorithms:** 교배와 변이를 통한 진화적 탐색.
|
|
- **Particle Swarm Optimization:** 집단의 정보를 공유하며 최적점 추적.
|
|
- **의의:** AI 모델 학습뿐만 아니라 물류 경로 최적화, 반도체 설계, 금융 포트폴리오 구성 등 모든 공학적 의사결정의 핵심 도구.
|
|
|
|
## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
|
|
- **과거 데이터와의 충돌:** 항상 전역 최적해를 찾아야 한다는 집착에서 벗어나, 현실적인 시간 내에 충분히 훌륭한 해(Sub-optimal solution)를 찾는 '휴리스틱'의 가치가 현대 대규모 복잡계 최적화의 주류로 자리 잡음.
|
|
- **정책 변화:** Antigravity 프로젝트는 에이전트의 작업 스케줄링 및 리소스 할당 시, 문제의 성격에 따라 정교한 수리 계획법(Linear Programming)과 유연한 메타 휴리스틱 알고리즘을 혼합하여 사용함.
|
|
|
|
## 🔗 지식 연결 (Graph)
|
|
- [[Optimization-in-AI]], Gradient-Descent-Foundations, [[Genetic-Algorithms]], [[Hyperparameter-Optimization]]
|
|
- **Raw Source:** 10_Wiki/Topics/AI/Optimization-Algorithms.md
|