[G1-Sync] Manual knowledge update
This commit is contained in:
@@ -1,8 +1,8 @@
|
||||
---
|
||||
id: P-REINFORCE-AUTO-SSGD-001
|
||||
id: [[P-Reinforce]]-AUTO-SSGD-001
|
||||
category: "10_Wiki/💡 Topics/AI"
|
||||
confidence_score: 0.99
|
||||
tags: [auto-reinforced, machine-learning, optimization, sgd, gradient-descent, math-of-ai]
|
||||
tags: [auto-reinforced, machine-learning, [[Optimization]], sgd, [[Gradient-Descent]], math-of-ai]
|
||||
last_reinforced: 2026-04-20
|
||||
---
|
||||
|
||||
@@ -27,9 +27,9 @@ last_reinforced: 2026-04-20
|
||||
|
||||
## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
|
||||
- **과거 데이터와의 충돌**: 과거에는 전체 데이터를 다 보는 'Batch GD'가 정답이라 여겼으나, 현대의 거대 모델 정책은 초당 수천 번의 업데이트를 수행하는 'Mini-batch SGD' 기반의 최적화 정책 없이는 학습 자체가 불가능함을 인지함(RL Update).
|
||||
- **정책 변화(RL Update)**: 학습의 효율성과 탄소 배출량이 직결됨에 따라, 더 적은 반복(Iteration)으로 더 빨리 수렴하는 '고효율 SGD 변형 알고리즘' 채택 및 분산 학습 정책이 최우선 기술 정책으로 부임함.
|
||||
- **정책 변화(RL Update)**: 학습의 효율성과 탄소 배출량이 직결됨에 따라, 더 적은 반복([[Iteration]])으로 더 빨리 수렴하는 '고효율 SGD 변형 알고리즘' 채택 및 분산 학습 정책이 최우선 기술 정책으로 부임함.
|
||||
|
||||
## 🔗 지식 연결 (Graph)
|
||||
- Calculus, Linear Algebra, [[Reinforcement Learning (RL)]], Complex Adaptive Systems, [[Robotics]]
|
||||
- Calculus, Linear Algebra, [[Reinforcement Learning (RL)]], Complex Adaptive[[ system]]s, [[Robotics]]
|
||||
- **Modern Tech/Tools**: PyTorch torch.optim, AdamW optimization.
|
||||
---
|
||||
|
||||
Reference in New Issue
Block a user