Antigravity Agent
113 lines
4.4 KiB
Markdown
113 lines
4.4 KiB
Markdown
[[Grokking (그로킹, 지연 일반화)|Grokking (그로킹, 지연 일반화)]]
|
||
|
||
📌 Brief Summary
|
||
|
||
Grokking은 신경망이 훈련 데이터를 완전히 암기(Memorization)하여 훈련 정확도 100%에 도달한 후에도, 수백~수천 에폭 이후 갑자기 검증 정확도가 급등하여 진정한 일반화(Generalization)에 성공하는 현상이다. 2022년 Power et al.이 수학 연산 태스크에서 발견하였으며, 신경망의 학습 메커니즘에 대한 이해를 새롭게 하는 발견이다.
|
||
|
||
---
|
||
|
||
📖 Core Content
|
||
|
||
## 1. 발견 실험 (원논문)
|
||
|
||
```
|
||
[실험 설정]
|
||
모델: 작은 Transformer
|
||
태스크: 모듈러 산술 (예: (a + b) mod 97)
|
||
데이터: 전체 (97×97=9,409) 중 50%만 훈련
|
||
|
||
[학습 곡선]
|
||
|
||
정확도 (%)
|
||
100 | 훈련 정확도 ─────────────
|
||
| /
|
||
| / Grokking!
|
||
| / ↑ 갑작스런 급등
|
||
50 |─────/──────────────────────────
|
||
| /
|
||
0 +──────────────────────── 에폭
|
||
0 100 1000 10000 100000
|
||
|
||
→ 에폭 100쯤에 훈련 정확도 100% 도달 (암기)
|
||
→ 에폭 10000쯤에 검증 정확도 갑자기 100% 도달 (일반화)
|
||
```
|
||
|
||
---
|
||
|
||
## 2. Grokking의 두 단계
|
||
|
||
```
|
||
[Phase 1: Memorization (암기)]
|
||
에폭 0~100:
|
||
모델이 훈련 데이터를 그대로 외움
|
||
→ 훈련 정확도 100%, 검증 정확도 낮음
|
||
→ 일반화 능력 없음
|
||
|
||
[Phase 2: Grokking (일반화)]
|
||
에폭 100~10,000:
|
||
내부 표현이 조용히 재구성됨
|
||
→ "암기 회로" 붕괴 + "일반화 회로" 강화
|
||
→ 갑작스러운 검증 정확도 급등
|
||
```
|
||
|
||
---
|
||
|
||
## 3. 발생 원인 (Mechanistic Interpretability 관점)
|
||
|
||
Nanda et al. (2023) - "Progress measures for grokking via mechanistic interpretability":
|
||
|
||
```
|
||
[분석 결과]
|
||
훈련 데이터 암기 회로 (Memorization Circuit)
|
||
후기까지 존재하다가 Weight Decay에 의해 서서히 압축
|
||
|
||
일반화 회로 (Generalization Circuit)
|
||
초기부터 천천히 발달
|
||
→ 특정 임계점에서 암기 회로를 대체
|
||
|
||
[결론]
|
||
두 회로가 경쟁 → Generalization Circuit 승리 시 Grokking 발생
|
||
(Weight Decay가 암기 회로 억제 → Grokking 촉진 역할)
|
||
```
|
||
|
||
---
|
||
|
||
## 4. Grokking과 LLM 학습의 시사점
|
||
|
||
| 시사점 | 내용 |
|
||
|--------|------|
|
||
| **Early Stopping 위험** | 훈련 손실 수렴 ≠ 일반화 완료 → 조기 종료 시 암기 모델 |
|
||
| **Weight Decay 중요성** | Weight Decay가 Grokking 가속 (일반화 회로 경쟁 유리) |
|
||
| **대규모 LLM** | SFT 단계에서 보이지 않는 Grokking과 유사 현상 추정 |
|
||
| **창발 능력** | 특정 모델 크기에서 갑작스러운 능력 출현 = Grokking과 유사 |
|
||
|
||
---
|
||
|
||
## 5. 인과관계 (Grokking이 AI 이해에 미치는 영향)
|
||
|
||
```
|
||
[기존 가정]
|
||
"훈련 정확도 포화 = 학습 완료"
|
||
↓
|
||
[Grokking 발견 후]
|
||
훈련 정확도 포화 ≠ 일반화 완료
|
||
→ 더 오래 훈련 시 갑자기 일반화 발생 가능
|
||
↓
|
||
Early Stopping 기준 재고 필요
|
||
Weight Decay 전략의 새로운 중요성 부각
|
||
↓
|
||
신경망이 단순히 "패턴 암기기계"가 아닌
|
||
"내부적으로 일반화 알고리즘을 발견"한다는 증거
|
||
```
|
||
|
||
---
|
||
|
||
🔗 Knowledge Connections
|
||
|
||
- **Related Topics:** [[Mechanistic Interpretability (기계적 해석 가능성)|Mechanistic Interpretability (기계적 해석 가능성)]], [[AI Safety (AI 안전)|AI Safety (AI 안전)]], [[SFT (Supervised Fine-Tuning)|SFT (Supervised Fine-Tuning)]], [[강화학습 (Reinforcement Learning)|강화학습 (Reinforcement Learning)]], [[In-Context Learning (ICL, 문맥 내 학습)|In-Context Learning (ICL, 문맥 내 학습)]], [[LLM Alignment (LLM 정렬)|LLM Alignment (LLM 정렬)]]
|
||
- **Projects/Contexts:** AI 신뢰성·투명성
|
||
- **Contradictions/Notes:**
|
||
- Grokking은 주로 소규모 모델·단순 태스크에서 확인 → 대규모 LLM에서 동일 현상이 발생하는지는 연구 중.
|
||
- 매우 오랜 훈련이 필요하므로 실용적 LLM 훈련에서 의도적으로 Grokking을 기다리는 것은 비현실적.
|
||
- **신규 키워드**: `Weight Decay (가중치 감쇠)`, `창발 능력 (Emergent Abilities)`, `Early Stopping` → 탐색 큐 추가.
|