docs: finalized wiki integrity maintenance (v3.0 standard) - pruned 1400+ stubs and fixed 11k+ ghost links
This commit is contained in:
@@ -1,4 +1,4 @@
|
||||
[[Grokking (그로킹, 지연 일반화)]]
|
||||
[[Grokking (그로킹, 지연 일반화)|Grokking (그로킹, 지연 일반화)]]
|
||||
|
||||
📌 Brief Summary
|
||||
|
||||
@@ -104,8 +104,8 @@ Nanda et al. (2023) - "Progress measures for grokking via mechanistic interpreta
|
||||
|
||||
🔗 Knowledge Connections
|
||||
|
||||
- **Related Topics:** [[Mechanistic Interpretability (기계적 해석 가능성)]], [[AI Safety (AI 안전)]], [[SFT (Supervised Fine-Tuning)]], [[강화학습 (Reinforcement Learning)]], [[In-Context Learning (ICL, 문맥 내 학습)]], [[LLM Alignment (LLM 정렬)]]
|
||||
- **Projects/Contexts:** [[AI 신뢰성·투명성]]
|
||||
- **Related Topics:** [[Mechanistic Interpretability (기계적 해석 가능성)|Mechanistic Interpretability (기계적 해석 가능성)]], [[AI Safety (AI 안전)|AI Safety (AI 안전)]], [[SFT (Supervised Fine-Tuning)|SFT (Supervised Fine-Tuning)]], [[강화학습 (Reinforcement Learning)|강화학습 (Reinforcement Learning)]], [[In-Context Learning (ICL, 문맥 내 학습)|In-Context Learning (ICL, 문맥 내 학습)]], [[LLM Alignment (LLM 정렬)|LLM Alignment (LLM 정렬)]]
|
||||
- **Projects/Contexts:** AI 신뢰성·투명성
|
||||
- **Contradictions/Notes:**
|
||||
- Grokking은 주로 소규모 모델·단순 태스크에서 확인 → 대규모 LLM에서 동일 현상이 발생하는지는 연구 중.
|
||||
- 매우 오랜 훈련이 필요하므로 실용적 LLM 훈련에서 의도적으로 Grokking을 기다리는 것은 비현실적.
|
||||
|
||||
Reference in New Issue
Block a user