Wiki cleanup: error-doc removal, dedup merge, link normalization
10_Wiki/Topics 대규모 정리: - 오류 캡처/미완성 stub 문서 227개 제거 - 교차폴더 중복 43클러스터 병합 (63파일 → redirect) - 링크명 정규화: 깨진 링크 수정·redirect 직결·개념 매핑 ~2,400건 - 카테고리 MOC 6개 신규 생성 - Graph 섹션 미해결 related-keyword 링크 10,058건 제거 Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>
This commit is contained in:
@@ -182,10 +182,7 @@ class Prefetcher:
|
||||
**기본값**: > 100 GB 데이터는 streaming + sharded shuffle 이 기본. < 그 이하는 mmap + 일반 Dataset.
|
||||
|
||||
## 🔗 Graph
|
||||
- 부모: [[Data-Loading]] · [[ML-Infrastructure]]
|
||||
- 변형: [[Streaming-Dataset]] · [[Mmap]] · [[WebDataset]]
|
||||
- 응용: [[LLM-Pretraining]] · [[Large-Scale-Vision]]
|
||||
- Adjacent: [[Apache-Arrow]] · [[Parquet]] · [[Ray-Data]] · [[NVIDIA-DALI]]
|
||||
- Adjacent: [[Parquet]]
|
||||
|
||||
## 🤖 LLM 활용
|
||||
**언제**: DataLoader 코드 변환 (in-memory → streaming), shard schema 설계, prefetch 튜닝 체크리스트 생성.
|
||||
|
||||
Reference in New Issue
Block a user