feat: Knowledge Gardening Milestone 440 (Batch #22)

This commit is contained in:
Antigravity Agent
2026-04-26 20:09:10 +09:00
parent 35d868b28d
commit 25d5862dcb
24 changed files with 732 additions and 12 deletions
+12 -12
View File
@@ -1,28 +1,28 @@
---
id: REP-LEARN-001
id: AI-REP-LEARN-001
category: "[[10_Wiki/💡 Topics/AI]]"
confidence_score: 1.0
tags: [ai, deep-learning, machine-learning, embeddings, feature-engineering]
tags: [ai, deep-learning, representation-learning, feature-learning, self-supervised-learning, embeddings, autoencoders]
last_reinforced: 2026-04-26
---
# [[Representation Learning (표현 학습)]]
## 📌 한 줄 통찰 (The Karpathy Summary)
> "데이터를 해석하는 가장 유용한 '언어'를 스스로 찾아라" — 사람이 직접 특징(Feature)을 설계하는 대신, 신경망이 원시 데이터로부터 태스크 수행에 최적인 추상적 특징이나 벡터 표현을 자동으로 추출하도록 학습하는 방식.
> "데이터의 겉모습(Raw pixels)에 현혹되지 말고, 그 이면에 숨겨진 본질적 의미와 구조를 '고밀도 벡터(Embedding)'로 압축하여 지능의 언어로 번역하라" — 복잡한 데이터를 기계가 처리하기 쉬운 유용한 특징(Feature)들로 자동 변환하는 딥러닝의 핵심 메커니즘.
## 📖 구조화된 지식 (Synthesized Content)
- **추출된 패턴:** 고차원의 복잡한 원시 데이터(이미지 픽셀, 텍스트 토큰)를 의미가 응축된 저차원의 잠재 공간(Latent Space) 벡터로 변환하여 학습 효율을 극대화하는 패턴.
- **세부 내용:**
- **Feature Engineering vs Learning:** 수동으로 특징을 정의하던 과거 방식에서 벗어나, 데이터 내에 숨겨진 구조를 스스로 파악.
- **Manifold Hypothesis:** 고차원 데이터는 사실 낮은 차원의 부분 공간(Manifold)에 밀집되어 있다는 가설을 바탕으로 데이터를 압축.
- **Transfer Learning:** 잘 학습된 표현(예: ImageNet으로 학습된 특징 추출기)은 새로운 태스크에서도 재사용 가능함.
- **Disentangled Representation:** 데이터의 각 특징(색상, 모양, 위치 등)이 독립적인 차원으로 분리되어 학습되도록 유도.
- **추출된 패턴:** "Feature Discovery and Manifold Learning" — 원시 데이터의 고차원 공간에서 유의미한 정보가 밀집된 저차원 매니폴드를 찾아내고, 이를 통해 분류, 생성, 검색 등 다양한 작업에 즉시 활용 가능한 공용 표현(Representation)을 학습하는 패턴.
- **핵심 접근법:**
- **Self-supervised Learning:** 데이터 자체의 구조(가려진 단어 맞추기 등)를 통해 정답지 없이 본질을 학습.
- **Autoencoders:** 데이터를 압축했다가 복원하는 과정을 통해 핵심 특징 추출.
- **Contrastive Learning:** 비슷한 것은 가깝게, 다른 것은 멀게 배치하여 의미적 거리 학습.
- **의의:** 사람이 직접 특징을 설계하던 '피처 엔지니어링'의 시대를 종식시키고, 데이터만 충분하다면 AI가 스스로 최적의 특징을 찾아내게 함으로써 딥러닝 혁명을 이끔.
## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
- **과거 데이터와의 충돌:** 데이터 분석의 핵심이 '알고리즘'에서 데이터를 어떻게 '표현'하느냐의 문제로 이동하며 딥러닝 혁명을 이끔.
- **정책 변화:** Antigravity 프로젝트의 '지식 임베딩' 시스템은 모든 위키 문서를 의미적 특징이 살아있는 벡터 표현으로 변환하여, 질문의 의도에 맞는 문서를 고도의 정확도로 검색함.
- **과거 데이터와의 충돌:** 단순히 차원을 줄이는 것이 목표였던 과거와 달리, 이제는 해석 가능성(Disentanglement)을 높이거나 전이 학습(Transfer Learning)이 용이한 범용적인 표현을 만드는 것이 현대 표현 학습의 화두임.
- **정책 변화:** Antigravity 프로젝트 모든 지식 문서를 고차원 벡터 표현하여 시맨틱 관계를 추론하는 임베딩 엔진을 운용하며, 이를 통해 문서 간의 보이지 않는 연결 고리를 스스로 찾아내는 표현 학습 기반의 가드닝을 수행함.
## 🔗 지식 연결 (Graph)
- [[Deep-Learning]], [[Word-Embeddings]], [[Autoencoder]], [[Transfer-Learning]]
- [[Deep-Learning-Foundations]], [[Vector-Database-Foundations]], [[Self-Supervised-Learning-Foundations]], [[Dimensionality-Reduction-Strategies]]
- **Raw Source:** [[10_Wiki/Topics/AI/Representation-Learning.md]]