Representation Learning (표현 학습)

📌 한 줄 통찰 (The Karpathy Summary)

"데이터의 겉모습(Raw pixels)에 현혹되지 말고, 그 이면에 숨겨진 본질적 의미와 구조를 '고밀도 벡터(Embedding)'로 압축하여 지능의 언어로 번역하라" — 복잡한 데이터를 기계가 처리하기 쉬운 유용한 특징(Feature)들로 자동 변환하는 딥러닝의 핵심 메커니즘.

📖 구조화된 지식 (Synthesized Content)

추출된 패턴: "Feature Discovery and Manifold Learning" — 원시 데이터의 고차원 공간에서 유의미한 정보가 밀집된 저차원 매니폴드를 찾아내고, 이를 통해 분류, 생성, 검색 등 다양한 작업에 즉시 활용 가능한 공용 표현(Representation)을 학습하는 패턴.
핵심 접근법:
- Self-supervised Learning: 데이터 자체의 구조(가려진 단어 맞추기 등)를 통해 정답지 없이 본질을 학습.
- Autoencoders: 데이터를 압축했다가 복원하는 과정을 통해 핵심 특징 추출.
- Contrastive Learning: 비슷한 것은 가깝게, 다른 것은 멀게 배치하여 의미적 거리 학습.
의의: 사람이 직접 특징을 설계하던 '피처 엔지니어링'의 시대를 종식시키고, 데이터만 충분하다면 AI가 스스로 최적의 특징을 찾아내게 함으로써 딥러닝 혁명을 이끔.

⚠️ 모순 및 업데이트 (Contradictions & RL Update)

과거 데이터와의 충돌: 단순히 차원을 줄이는 것이 목표였던 과거와 달리, 이제는 해석 가능성(DisentANGLEment)을 높이거나 전이 학습(Transfer Learning)이 용이한 범용적인 표현을 만드는 것이 현대 표현 학습의 화두임.
정책 변화: Antigravity 프로젝트는 모든 지식 문서를 고차원 벡터로 표현하여 시맨틱 관계를 추론하는 임베딩 엔진을 운용하며, 이를 통해 문서 간의 보이지 않는 연결 고리를 스스로 찾아내는 표현 학습 기반의 가드닝을 수행함.

🔗 지식 연결 (Graph)

Deep-Learning-Foundations, Vector-Database-Foundations, Self-Supervised-Learning-Foundations, Dimensionality-Reduction-Strategies
Raw Source: 10_Wiki/Topics/AI/Representation-Learning.md

2.5 KiB Raw Blame History

Representation Learning (표현 학습)

📌 한 줄 통찰 (The Karpathy Summary)

📖 구조화된 지식 (Synthesized Content)

⚠️ 모순 및 업데이트 (Contradictions & RL Update)

🔗 지식 연결 (Graph)

2.5 KiB

Raw Blame History