chore(wiki): reinforce knowledge batch #6-#10 (200 docs milestone)
This commit is contained in:
@@ -1,30 +1,28 @@
|
||||
---
|
||||
id: P-REINFORCE-AUTO-REPL-001
|
||||
id: REP-LEARN-001
|
||||
category: "[[10_Wiki/💡 Topics/AI]]"
|
||||
confidence_score: 0.97
|
||||
tags: [auto-reinforced, representation-learning, feature-engineering, embedding, vector-space, deep-learning]
|
||||
last_reinforced: 2026-04-20
|
||||
confidence_score: 1.0
|
||||
tags: [ai, deep-learning, machine-learning, embeddings, feature-engineering]
|
||||
last_reinforced: 2026-04-26
|
||||
---
|
||||
|
||||
# [[Representation-Learning]]
|
||||
# [[Representation Learning (표현 학습)]]
|
||||
|
||||
## 📌 한 줄 통찰 (The Karpathy Summary)
|
||||
> "세상을 이해하는 코드 추출법: 픽셀이나 텍스트 같은 날것의 데이터를 AI 모델이 처리하기 가장 좋은 형태인 '의미 덩어리(Vector/Embedding)'로 스스로 변환해 내는 기술이자, AI가 사과와 배를 모양이 아닌 '의미'로 구분하게 만드는 본질적 학습."
|
||||
> "데이터를 해석하는 가장 유용한 '언어'를 스스로 찾아라" — 사람이 직접 특징(Feature)을 설계하는 대신, 신경망이 원시 데이터로부터 태스크 수행에 최적인 추상적 특징이나 벡터 표현을 자동으로 추출하도록 학습하는 방식.
|
||||
|
||||
## 📖 구조화된 지식 (Synthesized Content)
|
||||
표현 학습(Representation-Learning)은 원시 데이터에서 유용한 정보를 추출하고 기계 학습에 적합한 형태로 변환하는 기법입니다.
|
||||
|
||||
1. **핵심 기법 (Embedding)**:
|
||||
* 고차원 데이터를 의미적 유사성이 유지되는 저차원 벡터 공간으로 투크(Projection). (Principle-Component-Analysis와 맥락 공유)
|
||||
* **Self-Supervised Learning**: 정답지 없이도 데이터 사이의 관계 정책을 스스로 학습하여 '표현'을 획득함. (Reinforcement Learning (RL)와 연결)
|
||||
2. **왜 중요한가?**:
|
||||
* 지능의 성능은 '데이터를 얼마나 효율적으로 요약(Representation)했는가'에 달려 있으며, 좋은 표현 정책은 복잡한 추론 정책을 단순한 수학 연산 정책으로 바꿔주기 때문임.
|
||||
- **추출된 패턴:** 고차원의 복잡한 원시 데이터(이미지 픽셀, 텍스트 토큰)를 의미가 응축된 저차원의 잠재 공간(Latent Space) 벡터로 변환하여 학습 효율을 극대화하는 패턴.
|
||||
- **세부 내용:**
|
||||
- **Feature Engineering vs Learning:** 수동으로 특징을 정의하던 과거 방식에서 벗어나, 데이터 내에 숨겨진 구조를 스스로 파악.
|
||||
- **Manifold Hypothesis:** 고차원 데이터는 사실 낮은 차원의 부분 공간(Manifold)에 밀집되어 있다는 가설을 바탕으로 데이터를 압축.
|
||||
- **Transfer Learning:** 잘 학습된 표현(예: ImageNet으로 학습된 특징 추출기)은 새로운 태스크에서도 재사용 가능함.
|
||||
- **Disentangled Representation:** 데이터의 각 특징(색상, 모양, 위치 등)이 독립적인 차원으로 분리되어 학습되도록 유도.
|
||||
|
||||
## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
|
||||
- **과거 데이터와의 충돌**: 과거에는 사람이 직접 특징(Feature)을 설계하는 정책이었으나(Hand-crafted), 현대 정책은 신경망이 방대한 데이터 정책 속에서 스스로 핵심 특징 정책을 찾아내는 '엔드투엔드 학습 정책'으로 완전히 대체됨(RL Update). (Deep Learning (DL)와 연결)
|
||||
- **정책 변화(RL Update)**: 텍스트의 의미 정책만 배우는 정책을 넘어, 이미지와 소리까지 하나의 벡터 공간에 엮는 '멀티모달 표현 학습 정책'이 현대 지능의 새로운 지평 정책을 열고 있음. (Multimodal-Learning와 연결)
|
||||
- **과거 데이터와의 충돌:** 데이터 분석의 핵심이 '알고리즘'에서 데이터를 어떻게 '표현'하느냐의 문제로 이동하며 딥러닝 혁명을 이끔.
|
||||
- **정책 변화:** Antigravity 프로젝트의 '지식 임베딩' 시스템은 모든 위키 문서를 의미적 특징이 살아있는 벡터 표현으로 변환하여, 질문의 의도에 맞는 문서를 고도의 정확도로 검색함.
|
||||
|
||||
## 🔗 지식 연결 (Graph)
|
||||
- [[Deep Learning (DL)]], [[Reinforcement Learning (RL)]], [[Multimodal-Learning]], [[Principle-Component-Analysis]], [[Optimization]]
|
||||
- **Modern Tech/Tools**: Word2Vec, CLIP, Autoencoders, Bottleneck layers.
|
||||
---
|
||||
- [[Deep-Learning]], [[Word-Embeddings]], [[Autoencoder]], [[Transfer-Learning]]
|
||||
- **Raw Source:** [[10_Wiki/Topics/AI/Representation-Learning.md]]
|
||||
|
||||
Reference in New Issue
Block a user