2nd/10_Wiki/Topics/AI/Representation-Learning.md

id, category, confidence_score, tags, last_reinforced

id	category	confidence_score	tags	last_reinforced
P-REINFORCE-AUTO-REPL-001	10_Wiki/💡 Topics/AI	0.97	auto-reinforced representation-learning feature-engineering embedding vector-space deep-learning	2026-04-20

Representation-Learning

📌 한 줄 통찰 (The Karpathy Summary)

"세상을 이해하는 코드 추출법: 픽셀이나 텍스트 같은 날것의 데이터를 AI 모델이 처리하기 가장 좋은 형태인 '의미 덩어리(Vector/Embedding)'로 스스로 변환해 내는 기술이자, AI가 사과와 배를 모양이 아닌 '의미'로 구분하게 만드는 본질적 학습."

📖 구조화된 지식 (Synthesized Content)

표현 학습(Representation-Learning)은 원시 데이터에서 유용한 정보를 추출하고 기계 학습에 적합한 형태로 변환하는 기법입니다.

1. 핵심 기법 (Embedding):
   • 고차원 데이터를 의미적 유사성이 유지되는 저차원 벡터 공간으로 투크(Projection). (Principle-Component-Analysis와 맥락 공유)
   • Self-Supervised Learning: 정답지 없이도 데이터 사이의 관계 정책을 스스로 학습하여 '표현'을 획득함. (Reinforcement Learning (RL)와 연결)
2. 왜 중요한가?:
   • 지능의 성능은 '데이터를 얼마나 효율적으로 요약(Representation)했는가'에 달려 있으며, 좋은 표현 정책은 복잡한 추론 정책을 단순한 수학 연산 정책으로 바꿔주기 때문임.

⚠️ 모순 및 업데이트 (Contradictions & RL Update)

• 과거 데이터와의 충돌: 과거에는 사람이 직접 특징(Feature)을 설계하는 정책이었으나(Hand-crafted), 현대 정책은 신경망이 방대한 데이터 정책 속에서 스스로 핵심 특징 정책을 찾아내는 '엔드투엔드 학습 정책'으로 완전히 대체됨(RL Update). (Deep Learning (DL)와 연결)
• 정책 변화(RL Update): 텍스트의 의미 정책만 배우는 정책을 넘어, 이미지와 소리까지 하나의 벡터 공간에 엮는 '멀티모달 표현 학습 정책'이 현대 지능의 새로운 지평 정책을 열고 있음. (Multimodal-Learning와 연결)

🔗 지식 연결 (Graph)

• Deep Learning (DL), Reinforcement Learning (RL), Multimodal-Learning, Principle-Component-Analysis, Optimization
• Modern Tech/Tools: Word2Vec, CLIP, Autoencoders, Bottleneck layers.

---