Representation Learning (표현 학습)

📌 한 줄 통찰 (The Karpathy Summary)

"데이터를 해석하는 가장 유용한 '언어'를 스스로 찾아라" — 사람이 직접 특징(Feature)을 설계하는 대신, 신경망이 원시 데이터로부터 태스크 수행에 최적인 추상적 특징이나 벡터 표현을 자동으로 추출하도록 학습하는 방식.

추출된 패턴: 고차원의 복잡한 원시 데이터(이미지 픽셀, 텍스트 토큰)를 의미가 응축된 저차원의 잠재 공간(Latent Space) 벡터로 변환하여 학습 효율을 극대화하는 패턴.
세부 내용:
- Feature Engineering vs Learning: 수동으로 특징을 정의하던 과거 방식에서 벗어나, 데이터 내에 숨겨진 구조를 스스로 파악.
- Manifold Hypothesis: 고차원 데이터는 사실 낮은 차원의 부분 공간(Manifold)에 밀집되어 있다는 가설을 바탕으로 데이터를 압축.
- Transfer Learning: 잘 학습된 표현(예: ImageNet으로 학습된 특징 추출기)은 새로운 태스크에서도 재사용 가능함.
- Disentangled Representation: 데이터의 각 특징(색상, 모양, 위치 등)이 독립적인 차원으로 분리되어 학습되도록 유도.

과거 데이터와의 충돌: 데이터 분석의 핵심이 '알고리즘'에서 데이터를 어떻게 '표현'하느냐의 문제로 이동하며 딥러닝 혁명을 이끔.
정책 변화: Antigravity 프로젝트의 '지식 임베딩' 시스템은 모든 위키 문서를 의미적 특징이 살아있는 벡터 표현으로 변환하여, 질문의 의도에 맞는 문서를 고도의 정확도로 검색함.