2nd/10_Wiki/Topics_Blog/Model-Agnostic-Meta-Learning.md

id, category, confidence_score, tags, last_reinforced

id	category	confidence_score	tags	last_reinforced
AI-MAML-001	10_Wiki/💡 Topics/AI	1.0	ai deep-learning meta-learning maml few-shot-learning optimization	2026-04-26

Model Agnostic Meta-Learning (MAML, 모델 불가지론적 메타 학습)

📌 한 줄 통찰 (The Karpathy Summary)

"특정한 지식을 가르치려 하지 말고, 어떤 지식이든 단숨에 흡수할 수 있는 '최고의 시작점'을 찾아라" — 모델 구조에 구애받지 않고, 새로운 태스크에 대해 단 몇 번의 경사 하강법(Gradient Descent) 업데이트만으로도 최적의 성능을 낼 수 있는 가중치 초기값을 학습하는 범용 메타 학습 알고리즘.

📖 구조화된 지식 (Synthesized Content)

• 추출된 패턴: "Initialization for Rapid Adaptation" — 수많은 다양한 태스크들을 경험하며, 어떤 태스크가 주어져도 약간의 조정만으로 즉시 해결 가능한 '가장 민감하고 유연한' 초기 파라미터 지점을 탐색하는 최적화 패턴.
• 작동 원리 (Bi-level Optimization):
  • Inner Loop: 특정 태스크에 대해 모델을 아주 잠깐 학습 (태스크별 적응).
  • Outer Loop: 모든 태스크의 Inner Loop 결과가 전체적으로 좋아지도록 초기 모델의 파라미터를 업데이트 (메타 업데이트).
• 의의: 모델 아키텍처(CNN, RNN 등)와 손실 함수의 형태에 상관없이 적용 가능한 범용성을 가지며, 진정한 의미의 '배우는 법을 배우는' AI를 구현함.

⚠️ 모순 및 업데이트 (Contradictions & RL Update)

• 과거 데이터와의 충돌: 학습 과정에서 2차 미분(Hessian) 연산이 필요하여 연산 비용이 매우 높다는 단점이 있었으나, 이를 1차 미분만으로 근사하는 First-order MAML 등의 변종이 등장하며 실용성을 확보함.
• 정책 변화: Antigravity 프로젝트는 에이전트의 스킬 라이브러리 업데이트 시, 새로운 프로토콜에 빠르게 적응해야 하는 개별 모듈의 초기화 전략으로 MAML의 개념적 프레임워크를 응용함.

🔗 지식 연결 (Graph)

• Meta-Learning-in-AI, Few-Shot-Learning, Gradient-Descent-Foundations, Transfer-Learning-Foundations
• Raw Source: 10_Wiki/Topics/AI/Model-Agnostic-Meta-Learning.md