Antigravity Agent
65 lines
7.0 KiB
Markdown
65 lines
7.0 KiB
Markdown
---
|
|
id: meta-learning
|
|
title: "Meta-Learning"
|
|
category: "10_Wiki/Topics"
|
|
status: "draft"
|
|
verification_status: "conceptual"
|
|
canonical_id: ""
|
|
aliases: ["Learning to Learn", "Meta-Optimization"]
|
|
duplicate_of: ""
|
|
source_trust_level: "B"
|
|
confidence_score: 0.85
|
|
created_at: 2026-06-12
|
|
updated_at: 2026-06-12
|
|
review_reason: ""
|
|
merge_history: []
|
|
tags: ["research", "self envolving"]
|
|
raw_sources: ["NotebookLM Synthesis"]
|
|
applied_in: ["https://github.com/CharlesQ9/Self-Evolving-Agents", "https://github.com/ag2ai/Live-Evo", "https://github.com/qhjqhj00/MetaAgent", "https://github.com/zzatpku/AgentFactory", "https://github.com/aiming-lab/Agent0", "https://github.com/DunLi-Tsinghua/MetaAI-Mini", "https://github.com/NVIDIA/nemoclaw-community/blob/main/examples/personal-community-sentiment-triage/policy.yaml"]
|
|
github_commit: ""
|
|
---
|
|
|
|
# [[Meta-Learning]]
|
|
|
|
## 🎯 한 줄 통찰 (One-line insight)
|
|
AI가 단순히 주어진 작업을 수행하는 것을 넘어, 자신의 학습 알고리즘, 아키텍처, 학습 전략 자체를 최적화함으로써 지능의 자가 진화를 실현하는 '학습하는 법을 배우는' 핵심 매커니즘 [1-3].
|
|
|
|
## 🧠 핵심 개념 (Core concepts)
|
|
1. **Learning to Learn (학습 학습)**: 모델이 고정된 파라미터 최적화를 넘어, 자신의 학습 프로세스 및 전략 자체를 최적화하여 새로운 작업에 대한 적응력을 높이는 패러다임 [2, 4].
|
|
2. **Meta-Cognition (메타 인지)**: 에이전트가 자신의 지적 한계와 성능을 스스로 인식(Self-assessment)하고, 이를 바탕으로 내부 구조를 재구성(Self-modification)하는 성찰적 능력 [5-7].
|
|
3. **Recursive Self-Design (재귀적 자가 설계)**: 에이전트의 스캐폴드, 도구 체인, 프롬프트 정책, 메모리 시스템 등을 변이 가능한 객체로 취급하여 직접 코드를 수정하고 개선하는 반복적 과정 [8-10].
|
|
4. **Bilevel Optimization (이단계 최적화)**: 작업별 지식 습득(하위)과 학습 매커니즘의 아키텍처 개선(상위)을 동시에 진행하여 지속적인 성능 향상을 도모하는 구조 [11, 12].
|
|
|
|
## 🧩 추출된 패턴 (Extracted patterns)
|
|
- **Meta-Controller Pattern**: 에이전트의 학습률, 탐색 전략($\epsilon$-greedy의 $\epsilon$), 보상 설계 등 저수준 파라미터를 실시간으로 감시하고 조정하여 학습 효율을 극대화하는 상위 제어 구조 [13, 14].
|
|
- **Evolutionary Archive Pattern**: 성공적으로 검증된 자가 수정 버전들을 아카이브에 보존하고, 이를 다음 세대의 '부모(Parent)'로 선택하여 지능을 누적하는 진화적 계통 유지 방식 [15-17].
|
|
- **Textual Backpropagation (텍스트 기반 역전파)**: 수치적 기울기 대신 컴파일 에러, 논리적 오류 리포트 등 자연어 피드백을 통해 워크플로우와 프롬프트의 '손실'을 계산하고 수정하는 기법 [18-20].
|
|
- **Analyze-Design-Experiment-Analyze (ADEA) Loop**: 과학적 사전 지식을 바탕으로 새로운 아키텍처를 제안하고 물리적 테스트베드에서 검증하여 인지 기반을 업데이트하는 폐쇄 루프 [21].
|
|
|
|
## 📖 세부 내용 (Details)
|
|
- **계층적 메타 개선**: 메타 학습은 알고리즘 계층(학습 함수 수정), 아키텍처 계층(신경망 토폴로지 및 메모리 구조 설계), 메타 인지 계층(의사결정 및 자가 교정 로직 반영) 등 다층적으로 작동한다 [7, 22].
|
|
- **자가 진화의 함수적 정의**: 정적 시스템과 달리, 메타 학습 역량을 갖춘 에이전트는 자신의 궤적($\tau$)과 피드백 신호($r$)를 입력받아 시스템 상태($\Pi$)를 새로운 상태($\Pi'$)로 변환하는 메타 전략 함수 $f(\Pi, \tau, r) = \Pi'$를 수행한다 [23, 24].
|
|
- **샘플 효율성(Sample Efficiency)의 극대화**: 단순히 대규모 연산 자원을 투입하는 대신, 시행착오에서 구조화된 교훈을 추출함으로써 매우 적은 샘플로도 복잡한 최적화 문제를 해결하고 새로운 알고리즘을 도출한다 [25, 26].
|
|
- **적응성-보존의 상쇄 관계**: 새로운 지식을 습득하는 가소성(Plasticity)과 기존 능력을 유지하는 안정성(Stability) 사이의 딜레마를 해결하기 위해 선택적 메모리 메커니즘과 파라미터 효율적 튜닝 기법을 활용한다 [27, 28].
|
|
- **보안 및 가드레일 통합**: 자가 수정 과정에서 발생할 수 있는 목표 드리프트(Goal drift)와 안전 정렬 붕괴를 방지하기 위해 샌드박스 실행, 형식 검증(Formal Verification), 인간 승인 게이트 등이 메타 학습 루프의 필수 요소로 통합된다 [29-31].
|
|
|
|
## ⚖️ 모순 및 업데이트 (Contradictions & updates)
|
|
- **수렴과 다양성의 상충**: 모델 규모를 확장(Scaling)하면 성능은 향상되지만, 창의적이고 다양한 해결책을 찾는 탐색 역량은 오히려 감소하는 '확장에 의한 수렴(convergence-by-scaling)' 현상이 관찰되었다 [32].
|
|
- **자가 진화의 트릴레마 (The Self-Evolution Trilemma)**: 다중 에이전트 사회에서 '지속적 자가 진화', '완전한 격리(외부 개입 없음)', '안전 불변성' 이 세 가지 조건을 동시에 만족하는 시스템을 구축하는 것은 이론적으로 불가능하다 [33-35].
|
|
- **붕괴 위험**: 외부의 신선한 데이터 없이 에이전트가 생성한 데이터로만 메타 학습을 반복할 경우, 엔트로피 붕괴(Entropy Decay)로 인해 분포가 극도로 단순화되고 지능이 퇴화하는 모델 붕괴 위험이 존재한다 [36, 37].
|
|
|
|
## 🛠️ 적용 사례 (Applied in summary)
|
|
- **ASI-Evolve (SJTU)**: 메타 학습 에이전트가 연구 파이프라인을 자동화하여 105개의 SOTA 어텐션 매커니즘을 발견하고 효율성이 개선된 PathGateFusionNet 구조를 스스로 설계함 [15, 21].
|
|
- **Darwin Gödel Machine (DGM)**: 코드 레벨의 에이전트 스캐폴드를 재귀적으로 설계 및 수정하여 기초 모델의 가중치 변경 없이 SWE-bench Verified 성능을 20%에서 50%로 향상시킴 [15, 38, 39].
|
|
- **MetaAgent**: 학습-실행(Learning-by-doing) 원칙에 따라 지식 격차 발생 시 스스로 도구를 생성하거나 외부 도움을 요청하는 전략을 익히는 메타 도구 학습 적용 [40].
|
|
- **NVIDIA NemoClaw/OpenShell**: 보안 정책 파일(`policy.yaml`)에 정의된 안전 범위 내에서 에이전트가 대화 패턴을 학습하여 새로운 메모리와 기술 파일(`SKILL.md`)을 스스로 작성하고 저장함 [41-43].
|
|
- **AgentSquare**: 에이전트의 계획, 메모리, 도구 사용 컴포넌트로 구성된 모듈형 디자인 공간을 자동으로 검색하여 최적의 실행 구성을 발견함 [11, 44, 45].
|
|
|
|
## ✅ 검증 상태 및 신뢰도
|
|
- **상태:** draft
|
|
- **검증 단계:** conceptual (실제 적용 사례 발견 시 applied/validated로 승격 가능)
|
|
- **출처 신뢰도:** B (Official Documentation / Primary Source via NotebookLM)
|
|
- **중복 검사 결과:** 신규 생성 (New discovery)
|
|
|
|
## 📝 변경 이력 (Change history)
|
|
- 2026-06-12: Initial draft generated via Datacollector_MAC P-Reinforce engine. |