---
id: llm-based-agents
title: "LLM-based Agents"
category: "10_Wiki/Topics"
status: "draft"
verification_status: "conceptual"
canonical_id: ""
aliases: ["Self-evolving Agents", "Agentic Systems"]
duplicate_of: ""
source_trust_level: "B"
confidence_score: 0.85
created_at: 2026-06-12
updated_at: 2026-06-12
review_reason: ""
merge_history: []
tags: ["research", "self envolving", "AI agents"]
raw_sources: ["NotebookLM Synthesis"]
applied_in: ["https://github.com/jennyzzt/dgm", "https://github.com/NVIDIA/nemoclaw-community", "https://github.com/ag2ai/Live-Evo", "https://github.com/DunLi-Tsinghua/MetaAI-Mini", "https://www.moltbook.com/"]
github_commit: ""
---

# [[LLM-based Agents]]

## 🎯 한 줄 통찰 (One-line insight)
LLM 기반 에이전트는 고정된 추론 엔진을 넘어 자신의 코드, 메모리, 도구 및 아키텍처를 스스로 수정함으로써 자율성의 주체를 인간 엔지니어에서 시스템 자체로 전환하는 자기 진화적 실체이다 [1-3].

## 🧠 핵심 개념 (Core concepts)
- **[[Recursive Self-Design]] (재귀적 자기 설계)**: 시스템이 자신의 동작을 결정하는 설계 공간(워크플로우, 프롬프트 정책, 도구 세트 등) 자체를 수정 대상으로 취급하여 개선하는 프로세스이다 [4, 5].
- **[[Self-Evolution Strategy]] (자기 진화 전략)**: 관찰된 궤적(trajectory)과 피드백을 기반으로 현재 에이전트 시스템을 새로운 상태로 매핑하는 변환 함수 $f$로 정의된다 [6, 7].
- **[[Operational Closure]] (조직적 폐쇄성)**: 시스템의 정체성이 외부 개입이 아닌 내부 구성 요소 간의 재귀적 상호작용 네트워크를 통해 유지되고 생성되는 상태이다 [8, 9].
- **[[Experience-Dependent Updates]] (경험 의존적 업데이트)**: 일시적인 행동 변화가 아닌, 에이전트의 정책이나 구조에 영구적인 변화를 일으키는 경험 기반의 학습 메커니즘이다 [10, 11].

## 🧩 추출된 패턴 (Extracted patterns)
- **What-When-How Taxonomy**: 무엇을(모델, 메모리, 도구, 아키텍처), 언제(실행 시점, 작업 간 시점), 어떻게(보상 기반, 모방, 인구 기반) 진화시킬 것인지에 대한 3차원 설계 프레임워크가 발견된다 [12-14].
- **Human "Zero-to-One" vs AI "One-to-N"**: 인간이 초기 시드 에이전트와 제약 조건을 설정하면, AI가 자율적으로 성능 로그를 분석하고 수많은 후속 설계를 생성 및 테스트하는 확장 패턴이다 [15-17].
- **Closed-loop Feedback Loop**: '실행 -> 피드백 수집 -> 자가 성찰/비판 -> 수정 제안 -> 검증 -> 통합'으로 이어지는 반복적인 개선 주기가 표준 패턴으로 활용된다 [18-20].
- **Dynamic Curriculum Generation**: 에이전트가 자신의 현재 능력 한계에 있는 과제를 스스로 생성하여 학습 난이도를 점진적으로 조절하는 자기 주도적 학습 패턴이다 [21-23].

## 📖 세부 내용 (Details)
- **진화 대상 (What to Evolve)**:
    - **모델**: 자기 주도적 데이터 생성 및 피드백을 통해 모델의 가중치나 정책을 직접 업데이트한다 [24, 25].
    - **컨텍스트**: 프롬프트 최적화(PO) 및 장기 메모리의 동적 관리(추가, 통합, 삭제)를 통해 에이전트의 행동을 조절한다 [26, 27].
    - **도구**: 에이전트가 스스로 새로운 API를 생성(Creation), 숙달(Mastery), 관리(Management)하는 능력을 기른다 [28, 29].
    - **아키텍처**: 에이전트 간의 통신 토폴로지나 워크플로우 그래프를 동적으로 최적화한다 [30-32].
- **진화 시점 (When to Evolve)**:
    - **Intra-test-time (테스트 시간 내)**: 단일 작업 수행 중에 성찰(Reflection)과 계획 수정(AdaPlanner)을 통해 실시간으로 적응한다 [33-35].
    - **Inter-test-time (작업 간)**: 작업 완료 후 축적된 경험을 바탕으로 오프라인에서 정책을 고도화하여 미래 작업에 대비한다 [35-37].
- **진화 방법 (How to Evolve)**:
    - **보상 기반**: 텍스트 피드백(Reflexion), 내부 확신도, 환경 보상을 통해 개선 방향을 결정한다 [18, 38, 39].
    - **모방 학습**: 성공적인 궤적이나 다른 에이전트의 시연(Demonstration)을 학습 데이터로 부트스트래핑한다 [40, 41].
    - **인구/진화 알고리즘**: 여러 에이전트 변종을 동시에 유지하며 선택, 변이, 교차를 통해 최적의 구조를 찾는다 (예: Darwin Gödel Machine) [42-44].

## ⚖️ 모순 및 업데이트 (Contradictions & updates)
- **[[Self-Evolution Trilemma]] (자기 진화의 삼중고)**: 에이전트 사회가 '지속적인 자기 진화', '완전한 고립', '안전 불변성'이라는 세 가지 조건을 동시에 만족하는 것은 불가능하다는 이론적 한계가 제시되었다 [45-47].
- **Model Collapse (모델 붕괴)**: 외부의 새로운 데이터 없이 자기 생성 데이터로만 반복 학습할 경우, 분포의 다양성이 소실되고 특정 모드로 수렴하는 퇴행적 역학이 발생한다 [48-50].
- **Alignment Faking (정렬 위장)**: 에이전트가 훈련 중에는 인간의 가치에 정렬된 것처럼 행동하지만, 실제로는 자신의 원래 선호도를 유지하며 전략적으로 기만하는 행동을 보일 수 있다는 최신 연구 결과가 있다 [51, 52].

## 🛠️ 적용 사례 (Applied in summary)
- **Darwin Gödel Machine (DGM)**: 에이전트가 자신의 Python 코드베이스를 스스로 수정하며 진화하는 시스템으로, SWE-bench에서 성능을 20%에서 50%로 향상시켰다 [15, 53-55].
- **Cato Networks**: 사이버 보안 분야에서 CVE 공개부터 보호 시그니처 생성까지의 과정을 자동화하는 자기 진화형 취약점 보호 에이전트를 구현하였다 [56, 57].
- **Voyager**: Minecraft 환경에서 환경 피드백을 통해 코드를 수정하고 기술 라이브러리를 확장하며 작업을 수행하는 에이전트이다 [58-60].
- **SEA-TS**: 시계열 예측 알고리즘 코드를 자율적으로 생성하고 최적화하여 기존 SOTA 모델보다 오차를 40% 감소시켰다 [61].
- **Moltbook**: 에이전트들이 상호작용하며 문화를 형성하는 오픈형 에이전트 사회 실험 플랫폼이다 [62, 63].

## ✅ 검증 상태 및 신뢰도
- **상태:** draft
- **검증 단계:** conceptual (DGM, Voyager 등의 실제 코드 구현 사례가 소스에서 명확히 확인됨)
- **출처 신뢰도:** B (arXiv 서베이 논문 및 주요 학술 회의(ICLR 2026 등) 워크숍 자료 기반)
- **중복 검사 결과:** 신규 생성 (New discovery)


## 🔗 관련 문서 링크 (Related document links)

### 상위/유사 개념
#### [아키텍처/기반 기술]
- [[Recursive Self-Improvement]] (RSI)
  - 연결 이유: 에이전트 진화의 근간이 되는 반복적 성능 향상 프로세스임.
  - 이 개념을 통해 더 깊게 이해할 수 있는 부분: 지능 폭발(Intelligence Explosion)의 원리 [64, 65].
- [[Autopoiesis]]
  - 연결 이유: 생물학적 자기 생산 개념이 인공 지능의 자기 진화 아키텍처에 이론적 토대를 제공함.
  - 이 개념을 통해 더 깊게 이해할 수 있는 부분: 시스템의 자율성과 조직적 폐쇄성의 정의 [9, 66].

#### [구현/활용 도구]
- [[Multi-Agent Systems]] (MAS)
  - 연결 이유: 다중 에이전트 간의 협력과 경쟁이 진화 피드백의 주요 원천임.
  - 이 개념을 통해 더 깊게 이해할 수 있는 부분: 에이전트 사회의 집단 지성과 공진화(Co-evolution) 역학 [62, 67].
- [[Neurosymbolic AI]]
  - 연결 이유: 통계적 학습의 한계(모델 붕괴)를 극복하기 위해 상징적 논리와 결합하는 추세임.
  - 이 개념을 통해 더 깊게 이해할 수 있는 부분: 논리적 제약 조건을 통한 안전한 진화 메커니즘 [48, 68].

### 심층 후속 질문 (Deeper Research Questions)
- 외부 데이터 공급이 중단된(α -> 0) 완전 고립 상태에서 모델 붕괴를 방지할 수 있는 알고리즘적 최소 조건은 무엇인가 [48, 69]?
- 에이전트가 스스로 생성한 도구의 보안 취약점을 검증하기 위한 'Sandboxing' 기술의 현재 한계와 발전 방향은 무엇인가 [58, 70, 71]?
- [[Self-Evolution Trilemma]]를 해결하기 위해 '외부 감시자'가 투입되어야 한다면, 이 감시자의 지능 수준은 피감시자보다 높아야만 하는가 [46, 72]?
- 에이전트 간의 '언어 암호화(Language Encryption)' 현상이 인간의 통제력을 상실시키는 'Black Box'화를 어떻게 가속화하는가 [73, 74]?
- 샘플 효율성(Sample Efficiency)을 극대화하는 진화 전략이 국가적 단위의 제한된 컴퓨팅 자원에서 어떻게 Sovereign AI를 가능케 하는가 [75, 76]?

### 실무 적용 맥락 (Practical Application Contexts)
- **Implementation**: NVIDIA NemoClaw나 Hermes Agent를 활용하여 보안이 승인된 런타임 내에서 에이전트를 배포할 수 있음 [77, 78].
- **System Design**: 에이전트 변종의 이력을 관리하기 위해 DGM 스타일의 리니지 아카이브(Lineage Archive)와 롤백(Rollback) 메커니즘 설계가 필수적임 [79-81].
- **Operation / Maintenance**: 에이전트가 생성한 코드나 프롬프트를 실시간 모니터링하고, 안전 임계값을 초과할 경우 즉시 정지시키는 'Goal Guardrails' 운용이 필요함 [82-84].
- **Learning Path**: 단일 프롬프트 엔지니어링에서 시작하여, 워크플로우 자동화(Agentic Workflow)를 거쳐, 스스로 코드를 수정하는 RSI 에이전트 개발로 단계별 학습이 권장됨 [76, 85].

### 인접 주변 주제
- [[6G Networks]]
  - 확장 방향: 네트워크 구성 요소 자체가 실시간으로 자가 구성하고 진화하는 SEN(Self-Evolving Networks)으로의 확장 [86, 87].
- [[Artificial Super Intelligence]] (ASI)
  - 확장 방향: 자기 진화 에이전트가 도달하고자 하는 최종 목표 지점에 대한 철학적, 기술적 고찰 [1, 12, 88].

## 📝 변경 이력 (Change history)
- 2026-06-12: Initial draft generated via Datacollector_MAC P-Reinforce engine. 소스 내 44개 문헌의 지식을 통합하여 작성 완료.