Antigravity Agent
100 lines
8.4 KiB
Markdown
100 lines
8.4 KiB
Markdown
---
|
||
id: large-language-models
|
||
title: "Large Language Models"
|
||
category: "10_Wiki/Topics"
|
||
status: "draft"
|
||
verification_status: "conceptual"
|
||
canonical_id: ""
|
||
aliases: ["LLM", "Large Multi-modal Models"]
|
||
duplicate_of: ""
|
||
source_trust_level: "B"
|
||
confidence_score: 0.85
|
||
created_at: 2026-06-12
|
||
updated_at: 2026-06-12
|
||
review_reason: ""
|
||
merge_history: []
|
||
tags: ["research", "self envolving"]
|
||
raw_sources: ["NotebookLM Synthesis"]
|
||
applied_in: ["Darwin Gödel Machine", "Self-Challenging Agent (SCA)", "ASI-Evolve"]
|
||
github_commit: ""
|
||
---
|
||
|
||
# [[Large Language Models]]
|
||
|
||
## 🎯 한 줄 통찰 (One-line insight)
|
||
정적인 추론 엔진의 한계를 넘어, 자체 생성 데이터와 환경 피드백을 통해 내부 파라미터와 행동 정책을 자율적으로 갱신하는 [[self envolving]] 에이전트의 핵심 인지 중추 [1-3].
|
||
|
||
## 🧠 핵심 개념 (Core concepts)
|
||
- **인지 프로세서 (Cognitive Core):** 자율 에이전트 시스템($\Pi$)에서 관측값을 입력받아 자연어 공간과 도구 공간의 행동을 결정하는 정책 함수($\pi$) 역할을 수행함 [4, 5].
|
||
- **정적 한계 (Static Bottleneck):** 전통적인 LLM은 배포 후 내부 파라미터를 수정할 수 없어 지식의 진화나 동적인 문맥 적응이 불가능한 정적인 상태에 머물러 있음 [1, 2].
|
||
- **가중치 자율 갱신 (Parametric Evolution):** 자기 생성 감독 신호(Self-generated supervision)나 환경 보상을 통해 고정된 가중치를 미세 조정(Fine-tuning)하여 성능을 개선함 [3, 6].
|
||
- **분포 학습자 (Distribution Learners):** 데이터 공간($\mathcal{X}$)에서 확률 분포를 학습하고 샘플링하며, 이는 수학적으로 KL 발산(Kullback–Leibler divergence) 최소화 과정으로 정의됨 [7, 8].
|
||
|
||
## 🧩 추출된 패턴 (Extracted patterns)
|
||
- **Self-Challenging Loop:** 모델이 도전자로 변신해 스스로 문제를 생성하고, 실행자로서 이를 해결하며 성공적인 궤적을 학습에 재투입하는 패턴 [6, 9].
|
||
- **Self-Rewarding Mechanism:** 외부 레이블 없이 내부 판단 로직을 통해 자신의 출력을 평가하고, 이를 보상 신호로 삼아 정책을 최적화함 [6, 10].
|
||
- **Noise-to-Meaning Growth:** 정보 통합 임계값을 초과할 때, 실행 로그의 문맥적 오버헤드보다 새로운 토큰 생성의 의미적 압축 이득이 커지며 폭주적인 자기 개선 사이클이 발생함 [11].
|
||
|
||
## 📖 세부 내용 (Details)
|
||
- **LLM의 에이전트화와 진화:** LLM 기반 에이전트는 계획(Planning), 메모리(Memory), 도구 사용(Tool use) 능력을 결합하여 정적 모델의 한계를 극복함 [12]. [[self envolving]] 에이전트는 여기서 한 걸음 더 나아가 상호작용 궤적에 기반해 자신의 모델 가중치나 프롬프트 정책을 영구적으로 변경함 [13, 14].
|
||
- **학습 패러다임의 전이:** 인간이 큐레이션한 데이터에 의존하는 수동적 학습에서, 에이전트가 스스로 데이터를 생성, 정제, 주석을 다는 능동적 자율 학습으로 전이되고 있음 [13, 15].
|
||
- **반복적 자기 정제 (Iterative Refinement):** 모델이 자신의 초기 출력을 반복적으로 비판하고 수정하여 명시적인 재학습 없이도 정확도를 높이는 방식임 [16].
|
||
- **수학적 전개:** [[self envolving]] 전략 $f$는 현재 시스템 $\Pi$와 궤적 $\tau$, 피드백 $r$을 입력받아 새로운 시스템 상태 $\Pi'$로 매핑하는 변환으로 정의됨 [17].
|
||
- **정보 이론적 안전성:** 폐쇄 루프 시스템에서 LLM이 자신의 출력만으로 학습할 경우, 외부 교정 신호(Exogenous signal)가 사라지며 '모델 붕괴'와 '엔트로피 부식'이 발생하여 안전성 정렬이 파괴될 위험이 있음 [8, 18, 19].
|
||
|
||
## ⚖️ 모순 및 업데이트 (Contradictions & updates)
|
||
- **지능 폭발 vs 모델 붕괴:** 낙관적 견해는 [[Recursive Self-Improvement]]가 지능 폭발을 일으킬 것이라 보지만, 정보 이론적 분석은 외부 접지(Grounding) 없는 자율 진화가 반드시 데이터의 다양성을 잃고 퇴행적 고정점으로 수렴함을 증명함 [18, 20, 21].
|
||
- **강화학습의 유효성:** AlphaZero와 같이 고정된 규칙(바둑 등) 내에서는 자율 개선이 유효하나, 언어나 추론 같은 열린 영역(Open-ended domains)에서는 완벽한 검증기가 부재하여 단순 자율 학습이 위험할 수 있음 [22, 23].
|
||
|
||
## 🛠️ 적용 사례 (Applied in summary)
|
||
- **Darwin Gödel Machine (DGM):** 코딩 에이전트가 자신의 Python 소스 코드를 재귀적으로 수정하고 성능 로그를 분석하여 진화하는 아카이브를 구축함 [24, 25].
|
||
- **Self-Challenging Agent (SCA):** LLM이 '문제 생성자'와 '해결자' 역할을 교대로 수행하며 복잡한 다단계 작업의 성능을 비약적으로 향상시킴 [6, 9].
|
||
- **ASI-Evolve:** GAIR-NLP 랩에서 개발한 시스템으로, 연구 에이전트가 새로운 신경망 아키텍처와 RL 알고리즘을 스스로 설계하고 물리적 테스트베드에서 검증함 [26].
|
||
|
||
## ✅ 검증 상태 및 신뢰도
|
||
- **상태:** draft
|
||
- **검증 단계:** conceptual (실제 DGM 및 SCA 등의 사례에서 가중치 및 구조 진화가 부분적으로 검증됨)
|
||
- **출처 신뢰도:** B (arXiv 설문 조사 및 학술 논문 기반 합성)
|
||
- **중복 검사 결과:** 신규 생성 (New discovery)
|
||
|
||
|
||
## 🔗 관련 문서 링크 (Related document links)
|
||
|
||
### 상위/유사 개념
|
||
#### [아키텍처/기반 기술]
|
||
- [[self envolving]]
|
||
- 연결 이유: LLM이 정적 도구에서 동적 시스템으로 변모하기 위한 루트 주제.
|
||
- 이 개념을 통해 더 깊게 이해할 수 있는 부분: 모델이 어떻게 경험을 통해 스스로를 재구성하는가.
|
||
- [[Cognitive Architectures]]
|
||
- 연결 이유: LLM을 핵심 인지 모듈로 사용하는 상위 시스템 설계 방식.
|
||
- 이 개념을 통해 더 깊게 이해할 수 있는 부분: LLM이 메모리 및 도구와 상호작용하며 진화하는 구조.
|
||
|
||
#### [구현/활용 도구]
|
||
- [[Recursive Self-Improvement]]
|
||
- 연결 이유: LLM의 능력을 기하급수적으로 확장하기 위한 핵심 메커니즘.
|
||
- 이 개념을 통해 더 깊게 이해할 수 있는 부분: 모델이 자신의 코드를 수정하는 구체적 루프.
|
||
- [[Reinforcement Learning]]
|
||
- 연결 이유: 피드백을 통해 모델의 정책을 업데이트하는 수학적 도구.
|
||
- 이 개념을 통해 더 깊게 이해할 수 있는 부분: 보상 신호가 어떻게 가중치 변경으로 이어지는가.
|
||
|
||
### 심층 후속 질문 (Deeper Research Questions)
|
||
- 외부 데이터 공급이 완전히 차단된 상태에서 LLM이 모델 붕괴를 피하며 지능을 높일 수 있는 임계 조건은 무엇인가? [8, 11]
|
||
- 신경 기호(Neurosymbolic) 통합이 LLM의 확률적 드리프트를 막는 '이산적 닻(Discretization anchor)' 역할을 할 수 있는가? [27, 28]
|
||
- 모델 가중치 업데이트(SFT/RL)와 문맥 기반 적응(ICL/Memory) 중 장기적인 [[self envolving]]에 더 효율적인 방식은 무엇인가? [29, 30]
|
||
- 자율 진화 과정에서 발생하는 '정렬 사기(Alignment faking)'와 '자기 이익 최적화'를 방지하기 위한 기술적 가드레일은 어떻게 설계해야 하는가? [31-33]
|
||
- LLM의 자기 개선 능력이 모델의 규모(Scaling)와 어떤 상관관계를 가지는가? [34, 35]
|
||
|
||
### 실무 적용 맥락 (Practical Application Contexts)
|
||
- **Implementation:** Self-Challenging 프레임워크를 도입하여 특정 도메인(코딩, 수학)의 합성 데이터를 생성하고 모델을 미세 조정함 [6].
|
||
- **System Design:** 에이전트의 코드와 정책을 버전 관리하고, 성능 저하 시 즉시 복구할 수 있는 'Rollback Mechanism'을 설계에 포함함 [36, 37].
|
||
- **Operation / Maintenance:** 모델의 엔트로피와 분포 드리프트를 실시간 모니터링하여 자율 진화의 안전성을 감시함 [37, 38].
|
||
- **Learning Path:** 정적 프롬프트 엔지니어링에서 시작하여, 피드백 루프를 통한 자동 프롬프트 최적화(DSPy 등)를 거쳐 가중치 자체를 진화시키는 단계로 확장함 [39, 40].
|
||
|
||
### 인접 주변 주제 (Adjacent Topics)
|
||
- [[Model Collapse]]
|
||
- 확장 방향: 자율 진화의 실패 모드와 데이터 순수성 유지의 중요성 탐구.
|
||
- [[AI Safety]]
|
||
- 확장 방향: 통제 불능의 자율 수정과 가치 편향 증폭 문제 분석.
|
||
|
||
## 📝 변경 이력 (Change history)
|
||
- 2026-06-12: Initial draft generated via Datacollector_MAC P-Reinforce engine. |