Foundational LLM Concepts (LLM 기초 개념)

📌 Brief Summary

Foundational LLM Concepts는 에이전틱 시스템의 두뇌 역할을 하는 대규모 언어 모델(LLM)의 본질적인 특성, 아키텍처적 한계, 그리고 에이전트 구축 시 고려해야 할 핵심 원리를 다룬다. 모델의 확률론적 특성과 컨텍스트 처리 방식에 대한 깊은 이해는 신뢰할 수 있는 에이전트 하네스를 설계하는 데 필수적인 기초 지식이다.

📖 Core Content

LLM의 본질적 특성:
- 확률론적 생성 (Probabilistic Generation): 다음 단어를 확률에 기반하여 선택하므로 동일한 입력에도 결과가 달라질 수 있는 비결정성(Non-determinism)을 가짐.
- 컨텍스트 윈도우 (Context Window): 한 번에 처리할 수 있는 정보의 양이 제한되어 있으며, 이를 초과하면 이전 정보를 망각하거나 성능이 저하됨.
Long-context Models: 백만 토큰 이상의 방대한 컨텍스트를 지원하는 최신 모델들(Gemini 1.5, GPT-4o 등)의 특성과 에이전틱 워크플로우에 미치는 영향.
비결정성 (Non-determinism) 제어: 확률적인 모델의 출력을 시스템적으로 통제하기 위해 온도(Temperature) 조절, Top-p 설정, 그리고 하네스 계층의 결정론적 검증 게이트를 활용하는 기법.
토큰 경제학 (Token Economics): 입력과 출력 토큰의 비용과 추론 속도(Latency) 사이의 트레이드오프를 최적화하여 경제적인 시스템 구축.
모델 정렬 (Alignment): 모델이 인간의 의도와 가치관에 부합하도록 학습(RLHF 등)된 정도와, 이것이 에이전트의 지시 준수 능력에 미치는 영향.

⚖️ Trade-offs & Caveats

추론 성능 vs 속도: 모델의 크기가 커질수록 지능은 높아지지만 반응 속도는 느려지고 비용은 증가한다.
컨텍스트 크기 vs 집중력: 컨텍스트 윈도우가 커져도 모델이 중간에 위치한 정보에 소홀해지는 'Lost in the Middle' 현상은 여전히 존재할 수 있다.
창의성 vs 신뢰성: 모델의 자유도를 높이면 창의적인 해결책이 나오지만, 동시에 환각(Hallucination)과 오류의 위험도 함께 증가한다.

🔗 Knowledge Connections

Reasoning & Planning
- 연결 이유: LLM의 기초적인 추론 능력을 바탕으로 복잡한 계획 수립 능력이 구축된다.
Context Engineering
- 연결 이유: LLM의 컨텍스트 윈도우 한계를 기술적으로 극복하기 위한 방법론이다.
Agentic AI Security
- 연결 이유: LLM의 취약점(인젝션 등)을 방어하는 보안 체계와 직결된다.

Deeper Research Questions

모델의 '파라미터 지식'과 '컨텍스트 지식'이 에이전트의 최종 판단에서 각각 어느 정도의 비중을 차지하는지 정량적으로 측정할 수 있는가?
특정 도메인(코딩, 법률, 의료)에 특화된 소형 모델(SLM)이 대형 모델(LLM)보다 에이전트 하네스 내부에서 더 효율적으로 작동할 수 있는 조건은 무엇인가?
모델의 비결정성을 역으로 활용하여, 여러 번의 독립적인 추론을 수행하고 합의를 도출하는 '앙상블 추론'의 효과는 어떠한가?

Practical Application Contexts

Implementation: 작업의 난이도에 따라 저렴하고 빠른 모델(GPT-4o mini)과 강력하지만 비싼 모델(Claude 3.5 Sonnet)을 혼합하여 사용하는 하이브리드 모델 아키텍처를 설계한다.
System Design: 에이전트의 답변 일관성을 높이기 위해 seed 값을 고정하거나, 중요한 로직에서는 temperature=0으로 설정하여 결정론적 답변을 유도한다.

Last updated: 2026-05-01

3.9 KiB Raw Blame History