2nd/10_Wiki/Topics/AI/Large Language Models (LLM).md

id, category, confidence_score, tags, last_reinforced

id	category	confidence_score	tags	last_reinforced
P-REINFORCE-AUTO-LLMM-001	10_Wiki/💡 Topics/AI	0.99	auto-reinforced llm large-language-models generative-ai foundation-models transformer	2026-04-20

Large Language Models (LLM)

📌 한 줄 통찰 (The Karpathy Summary)

"인류 지식의 거대 압축기: 전 지구적 텍스트 데이터를 학습하여 언어의 패턴을 완벽히 흡수하고, 다음 단어를 예측하는 단순한 행위로부터 추론, 요약, 번역, 코딩이라는 초월적 지능을 발현시키는 지식의 빅뱅."

📖 구조화된 지식 (Synthesized Content)

거대 언어 모델(LLM)은 수십억 개 이상의 파라미터를 가진 신경망 기반 언어 모델입니다. (Transformer 아키텍처 기반)

1. 핵심 역량:
   • Context Learning: 주어진 문맥만으로 새로운 작업을 수행 (Few-Shot-Learning).
   • Emergent Abilities: 모델 규모가 일정 수준을 넘어서며 갑자기 발현되는 고차원 추론 능력. (Emergence와 연결)
   • Generality: 특정 용도가 아닌, 거의 모든 지적 작업에 범용적으로 사용 가능.
2. 왜 중요한가?:
   • 인간과 기계의 소통 방식(HCI)을 근본적으로 바꾸었으며, 모든 소프트웨어의 '두뇌' 역할을 수행하는 중임. (Gen-AI의 주 엔진)

⚠️ 모순 및 업데이트 (Contradictions & RL Update)

• 과거 데이터와의 충돌: 과거 언어 모델 정책은 단순 단어 나열 정책이었으나, LLM 정책은 언어 속에 담긴 '논리와 법칙 정책'을 이해하는 인지 모델로 진화함(RL Update).
• 정책 변화(RL Update): 단순히 모델을 키우는 '물량 공세 정책'을 넘어, 적은 데이터와 파라미터로도 효율적인 성능을 내는 '소규모 거대 언어 모델(sLLM) 정책'과 실시간 검색을 결합한 'RAG 정책'으로 실무 정책이 이동 중임.

🔗 지식 연결 (Graph)

• Gen-AI, Foundation-Models, Transformer (트랜스포머), Emergence, Few-Shot-Learning
• Modern Tech/Tools: GPT-4, Claude, Llama 3, Gemini, Mistral.

---