Organizer 정리 산출물(From_RawData) + 이사 체크리스트 + 인덱스 갱신

- Raw_Data 자동 정리 산출물이 각 도메인 From_RawData/ 로 편입, 00_INDEX 연결 갱신 - 컴퓨터_이사_체크리스트.md 추가 (두뇌-상대 경로 규약 v2.2.304 — 새 컴퓨터에서 바꿀 절대 경로는 localBrainPath 1개) - Astra 세션 산출물(에피소드 기억·기능 인벤토리) 갱신 Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
2026-07-11 21:03:00 +09:00
parent 468322768c
commit 2cc6eff2dd
162 changed files with 15836 additions and 14 deletions
@@ -0,0 +1,104 @@
+---
+id: auto-regressive
+title: "Auto-regressive"
+category: "AI_and_ML"
+status: "draft"
+verification_status: "conceptual"
+canonical_id: ""
+aliases: ["오토-리그레시브", "자기 회귀", "자기회귀", "자기회귀 모델", "Autoregressive Model", "Auto-regressive property"]
+duplicate_of: ""
+source_trust_level: "A"
+confidence_score: 0.95
+created_at: 2026-07-11
+updated_at: 2026-07-11
+review_reason: ""
+merge_history: []
+tags: ["research", "context 이해 규칙"]
+raw_sources: ["[AI/LLM] Transformer Attention 이해하기: Q, K, V의 역할과 동작 원리", "어텐션 메커니즘이란 무엇인가요? - IBM", "Path to Intelligence: Measuring Similarity between Human Brain and Large Language Model Beyond Language Task - arXiv"]
+applied_in: []
+github_commit: ""
+---
+
+# [[Auto-regressive]]
+
+## 🎯 한 줄 통찰 (One-line insight)
+이전에 생성된 과거의 토큰들을 기반으로 한 번에 하나의 토큰을 순차적으로 생성하며, 미래의 정보를 미리 보지 못하도록 제어하는 언어 모델의 핵심 동작 속성.
+
+## 🧠 핵심 개념 (Core concepts)
+*   **순차적 토큰 생성:** 한 번에 하나의 토큰을 생성하며, 새로운 토큰 생성 시 이전 시점까지의 토큰 정보는 변하지 않음.
+*   **Masked Self-Attention:** 미래의 단어를 미리 참조하지 못하도록 현재 시점 이후의 Key 값들에 대해 마스킹($-\infty$) 처리 적용.
+*   **KV Caching:** 매 스텝마다 전체 시퀀스를 재계산하는 연산 낭비를 막기 위해 이전 스텝의 K(Key), V(Value) 벡터를 메모리에 저장하여 재활용.
+*   **디코더 전용 아키텍처:** GPT(Generative Pretrained Transformer)와 같이 텍스트 생성에 혁명을 일으킨 언어 모델 아키텍처의 기반.
+
+## 🧩 추출된 패턴 (Extracted patterns)
+*   **단방향 문맥 참조:** 입력 시퀀스와 생성된 시퀀스를 하나의 연속된 흐름으로 취급하여, 미래 정보를 차단하고 오직 과거 및 현재 정보만을 활용해 다음 토큰을 예측(Next token prediction)하는 패턴.
+*   **캐싱을 통한 연산 최적화:** 디코딩 시 $O(n^2)$ 복잡도를 유발하는 반복 계산을 회피하기 위해, 새로운 Query에 대해서만 연산을 수행하고 이전 K, V는 메모리에 캐싱(KV Caching)하는 전략.
+
+## ⚖️ 비교 및 선택 기준 (Comparison & decision criteria)
+
+| 항목 (Option) | 장점 | 단점 | 언제 선택 |
+|---|---|---|---|
+| **Auto-regressive (디코더 전용 모델)** | 텍스트 생성에 탁월하며, 토큰을 순차적이고 자연스럽게 생성 가능 | 문장의 전체 맥락(미래 정보)을 동시에 고려할 수 없어 양방향 문맥 파악에는 불리 | 텍스트 생성, 기계 번역, 챗봇 등 문장을 순차적으로 만들어야 할 때 (예: GPT) |
+| **Bi-directional (인코더 전용 모델)** | 문장의 모든 단어가 서로를 참조하여 양방향(Bi-directional) 맥락을 완벽히 파악 | 순차적인 토큰 생성이 불가능하여 문장 생성형 태스크에는 부적합 | 텍스트 분류, 개체명 인식, 문맥 이해 등 문장 전체의 의미 파악이 중요할 때 (예: BERT) |
+
+## 📖 세부 내용 (Details)
+*   Auto-regressive(자기 회귀) 속성은 트랜스포머(Transformer) 아키텍처에서 주로 디코더(Decoder)가 가지는 특징으로, 한 번에 하나의 토큰을 순차적으로 생성하는 방식을 의미한다 [S1].
+*   새로운 토큰 $t$를 생성할 때, 이전 $1$부터 $t-1$까지의 토큰들은 변하지 않으며 모델은 이 과거 정보를 바탕으로 다음 토큰을 예측한다 [S1, S3].
+*   학습 및 추론 과정에서 미래의 단어를 미리 보지 못하도록 제어하기 위해, 현재 시점 이후의 Key들에 대해 $-\infty$로 마스킹(Masking) 처리를 하는 Masked Self-Attention 메커니즘을 사용한다 [S1].
+*   토큰 생성 과정에서 매 스텝마다 전체 시퀀스의 Key(K)와 Value(V)를 재계산하는 것은 $O(n^2)$의 복잡도를 유발하여 심각한 연산 낭비를 초래한다. 이를 해결하기 위해 이전 스텝에서 계산된 K와 V 벡터를 메모리에 저장해두고 새로운 Query에 대해서만 연산을 수행하는 KV Caching 기법이 필수적으로 적용된다 [S1].
+*   이러한 자기 회귀 방식은 GPT(Generative Pretrained Transformer)와 같은 디코더 전용 대규모 언어 모델(LLM)에 핵심적으로 적용되어 텍스트 생성 분야에 혁명을 일으켰다 [S2].
+*   자기 회귀적 셀프 어텐션 기반 LLM은 기계 번역과 같은 작업에서 원문과 번역된 텍스트를 두 개의 별개 시퀀스(교차 어텐션)로 취급하는 대신, 하나의 연속된 시퀀스로 취급하여 학습된 다국어 토큰 어휘 사이의 어텐션을 이해하는 방식으로 동작한다 [S2].
+*   인지과학 연구 분야에서도 자기 회귀 딥 러닝 언어 모델(Autoregressive deep language models)의 다음 토큰 예측(Next token prediction) 동작 메커니즘이 인간 두뇌의 인지적 언어 처리 방식(fMRI, MEG 데이터 등)과 선형적으로 매핑될 수 있는지에 대한 융합 연구가 진행된 바 있다 [S3].
+
+## ⚖️ 모순 및 업데이트 (Contradictions & updates)
+소스 내에서 상충되는 정보가 있거나, 기존 상식과 다른 최신 정보는 소스에서 확인되지 않음.
+
+## 🛠️ 적용 사례 (Applied in summary)
+현재 발견된 실제 적용 사례가 없습니다. (단, 모델 관점에서 GPT(Generative Pretrained Transformer) 시리즈가 텍스트 생성을 위해 Auto-regressive 모델 아키텍처를 도입하여 상용화되었음이 기술됨 [S2]).
+
+## 💻 코드 패턴 (Code patterns)
+소스에 코드 예시 없음.
+
+## ✅ 검증 상태 및 신뢰도
+- **상태:** draft
+- **검증 단계:** conceptual
+- **출처 신뢰도:** A
+- **신뢰 점수:** 0.95
+- **중복 검사 결과:** 신규 생성 (New discovery)
+
+## 🔗 관련 문서 링크 (Related document links)
+
+### 상위/유사 개념
+- [[Transformer]] — Auto-regressive 속성 및 디코더 아키텍처가 구현되는 기본 딥러닝 아키텍처.
+- [[Masked Self-Attention]] — Auto-regressive 모델이 미래 정보를 훔쳐보지 못하게 막는 핵심 어텐션 메커니즘.
+- [[KV Caching]] — 순차적 토큰 생성 시 필연적으로 발생하는 연산 병목을 해결하기 위한 캐시 기술.
+- [[Next Token Prediction]] — Auto-regressive 언어 모델이 학습하고 동작하는 근본적인 목표.
+
+### 심층 후속 질문 (Deeper Research Questions)
+- Auto-regressive 모델에서 KV Caching을 적용할 때 GPU VRAM 점유율 증가 문제를 완화하기 위한 페이징 기법(예: PagedAttention)은 어떻게 동작하는가?
+- 양방향(Bi-directional) 인코더 모델과 Auto-regressive 디코더 모델의 구조적 차이는 어텐션 마스킹 행렬 구성 측면에서 어떻게 다르게 표현되는가?
+- 자기 회귀 모델 기반 LLM이 다국어 번역을 수행할 때, 명령 조정(Instruction Tuning)은 단일 시퀀스 내의 맥락적 이해를 어떻게 향상시키는가?
+- Auto-regressive 모델의 다음 토큰 예측 행위와 인간 뇌파 반응(fMRI, MEG) 사이의 상관관계는 생물학적 인지 과정에 어떤 통찰을 제공하는가?
+
+### 실무 적용 맥락 (Practical Application Contexts)
+- **Implementation:** 트랜스포머 디코더 레이어 구현 시 미래 시점의 정보에 접근하지 못하도록 마스킹(Masking) 행렬 로직 작성.
+- **System Design:** LLM 서빙 시 TTFT(Time-to-First-Token)와 Throughput을 최적화하기 위해 KV Cache 메모리 할당량을 포함한 인프라 아키텍처 설계.
+- **Operation / Maintenance:** 긴 시퀀스의 컨텍스트를 처리할 때 급증하는 GPU VRAM의 캐시 사용량을 모니터링하고 메모리 관리 기법 도입.
+- **Learning Path:** Attention 메커니즘 기초 이해 $\rightarrow$ 디코더 아키텍처 $\rightarrow$ KV Caching 최적화 기법 $\rightarrow$ 거대 언어 모델(LLM) 서빙.
+
+### 인접 주변 주제 (Adjacent Topics)
+- [[Generative AI]] — 확장 방향: 자기 회귀 모델을 코어로 활용한 텍스트 및 멀티모달 콘텐츠 생성 메커니즘.
+- [[Prompt Engineering]] — 확장 방향: 자기 회귀 모델의 텍스트 생성 흐름을 의도한 맥락으로 제어하기 위한 입력 지시문 설계 기법.
+
+## 🔗 지식 그래프 (Knowledge Graph)
+- **상위/루트:** [[context 이해 규칙]]
+- **관련 개념:** [[Masked Self-Attention]], [[KV Caching]]
+- **참조 맥락:** 트랜스포머 기반의 대규모 언어 모델이 문맥을 이해하고 다음 토큰을 순차적으로 생성하는 메커니즘을 설계하거나 최적화할 때 필수적인 속성으로 참조됨.
+
+## 📚 출처 (Sources)
+- [S1] [AI/LLM] Transformer Attention 이해하기: Q, K, V의 역할과 동작 원리 (URL)
+- [S2] 어텐션 메커니즘이란 무엇인가요? - IBM (URL)
+- [S3] Path to Intelligence: Measuring Similarity between Human Brain and Large Language Model Beyond Language Task - arXiv (URL)
+
+## 📝 변경 이력 (Change history)
+- 2026-07-11: Initial draft generated via Datacollector_MAC P-Reinforce engine.