docs(wiki): Finalized P-Reinforce v3.0 wikification of all 118 out_wiki assets

2026-05-04 13:33:35 +09:00
parent 772d3e11e0
commit 972cd84dba
28 changed files with 1054 additions and 0 deletions
@@ -0,0 +1,38 @@
+---
+id: [[P-Reinforce|P-Reinforce]]-AUTO-LIMC-001
+category: Unified
+confidence_score: 1.00
+tags: [auto-reinforced, lost-in-the-middle, context-rot, long-context-failure, attention-dilution]
+last_reinforced: 2026-05-04
+---
+
+# [[Lost in the Middle & Context Rot|Lost in the Middle & Context Rot]]
+
+## 📌 한 줄 통찰 (The Karpathy Summary)
+> "정보의 늪: 아무리 넓은 시야(Context Window)를 가졌어도, 정작 중요한 정보가 중간에 묻혀있으면 찾아내지 못하거나 시간이 지날수록 맥락이 오염되어 헛소리를 하는 지능의 물리적 한계."
+
+## 📖 구조화된 지식 (Synthesized Content)
+거대 언어 모델이 긴 문맥을 처리할 때 발생하는 인지적 성능 저하 현상들입니다.
+
+1.  **Lost in the middle (중간 정보 유실)**:
+    *   **현상**: 모델이 프롬프트의 맨 앞부분과 맨 뒷부분의 정보는 잘 활용하지만, 중간에 위치한 정보에 대해서는 재현율(Recall)이 급격히 떨어지는 현상입니다.
+    *   **원인**: 트랜스포머 아키텍처의 어텐션 메커니즘이 수천 수만 개의 토큰 사이에서 중요도를 배분할 때 발생하는 수치적, 구조적 한계 때문입니다.
+2.  **Context Rot (컨텍스트 부패)**:
+    *   **현상**: 대화가 길어지거나 추론 단계가 반복될수록, 이전의 중요한 지침이나 사실 관계가 희석되고 새로운(가끔은 잘못된) 토큰들에 의해 맥락이 오염되는 현상입니다.
+    *   **영향**: 에이전트가 초기 목표를 잊어버리거나 동일한 답변을 반복하는 루프에 빠지게 만듭니다.
+3.  **해결 전략**:
+    *   **정보 재배치**: 가장 중요한 근거 데이터를 프롬프트의 맨 앞이나 맨 뒤에 전략적으로 배치합니다.
+    *   **[[Agentic RAG|Agentic RAG]]**: 전체를 주입하는 대신 핵심 청크만 골라내어 전달함으로써 모델의 인지 부하를 줄입니다.
+    *   **[[KV Cache Compression|KV Cache Compression]]**: 중요한 토큰 위주로 캐시를 보존하여 맥락의 선명도를 유지합니다.
+
+## ⚖️ Trade-offs & Caveats
+*   **물리적 크기 vs 실질 지능**: 컨텍스트 창이 100만 토큰이라고 광고하는 모델이라도, 중간 정보 유실 문제 때문에 실제로는 10만 토큰 이상의 정보를 한꺼번에 처리하기 힘들 수 있습니다.
+*   **프롬프트 엔지니어링의 한계**: 단순히 지시사항을 반복하는 것만으로는 이 근본적인 아키텍처적 한계를 완벽히 극복하기 어렵습니다.
+
+## 🔗 지식 연결 (Graph)
+*   **상위 개념**: [[Context Window & Long-Context LLMs|Context Window & Long-Context LLMs]]
+*   **관련 지표**: [[Needle In A Haystack (NIAH)|Needle In A Haystack (NIAH)]]
+*   **연관 기술**: [[Attention Mechanisms|Attention Mechanisms]], [[Agentic RAG|Agentic RAG]]
+
+---
+*Last updated: 2026-05-04*