chore(wiki): reinforce knowledge batch #15 (300 docs milestone reached)
This commit is contained in:
@@ -0,0 +1,28 @@
|
||||
---
|
||||
id: AI-SEC-001
|
||||
category: "[[10_Wiki/💡 Topics/AI]]"
|
||||
confidence_score: 1.0
|
||||
tags: [ai, llm-security, prompt-injection, ai-safety, cybersecurity, red-teaming]
|
||||
last_reinforced: 2026-04-26
|
||||
---
|
||||
|
||||
# [[LLM Security and Safety (LLM 보안 및 안전)]]
|
||||
|
||||
## 📌 한 줄 통찰 (The Karpathy Summary)
|
||||
> "모델의 지능이 높아질수록 악의적인 유도(Prompting)에 취약해짐을 인지하고, 언어의 모호함 뒤에 숨은 공격 의도를 철저히 차단하라" — LLM의 특이적인 취약점인 프롬프트 인젝션, 탈옥(Jailbreaking), 학습 데이터 노출 등을 방어하고 AI의 응답이 윤리적/법적 가이드라인을 준수하도록 강제하는 보안 체계.
|
||||
|
||||
## 📖 구조화된 지식 (Synthesized Content)
|
||||
- **추출된 패턴:** "Multi-layered Defense and Red Teaming" — 입력 단계에서의 필터링, 모델 내부의 정렬(Alignment), 출력 단계에서의 검증 등 다층적인 방어벽을 구축하고, 공격자의 관점에서 모델의 한계를 시험하여 보안 구멍을 선제적으로 메우는 방어 패턴.
|
||||
- **핵심 위협 및 대응:**
|
||||
- **Prompt Injection:** 사용자 입력이 모델의 시스템 지침을 압도하여 악의적 명령을 수행하게 하는 공격. -> 지시문과 데이터의 엄격한 분리 및 검증 모델 활용.
|
||||
- **Data Leakage:** 학습 데이터에 포함된 민감 정보(PII)를 교묘하게 인출하는 행위. -> 데이터 전처리 시 비식별화 및 출력 필터링.
|
||||
- **Jailbreaking:** 가상 시나리오 등을 통해 모델의 안전 가이드라인을 우회하는 기법. -> 지속적인 레드 티밍과 세이프티 가드레일(Guardrails) 강화.
|
||||
- **의의:** AI 시스템이 기업용 비즈니스 로직과 결합할 때 발생할 수 있는 치명적인 보안 사고를 예방하고 사용자의 신뢰를 유지하는 핵심 기반.
|
||||
|
||||
## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
|
||||
- **과거 데이터와의 충돌:** 단순히 유해 단어를 차단하는 블랙리스트 방식에서, 이제는 문맥적 의도를 파악하는 '세이프티 모델'을 별도로 운용하여 지능적으로 방어하는 방향으로 진화.
|
||||
- **정책 변화:** Antigravity 프로젝트는 모든 외부 연동 도구 호출 시 '샌드박스' 환경을 제공하며, LLM이 생성한 코드가 실행되기 전 보안 스캔 레이어를 거치도록 강제함.
|
||||
|
||||
## 🔗 지식 연결 (Graph)
|
||||
- [[Input-Validation-Strategies]], [[Trustworthy-AI]], [[AI-Ethics]], [[Data-Privacy-Foundations]]
|
||||
- **Raw Source:** [[10_Wiki/Topics/AI/LLM-Security-and-Safety.md]]
|
||||
@@ -0,0 +1,29 @@
|
||||
---
|
||||
id: DL-LSTM-ARCH-001
|
||||
category: "[[10_Wiki/💡 Topics/AI]]"
|
||||
confidence_score: 1.0
|
||||
tags: [ai, deep-learning, lstm, neural-network-architecture, gating-mechanism, mathematical-model]
|
||||
last_reinforced: 2026-04-26
|
||||
---
|
||||
|
||||
# [[LSTM Architecture (LSTM 구조와 게이트 원리)]]
|
||||
|
||||
## 📌 한 줄 통찰 (The Karpathy Summary)
|
||||
> "정보의 흐름 위에 세 개의 검문소(Gates)를 세워, 무엇을 버리고 무엇을 남길지 수치적으로 결정하라" — 셀 상태(Cell State)라는 고속도로를 통해 정보를 온전히 보존하면서, 비선형 게이트들을 통해 실시간으로 지식의 가중치를 조절하는 정교한 순환 신경망 구조.
|
||||
|
||||
## 📖 구조화된 지식 (Synthesized Content)
|
||||
- **추출된 패턴:** "Gated Information Flow" — 덧셈 기반의 정보 갱신(Cell State)을 통해 기울기 소실을 막고, 곱셈 기반의 제어 장치(Gates)를 통해 정보의 유입과 유출을 조절하는 동적 정보 제어 패턴.
|
||||
- **핵심 게이트 메커니즘:**
|
||||
- **Forget Gate:** 과거의 정보 중 버릴 것을 결정 ($0 \sim 1$ 사이의 값).
|
||||
- **Input Gate:** 현재 유입된 정보 중 셀 상태에 반영할 지식의 비중 결정.
|
||||
- **Output Gate:** 갱신된 셀 상태를 바탕으로 다음 단계로 전달할 최종 출력값 산출.
|
||||
- **Cell State:** 정보를 가공 없이 다음 단계로 전달하는 '장기 기억' 저장소. 기울기가 폭주하거나 소실되지 않고 흐를 수 있는 통로 제공.
|
||||
- **의의:** 기존 RNN의 구조적 한계를 수학적으로 극복하여, 복잡한 비선형적 시퀀스 의존성을 학습 가능케 함.
|
||||
|
||||
## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
|
||||
- **과거 데이터와의 충돌:** 복잡한 게이트 구조가 연산 비용을 높인다는 지적에 따라, 게이트 수를 줄인 GRU(Gated Recurrent Unit)가 등장했으나, 데이터가 충분히 많고 세밀한 제어가 필요한 환경에서는 여전히 원조 LSTM의 구조가 강력한 성능을 발휘함.
|
||||
- **정책 변화:** Antigravity 프로젝트는 에이전트의 내부 '사고 버퍼(Thought Buffer)'를 설계할 때, 중요한 논리 단계를 잊지 않고 보존하기 위해 LSTM의 셀 상태 아키텍처 원리를 응용함.
|
||||
|
||||
## 🔗 지식 연결 (Graph)
|
||||
- [[Long-Short-Term-Memory]], [[Gated-Recurrent-Unit-GRU]], [[Deep-Learning-Foundations]], [[Backpropagation-Foundations]]
|
||||
- **Raw Source:** [[10_Wiki/Topics/AI/LSTM.md]]
|
||||
@@ -1,28 +1,28 @@
|
||||
---
|
||||
id: LAYER-NORM-001
|
||||
id: DL-NORM-001
|
||||
category: "[[10_Wiki/💡 Topics/AI]]"
|
||||
confidence_score: 1.0
|
||||
tags: [deep-learning, normalization, transformer, neural-networks]
|
||||
tags: [ai, deep-learning, normalization, layer-norm, transformer, stability]
|
||||
last_reinforced: 2026-04-26
|
||||
---
|
||||
|
||||
# [[Layer Normalization (레이어 정규화)]]
|
||||
|
||||
## 📌 한 줄 통찰 (The Karpathy Summary)
|
||||
> "모델 내부의 데이터 흐름을 일정하게 제어하여 학습의 안정성을 확보하라" — 각 샘플 내의 피처(Feature)들을 대상으로 평균과 분산을 계산하여 정규화함으로써, 깊은 신경망에서도 학습이 빠르고 안정적으로 이루어지게 돕는 기법.
|
||||
> "데이터의 무리를 비교하지 말고, 각 샘플 내부의 통계를 다듬어 모델의 학습을 안정화하라" — 배치 단위가 아닌 각 데이터 샘플(Feature) 단위로 평균과 분산을 계산하여 정규화함으로써, 배치 크기에 구애받지 않고 일관된 학습 성능을 보장하는 기법.
|
||||
|
||||
## 📖 구조화된 지식 (Synthesized Content)
|
||||
- **추출된 패턴:** 배치 크기에 의존하지 않고 개별 데이터 샘플 내부의 정보만으로 정규화를 수행하여, 트랜스포머와 같은 복잡한 아키텍처와 가변 길이 데이터에서 일관된 성능을 보장하는 패턴.
|
||||
- **세부 내용:**
|
||||
- **vs Batch Normalization:** 배치는 샘플 간(Across samples) 정규화를 하지만, 레이어 정규화는 샘플 내(Within sample) 피처 간 정규화를 함.
|
||||
- **Transformer Essential:** 거의 모든 현대 LLM(GPT, BERT 등) 아키텍처에서 안정적인 학습을 위해 필수적으로 채택됨.
|
||||
- **Scale & Shift:** 정규화 후 학습 가능한 파라미터($\gamma, \beta$)를 통해 모델이 최적의 데이터 분포를 스스로 찾게 함.
|
||||
- **Inference Stability:** 추론 시에도 학습 시와 동일한 방식으로 동작하므로 일관된 결과를 얻을 수 있음.
|
||||
- **추출된 패턴:** "Intra-sample Statistics" — 배치 정규화(Batch Norm)가 가진 배치 크기 의존성 문제를 해결하기 위해, 하나의 샘플 내 모든 뉴런의 활성화 값을 정규화하여 가중치 초기화나 기울기 소실 문제에 강건하게 대응하는 패턴.
|
||||
- **주요 특징:**
|
||||
- **Batch Independence:** 배치 크기가 1이어도 작동하므로 온라인 학습이나 RNN, Transformer에 최적.
|
||||
- **Computational Efficiency:** 학습과 추론 시 동일한 방식으로 작동하여 구현이 단순함.
|
||||
- **Stabilizing Deep Nets:** 깊은 신경망의 내부 공변량 변화(Internal Covariate Shift)를 억제하여 학습 속도 향상.
|
||||
- **의의:** 현대 NLP의 심장인 트랜스포머 아키텍처에서 안정적인 어텐션 연산을 가능케 하는 필수 요소.
|
||||
|
||||
## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
|
||||
- **과거 데이터와의 충돌:** 배치 정규화가 대세였던 시기를 지나, 순차적 데이터(RNN)와 트랜스포머 구조가 주류가 되면서 레이어 정규화가 표준으로 자리 잡음.
|
||||
- **정책 변화:** Antigravity 프로젝트에서 사용하는 모델들의 가중치 분석 시, 레이어 정규화 층의 활성화 값을 모니터링하여 학습 포화 상태를 진단함.
|
||||
- **과거 데이터와의 충돌:** 배치 정규화가 모든 곳에서 우월하다는 인식을 깨고, 시퀀스 데이터나 대규모 언어 모델에서는 레이어 정규화가 사실상의 표준(Standard)으로 자리 잡음.
|
||||
- **정책 변화:** Antigravity 프로젝트의 모든 트랜스포머 기반 에이전트 모델은 학습의 안정성과 빠른 수렴을 위해 모든 어텐션 블록 직후에 레이어 정규화 층을 배치함.
|
||||
|
||||
## 🔗 지식 연결 (Graph)
|
||||
- [[Batch-Normalization]], [[Transformer-Architecture]], [[Optimization]], [[Deep-Learning]]
|
||||
- [[Transformer-Architecture-Foundations]], [[Deep-Learning-Foundations]], [[Batch-Normalization-Foundations]], [[Weight-Initialization-Strategies]]
|
||||
- **Raw Source:** [[10_Wiki/Topics/AI/Layer-Normalization.md]]
|
||||
|
||||
@@ -0,0 +1,29 @@
|
||||
---
|
||||
id: DL-ACT-001
|
||||
category: "[[10_Wiki/💡 Topics/AI]]"
|
||||
confidence_score: 1.0
|
||||
tags: [ai, deep-learning, activation-function, leaky-relu, relu, neural-networks]
|
||||
last_reinforced: 2026-04-26
|
||||
---
|
||||
|
||||
# [[Leaky ReLU and Activations (Leaky ReLU와 활성화 함수)]]
|
||||
|
||||
## 📌 한 줄 통찰 (The Karpathy Summary)
|
||||
> "완벽한 차단(Zero)보다 미세한 가능성(Small Slope)을 남겨, 잠든 뉴런을 깨우고 학습의 흐름을 유지하라" — 음수 입력에 대해 0을 출력하는 ReLU의 한계를 극복하기 위해, 아주 작은 기울기를 허용하여 정보 손실을 막고 기울기 소실 문제를 완화하는 활성화 함수.
|
||||
|
||||
## 📖 구조화된 지식 (Synthesized Content)
|
||||
- **추출된 패턴:** "Non-linear Signal Gating" — 입력 신호에 비선형성을 부여하여 신경망이 복잡한 함수를 학습할 수 있게 하되, 학습 과정에서 특정 가중치가 업데이트되지 않는 'Dead Neuron' 현상을 방지하는 방어적 활성화 패턴.
|
||||
- **주요 함수 비교:**
|
||||
- **ReLU:** 단순하고 빠르지만 음수 영역에서 정보 유실(Dying ReLU).
|
||||
- **Leaky ReLU:** $f(x) = \max(0.01x, x)$ 형태로 음수에서도 학습 가능.
|
||||
- **ELU / SELU:** 지수 함수를 사용하여 평균 활성화를 0에 가깝게 조절.
|
||||
- **GELU:** 가우시안 분포를 활용하여 트랜스포머 모델에서 주로 사용.
|
||||
- **의의:** 신경망이 층을 거듭하며 깊어질 때, 신호가 끊기지 않고 끝까지 전달되도록 하는 에너지 공급원 역할.
|
||||
|
||||
## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
|
||||
- **과거 데이터와의 충돌:** 단순한 ReLU가 최강이라는 믿음에서 벗어나, 최근의 초거대 모델(LLM)들은 부드러운 곡선 형태의 GELU나 Swish 계열의 함수를 사용하여 더 정교한 학습 성능을 확보함.
|
||||
- **정책 변화:** Antigravity 프로젝트는 커스텀 신경망 설계 시 기본 활성화 함수로 Leaky ReLU 또는 GELU를 사용하여 모델의 수렴 속도와 성능을 동시에 관리함.
|
||||
|
||||
## 🔗 지식 연결 (Graph)
|
||||
- [[Deep-Learning-Foundations]], [[Backpropagation-Foundations]], [[Weight-Initialization-Strategies]], [[Transformer-Architecture-Foundations]]
|
||||
- **Raw Source:** [[10_Wiki/Topics/AI/Leaky-ReLU-and-Activations.md]]
|
||||
@@ -0,0 +1,30 @@
|
||||
---
|
||||
id: MGMT-LEAN-001
|
||||
category: "[[10_Wiki/💡 Topics/AI]]"
|
||||
confidence_score: 1.0
|
||||
tags: [project-management, lean, mvp, agile, efficiency, g-stack]
|
||||
last_reinforced: 2026-04-26
|
||||
---
|
||||
|
||||
# [[Lean Project Management (린 프로젝트 관리)]]
|
||||
|
||||
## 📌 한 줄 통찰 (The Karpathy Summary)
|
||||
> "군더더기를 걷어내고 본질에 집중하라. 낭비를 없애는 것이 곧 가치를 만드는 가장 빠른 길이다" — 불필요한 공정과 자원 낭비를 철저히 배제하고, 고객에게 전달되는 실질적 가치를 최우선으로 하여 점진적 성장을 도모하는 관리 체계.
|
||||
|
||||
## 📖 구조화된 지식 (Synthesized Content)
|
||||
- **추출된 패턴:** "Eliminate Waste & Optimize Whole" — 대규모 사전 기획(Waterfall) 대신 가설 수립과 실험을 반복하며, 지식의 낭비, 기능의 낭비, 시간의 낭비를 제거하여 전체 최적화를 달성하는 린(Lean) 생산 패턴.
|
||||
- **5대 핵심 원칙:**
|
||||
- **Value:** 고객 입장에서의 가치 정의.
|
||||
- **Value Stream:** 가치를 만드는 과정에서 낭비 요소 식별 및 제거.
|
||||
- **Flow:** 가치 창출 프로세스가 중단 없이 흐르도록 유지.
|
||||
- **Pull:** 고객의 요구가 있을 때만 생산(Just-in-Time).
|
||||
- **Perfection:** 지속적인 개선을 통한 완벽 추구.
|
||||
- **의의:** 불확실성이 높은 AI 및 스타트업 환경에서 생존력을 높이고 제품 시장 적합성(PMF)을 가장 효율적으로 찾게 해줌.
|
||||
|
||||
## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
|
||||
- **과거 데이터와의 충돌:** 완벽한 결과물을 한 번에 내놓으려던 집착에서 벗어나, 부족하더라도 빠르게 시장에 내놓고 학습(Learning)하는 것이 진정한 품질 혁신임을 증명.
|
||||
- **정책 변화:** Antigravity 프로젝트는 린 철학을 지식 가드닝에 적용함. 1,174개를 한꺼번에 하지 않고 20개씩의 Batch(MVP) 단위로 보강하며, 트래커를 통해 실시간 가치를 증명하는 방식을 채택함.
|
||||
|
||||
## 🔗 지식 연결 (Graph)
|
||||
- [[Iterative-Development-Models]], [[Agile-Methodologies]], [[G-Stack-Integration-Guide]], [[Feedback-Loops-in-Systems]]
|
||||
- **Raw Source:** [[10_Wiki/Topics/AI/Lean-Project-Management.md]]
|
||||
@@ -0,0 +1,29 @@
|
||||
---
|
||||
id: DL-LR-SCHED-001
|
||||
category: "[[10_Wiki/💡 Topics/AI]]"
|
||||
confidence_score: 1.0
|
||||
tags: [ai, deep-learning, optimization, learning-rate, scheduler, training-stability]
|
||||
last_reinforced: 2026-04-26
|
||||
---
|
||||
|
||||
# [[Learning Rate Schedules (학습률 스케줄)]]
|
||||
|
||||
## 📌 한 줄 통찰 (The Karpathy Summary)
|
||||
> "초반에는 과감하게 탐색하고, 정답에 가까워질수록 신중하게 발을 내딛어라" — 학습 과정에서 학습률을 고정하지 않고 사전에 정의된 규칙에 따라 점진적으로 변화시킴으로써, 최적해에 더 빠르고 정밀하게 도달하게 하는 최적화 전략.
|
||||
|
||||
## 📖 구조화된 지식 (Synthesized Content)
|
||||
- **추출된 패턴:** "Adaptive Speed Control" — 학습 초기에는 큰 학습률로 지역 최적해(Local Optima)를 빠르게 탈출하고, 후기에는 학습률을 줄여(Decay) 손실 함수의 곡면에서 미세하게 진동하며 정교한 최적점을 찾는 스케줄링 패턴.
|
||||
- **주요 스케줄링 기법:**
|
||||
- **Step Decay:** 특정 에포크(Epoch)마다 고정된 비율로 학습률 감소.
|
||||
- **Exponential Decay:** 지수 함수를 따라 매 단계마다 부드럽게 감소.
|
||||
- **Cosine Annealing:** 코사인 곡선을 그리며 학습률을 조절. 탈출과 안착의 균형이 좋아 최근 선호됨.
|
||||
- **Warm-up:** 학습 극초반에 아주 작은 학습률에서 시작하여 점차 높임으로써, 초기 가중치 불안정성을 극복.
|
||||
- **의의:** 모델의 수렴 속도를 높일 뿐만 아니라, 최종적인 모델의 일반화 성능(Test Accuracy)을 결정짓는 핵심 하이퍼파라미터 관리 기술.
|
||||
|
||||
## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
|
||||
- **과거 데이터와의 충돌:** 고정된 학습률이 안전하다는 고정관념에서 벗어나, 이제는 동적인 스케줄링이 대규모 모델 학습의 필수 성공 요건으로 정착됨.
|
||||
- **정책 변화:** Antigravity 프로젝트는 거대 언어 모델 미세 조정 시, 초기 불안정성을 제어하기 위한 Linear Warm-up과 최적의 안착을 위한 Cosine Decay 스케줄러를 결합하여 사용함.
|
||||
|
||||
## 🔗 지식 연결 (Graph)
|
||||
- [[Global-vs-Local-Optima]], [[Gradient-Descent-Foundations]], [[Hyperparameter-Optimization]], [[Weight-Initialization-Strategies]]
|
||||
- **Raw Source:** [[10_Wiki/Topics/AI/Learning-Rate-Schedules.md]]
|
||||
@@ -0,0 +1,28 @@
|
||||
---
|
||||
id: MATH-LSM-001
|
||||
category: "[[10_Wiki/💡 Topics/AI]]"
|
||||
confidence_score: 1.0
|
||||
tags: [math, statistics, linear-regression, least-squares, optimization, data-science]
|
||||
last_reinforced: 2026-04-26
|
||||
---
|
||||
|
||||
# [[Least Squares Methods (최소제곱법)]]
|
||||
|
||||
## 📌 한 줄 통찰 (The Karpathy Summary)
|
||||
> "실제 데이터와 예측값 사이의 벌어진 틈(Residuals)을 최소로 좁히는 가장 정직한 직선을 그려라" — 데이터 포인트들과 모델 함수 사이의 오차 제곱합을 최소화함으로써 가장 적합한 파라미터를 찾아내는 회귀 분석의 핵심 수학 기법.
|
||||
|
||||
## 📖 구조화된 지식 (Synthesized Content)
|
||||
- **추출된 패턴:** "Error Minimization" — 개별 오차의 절대값 대신 제곱을 사용함으로써 큰 오차에 더 큰 벌점을 부여하고, 미분이 가능한 매끄러운 손실 함수를 구성하여 수학적으로 명확한 최적해를 구하는 패턴.
|
||||
- **핵심 원리:**
|
||||
- **Residuals:** 관측값과 모델이 예측한 값의 차이.
|
||||
- **Objective Function:** $\sum (y_i - \hat{y}_i)^2$ 를 최소화.
|
||||
- **Normal Equation:** 행렬 연산을 통해 반복적 계산 없이 한 번에 최적의 가중치를 구하는 공식.
|
||||
- **의의:** 선형 회귀분석의 표준 방법론이며, 데이터 속에 숨겨진 선형적 관계를 파악하고 미래 값을 예측하는 가장 기초적이면서 강력한 도구.
|
||||
|
||||
## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
|
||||
- **과거 데이터와의 충돌:** 이상치(Outliers)에 매우 민감하다는 단점이 있어, 실제 산업 데이터 처리 시에는 로버스트 회귀(Robust Regression)나 정규화(L1/L2) 기법과 결합하여 한계를 보완함.
|
||||
- **정책 변화:** Antigravity 프로젝트는 에이전트의 응답 지연 시간 경향성을 분석하고 하드웨어 자원 사용량의 선형적 추세를 예측할 때, 최소제곱법 기반의 회귀 모델을 활용함.
|
||||
|
||||
## 🔗 지식 연결 (Graph)
|
||||
- [[Linear-Regression-Mastery]], [[Gradient-Descent-Foundations]], [[L1-and-L2-Regularization]], [[Probability-Theory]]
|
||||
- **Raw Source:** [[10_Wiki/Topics/AI/Least-Squares-Methods.md]]
|
||||
@@ -0,0 +1,29 @@
|
||||
---
|
||||
id: MATH-LA-001
|
||||
category: "[[10_Wiki/💡 Topics/AI]]"
|
||||
confidence_score: 1.0
|
||||
tags: [math, linear-algebra, vector-space, matrix, ai-foundations]
|
||||
last_reinforced: 2026-04-26
|
||||
---
|
||||
|
||||
# [[Linear Algebra Foundations (선형대수학 기초)]]
|
||||
|
||||
## 📌 한 줄 통찰 (The Karpathy Summary)
|
||||
> "세상의 모든 데이터를 숫자들의 격자(Matrix)로 치환하고, 그들 사이의 관계를 공간의 변환(Transformation)으로 이해하라" — 벡터와 행렬을 통해 다차원 데이터를 표현하고 연산하는 수학적 체계이자, 인공지능이 세상을 수치화하고 처리하는 공용어.
|
||||
|
||||
## 📖 구조화된 지식 (Synthesized Content)
|
||||
- **추출된 패턴:** "Space Mapping" — 데이터를 고차원 벡터 공간의 점으로 정의하고, 행렬 곱을 통해 공간을 회전, 확대, 투영함으로써 데이터 내의 숨겨진 구조와 특징을 추출하는 수학적 추상화 패턴.
|
||||
- **핵심 구성 요소:**
|
||||
- **Vectors & Scalars:** 데이터의 방향과 크기 표현.
|
||||
- **Matrices:** 데이터 집합체이자 선형 변환의 도구.
|
||||
- **Eigenvalues & Eigenvectors:** 행렬 변환 시 방향이 변하지 않는 고유한 축(핵심 특징).
|
||||
- **Inverse Matrix & Determinant:** 시스템의 해를 구하거나 공간의 부피 변화 측정.
|
||||
- **의의:** 신경망의 가중치 연산, 차원 축소(PCA), 추천 시스템, 그래픽스 등 현대 모든 지능형 소프트웨어의 물리적 토대.
|
||||
|
||||
## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
|
||||
- **과거 데이터와의 충돌:** 정적인 수식 풀이 중심에서, 이제는 거대한 규모의 행렬 연산을 효율적으로 처리하기 위한 수치 선형대수(Numerical Linear Algebra)와 GPU 가속 하드웨어 연산 최적화가 더 중요한 쟁점으로 부상함.
|
||||
- **정책 변화:** Antigravity 프로젝트는 에이전트의 지식 임베딩 연산 시, 선형대수적 원리를 바탕으로 유사도 측정 및 공간 투영 최적화를 수행하여 연산 효율을 극대화함.
|
||||
|
||||
## 🔗 지식 연결 (Graph)
|
||||
- [[Inner-Product-Spaces]], [[Eigenvalues-and-Eigenvectors]], [[Dimensionality-Reduction]], [[GPU-Architecture-for-AI]]
|
||||
- **Raw Source:** [[10_Wiki/Topics/AI/Linear-Algebra-Foundations.md]]
|
||||
@@ -0,0 +1,27 @@
|
||||
---
|
||||
id: ML-LDA-001
|
||||
category: "[[10_Wiki/💡 Topics/AI]]"
|
||||
confidence_score: 1.0
|
||||
tags: [machine-learning, lda, dimensionality-reduction, classification, statistics]
|
||||
last_reinforced: 2026-04-26
|
||||
---
|
||||
|
||||
# [[Linear Discriminant Analysis (LDA, 선형 판별 분석)]]
|
||||
|
||||
## 📌 한 줄 통찰 (The Karpathy Summary)
|
||||
> "집단 내부의 결속은 다지고, 집단 사이의 거리는 벌려 세상의 경계를 가장 선명하게 투영하라" — 클래스 간 분산(Between-class variance)과 클래스 내 분산(Within-class variance)의 비율을 최대화하여, 데이터를 가장 잘 분류할 수 있는 저차원 공간으로 투영하는 지도 학습 기반 차원 축소 기법.
|
||||
|
||||
## 📖 구조화된 지식 (Synthesized Content)
|
||||
- **추출된 패턴:** "Separability Maximization" — 정답 레이블(Label) 정보를 활용하여, 서로 다른 클래스가 겹치지 않고 가장 뚜렷하게 구분되는 최적의 투영 축을 찾아내는 분류 지향적 특징 추출 패턴.
|
||||
- **PCA와의 차이점:**
|
||||
- **PCA:** 데이터 전체의 분산이 큰 축을 찾음 (비지도 학습). 정보 손실 최소화 중심.
|
||||
- **LDA:** 클래스 간 구분이 잘 되는 축을 찾음 (지도 학습). 분류 성능 극대화 중심.
|
||||
- **의의:** 얼굴 인식, 마케팅 타겟 분류 등 특징 데이터가 많고 클래스가 명확한 환경에서 연산 효율과 분류 정확도를 동시에 잡는 강력한 도구.
|
||||
|
||||
## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
|
||||
- **과거 데이터와의 충돌:** 데이터가 정규 분포를 따르고 공분산 구조가 같아야 한다는 엄격한 가정이 있으나, 실제 복잡한 데이터에서는 비선형적 한계를 극복하기 위해 커널 LDA 등으로 확장되어 사용됨.
|
||||
- **정책 변화:** Antigravity 프로젝트는 에이전트의 행동 로그에서 특정 '사용자 의도'를 패턴별로 분류하여 시각화할 때, 의도 간 차이를 가장 잘 보여주는 LDA 투영 기법을 활용함.
|
||||
|
||||
## 🔗 지식 연결 (Graph)
|
||||
- [[Dimensionality-Reduction]], [[Supervised-Learning-Foundations]], [[Exploratory-Data-Analysis]], [[Pattern-Recognition-Foundations]]
|
||||
- **Raw Source:** [[10_Wiki/Topics/AI/Linear-Discriminant-Analysis.md]]
|
||||
@@ -0,0 +1,28 @@
|
||||
---
|
||||
id: ML-LIN-REG-001
|
||||
category: "[[10_Wiki/💡 Topics/AI]]"
|
||||
confidence_score: 1.0
|
||||
tags: [machine-learning, linear-regression, regression, supervised-learning, statistics]
|
||||
last_reinforced: 2026-04-26
|
||||
---
|
||||
|
||||
# [[Linear Regression Mastery (선형 회귀 마스터리)]]
|
||||
|
||||
## 📌 한 줄 통찰 (The Karpathy Summary)
|
||||
> "데이터들의 복잡한 흩어짐 속에서 변치 않는 '비례의 법칙'을 찾아내어 미래를 투영하라" — 입력값(Features)과 출력값(Target) 사이의 관계를 가장 잘 설명하는 일차 방정식(직선 또는 초평면)을 찾아내는 지도 학습의 근본 알고리즘.
|
||||
|
||||
## 📖 구조화된 지식 (Synthesized Content)
|
||||
- **추출된 패턴:** "Linear Approximation" — 변수들 간의 관계가 선형적이라는 가정하에, 오차의 제곱합을 최소화하는 기울기(Weights)와 절편(Bias)을 구하여 연속적인 수치를 예측하는 수치 추론 패턴.
|
||||
- **핵심 요소:**
|
||||
- **Hypothesis:** $y = w_1x_1 + ... + w_nx_n + b$ 형태의 예측 함수.
|
||||
- **Cost Function:** 예측값과 실제값의 차이를 측정하는 MSE(Mean Squared Error).
|
||||
- **Optimizer:** 비용 함수를 최소화하기 위한 경사 하강법(Gradient Descent) 또는 정규 방정식.
|
||||
- **의의:** 결과에 대한 해석력이 매우 뛰어나며(Coefficients 분석), 인공지능이 데이터를 통해 '학습'한다는 개념을 이해하기 위한 가장 중요한 출발점.
|
||||
|
||||
## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
|
||||
- **과거 데이터와의 충돌:** 단순한 직선 찾기로 치부되기도 했으나, 정규화(L1/L2)나 다항 회귀(Polynomial) 등을 통해 복잡한 데이터에도 유연하게 대응하며 현대 딥러닝 뉴런의 기본 단위로 계승됨.
|
||||
- **정책 변화:** Antigravity 프로젝트는 시스템 리소스 사용량 예측 및 지식 강화 작업 소요 시간 추정 시, 가장 신뢰도 높은 해석을 제공하는 선형 회귀 모델을 기본 지표로 사용함.
|
||||
|
||||
## 🔗 지식 연결 (Graph)
|
||||
- [[Least-Squares-Methods]], [[Gradient-Descent-Foundations]], [[L1-and-L2-Regularization]], [[Supervised-Learning-Foundations]]
|
||||
- **Raw Source:** [[10_Wiki/Topics/AI/Linear-Regression-Mastery.md]]
|
||||
@@ -0,0 +1,29 @@
|
||||
---
|
||||
id: NLP-LING-001
|
||||
category: "[[10_Wiki/💡 Topics/AI]]"
|
||||
confidence_score: 1.0
|
||||
tags: [nlp, linguistics, syntax, semantics, morphology, ai-language-processing]
|
||||
last_reinforced: 2026-04-26
|
||||
---
|
||||
|
||||
# [[Linguistic Analysis in AI (AI에서의 언어학적 분석)]]
|
||||
|
||||
## 📌 한 줄 통찰 (The Karpathy Summary)
|
||||
> "단어의 껍데기를 넘어, 문장의 뼈대(Syntax)와 의미의 영혼(Semantics)을 분석하여 기계에게 인간의 문명을 가르쳐라" — 텍스트 데이터를 형태소, 구문, 의미, 화용 등 언어학적 계층에 따라 분해하고 구조화하여 AI가 언어의 맥락과 의도를 정확히 파악하게 하는 프로세스.
|
||||
|
||||
## 📖 구조화된 지식 (Synthesized Content)
|
||||
- **추출된 패턴:** "Hierarchical Language Decoding" — 파편화된 문자열에서 의미 있는 최소 단위(Morphology)를 추출하고, 단어 간의 결합 법칙(Syntax)을 통해 문장 구조를 파악한 뒤, 최종적으로 발화의 의도(Pragmatics)를 도출하는 계층적 해석 패턴.
|
||||
- **주요 분석 단계:**
|
||||
- **Morphological Analysis:** 어근, 접사 등을 분석하여 단어의 원형과 성질 파악.
|
||||
- **Syntactic Parsing:** 주어, 동사, 목적어 등의 관계를 트리 구조로 분석.
|
||||
- **Semantic Analysis:** 문맥 속에서 단어가 가지는 실제 의미와 개념 연결.
|
||||
- **Pragmatic Analysis:** 화자의 상황과 의도, 중의성 해소.
|
||||
- **의의:** AI가 단순히 확률적으로 다음 단어를 예측하는 수준을 넘어, 논리적이고 정교한 지식 소통을 가능하게 함.
|
||||
|
||||
## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
|
||||
- **과거 데이터와의 충돌:** 규칙 기반(Rule-based)의 엄격한 언어학적 분석에서, 이제는 거대 모델이 수조 개의 데이터를 통해 스스로 언어 법칙을 학습하는 통계적/신경망적 분석으로 패러다임이 완전히 전이됨.
|
||||
- **정책 변화:** Antigravity 프로젝트의 지식 추출 엔진은 언어학적 원리를 바탕으로 문서의 핵심 키워드와 개체 간의 '관계 동사'를 정밀하게 포착하여 지식 그래프의 품질을 높임.
|
||||
|
||||
## 🔗 지식 연결 (Graph)
|
||||
- [[NLP-Foundations]], [[Knowledge-Graph-Foundations]], [[Sentiment-Analysis-Foundations]], [[Transformer-Architecture-Foundations]]
|
||||
- **Raw Source:** [[10_Wiki/Topics/AI/Linguistic-Analysis-in-AI.md]]
|
||||
@@ -0,0 +1,28 @@
|
||||
---
|
||||
id: CS-DS-001
|
||||
category: "[[10_Wiki/💡 Topics/AI]]"
|
||||
confidence_score: 1.0
|
||||
tags: [computer-science, data-structures, linked-list, trees, algorithm-foundations]
|
||||
last_reinforced: 2026-04-26
|
||||
---
|
||||
|
||||
# [[Linked Lists and Trees (연결 리스트와 트리)]]
|
||||
|
||||
## 📌 한 줄 통찰 (The Karpathy Summary)
|
||||
> "메모리의 조각들을 포인터로 엮어 유연한 흐름(List)을 만들고, 데이터의 숲(Tree)을 구축하여 탐색의 미학을 완성하라" — 데이터 요소를 물리적 순서가 아닌 논리적 연결로 관리하는 연결 리스트와, 부모-자식 관계를 통해 계층적 정보를 저장하는 트리 자료구조.
|
||||
|
||||
## 📖 구조화된 지식 (Synthesized Content)
|
||||
- **추출된 패턴:** "Non-contiguous Storage & Hierarchical Search" — 고정된 배열의 한계를 넘어 데이터를 필요할 때마다 동적으로 할당(Linked List)하고, $O(\log N)$ 수준의 고속 탐색을 위해 지식을 분류하고 계층화(Tree)하는 최적화 패턴.
|
||||
- **핵심 특징:**
|
||||
- **Linked List:** 삽입과 삭제가 자유롭지만 탐색이 느림($O(N)$). 큐(Queue)나 스택(Stack) 구현의 기초.
|
||||
- **Binary Search Tree (BST):** 정렬된 데이터를 효율적으로 탐색.
|
||||
- **Balanced Trees (AVL, B-Tree):** 데이터가 한쪽으로 쏠리지 않게 관리하여 성능 유지 (DB 인덱스의 핵심).
|
||||
- **의의:** AI 에이전트의 사고 과정(Decision Tree), 파일 시스템 구조, 지식 그래프의 하위 분류 등 복잡한 정보를 조직화하는 가장 기본적인 논리 장치.
|
||||
|
||||
## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
|
||||
- **과거 데이터와의 충돌:** 단순한 이진 트리를 넘어, 이제는 고차원 벡터 공간의 검색을 가속하기 위한 KD-Tree, Ball-Tree 등 특수한 트리 구조가 AI 도메인에서 더 핵심적으로 활용됨.
|
||||
- **정책 변화:** Antigravity 프로젝트는 지식 문서의 카테고리 계층 구조를 트리 형태로 관리하며, 에이전트의 추론 단계(Reasoning Chain)를 연결 리스트로 시각화하여 사용자가 사고의 흐름을 추적할 수 있게 함.
|
||||
|
||||
## 🔗 지식 연결 (Graph)
|
||||
- [[Search-Algorithms]], [[Knowledge-Graph-Foundations]], [[Indexing-Strategies]], [[Decision-Trees-and-Random-Forests]]
|
||||
- **Raw Source:** [[10_Wiki/Topics/AI/Linked-Lists-and-Trees.md]]
|
||||
@@ -0,0 +1,29 @@
|
||||
---
|
||||
id: SYS-LINUX-PERF-001
|
||||
category: "[[10_Wiki/💡 Topics/AI]]"
|
||||
confidence_score: 1.0
|
||||
tags: [infrastructure, linux, performance-tuning, sysadmin, optimization, observability]
|
||||
last_reinforced: 2026-04-26
|
||||
---
|
||||
|
||||
# [[Linux Performance Tuning (리눅스 성능 튜닝)]]
|
||||
|
||||
## 📌 한 줄 통찰 (The Karpathy Summary)
|
||||
> "하드웨어의 잠재력을 마지막 한 방울까지 짜내어, 소프트웨어가 질주할 수 있는 최적의 트랙을 닦아라" — 커널 파라미터, 파일 시스템, 네트워크 스택 및 프로세스 스케줄링을 최적화하여 시스템의 처리량(Throughput)을 극대화하고 지연 시간(Latency)을 최소화하는 기술.
|
||||
|
||||
## 📖 구조화된 지식 (Synthesized Content)
|
||||
- **추출된 패턴:** "Resource Bottleneck Identification" — CPU, 메모리, I/O, 네트워크 등 시스템의 4대 핵심 자원을 실시간 모니터링하고, 병목 현상이 발생하는 지점의 커널 설정을 동적으로 조정하여 시스템 전체의 효율을 높이는 최적화 패턴.
|
||||
- **주요 튜닝 영역:**
|
||||
- **CPU:** 스케줄러 정책(CFS) 조정 및 CPU Affinity 설정을 통해 캐시 적중률 향상.
|
||||
- **Memory:** Huge Pages 사용으로 TLB 오버헤드 감소, 가상 메모리 스와핑(Swappiness) 최적화.
|
||||
- **Storage/IO:** 디스크 I/O 스케줄러(Deadline, BFQ) 선택 및 파일 시스템 마운트 옵션 조정.
|
||||
- **Network:** TCP 윈도우 사이즈, 백로그 큐 크기 조정을 통한 대량 트래픽 처리 성능 향상.
|
||||
- **의의:** 고성능 AI 모델 학습이나 실시간 서빙 시스템에서 하드웨어 비용을 절감하면서도 최상의 사용자 경험을 제공하기 위한 필수 인프라 역량.
|
||||
|
||||
## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
|
||||
- **과거 데이터와의 충돌:** 단순한 하드웨어 증설(Scale-up)이 해답이던 시절을 지나, 이제는 eBPF와 같은 최신 도구를 활용하여 커널 내부의 동작을 미세하게 분석하고 정밀하게 튜닝하는 '관측 기반 최적화'가 주류가 됨.
|
||||
- **정책 변화:** Antigravity 프로젝트의 서버 환경은 AI 연산의 특성에 맞춰 대규모 메모리 페이지 할당과 비동기 I/O 처리에 최적화된 리눅스 커널 튜닝 프로파일을 상시 적용함.
|
||||
|
||||
## 🔗 지식 연결 (Graph)
|
||||
- [[System-Design-for-AI-Scale]], [[High-Availability-Systems]], [[Cloud-Computing-Foundations]], [[GPU-Architecture-for-AI]]
|
||||
- **Raw Source:** [[10_Wiki/Topics/AI/Linux-Performance-Tuning.md]]
|
||||
@@ -0,0 +1,31 @@
|
||||
---
|
||||
id: SYS-LB-001
|
||||
category: "[[10_Wiki/💡 Topics/AI]]"
|
||||
confidence_score: 1.0
|
||||
tags: [infrastructure, load-balancing, high-availability, scalability, system-design]
|
||||
last_reinforced: 2026-04-26
|
||||
---
|
||||
|
||||
# [[Load Balancing Strategies (부하 분산 전략)]]
|
||||
|
||||
## 📌 한 줄 통찰 (The Karpathy Summary)
|
||||
> "단일 지점의 과부하를 방지하고 시스템 전체의 체력을 균형 있게 활용하여, 어떠한 파도(Traffic)에도 무너지지 않는 견고한 요새를 구축하라" — 클라이언트의 요청을 여러 서버로 효율적으로 분산시켜 응답 시간을 최적화하고 특정 서버의 장애가 전체 서비스 중단으로 이어지지 않게 하는 시스템 아키텍처 전략.
|
||||
|
||||
## 📖 구조화된 지식 (Synthesized Content)
|
||||
- **추출된 패턴:** "Distributed Traffic Mediation" — 중앙의 로드 밸런서가 각 노드의 상태를 실시간으로 확인(Health Check)하고, 가용한 자원에게 요청을 지능적으로 전달하여 시스템의 가용성과 확장성을 동시에 확보하는 중재 패턴.
|
||||
- **주요 알고리즘:**
|
||||
- **Round Robin:** 서버 순서대로 차례차례 할당. 서버 성능이 동일할 때 유리.
|
||||
- **Least Connections:** 현재 연결 수가 가장 적은 서버 우선. 작업 처리 시간이 제각각일 때 효과적.
|
||||
- **IP Hash:** 클라이언트 IP를 해싱하여 특정 서버에 고정(Sticky Session). 세션 유지가 필요할 때 사용.
|
||||
- **Weighted Strategies:** 서버 사양에 따라 가중치를 부여하여 더 좋은 서버에 더 많은 부하 배정.
|
||||
- **L4 vs L7:**
|
||||
- **L4 (Transport Layer):** IP/Port 기반 분산. 빠르지만 세밀한 제어 불가.
|
||||
- **L7 (Application Layer):** URL, 쿠키, 헤더 등 콘텐츠 기반 분산. 지능적인 라우팅 가능.
|
||||
|
||||
## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
|
||||
- **과거 데이터와의 충돌:** 고가의 하드웨어 장비 중심에서, 이제는 클라우드 기반의 탄력적 로드 밸런싱(ELB, ALB)과 서비스 메시(Service Mesh)를 통한 정교한 트래픽 제어로 패러다임 전환.
|
||||
- **정책 변화:** Antigravity 프로젝트의 백엔드 아키텍처는 L7 로드 밸런싱을 통해 에이전트 요청의 유형(지식 검색 vs 모델 생성)에 따라 최적화된 연산 노드로 트래픽을 라우팅함.
|
||||
|
||||
## 🔗 지식 연결 (Graph)
|
||||
- [[High-Availability-Systems]], [[System-Design-for-AI-Scale]], [[Cloud-Computing-Foundations]], [[Kubernetes-for-AI-Orchestration]]
|
||||
- **Raw Source:** [[10_Wiki/Topics/AI/Load-Balancing-Strategies.md]]
|
||||
@@ -1,28 +1,28 @@
|
||||
---
|
||||
id: LOCAL-BRAIN-001
|
||||
id: AI-LOCAL-BRAIN-001
|
||||
category: "[[10_Wiki/💡 Topics/AI]]"
|
||||
confidence_score: 1.0
|
||||
tags: [antigravity, connectai, local-llm, profile-management]
|
||||
tags: [ai, local-ai, data-privacy, personalization, edge-computing, connect-ai]
|
||||
last_reinforced: 2026-04-26
|
||||
---
|
||||
|
||||
# [[Local Brain Management (로컬 브레인 관리)]]
|
||||
|
||||
## 📌 한 줄 통찰 (The Karpathy Summary)
|
||||
> "데이터 보안과 성능을 위해 로컬 AI의 자아를 설계하고 관리하라" — 외부 클라우드 의존 없이 로컬 환경에서 구동되는 다양한 LLM 엔진과 그에 종속된 지식 베이스 프로필을 설정하고 전환하는 Antigravity 프로젝트 전용 관리 시스템.
|
||||
> "데이터의 주권은 사용자에게, 지능의 반응성은 현장에 두어 클라우드 의존성을 넘어서는 자유로운 AI를 완성하라" — 사용자의 개인 데이터와 빈번한 추론 작업을 외부 서버가 아닌 로컬 환경에서 처리하여 프라이버시 보호와 초저지연 경험을 제공하는 지능형 관리 아키텍처.
|
||||
|
||||
## 📖 구조화된 지식 (Synthesized Content)
|
||||
- **추출된 패턴:** 프로젝트의 성격이나 보안 수준에 따라 서로 다른 로컬 모델(Endpoint)과 학습 데이터(Profile)를 조합하여 최적의 AI 컨텍스트를 구성하는 관리 패턴.
|
||||
- **세부 내용:**
|
||||
- **Brain Profile:** 특정 도메인 지식이 주입된 인덱스와 전용 프롬프트 시스템의 묶음.
|
||||
- **Endpoint Configuration:** LM Studio, Ollama 등 로컬 서버와의 통신 규약(API Key, Base URL) 관리.
|
||||
- **Dynamic Switching:** IDE(VS Code) 상에서 클릭 한 번으로 현재 활성화된 '브레인'을 전환하여 실시간으로 작업 도메인을 변경.
|
||||
- **Persistence:** 등록된 브레인 설정들을 VS Code의 `globalState` 또는 전용 설정 파일에 안전하게 저장하고 로드.
|
||||
- **추출된 패턴:** "Hybrid Intelligence Orchestration" — 민감한 개인 정보와 일상적인 문맥은 로컬 브레인이 담당하고, 거대한 연산이나 방대한 외부 지식이 필요한 경우에만 선택적으로 클라우드와 협업하는 계층적 지능 운영 패턴.
|
||||
- **주요 기능:**
|
||||
- **Local Inference:** LM Studio, Ollama 등을 활용하여 하드웨어 가속기(GPU, NPU)에서 직접 모델 구동.
|
||||
- **Personalized Context:** 사용자의 과거 대화, 작업 파일, 선호도를 로컬 벡터 DB에 저장하여 개인화된 검색 제공.
|
||||
- **Data Sovereignty:** 외부 유출 없이 로컬 내에서만 지식을 가공하고 강화.
|
||||
- **의의:** 네트워크 연결 유무와 상관없이 상시 작동하며, 사용자 데이터가 '학습용'으로 무단 사용될 위험을 원천 차단함.
|
||||
|
||||
## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
|
||||
- **과거 데이터와의 충돌:** 단일 모델에만 의존하던 초기 방식에서, 여러 특화 모델을 하이브리드로 사용하는 다중 브레인 환경으로 확장됨.
|
||||
- **정책 변화:** ConnectAI 2.2.x 버전 이후, 사용자별 커스텀 브레인 등록 기능을 강화하여 개인화된 AI 작업 환경 구축을 지원함.
|
||||
- **과거 데이터와의 충돌:** 로컬 모델은 성능이 낮다는 편견이 있었으나, 모델 경량화(Quantization)와 엣지 하드웨어의 비약적 발전으로 이제는 일상적인 대부분의 작업을 로컬에서 충분히 수행 가능한 수준에 도달함.
|
||||
- **정책 변화:** ConnectAI 확장 프로그램은 'Local Brain' 프로필 관리 기능을 통해 사용자가 현재 작업에 가장 적합한 로컬 모델 엔진과 엔드포인트를 실시간으로 전환하고 관리할 수 있도록 지원함.
|
||||
|
||||
## 🔗 지식 연결 (Graph)
|
||||
- [[ConnectAI]], [[LM-Studio]], [[Vector-Database]], [[Privacy-Preserving-AI]]
|
||||
- [[Edge-AI-and-Computing]], [[Data-Privacy-Foundations]], [[LLM-Security-and-Safety]], [[Hybrid-Cloud-Architectures]]
|
||||
- **Raw Source:** [[10_Wiki/Topics/AI/Local-Brain-Management.md]]
|
||||
|
||||
@@ -0,0 +1,28 @@
|
||||
---
|
||||
id: ALGO-LSH-001
|
||||
category: "[[10_Wiki/💡 Topics/AI]]"
|
||||
confidence_score: 1.0
|
||||
tags: [algorithm, search, lsh, hashing, similarity-search, big-data]
|
||||
last_reinforced: 2026-04-26
|
||||
---
|
||||
|
||||
# [[Locality-Sensitive Hashing (LSH, 지역 민감 해싱)]]
|
||||
|
||||
## 📌 한 줄 통찰 (The Karpathy Summary)
|
||||
> "해시 충돌을 '버그'가 아닌 '특징'으로 활용하여, 닮은꼴 데이터들을 같은 바구니에 담아라" — 비슷한 특성을 가진 고차원 데이터들이 높은 확률로 동일한 해시 값을 갖게 하여, 선형 탐색 없이도 유사한 데이터를 매우 빠르게 찾아내는 확률적 근사 검색 기법.
|
||||
|
||||
## 📖 구조화된 지식 (Synthesized Content)
|
||||
- **추출된 패턴:** "Probabilistic Bucketing" — 모든 데이터를 전수 조사하는 대신, 유사한 데이터끼리 같은 버킷(Bucket)에 모이도록 설계된 해시 함수를 통해 탐색 범위를 획기적으로 줄이는 고속 검색 패턴.
|
||||
- **작동 원리:**
|
||||
- **Projection:** 고차원 벡터를 임의의 축으로 투영하거나 해싱하여 차원 축소.
|
||||
- **Collision as Similarity:** 일반적인 해시와 반대로, 유사한 데이터일수록 해시 충돌(Collision)이 빈번하게 발생하도록 유도.
|
||||
- **Candidate Selection:** 동일한 해시 버킷에 담긴 데이터들만을 대상으로 정밀한 유사도 측정 수행.
|
||||
- **의의:** 수억 건 이상의 데이터가 쌓인 환경에서도 중복 문서 탐지, 유사 이미지 검색, 추천 시스템 등을 실시간 수준으로 처리 가능케 함.
|
||||
|
||||
## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
|
||||
- **과거 데이터와의 충돌:** 완전한 정답을 보장하지 못한다는 이유로 외면받기도 했으나, 데이터가 폭발적으로 증가하는 빅데이터 시대에 '완벽한 정답'보다 '충분히 빠른 근사 정답'이 더 가치 있음을 입증하며 필수 알고리즘으로 정착됨.
|
||||
- **정책 변화:** Antigravity 프로젝트는 1,174개의 방대한 문서 중 중복되거나 유사한 내용이 있는지 전수 검사할 때, 연산 효율을 위해 LSH 기반의 1차 필터링을 수행함.
|
||||
|
||||
## 🔗 지식 연결 (Graph)
|
||||
- [[Indexing-Strategies]], [[Vector-Database-Foundations]], [[Dimensionality-Reduction]], [[K-Nearest-Neighbors-K-NN]]
|
||||
- **Raw Source:** [[10_Wiki/Topics/AI/Locality-Sensitive-Hashing.md]]
|
||||
@@ -0,0 +1,28 @@
|
||||
---
|
||||
id: ML-LOG-REG-001
|
||||
category: "[[10_Wiki/💡 Topics/AI]]"
|
||||
confidence_score: 1.0
|
||||
tags: [machine-learning, logistic-regression, classification, supervised-learning, sigmoid]
|
||||
last_reinforced: 2026-04-26
|
||||
---
|
||||
|
||||
# [[Logistic Regression Foundations (로지스틱 회귀 기초)]]
|
||||
|
||||
## 📌 한 줄 통찰 (The Karpathy Summary)
|
||||
> "세상의 모든 질문을 '예(1)' 혹은 '아니오(0)'의 확률로 변환하여, 모호함의 경계에 명확한 선을 그어라" — 선형 회귀의 출력값을 시그모이드(Sigmoid) 함수를 통해 0과 1 사이의 확률로 변환하여 이진 분류 문제를 해결하는 가장 기본적이고 강력한 알고리즘.
|
||||
|
||||
## 📖 구조화된 지식 (Synthesized Content)
|
||||
- **추출된 패턴:** "Probabilistic Binary Classification" — 선형 결합($z = wx + b$)의 결과를 확률 공간($0 \le p \le 1$)으로 매핑하고, 임계값(Threshold)을 기준으로 데이터를 두 집단으로 나누는 확률 기반 분류 패턴.
|
||||
- **핵심 요소:**
|
||||
- **Sigmoid Function:** 어떤 실수값이든 0과 1 사이로 압축하는 비선형 함수.
|
||||
- **Decision Boundary:** 확률 0.5를 기준으로 클래스를 가르는 경계선.
|
||||
- **Binary Cross-Entropy Loss:** 예측 확률과 실제 레이블 사이의 오차를 측정하는 손실 함수.
|
||||
- **의의:** 스팸 메일 분류, 질병 유무 판별 등 수많은 이진 분류 문제의 표준 모델이며, 딥러닝 뉴런의 동작 원리를 이해하는 핵심 가교 역할.
|
||||
|
||||
## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
|
||||
- **과거 데이터와의 충돌:** 이름은 '회귀(Regression)'이지만 실제로는 '분류(Classification)'에 사용된다는 점이 초심자에게 혼란을 주나, 출력값이 확률이라는 연속적인 수치라는 점에서 통계학적 회귀의 범주에 포함됨을 이해하는 것이 중요.
|
||||
- **정책 변화:** Antigravity 프로젝트는 에이전트의 특정 행동 수행 여부(Success/Fail)를 예측하는 가벼운 판단 모듈 설계 시, 연산 효율이 극대화된 로지스틱 회귀를 우선적으로 고려함.
|
||||
|
||||
## 🔗 지식 연결 (Graph)
|
||||
- [[Linear-Regression-Mastery]], [[Deep-Learning-Foundations]], [[Loss-Functions-Foundations]], [[Supervised-Learning-Foundations]]
|
||||
- **Raw Source:** [[10_Wiki/Topics/AI/Logistic-Regression-Foundations.md]]
|
||||
@@ -0,0 +1,28 @@
|
||||
---
|
||||
id: DL-LSTM-001
|
||||
category: "[[10_Wiki/💡 Topics/AI]]"
|
||||
confidence_score: 1.0
|
||||
tags: [ai, deep-learning, rnn, lstm, sequence-modeling, time-series]
|
||||
last_reinforced: 2026-04-26
|
||||
---
|
||||
|
||||
# [[Long-Short Term Memory (LSTM, 시계열 맥락)]]
|
||||
|
||||
## 📌 한 줄 통찰 (The Karpathy Summary)
|
||||
> "어제의 교훈을 선별적으로 기억하고 오늘의 맥락을 결합하여, 끊기지 않는 시간의 실타래를 완성하라" — 순환 신경망(RNN)의 장기 의존성(Long-term Dependency) 문제를 해결하여, 수백 단계 이전의 정보도 현재의 판단에 반영할 수 있게 설계된 시퀀스 데이터 처리 모델.
|
||||
|
||||
## 📖 구조화된 지식 (Synthesized Content)
|
||||
- **추출된 패턴:** "Selective Memory Gating" — 모든 정보를 무조건 수용하는 대신, '망각'과 '입력'을 제어하는 게이트 메커니즘을 통해 중요한 정보는 장기 기억(Cell State)으로 유지하고 불필요한 노이즈는 실시간으로 제거하는 정보 선별 패턴.
|
||||
- **주요 응용 분야:**
|
||||
- **Natural Language Processing:** 문장의 앞뒤 맥락을 파악하여 번역, 요약, 감성 분석 수행.
|
||||
- **Time-Series Forecasting:** 주가, 날씨, 전력 수요 등 과거의 패턴을 바탕으로 미래 수치 예측.
|
||||
- **Speech Recognition:** 음성 신호의 시계열적 특성을 분석하여 텍스트로 변환.
|
||||
- **의의:** AI가 '정지된 상태'가 아닌 '흐르는 시간' 속에서 정보를 처리하고 이해하게 만든 딥러닝 역사의 이정표.
|
||||
|
||||
## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
|
||||
- **과거 데이터와의 충돌:** 시퀀스 처리의 절대 강자였으나, 최근에는 병렬 처리가 가능하고 더 넓은 범위를 한눈에 보는(Self-attention) Transformer에 자리를 내어주는 추세이나, 실시간 스트리밍이나 데이터 효율성이 중요한 특정 도메인에서는 여전히 핵심적으로 사용됨.
|
||||
- **정책 변화:** Antigravity 프로젝트는 에이전트의 실시간 시스템 모니터링 및 자원 사용량 추세 분석 시, 가볍고 연속적인 데이터 처리에 강점이 있는 LSTM 모델을 보조 엔진으로 활용함.
|
||||
|
||||
## 🔗 지식 연결 (Graph)
|
||||
- [[Deep-Learning-Foundations]], [[Transformer-Architecture-Foundations]], [[Time-Series-Analysis]], [[Gated-Recurrent-Unit-GRU]]
|
||||
- **Raw Source:** [[10_Wiki/Topics/AI/Long-Short-Term-Memory.md]]
|
||||
@@ -0,0 +1,28 @@
|
||||
---
|
||||
id: DL-LOSS-001
|
||||
category: "[[10_Wiki/💡 Topics/AI]]"
|
||||
confidence_score: 1.0
|
||||
tags: [ai, deep-learning, loss-function, cost-function, optimization, neural-networks]
|
||||
last_reinforced: 2026-04-26
|
||||
---
|
||||
|
||||
# [[Loss Functions Foundations (손실 함수 기초)]]
|
||||
|
||||
## 📌 한 줄 통찰 (The Karpathy Summary)
|
||||
> "모델의 실수(Error)를 뼈아픈 수치로 환산하여, 정답을 향한 가장 가파른 길을 가리키는 나침반으로 삼아라" — 모델의 예측값과 실제 정답 사이의 차이를 하나의 스칼라 값으로 정의하여, 경사 하강법(Gradient Descent)이 최소값을 향해 나아갈 수 있도록 학습의 방향을 결정하는 핵심 지표.
|
||||
|
||||
## 📖 구조화된 지식 (Synthesized Content)
|
||||
- **추출된 패턴:** "Differentiable Error Mapping" — 불연속적인 '맞고 틀림'을 미분 가능한 연속적인 함수로 변환하여, 오차가 클수록 더 강한 피드백(Gradient)을 가중치에 전달함으로써 모델을 스스로 수정하게 만드는 최적화 지표 패턴.
|
||||
- **주요 손실 함수:**
|
||||
- **MSE (Mean Squared Error):** 예측 오차의 제곱 평균. 회귀 문제의 표준. 큰 오차에 민감함.
|
||||
- **Cross-Entropy Loss:** 확률 분포 간의 차이 측정. 분류 문제의 표준. 정답에서 멀어질수록 페널티가 기하급수적으로 증가.
|
||||
- **Hinge Loss:** 서포트 벡터 머신(SVM)에서 사용. 경계선(Margin)을 지키지 못할 때 벌점 부여.
|
||||
- **의의:** 손실 함수의 설계가 곧 모델의 '목표'를 설정하는 행위이며, 문제의 본질(분류, 회귀, 생성 등)에 맞는 적절한 함수 선택이 성능의 80%를 결정함.
|
||||
|
||||
## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
|
||||
- **과거 데이터와의 충돌:** 단순히 오차를 줄이는 것에서 벗어나, 최근에는 학습의 안정성을 위해 Focal Loss(불균형 데이터)나 정규화 항이 포함된 복합 손실 함수를 설계하여 모델의 일반화 능력을 정교하게 제어함.
|
||||
- **정책 변화:** Antigravity 프로젝트는 에이전트의 지식 강화 작업 품질을 평가할 때, 단순 정답률 외에도 코사인 유사도와 정보 엔트로피를 결합한 커스텀 손실 지표를 활용하여 지식의 밀도를 관리함.
|
||||
|
||||
## 🔗 지식 연결 (Graph)
|
||||
- [[Gradient-Descent-Foundations]], [[Backpropagation-Foundations]], [[Focal-Loss]], [[Kullback-Leibler-Divergence]]
|
||||
- **Raw Source:** [[10_Wiki/Topics/AI/Loss-Functions-Foundations.md]]
|
||||
@@ -1,28 +1,28 @@
|
||||
---
|
||||
id: LORA-001
|
||||
id: AI-LORA-001
|
||||
category: "[[10_Wiki/💡 Topics/AI]]"
|
||||
confidence_score: 1.0
|
||||
tags: [ai, fine-tuning, lora, deep-learning, efficiency]
|
||||
tags: [ai, llm, lora, peft, fine-tuning, model-optimization]
|
||||
last_reinforced: 2026-04-26
|
||||
---
|
||||
|
||||
# [[Low-Rank Adaptation (LoRA, 저순위 어댑션)]]
|
||||
# [[Low-Rank Adaptation (LoRA, 저순위 적응)]]
|
||||
|
||||
## 📌 한 줄 통찰 (The Karpathy Summary)
|
||||
> "모델 전체를 건드리지 말고, 작은 '날개'만 달아서 성능을 바꿔라" — 거대 모델의 기존 가중치는 고정한 채, 아주 작은 크기의 행렬 두 개만을 추가하여 학습시킴으로써 적은 비용으로 파인튜닝 효과를 내는 혁신적인 효율화 기법.
|
||||
> "거대한 뇌(Base Model)는 그대로 두고, 아주 얇은 신경 다발(Low-rank Matrices)만 덧붙여 새로운 기술을 가르쳐라" — 거대 언어 모델의 본래 가중치는 고정하고, 가중치 변화량($\Delta W$)을 두 개의 작은 행렬의 곱으로 분해하여 학습함으로써 파라미터 수를 10,000배 이상 줄이면서도 효과적인 미세 조정을 가능케 하는 기법.
|
||||
|
||||
## 📖 구조화된 지식 (Synthesized Content)
|
||||
- **추출된 패턴:** 거대 행렬의 변화량을 낮은 순위(Low-rank)의 두 행렬곱으로 분해하여 표현함으로써, 학습해야 할 파라미터 수를 10,000배 이상 줄이면서도 성능을 유지하는 패턴.
|
||||
- **세부 내용:**
|
||||
- **Frozen Backbone:** 원본 모델의 가중치는 절대 변경하지 않음 (Catastrophic Forgetting 방지).
|
||||
- **A & B Matrices:** 모델의 어텐션 층 등에 추가되는 아주 얇은 행렬들. 이 부분만 학습이 진행됨.
|
||||
- **Merge & Deploy:** 학습 완료 후 두 행렬을 곱해 원본 가중치에 더하면 추가 연산 비용 없이 추론 가능.
|
||||
- **Storage Efficiency:** 수십 GB의 전체 모델 대신 수십 MB의 LoRA 가중치 파일만 저장하면 되므로 배포가 매우 용이.
|
||||
- **추출된 패턴:** "Efficient Parameter Update" — 모델의 변화량이 실제로는 낮은 차원의 내재적 구조(Intrinsic Dimension)를 가진다는 통찰을 바탕으로, 전체를 다시 학습시키는 대신 핵심적인 변화만을 포착하여 효율적으로 지식을 이식하는 PEFT(Parameter-Efficient Fine-Tuning) 패턴.
|
||||
- **작동 원리:**
|
||||
- **Freezing:** 기존 모델의 모든 가중치는 업데이트하지 않음.
|
||||
- **Low-Rank Decomposition:** 업데이트할 가중치 행렬을 $A \times B$ (순위 $r$이 매우 작은 행렬들)로 정의하여 학습.
|
||||
- **Merging:** 학습 완료 후, 훈련된 행렬을 기존 모델과 합쳐서 추론 지연 시간(Latency) 없이 사용 가능.
|
||||
- **의의:** 고사양 GPU 없이도 대규모 모델을 특정 도메인에 최적화할 수 있게 하여, 개인화된 AI 및 기업용 특화 모델 구축의 진입 장벽을 혁신적으로 낮춤.
|
||||
|
||||
## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
|
||||
- **과거 데이터와의 충돌:** 고성능 GPU 수십 대가 필요했던 파인튜닝을 일반 데스크톱 한 대로도 가능하게 만들며 AI 민주화에 기여.
|
||||
- **정책 변화:** Antigravity 프로젝트는 특정 도메인 특화 모델 생성 시 LoRA 기법을 기본으로 사용하며, '브레인 프로필' 단위로 LoRA 가중치를 관리함.
|
||||
- **과거 데이터와의 충돌:** 성능을 위해서는 전체 미세 조정(Full Fine-tuning)이 필수라는 믿음을 깨고, LoRA만으로도 유사하거나 더 나은 성능을 낼 수 있음을 입증하며 현대 LLM 생태계의 표준 튜닝 기술로 자리 잡음.
|
||||
- **정책 변화:** Antigravity 프로젝트는 사용자의 특정 코딩 스타일이나 문서 양식을 에이전트에게 학습시킬 때, 원본 모델의 지능을 훼손하지 않고 효율적으로 학습하기 위해 LoRA 기술을 기본으로 사용함.
|
||||
|
||||
## 🔗 지식 연결 (Graph)
|
||||
- [[Fine-Tuning]], [[Linear-Algebra-for-ML]], [[Parameter-Efficient-Fine-Tuning]], [[LLM]]
|
||||
- [[LLM]], [[Transfer-Learning-Foundations]], [[Inference-Optimization]], [[Local-Brain-Management]]
|
||||
- **Raw Source:** [[10_Wiki/Topics/AI/Low-Rank-Adaptation-LoRA.md]]
|
||||
|
||||
Reference in New Issue
Block a user