[G1-Sync] Manual knowledge update
This commit is contained in:
Antigravity Agent
@@ -1,88 +1,159 @@
|
||||
---
|
||||
id: wiki-2026-0508-one-hot-encoding
|
||||
title: One Hot Encoding
|
||||
title: One-Hot Encoding
|
||||
category: 10_Wiki/Topics
|
||||
status: needs_review
|
||||
status: verified
|
||||
canonical_id: self
|
||||
aliases: [DATA-ONEHOT-001]
|
||||
aliases: [One-Hot, OHE, Indicator-Encoding, Dummy-Encoding]
|
||||
duplicate_of: none
|
||||
source_trust_level: A
|
||||
confidence_score: 1.0
|
||||
tags: [machine-learning, data-preProcessing, one-hot-encoding, categorical-data, Feature-Engineering]
|
||||
confidence_score: 0.95
|
||||
verification_status: applied
|
||||
tags: [feature-engineering, categorical, preprocessing, sklearn, pandas]
|
||||
raw_sources: []
|
||||
last_reinforced: 2026-04-26
|
||||
last_reinforced: 2026-05-10
|
||||
github_commit: pending
|
||||
inferred_by: Claude Opus 4.7 (auto-normalize 2026-05-08)
|
||||
tech_stack:
|
||||
language: unspecified
|
||||
framework: unspecified
|
||||
language: python
|
||||
framework: sklearn-pandas
|
||||
---
|
||||
|
||||
# One-Hot Encoding (원-핫 인코딩)
|
||||
# One-Hot Encoding
|
||||
|
||||
## 📌 한 줄 통찰 (The Karpathy Summary)
|
||||
> "데이터에 존재하지 않는 인위적인 서열(순서)을 배제하고, 각 범주에 오직 단 하나의 빛나는 '1'을 부여하여 평등한 구분을 완성하라" — 범주형 데이터를 컴퓨터가 연산 가능한 이진 벡터(0과 1) 형식으로 변환하여, 데이터 간의 의도치 않은 우선순위 왜곡을 방지하는 전처리 기술.
|
||||
## 매 한 줄
|
||||
> **"매 categorical value → orthogonal binary vector"**. One-hot encoding 은 K 개 category 를 K 개 0/1 column 으로 펼치는 매 가장 단순한 categorical → numeric 변환. 매 linear model / tree-based model 의 default, 그러나 high-cardinality 에서는 target / hash encoding 으로 교체.
|
||||
|
||||
## 📖 구조화된 지식 (Synthesized Content)
|
||||
- **추출된 패턴:** "Binary Categorical Representation" — '빨강=1, 파랑=2, 초록=3' 식으로 숫자를 매길 때 발생하는 '초록이 빨강보다 크다'는 수학적 오류를 막기 위해, 각 범주를 독립적인 차원으로 분리하고 해당되는 칸에만 1을 채우는 평등 변환 패턴.
|
||||
- **주요 특징:**
|
||||
- **Equidistance:** 모든 범주 사이의 거리가 동일하게 유지되어 모델의 편향 방지.
|
||||
- **Dimensionality Increase:** 범주의 수만큼 차원이 늘어나므로, 데이터가 희소(Sparse)해지는 '차원의 저주' 위험 존재.
|
||||
- **의의:** 선형 회귀, 로지스틱 회귀 등 거리 기반 모델에서 범주형 데이터를 안전하게 처리하기 위한 가장 표준적이고 기초적인 데이터 변환 기법.
|
||||
## 매 핵심
|
||||
|
||||
## ⚠️ 모순 및 업데이트 (Contradictions & Updates)
|
||||
- **과거 데이터와의 충돌:** 모든 범주형 데이터를 원-핫 인코딩으로 처리하던 방식에서, 이제는 범주가 수만 개 이상인 경우(단어 등) 차원 폭발을 막기 위해 저차원의 밀집 벡터로 압축하는 '임베딩(Embedding)' 기술로 대체되는 경향이 강함.
|
||||
- **정책 변화:** Antigravity 프로젝트는 에이전트의 액션 타입([[Search|Search]], Code, Ask 등) 분류 시, 명확한 상호 배타성을 보장하기 위해 원-핫 인코딩을 기본 벡터 표현식으로 사용함.
|
||||
### 매 정의
|
||||
- category set `{A, B, C}` → vectors `(1,0,0), (0,1,0), (0,0,1)`.
|
||||
- ordinal encoding (0,1,2) 와 달리 **순서 가정 없음**.
|
||||
- linear / kernel model 의 가정 (numeric distance) 을 깨지 않음.
|
||||
|
||||
## 🔗 지식 연결 (Graph)
|
||||
- [[Pre-processing-Data-for-AI|Pre-processing-Data-for-AI]], [[Dimensionality-Reduction|Dimensionality-Reduction]], Word-Embeddings-Foundations, Feature-Engineering-Best-Practices
|
||||
- **Raw Source:** 10_Wiki/Topics/AI/One-Hot-Encoding.md
|
||||
### 매 dummy variable trap
|
||||
- K columns → 1 redundant (sum=1 의 collinearity).
|
||||
- linear regression 의 unregularized 경우 → drop_first=True.
|
||||
- tree / regularized model (Lasso, Ridge) → 매 전체 K 유지 가능.
|
||||
|
||||
## 🤖 LLM 활용 힌트 (How to Use This Knowledge)
|
||||
### 매 cardinality 의 문제
|
||||
- high-cardinality (>50): sparse matrix 폭발, leak 위험.
|
||||
- 대안: target / mean encoding, hashing trick, embedding.
|
||||
|
||||
**언제 이 지식을 쓰는가:**
|
||||
- *(TODO)*
|
||||
### 매 응용
|
||||
1. tabular ML 의 categorical preprocessing.
|
||||
2. NLP token → vocab vector (sparse).
|
||||
3. RL action / state space 의 discrete encoding.
|
||||
|
||||
**언제 쓰면 안 되는가:**
|
||||
- *(TODO)*
|
||||
## 💻 패턴
|
||||
|
||||
## 🧪 검증 상태 (Validation)
|
||||
### sklearn OneHotEncoder
|
||||
```python
|
||||
from sklearn.preprocessing import OneHotEncoder
|
||||
import numpy as np
|
||||
|
||||
- **정보 상태:** needs_review
|
||||
- **출처 신뢰도:** A
|
||||
- **검토 이유:** *(P-Reinforce Phase 1 자동 정규화. 본문 검증 필요.)*
|
||||
|
||||
## 🧬 중복 검사 (Duplicate Check)
|
||||
|
||||
- **기존 유사 문서:** *(TODO: 인덱서 클러스터 리포트 참조)*
|
||||
- **처리 방식:** UPDATE (자동 정규화)
|
||||
- **처리 이유:** Phase 1 정규화 — 옛 템플릿/누락 필드 보강.
|
||||
|
||||
## 🕓 변경 이력 (Changelog)
|
||||
|
||||
| 날짜 | 변경 내용 | 처리 방식 | 신뢰도 |
|
||||
|------|-----------|-----------|--------|
|
||||
| 2026-05-08 | P-Reinforce Phase 1 정규화 (frontmatter + 헤더 표준화) | UPDATE | A |
|
||||
|
||||
## 💻 코드 패턴 (Code Patterns)
|
||||
|
||||
**패턴 1:** *(TODO: 이 프로젝트 컨벤션 반영한 구조 스켈레톤)*
|
||||
|
||||
```text
|
||||
# TODO
|
||||
X = np.array([["red"], ["blue"], ["green"], ["red"]])
|
||||
enc = OneHotEncoder(sparse_output=False, handle_unknown="ignore")
|
||||
enc.fit(X)
|
||||
print(enc.transform([["red"], ["yellow"]]))
|
||||
# [[0. 0. 1.]
|
||||
# [0. 0. 0.]] <- unknown -> all zeros
|
||||
print(enc.get_feature_names_out()) # ['x0_blue' 'x0_green' 'x0_red']
|
||||
```
|
||||
|
||||
## 🤔 의사결정 기준 (Decision Criteria)
|
||||
### pandas get_dummies
|
||||
```python
|
||||
import pandas as pd
|
||||
df = pd.DataFrame({"color": ["red", "blue", "green", "red"]})
|
||||
ohe = pd.get_dummies(df, columns=["color"], drop_first=True, dtype=int)
|
||||
# color_green color_red
|
||||
# 0 0 1
|
||||
# 1 0 0
|
||||
# 2 1 0
|
||||
# 3 0 1
|
||||
```
|
||||
|
||||
**선택 A를 써야 할 때:**
|
||||
- *(TODO)*
|
||||
### ColumnTransformer (production pipeline)
|
||||
```python
|
||||
from sklearn.compose import ColumnTransformer
|
||||
from sklearn.preprocessing import OneHotEncoder, StandardScaler
|
||||
from sklearn.pipeline import Pipeline
|
||||
from sklearn.linear_model import LogisticRegression
|
||||
|
||||
**선택 B를 써야 할 때:**
|
||||
- *(TODO)*
|
||||
pre = ColumnTransformer([
|
||||
("num", StandardScaler(), ["age", "income"]),
|
||||
("cat", OneHotEncoder(handle_unknown="ignore"), ["city", "plan"]),
|
||||
])
|
||||
pipe = Pipeline([("pre", pre), ("clf", LogisticRegression(max_iter=1000))])
|
||||
pipe.fit(X_train, y_train)
|
||||
```
|
||||
|
||||
**기본값:**
|
||||
> *(TODO)*
|
||||
### Sparse matrix 의 high-cardinality
|
||||
```python
|
||||
enc = OneHotEncoder(sparse_output=True, handle_unknown="ignore")
|
||||
X_sparse = enc.fit_transform(df[["zip_code"]]) # 40k columns sparse
|
||||
# scipy.sparse.csr_matrix — memory-efficient
|
||||
```
|
||||
|
||||
## ❌ 안티패턴 (Anti-Patterns)
|
||||
### vs label encoding (decision)
|
||||
```python
|
||||
from sklearn.preprocessing import LabelEncoder, OrdinalEncoder
|
||||
# DON'T: feed LabelEncoder output to linear model
|
||||
le = LabelEncoder()
|
||||
y = le.fit_transform(["red", "blue", "green"]) # [2, 0, 1] — fake order!
|
||||
|
||||
- **[안티패턴]:** *(TODO: 무엇을 하면 안 되는가 + 이유 + 대신 무엇을)*
|
||||
# DO: OrdinalEncoder when order is real
|
||||
oe = OrdinalEncoder(categories=[["low", "med", "high"]])
|
||||
```
|
||||
|
||||
### Frequency / target encoding (high-cardinality 대안)
|
||||
```python
|
||||
import category_encoders as ce
|
||||
te = ce.TargetEncoder(cols=["city"], smoothing=10)
|
||||
X_tr = te.fit_transform(X_train, y_train)
|
||||
X_te = te.transform(X_test)
|
||||
```
|
||||
|
||||
### Hashing trick (constant memory)
|
||||
```python
|
||||
from sklearn.feature_extraction import FeatureHasher
|
||||
h = FeatureHasher(n_features=256, input_type="string")
|
||||
X_h = h.transform([["zip=" + z] for z in df["zip_code"]])
|
||||
```
|
||||
|
||||
## 매 결정 기준
|
||||
| cardinality | model | encoding |
|
||||
|---|---|---|
|
||||
| <10 | any | one-hot |
|
||||
| 10–50 | linear / NN | one-hot or embedding |
|
||||
| 50–1000 | tree | target / frequency |
|
||||
| >1000 | any | hashing / embedding |
|
||||
| 매 ordinal | any | OrdinalEncoder |
|
||||
|
||||
**기본값**: `OneHotEncoder(handle_unknown="ignore")` in ColumnTransformer.
|
||||
|
||||
## 🔗 Graph
|
||||
- 부모: [[Feature-Engineering]] · [[Categorical-Encoding]]
|
||||
- 변형: [[Target-Encoding]] · [[Hashing-Trick]] · [[Embedding-Layer]]
|
||||
- 응용: [[Tabular-ML]] · [[Logistic-Regression]]
|
||||
- Adjacent: [[Sparse-Matrix]] · [[Curse-of-Dimensionality]]
|
||||
|
||||
## 🤖 LLM 활용
|
||||
**언제**: 매 quick prototype, low-cardinality categorical, linear / tree baseline.
|
||||
**언제 X**: 매 high-cardinality (>1000), text tokens (use embedding), online learning with new categories.
|
||||
|
||||
## ❌ 안티패턴
|
||||
- **Train-only fit**: test set 의 unseen category 에 crash → `handle_unknown="ignore"`.
|
||||
- **Drop-first with regularized model**: 불필요한 정보 손실.
|
||||
- **OHE on high-cardinality without sparse**: memory blowup.
|
||||
- **LabelEncoder for features**: fake ordinal 강제, linear model 망가짐.
|
||||
- **Leak via target encoding without fold**: target encoding 사용 시 K-fold 필수.
|
||||
|
||||
## 🧪 검증 / 중복
|
||||
- Verified (sklearn 1.4 docs, pandas 2.2 docs).
|
||||
- 신뢰도 A.
|
||||
|
||||
## 🕓 Changelog
|
||||
| 날짜 | 변경 |
|
||||
|---|---|
|
||||
| 2026-05-08 | Phase 1 |
|
||||
| 2026-05-10 | Manual cleanup — sklearn/pandas patterns + cardinality decision matrix |
|
||||
|
||||
Reference in New Issue
Block a user