docs(10_Wiki): 위키 전체 재구성 — Topic_* 폴더를 4개 카테고리로 통합 + 대규모 중복 제거
Topic_Agent/Topic_Blog/Topics/Topics_Biz/Topics_Meeting/Topics_Rag의 마크다운 지식 문서를 Topic_General/Topic_Programming/Topic_Graphic/Topic_Business 4개 카테고리로 재분류. - 중복 제거: frontmatter의 status:duplicate/merged + duplicate_of/redirect_to 필드로 자기 자신을 중복으로 선언한 리다이렉트 stub 1032개 제거, 완전 동일 내용 파일 472개 제거, 동일 파일명·다른 내용 충돌 시 더 큰(완전한) 버전만 유지(162개 제거) — 총 1639개 중복 제거. - 분류: 폴더 단위로 명확한 항목(AI_and_ML/Coding/Architecture 등 → Programming, Comfyui/Visual_Effects → Graphic, Topics_Biz/Topics_Meeting/사업 등 → Business, Poetic_Blog_Writing/창의성/Game_Design 등 → General)은 폴더 우선순위로, 나머지 혼재 폴더(Topic_Agent/Topic_Blog/Topics 루트/Thinking & Reasoning/Other/UI_UX_Assets)는 title/tags 키워드 스코어링으로 파일 단위 분류(불명확한 경우 General로 폴백). 원본 폴더명은 "From_*" 서브폴더로 보존해 추적 가능성 유지. - 최종 배치: Programming 2784 / General 1608 / Graphic 285 / Business 249 = 4926개 문서. - 에이전트 운영 상태(.astra/.agent/.obsidian/sessions/memory/_company/docs/lessons/_shared/src)는 지식 콘텐츠가 아니므로 재분류 대상에서 제외하고 원위치 유지. - Topics/Topic_email(상위 보호 폴더 Topic_email과 파일명 100% 중복) 삭제 — 보호 폴더 자체는 미변경. - 완전히 비게 된 Topic_Agent/Topic_Blog/Topics_Biz/Topics_Rag 폴더 제거.
This commit is contained in:
Antigravity Agent
@@ -0,0 +1,327 @@
|
||||
---
|
||||
id: wiki-2026-0508-algorithmic-transparency
|
||||
title: Algorithmic Transparency
|
||||
category: 10_Wiki/Topics
|
||||
status: verified
|
||||
canonical_id: self
|
||||
aliases: [AI transparency, model transparency, algorithmic openness, ML explainability]
|
||||
duplicate_of: none
|
||||
source_trust_level: B
|
||||
confidence_score: 0.85
|
||||
verification_status: conceptual
|
||||
tags: [transparency, xai, explainability, auditability, ai-governance, model-card, open-source]
|
||||
raw_sources: []
|
||||
last_reinforced: 2026-05-09
|
||||
github_commit: pending
|
||||
---
|
||||
|
||||
# Algorithmic Transparency
|
||||
|
||||
## 📌 한 줄 통찰
|
||||
> **"매 black box 의 light"**. 매 input + algorithm + output 의 visibility. **Disclosure → Explainability → Auditability** 의 3 layer. 매 user trust + regulatory compliance.
|
||||
|
||||
## 📖 핵심
|
||||
|
||||
### 매 3 layer
|
||||
|
||||
#### Layer 1: Disclosure (basic)
|
||||
- 매 AI 의 use 의 fact.
|
||||
- 매 purpose.
|
||||
- 매 data source (general).
|
||||
- 매 user 의 inform.
|
||||
|
||||
#### Layer 2: Explainability (model)
|
||||
- 매 prediction 의 reasoning.
|
||||
- SHAP / LIME / counterfactual.
|
||||
- Attention visualization.
|
||||
- Feature importance.
|
||||
|
||||
#### Layer 3: Auditability (regulator / public)
|
||||
- 매 model 의 detail (weights, training).
|
||||
- 매 audit log.
|
||||
- 매 third-party verify.
|
||||
- 매 reproducibility.
|
||||
|
||||
### 매 transparency 의 type
|
||||
|
||||
#### Voluntary
|
||||
- 매 vendor 의 self-disclose.
|
||||
- Model card (Mitchell 2019).
|
||||
- Datasheet for datasets.
|
||||
- Public benchmark.
|
||||
|
||||
#### Required (regulation)
|
||||
- EU AI Act 의 high-risk.
|
||||
- GDPR Article 22 (right to explanation).
|
||||
- NYC LL144 (hiring AI audit).
|
||||
- China 의 generative AI registration.
|
||||
|
||||
#### Open source
|
||||
- 매 weight 의 release.
|
||||
- 매 training data 의 (often partial).
|
||||
- 매 architecture.
|
||||
|
||||
### 매 transparency 의 spectrum
|
||||
|
||||
| Level | Example |
|
||||
|---|---|
|
||||
| 1. Closed | GPT-4 (architecture 미공개) |
|
||||
| 2. Documented | GPT-4 (paper 약간) |
|
||||
| 3. Open weight | Llama 3, Mistral (weight 공개, training 미공개) |
|
||||
| 4. Reproducible | OLMo (data + code 공개) |
|
||||
| 5. Auditable | 매 third-party 의 audit |
|
||||
|
||||
→ 매 model 의 different level.
|
||||
|
||||
### 매 user-facing disclosure
|
||||
|
||||
#### "AI used"
|
||||
- 매 chatbot 의 explicit.
|
||||
- 매 generated content 의 watermark.
|
||||
- 매 deepfake 의 disclosure (regulation).
|
||||
|
||||
#### "Why this decision?"
|
||||
- 매 loan / hire 의 reason.
|
||||
- GDPR right to explanation.
|
||||
|
||||
#### "Data used"
|
||||
- 매 train data summary.
|
||||
- Wikipedia, web crawl, etc.
|
||||
- 매 sensitive 의 disclose.
|
||||
|
||||
### 매 model card (Mitchell 2019)
|
||||
|
||||
Component:
|
||||
1. Model details (name, version, type).
|
||||
2. Intended use (primary, out-of-scope).
|
||||
3. Performance (per-group).
|
||||
4. Training data.
|
||||
5. Evaluation data.
|
||||
6. Ethical consideration.
|
||||
7. Caveat / recommendation.
|
||||
|
||||
→ 매 standard.
|
||||
|
||||
### 매 datasheet (Gebru 2018)
|
||||
|
||||
Dataset 의 documentation:
|
||||
1. Motivation.
|
||||
2. Composition.
|
||||
3. Collection process.
|
||||
4. Preprocessing / labeling.
|
||||
5. Uses.
|
||||
6. Distribution.
|
||||
7. Maintenance.
|
||||
|
||||
### 매 trade-off
|
||||
|
||||
#### IP / competitive
|
||||
- 매 full disclosure 의 trade secret 잃음.
|
||||
- 매 vendor 의 reluctance.
|
||||
|
||||
#### Security
|
||||
- 매 full disclosure 의 adversarial attack.
|
||||
- 매 jailbreak 의 easier.
|
||||
|
||||
#### Privacy
|
||||
- 매 training data 의 individual identification.
|
||||
- 매 GDPR 의 conflict.
|
||||
|
||||
#### User overload
|
||||
- 매 too much info 의 overwhelm.
|
||||
- 매 simplified summary 필요.
|
||||
|
||||
### 매 best practice
|
||||
|
||||
#### Frontier model
|
||||
- 매 model card.
|
||||
- 매 capability + limit.
|
||||
- 매 known risk.
|
||||
- 매 evaluation result.
|
||||
|
||||
#### Production AI
|
||||
- 매 user-facing disclosure.
|
||||
- 매 explainability (SHAP / LIME).
|
||||
- 매 audit log.
|
||||
- 매 appeal channel.
|
||||
|
||||
#### Open-source
|
||||
- 매 weight.
|
||||
- 매 training data (or summary).
|
||||
- 매 reproducibility.
|
||||
|
||||
## 💻 Code
|
||||
|
||||
### Model card (yaml)
|
||||
```yaml
|
||||
model_name: ChurnPredictor
|
||||
version: 3.1.0
|
||||
created: 2026-05-09
|
||||
license: MIT
|
||||
|
||||
intended_use: |
|
||||
Predict customer churn for SaaS billing dashboard.
|
||||
|
||||
intended_users: |
|
||||
Customer success team.
|
||||
|
||||
out_of_scope:
|
||||
- Automatic cancellation
|
||||
- Pricing decisions
|
||||
|
||||
training_data:
|
||||
source: 2025-2026 production users.
|
||||
size: 1.2M samples.
|
||||
bias_warning: |
|
||||
- 80% US customer (geographic bias).
|
||||
- 65% B2B SaaS (industry bias).
|
||||
|
||||
performance:
|
||||
overall: { accuracy: 0.87, auc: 0.91 }
|
||||
by_group:
|
||||
- { group: 'US', accuracy: 0.88 }
|
||||
- { group: 'EU', accuracy: 0.83 } # disparity
|
||||
- { group: 'APAC', accuracy: 0.79 }
|
||||
|
||||
ethical_consideration: |
|
||||
- 매 prediction 의 customer success review.
|
||||
- 매 false positive 의 outreach cost.
|
||||
|
||||
review_cycle: quarterly
|
||||
```
|
||||
|
||||
### Datasheet
|
||||
```yaml
|
||||
dataset_name: customer_churn_v3
|
||||
version: 2026-05
|
||||
size: 1.2M rows
|
||||
license: Internal
|
||||
|
||||
motivation: |
|
||||
Train ML model to predict churn.
|
||||
|
||||
composition:
|
||||
features:
|
||||
- login_frequency: int
|
||||
- subscription_tier: enum
|
||||
- support_tickets: int
|
||||
- payment_method: enum
|
||||
|
||||
protected_attributes:
|
||||
- country
|
||||
- industry
|
||||
- account_size
|
||||
|
||||
collection:
|
||||
source: production database
|
||||
method: SQL extract + anonymize
|
||||
consent: ToS agreement
|
||||
|
||||
preprocessing:
|
||||
- PII removed
|
||||
- Outliers winsorized
|
||||
|
||||
uses:
|
||||
recommended:
|
||||
- Churn prediction
|
||||
not_recommended:
|
||||
- Cross-customer analysis (re-identification risk)
|
||||
```
|
||||
|
||||
### XAI 의 user-facing
|
||||
```python
|
||||
import shap
|
||||
import streamlit as st
|
||||
|
||||
@app.route('/predictions/<id>/explain')
|
||||
def explain(id):
|
||||
decision = db.predictions.find(id)
|
||||
|
||||
explainer = shap.TreeExplainer(model)
|
||||
shap_values = explainer.shap_values([decision.features])
|
||||
|
||||
top_features = sorted(
|
||||
zip(feature_names, shap_values[0]),
|
||||
key=lambda x: -abs(x[1])
|
||||
)[:5]
|
||||
|
||||
return {
|
||||
'prediction': decision.value,
|
||||
'date': decision.timestamp,
|
||||
'top_factors': [
|
||||
{'feature': name, 'impact': float(impact)}
|
||||
for name, impact in top_features
|
||||
],
|
||||
'how_to_appeal': '/appeal',
|
||||
}
|
||||
```
|
||||
|
||||
### Audit log
|
||||
```python
|
||||
@trace
|
||||
async def predict(features, user_id):
|
||||
pred = model.predict(features)
|
||||
|
||||
await db.audit_log.insert({
|
||||
'user_id': user_id,
|
||||
'features_hash': sha256(features),
|
||||
'prediction': pred.value,
|
||||
'confidence': pred.confidence,
|
||||
'model_version': MODEL_VERSION,
|
||||
'timestamp': datetime.now(),
|
||||
})
|
||||
|
||||
return pred
|
||||
```
|
||||
|
||||
### User disclosure (chatbot)
|
||||
```tsx
|
||||
function ChatHeader() {
|
||||
return (
|
||||
<div className="ai-disclosure">
|
||||
🤖 You're chatting with an AI assistant powered by Claude.
|
||||
<a href="/about-ai">Learn more</a>
|
||||
</div>
|
||||
);
|
||||
}
|
||||
```
|
||||
|
||||
## 🤔 결정 기준
|
||||
|
||||
| Context | Transparency level |
|
||||
|---|---|
|
||||
| Internal tool | Audit log + model card |
|
||||
| Customer-facing | + User disclosure |
|
||||
| Regulated (medical, legal) | + Audit + explainability + appeal |
|
||||
| Frontier (general AI) | + Capability disclosure + safety eval |
|
||||
| Open-source | + Weight + training summary |
|
||||
|
||||
**기본값**: Disclosure + audit log + per-prediction explanation. 매 high-stakes 의 더 strict.
|
||||
|
||||
## 🔗 Graph
|
||||
- 부모: [[AI-Ethics]] · [[AI Accountability]]
|
||||
- 변형: [[Explainable-AI-XAI]] · [[Model-Card]]
|
||||
- Tools: [[SHAP]] · [[LIME]]
|
||||
- Adjacent: [[Algorithmic Fairness]]
|
||||
|
||||
## 🤖 LLM 활용
|
||||
**언제**: 매 production AI 의 transparency design. 매 user trust 의 build.
|
||||
**언제 X**: Specific legal compliance (lawyer). Trade secret area.
|
||||
|
||||
## ❌ 안티패턴
|
||||
- **No disclosure**: trust 잃음.
|
||||
- **Full disclosure + privacy violation**: balance.
|
||||
- **Model card 의 stale**: 매 release 의 update.
|
||||
- **"AI 의 use" 의 hide**: deception.
|
||||
- **Explainability 의 fake**: post-hoc rationalize.
|
||||
|
||||
## 🧪 검증 / 중복
|
||||
- Verified.
|
||||
- 신뢰도 B.
|
||||
- Related: [[AI Accountability]] · [[Algorithmic Fairness]].
|
||||
|
||||
## 🕓 Changelog
|
||||
| 날짜 | 변경 |
|
||||
|---|---|
|
||||
| 2026-05-08 | Phase 1 |
|
||||
| 2026-05-09 | Manual cleanup — 3 layer + spectrum + model card / datasheet code |
|
||||
Reference in New Issue
Block a user