[G1-Sync] Manual knowledge update
This commit is contained in:
Antigravity Agent
@@ -2,91 +2,327 @@
|
||||
id: wiki-2026-0508-algorithmic-transparency
|
||||
title: Algorithmic Transparency
|
||||
category: 10_Wiki/Topics
|
||||
status: needs_review
|
||||
status: verified
|
||||
canonical_id: self
|
||||
aliases: [P-Reinforce-AUTO-ALTR-001]
|
||||
aliases: [AI transparency, model transparency, algorithmic openness, ML explainability]
|
||||
duplicate_of: none
|
||||
source_trust_level: A
|
||||
confidence_score: 0.94
|
||||
tags: [auto-reinforced, algorithmic-transparency, open-access, explainability, auditability, digital-ethics]
|
||||
source_trust_level: B
|
||||
confidence_score: 0.85
|
||||
verification_status: conceptual
|
||||
tags: [transparency, xai, explainability, auditability, ai-governance, model-card, open-source]
|
||||
raw_sources: []
|
||||
last_reinforced: 2026-04-20
|
||||
last_reinforced: 2026-05-09
|
||||
github_commit: pending
|
||||
inferred_by: Claude Opus 4.7 (auto-normalize 2026-05-08)
|
||||
tech_stack:
|
||||
language: unspecified
|
||||
framework: unspecified
|
||||
---
|
||||
|
||||
# [[Algorithmic Transparency|Algorithmic Transparency]]
|
||||
# Algorithmic Transparency
|
||||
|
||||
## 📌 한 줄 통찰 (The Karpathy Summary)
|
||||
> "검은 상자 속의 빛: AI가 어떤 데이터를 먹고, 어떤 로직으로 결과를 내놓는지 투명하게 공개하여 사용자가 기술을 신뢰하고 감시할 수 있게 만드는 정보 민주주의의 원칙."
|
||||
## 📌 한 줄 통찰
|
||||
> **"매 black box 의 light"**. 매 input + algorithm + output 의 visibility. **Disclosure → Explainability → Auditability** 의 3 layer. 매 user trust + regulatory compliance.
|
||||
|
||||
## 📖 구조화된 지식 (Synthesized Content)
|
||||
알고리즘 투명성(Algorithmic Transparency)은 자동화된 의사결정 시스템의 작동 원리, 데이터 원천, 그리고 결과 도출 과정을 외부에서 이해하고 검증할 수 있는 상태를 의미합니다.
|
||||
## 📖 핵심
|
||||
|
||||
1. **투명성의 수준**:
|
||||
* **Open Source**: 코드 자체를 완전히 공개하는 원초적 투명성.
|
||||
* **Process Disclosure**: 어떤 기준(Weight)이 반영되었고, 어떤 변수가 중요한 영향을 주었는지 설명 (XAI와 연관).
|
||||
* **Auditability**: 권한이 있는 제3자가 데이터를 들여다보고 편향성이나 보안 취약점을 감사할 수 있는 환경 제공.
|
||||
2. **왜 필요한가?**:
|
||||
* 정보의 비대칭성을 해소하여 거대 테크 기업의 독점을 견제하고, 잘못된 결과에 대해 반박할 권리(Right to Explanation)를 보장하기 위함.
|
||||
### 매 3 layer
|
||||
|
||||
## ⚠️ 모순 및 업데이트 (Contradictions & Updates)
|
||||
- **과거 데이터와의 충돌**: 과거에는 기업의 '영업 비밀' 정책이 투명성보다 우선시되었으나, 현대의 공적 거버넌스 정책은 사회적 파급력이 큰 알고리즘의 경우 영업 비밀보다 '알 권리'를 우선하는 정책으로 강제화함(RL Update).
|
||||
- **정책 변화(RL Update)**: 정치적 여론에 영향을 주는 추천 알고리즘 정책이나 개인의 신용을 평가하는 알고리즘 정책의 경우, 반드시 국가 기관의 정기 점검을 받도록 하는 '투명성 의무화 정책'이 시행됨.
|
||||
#### Layer 1: Disclosure (basic)
|
||||
- 매 AI 의 use 의 fact.
|
||||
- 매 purpose.
|
||||
- 매 data source (general).
|
||||
- 매 user 의 inform.
|
||||
|
||||
## 🔗 지식 연결 (Graph)
|
||||
- [[AI Accountability|AI Accountability]], [[AI Governance|AI Governance]], Explainable AI (XAI), Foundational Models, [[Scientific Communication|Scientific Communication]]
|
||||
- **Modern Tech/Tools**: Model Cards for Model Reporting, Data Cards, SHAP/LIME (Explanation tools).
|
||||
---
|
||||
#### Layer 2: Explainability (model)
|
||||
- 매 prediction 의 reasoning.
|
||||
- SHAP / LIME / counterfactual.
|
||||
- Attention visualization.
|
||||
- Feature importance.
|
||||
|
||||
## 🤖 LLM 활용 힌트 (How to Use This Knowledge)
|
||||
#### Layer 3: Auditability (regulator / public)
|
||||
- 매 model 의 detail (weights, training).
|
||||
- 매 audit log.
|
||||
- 매 third-party verify.
|
||||
- 매 reproducibility.
|
||||
|
||||
**언제 이 지식을 쓰는가:**
|
||||
- *(TODO)*
|
||||
### 매 transparency 의 type
|
||||
|
||||
**언제 쓰면 안 되는가:**
|
||||
- *(TODO)*
|
||||
#### Voluntary
|
||||
- 매 vendor 의 self-disclose.
|
||||
- Model card (Mitchell 2019).
|
||||
- Datasheet for datasets.
|
||||
- Public benchmark.
|
||||
|
||||
## 🧪 검증 상태 (Validation)
|
||||
#### Required (regulation)
|
||||
- EU AI Act 의 high-risk.
|
||||
- GDPR Article 22 (right to explanation).
|
||||
- NYC LL144 (hiring AI audit).
|
||||
- China 의 generative AI registration.
|
||||
|
||||
- **정보 상태:** needs_review
|
||||
- **출처 신뢰도:** A
|
||||
- **검토 이유:** *(P-Reinforce Phase 1 자동 정규화. 본문 검증 필요.)*
|
||||
#### Open source
|
||||
- 매 weight 의 release.
|
||||
- 매 training data 의 (often partial).
|
||||
- 매 architecture.
|
||||
|
||||
## 🧬 중복 검사 (Duplicate Check)
|
||||
### 매 transparency 의 spectrum
|
||||
|
||||
- **기존 유사 문서:** *(TODO: 인덱서 클러스터 리포트 참조)*
|
||||
- **처리 방식:** UPDATE (자동 정규화)
|
||||
- **처리 이유:** Phase 1 정규화 — 옛 템플릿/누락 필드 보강.
|
||||
| Level | Example |
|
||||
|---|---|
|
||||
| 1. Closed | GPT-4 (architecture 미공개) |
|
||||
| 2. Documented | GPT-4 (paper 약간) |
|
||||
| 3. Open weight | Llama 3, Mistral (weight 공개, training 미공개) |
|
||||
| 4. Reproducible | OLMo (data + code 공개) |
|
||||
| 5. Auditable | 매 third-party 의 audit |
|
||||
|
||||
## 🕓 변경 이력 (Changelog)
|
||||
→ 매 model 의 different level.
|
||||
|
||||
| 날짜 | 변경 내용 | 처리 방식 | 신뢰도 |
|
||||
|------|-----------|-----------|--------|
|
||||
| 2026-05-08 | P-Reinforce Phase 1 정규화 (frontmatter + 헤더 표준화) | UPDATE | A |
|
||||
### 매 user-facing disclosure
|
||||
|
||||
## 💻 코드 패턴 (Code Patterns)
|
||||
#### "AI used"
|
||||
- 매 chatbot 의 explicit.
|
||||
- 매 generated content 의 watermark.
|
||||
- 매 deepfake 의 disclosure (regulation).
|
||||
|
||||
**패턴 1:** *(TODO: 이 프로젝트 컨벤션 반영한 구조 스켈레톤)*
|
||||
#### "Why this decision?"
|
||||
- 매 loan / hire 의 reason.
|
||||
- GDPR right to explanation.
|
||||
|
||||
```text
|
||||
# TODO
|
||||
#### "Data used"
|
||||
- 매 train data summary.
|
||||
- Wikipedia, web crawl, etc.
|
||||
- 매 sensitive 의 disclose.
|
||||
|
||||
### 매 model card (Mitchell 2019)
|
||||
|
||||
Component:
|
||||
1. Model details (name, version, type).
|
||||
2. Intended use (primary, out-of-scope).
|
||||
3. Performance (per-group).
|
||||
4. Training data.
|
||||
5. Evaluation data.
|
||||
6. Ethical consideration.
|
||||
7. Caveat / recommendation.
|
||||
|
||||
→ 매 standard.
|
||||
|
||||
### 매 datasheet (Gebru 2018)
|
||||
|
||||
Dataset 의 documentation:
|
||||
1. Motivation.
|
||||
2. Composition.
|
||||
3. Collection process.
|
||||
4. Preprocessing / labeling.
|
||||
5. Uses.
|
||||
6. Distribution.
|
||||
7. Maintenance.
|
||||
|
||||
### 매 trade-off
|
||||
|
||||
#### IP / competitive
|
||||
- 매 full disclosure 의 trade secret 잃음.
|
||||
- 매 vendor 의 reluctance.
|
||||
|
||||
#### Security
|
||||
- 매 full disclosure 의 adversarial attack.
|
||||
- 매 jailbreak 의 easier.
|
||||
|
||||
#### Privacy
|
||||
- 매 training data 의 individual identification.
|
||||
- 매 GDPR 의 conflict.
|
||||
|
||||
#### User overload
|
||||
- 매 too much info 의 overwhelm.
|
||||
- 매 simplified summary 필요.
|
||||
|
||||
### 매 best practice
|
||||
|
||||
#### Frontier model
|
||||
- 매 model card.
|
||||
- 매 capability + limit.
|
||||
- 매 known risk.
|
||||
- 매 evaluation result.
|
||||
|
||||
#### Production AI
|
||||
- 매 user-facing disclosure.
|
||||
- 매 explainability (SHAP / LIME).
|
||||
- 매 audit log.
|
||||
- 매 appeal channel.
|
||||
|
||||
#### Open-source
|
||||
- 매 weight.
|
||||
- 매 training data (or summary).
|
||||
- 매 reproducibility.
|
||||
|
||||
## 💻 Code
|
||||
|
||||
### Model card (yaml)
|
||||
```yaml
|
||||
model_name: ChurnPredictor
|
||||
version: 3.1.0
|
||||
created: 2026-05-09
|
||||
license: MIT
|
||||
|
||||
intended_use: |
|
||||
Predict customer churn for SaaS billing dashboard.
|
||||
|
||||
intended_users: |
|
||||
Customer success team.
|
||||
|
||||
out_of_scope:
|
||||
- Automatic cancellation
|
||||
- Pricing decisions
|
||||
|
||||
training_data:
|
||||
source: 2025-2026 production users.
|
||||
size: 1.2M samples.
|
||||
bias_warning: |
|
||||
- 80% US customer (geographic bias).
|
||||
- 65% B2B SaaS (industry bias).
|
||||
|
||||
performance:
|
||||
overall: { accuracy: 0.87, auc: 0.91 }
|
||||
by_group:
|
||||
- { group: 'US', accuracy: 0.88 }
|
||||
- { group: 'EU', accuracy: 0.83 } # disparity
|
||||
- { group: 'APAC', accuracy: 0.79 }
|
||||
|
||||
ethical_consideration: |
|
||||
- 매 prediction 의 customer success review.
|
||||
- 매 false positive 의 outreach cost.
|
||||
|
||||
review_cycle: quarterly
|
||||
```
|
||||
|
||||
## 🤔 의사결정 기준 (Decision Criteria)
|
||||
### Datasheet
|
||||
```yaml
|
||||
dataset_name: customer_churn_v3
|
||||
version: 2026-05
|
||||
size: 1.2M rows
|
||||
license: Internal
|
||||
|
||||
**선택 A를 써야 할 때:**
|
||||
- *(TODO)*
|
||||
motivation: |
|
||||
Train ML model to predict churn.
|
||||
|
||||
**선택 B를 써야 할 때:**
|
||||
- *(TODO)*
|
||||
composition:
|
||||
features:
|
||||
- login_frequency: int
|
||||
- subscription_tier: enum
|
||||
- support_tickets: int
|
||||
- payment_method: enum
|
||||
|
||||
protected_attributes:
|
||||
- country
|
||||
- industry
|
||||
- account_size
|
||||
|
||||
**기본값:**
|
||||
> *(TODO)*
|
||||
collection:
|
||||
source: production database
|
||||
method: SQL extract + anonymize
|
||||
consent: ToS agreement
|
||||
|
||||
## ❌ 안티패턴 (Anti-Patterns)
|
||||
preprocessing:
|
||||
- PII removed
|
||||
- Outliers winsorized
|
||||
|
||||
- **[안티패턴]:** *(TODO: 무엇을 하면 안 되는가 + 이유 + 대신 무엇을)*
|
||||
uses:
|
||||
recommended:
|
||||
- Churn prediction
|
||||
not_recommended:
|
||||
- Cross-customer analysis (re-identification risk)
|
||||
```
|
||||
|
||||
### XAI 의 user-facing
|
||||
```python
|
||||
import shap
|
||||
import streamlit as st
|
||||
|
||||
@app.route('/predictions/<id>/explain')
|
||||
def explain(id):
|
||||
decision = db.predictions.find(id)
|
||||
|
||||
explainer = shap.TreeExplainer(model)
|
||||
shap_values = explainer.shap_values([decision.features])
|
||||
|
||||
top_features = sorted(
|
||||
zip(feature_names, shap_values[0]),
|
||||
key=lambda x: -abs(x[1])
|
||||
)[:5]
|
||||
|
||||
return {
|
||||
'prediction': decision.value,
|
||||
'date': decision.timestamp,
|
||||
'top_factors': [
|
||||
{'feature': name, 'impact': float(impact)}
|
||||
for name, impact in top_features
|
||||
],
|
||||
'how_to_appeal': '/appeal',
|
||||
}
|
||||
```
|
||||
|
||||
### Audit log
|
||||
```python
|
||||
@trace
|
||||
async def predict(features, user_id):
|
||||
pred = model.predict(features)
|
||||
|
||||
await db.audit_log.insert({
|
||||
'user_id': user_id,
|
||||
'features_hash': sha256(features),
|
||||
'prediction': pred.value,
|
||||
'confidence': pred.confidence,
|
||||
'model_version': MODEL_VERSION,
|
||||
'timestamp': datetime.now(),
|
||||
})
|
||||
|
||||
return pred
|
||||
```
|
||||
|
||||
### User disclosure (chatbot)
|
||||
```tsx
|
||||
function ChatHeader() {
|
||||
return (
|
||||
<div className="ai-disclosure">
|
||||
🤖 You're chatting with an AI assistant powered by Claude.
|
||||
<a href="/about-ai">Learn more</a>
|
||||
</div>
|
||||
);
|
||||
}
|
||||
```
|
||||
|
||||
## 🤔 결정 기준
|
||||
|
||||
| Context | Transparency level |
|
||||
|---|---|
|
||||
| Internal tool | Audit log + model card |
|
||||
| Customer-facing | + User disclosure |
|
||||
| Regulated (medical, legal) | + Audit + explainability + appeal |
|
||||
| Frontier (general AI) | + Capability disclosure + safety eval |
|
||||
| Open-source | + Weight + training summary |
|
||||
|
||||
**기본값**: Disclosure + audit log + per-prediction explanation. 매 high-stakes 의 더 strict.
|
||||
|
||||
## 🔗 Graph
|
||||
- 부모: [[AI-Ethics]] · [[AI-Governance]] · [[AI-Accountability]]
|
||||
- 변형: [[Explainable-AI-XAI]] · [[Model-Card]] · [[Datasheet-for-Datasets]]
|
||||
- 응용: [[GDPR-Article-22]] · [[EU-AI-Act-Transparency]] · [[NYC-LL144]]
|
||||
- Tools: [[SHAP]] · [[LIME]] · [[Model-Card-Toolkit-Google]]
|
||||
- Adjacent: [[Open-Source-AI]] · [[Algorithmic-Fairness]] · [[Right-to-Explanation]]
|
||||
|
||||
## 🤖 LLM 활용
|
||||
**언제**: 매 production AI 의 transparency design. 매 user trust 의 build.
|
||||
**언제 X**: Specific legal compliance (lawyer). Trade secret area.
|
||||
|
||||
## ❌ 안티패턴
|
||||
- **No disclosure**: trust 잃음.
|
||||
- **Full disclosure + privacy violation**: balance.
|
||||
- **Model card 의 stale**: 매 release 의 update.
|
||||
- **"AI 의 use" 의 hide**: deception.
|
||||
- **Explainability 의 fake**: post-hoc rationalize.
|
||||
|
||||
## 🧪 검증 / 중복
|
||||
- Verified.
|
||||
- 신뢰도 B.
|
||||
- Related: [[AI-Accountability]] · [[Algorithmic-Fairness]].
|
||||
|
||||
## 🕓 Changelog
|
||||
| 날짜 | 변경 |
|
||||
|---|---|
|
||||
| 2026-05-08 | Phase 1 |
|
||||
| 2026-05-09 | Manual cleanup — 3 layer + spectrum + model card / datasheet code |
|
||||
|
||||
Reference in New Issue
Block a user