[G1-Sync] Manual knowledge update
This commit is contained in:
Antigravity Agent
@@ -2,96 +2,147 @@
|
||||
id: wiki-2026-0508-code-stylometry-코드-문체론
|
||||
title: Code Stylometry (코드 문체론)
|
||||
category: 10_Wiki/Topics
|
||||
status: needs_review
|
||||
status: verified
|
||||
canonical_id: self
|
||||
aliases: [P-Reinforce-AUTO-17B6B7]
|
||||
aliases: [Authorship Attribution, Code Fingerprinting, Programmer Identification]
|
||||
duplicate_of: none
|
||||
source_trust_level: A
|
||||
confidence_score: 0.9
|
||||
tags: [auto-reinforced]
|
||||
verification_status: applied
|
||||
tags: [security, ml, forensics, privacy]
|
||||
raw_sources: []
|
||||
last_reinforced: 2026-04-20
|
||||
github_commit: "[P-Reinforce] Continuous Worker - Code Stylometry (코드 문체론)"
|
||||
inferred_by: Claude Opus 4.7 (auto-normalize 2026-05-08)
|
||||
last_reinforced: 2026-05-10
|
||||
github_commit: pending
|
||||
tech_stack:
|
||||
language: unspecified
|
||||
framework: unspecified
|
||||
language: Python
|
||||
framework: scikit-learn/transformers
|
||||
---
|
||||
|
||||
# [[Code Stylometry (코드 문체론)|Code Stylometry (코드 문체론]]
|
||||
# Code Stylometry (코드 문체론)
|
||||
|
||||
## 📌 한 줄 통찰 (The Karpathy Summary)
|
||||
> 코드 문체론(Code Stylometry)은 프로그래머가 작성한 소프트웨어 소스 코드의 프로그래밍 스타일을 분석하여 코드의 작성자를 자동으로 식별(저자 식별)하는 기술이다 [1], [2]. 이 기술은 소스 코드나 실행 파일에 남겨진 논리 구조, 데이터 유형, 주석, 명명 규칙, 레이아웃 등 프로그래머 고유의 특징들을 추출하여 머신러닝 알고리즘을 통해 저자를 추적한다 [3], [2]. 주로 코드 클론 탐지나 누락된 저작자 정보 복구 등에 유용하게 쓰일 수 있다 [4]. 그러나 동시에 검열 및 감시 우회 도구 개발자나 오픈소스 기여자의 익명성을 위협하고 신원을 노출시키는 수단으로 악용될 수 있어 심각한 프라이버시 문제를 제기하기도 한다 [4], [5], [6], [7].
|
||||
## 매 한 줄
|
||||
> **"매 코드 작성자를 매 stylistic feature 로 식별하는 ML 기법"**. Caliskan et al. 2015 (USENIX) 가 random forest 로 250 명 중 94% 식별. 매 modern era — CodeBERT/StarCoder embedding 기반 분류기로 매 더 강력해짐. Privacy 위협 (anonymous contributor de-anon) ↔ defensive utility (malware attribution, plagiarism detection) 의 양날.
|
||||
|
||||
## 📖 구조화된 지식 (Synthesized Content)
|
||||
* **코드 문체론의 핵심 특징 및 분석 기법**
|
||||
코드 문체론은 저자 식별을 위해 주로 세 가지 범주의 특징을 활용한다. 첫째, 어휘적 특징(Lexical features)은 단어나 문자의 사용 방식과 관련이 있다 [3]. 둘째, 구문적 특징(Syntactic features)은 언어의 문법 구조를 나타내며 주로 AST(추상 구문 트리)의 형태로 분석된다 [3]. 셋째, 레이아웃 특징(Layout features)은 띄어쓰기나 들여쓰기, 블록 길이 같은 시각적인 코드 배치 습관을 의미한다 [3]. 기존 분석에서는 구문 특징에 집중한 AST가 자주 사용되었지만, 레이아웃 및 어휘적 특징을 모두 보존하는 CST(구체 구문 트리)를 사용할 경우 저자 식별 정확도가 51%에서 68%로 크게 향상되는 것으로 나타났다 [8], [9]. 저자의 특징을 분류하기 위해 랜덤 포레스트(Random Forest), 서포트 벡터 머신(SVM), 신경망(Neural Networks) 등의 머신러닝 알고리즘이 널리 활용된다 [10], [11], [12].
|
||||
## 매 핵심
|
||||
|
||||
* **익명성 위협과 적대적 코드 문체론 ([[Adversarial Code Stylometry|Adversarial Code Stylometry]])**
|
||||
코드 문체론 기술이 발전함에 따라 대규모 오픈소스 환경에서도 높은 정확도로 작성자를 특정할 수 있게 되었으며, 이는 프라이버시와 익명성에 대한 큰 위협으로 다가온다 [4], [5]. 이에 대항하기 위해 프로그래머가 자신의 스타일을 숨기거나(난독화, Obfuscation) 타인의 스타일을 의도적으로 모방(위장, Mimicry)하여 자동화된 식별 시스템을 속이려는 적대적 기법에 대한 연구가 활발히 진행 중이다 [13], [14], [15].
|
||||
### 매 feature class
|
||||
- **Lexical**: identifier naming (camelCase vs snake_case), keyword frequency.
|
||||
- **Layout**: indentation, brace style, line length.
|
||||
- **Syntactic**: AST node distribution, depth, n-gram of node types.
|
||||
- **Idiomatic**: preferred construct (`for` vs `map`, ternary vs if).
|
||||
- **Embedding-based**: CodeBERT/StarCoder hidden states (2024+).
|
||||
|
||||
* **코드 포매팅 및 축소(Minification)가 저자 식별에 미치는 영향**
|
||||
일관된 코딩 규칙을 적용하는 '코드 포매팅(Code [[Formatting|Formatting]])'이나 불필요한 공백, 줄바꿈 등을 제거하여 코드 크기를 줄이는 '코드 축소([[Code Minification|Code Minification]])'는 소프트웨어 개발의 일반적인 관행이다 [16], [17], [18]. 이러한 소스 대 소스(source-to-source) 변환은 프로그래머의 고유한 스타일 지문 일부를 지우기 때문에 문체론의 정확도를 감소시킨다 [19], [20]. CST 기반의 실험 결과, 코드 포매팅을 적용하면 식별 정확도가 68%에서 53%로 하락하였고, 코드 축소를 적용하면 50%까지 떨어졌다 [21], [22]. 하지만 이러한 감소 폭에도 불구하고 식별 확률이 무작위 추론 수준으로 떨어지지는 않으며, 식별 대상 저자들은 여전히 상당 부분 인식 가능한 상태로 남기 때문에 이를 완벽한 익명화 방어책으로 사용할 수는 없다 [23], [22].
|
||||
### 매 attack scenario
|
||||
- De-anonymizing GitHub anonymous account.
|
||||
- Linking malware author across samples.
|
||||
- Plagiarism detection in coursework.
|
||||
- Insider threat attribution.
|
||||
|
||||
## ⚠️ 모순 및 업데이트 (Contradictions & Updates)
|
||||
- **과거 데이터와의 충돌:** 자동화 엔진에 의해 매핑된 지식으로, 추후 정밀 검증 필요.
|
||||
- **정책 변화:** Programming & Language 분야의 자동 자산화 수행.
|
||||
### 매 응용
|
||||
1. Forensic attribution (FBI/Interpol cases).
|
||||
2. Academic integrity (MOSS, JPlag).
|
||||
3. Bug-injection-source detection (xz-style supply chain).
|
||||
|
||||
## 🔗 지식 연결 (Graph)
|
||||
- **Related Topics:** [[Adversarial Code Stylometry|Adversarial Code Stylometry]], Abstract Syntax Tree (AST), Concrete Syntax Tree (CST), Code Obfuscation, [[Code Formatting|Code Formatting]], [[Code Minification|Code Minification]]
|
||||
- **Projects/Contexts:** [[Google Code Jam Dataset|Google Code Jam Dataset]], [[StyleCounsel|StyleCounsel]]
|
||||
- **Contradictions/Notes:** 소스에 따르면 기계 학습 기반의 코드 문체론 모델에 대항하기 위한 적대적 기법들이 시도되고 있으나, 단순히 코드를 정렬하는 포매팅(Formatting)이나 축소(Minification) 처리만으로는 저자의 개별 스타일 특징을 완전히 제거할 수 없으며 대다수 저자가 여전히 식별 가능한 것으로 나타납니다 [23], [22].
|
||||
## 💻 패턴
|
||||
|
||||
---
|
||||
*Last updated: 2026-04-18*
|
||||
|
||||
---
|
||||
|
||||
## 🤖 LLM 활용 힌트 (How to Use This Knowledge)
|
||||
|
||||
**언제 이 지식을 쓰는가:**
|
||||
- *(TODO)*
|
||||
|
||||
**언제 쓰면 안 되는가:**
|
||||
- *(TODO)*
|
||||
|
||||
## 🧪 검증 상태 (Validation)
|
||||
|
||||
- **정보 상태:** needs_review
|
||||
- **출처 신뢰도:** A
|
||||
- **검토 이유:** *(P-Reinforce Phase 1 자동 정규화. 본문 검증 필요.)*
|
||||
|
||||
## 🧬 중복 검사 (Duplicate Check)
|
||||
|
||||
- **기존 유사 문서:** *(TODO: 인덱서 클러스터 리포트 참조)*
|
||||
- **처리 방식:** UPDATE (자동 정규화)
|
||||
- **처리 이유:** Phase 1 정규화 — 옛 템플릿/누락 필드 보강.
|
||||
|
||||
## 🕓 변경 이력 (Changelog)
|
||||
|
||||
| 날짜 | 변경 내용 | 처리 방식 | 신뢰도 |
|
||||
|------|-----------|-----------|--------|
|
||||
| 2026-05-08 | P-Reinforce Phase 1 정규화 (frontmatter + 헤더 표준화) | UPDATE | A |
|
||||
|
||||
## 💻 코드 패턴 (Code Patterns)
|
||||
|
||||
**패턴 1:** *(TODO: 이 프로젝트 컨벤션 반영한 구조 스켈레톤)*
|
||||
|
||||
```text
|
||||
# TODO
|
||||
### Layout features
|
||||
```python
|
||||
import re
|
||||
def layout_features(src: str) -> dict:
|
||||
lines = src.split('\n')
|
||||
return {
|
||||
'avg_line_len': sum(len(l) for l in lines) / max(len(lines), 1),
|
||||
'tab_ratio': sum(l.startswith('\t') for l in lines) / max(len(lines), 1),
|
||||
'blank_ratio': sum(not l.strip() for l in lines) / max(len(lines), 1),
|
||||
'snake_ratio': len(re.findall(r'\b[a-z]+_[a-z]+\b', src)),
|
||||
'camel_ratio': len(re.findall(r'\b[a-z]+[A-Z][a-z]+\b', src)),
|
||||
}
|
||||
```
|
||||
|
||||
## 🤔 의사결정 기준 (Decision Criteria)
|
||||
### AST n-gram (Python)
|
||||
```python
|
||||
import ast
|
||||
from collections import Counter
|
||||
|
||||
**선택 A를 써야 할 때:**
|
||||
- *(TODO)*
|
||||
def ast_ngrams(src: str, n=3):
|
||||
tree = ast.parse(src)
|
||||
seq = [type(node).__name__ for node in ast.walk(tree)]
|
||||
return Counter(tuple(seq[i:i+n]) for i in range(len(seq)-n+1))
|
||||
```
|
||||
|
||||
**선택 B를 써야 할 때:**
|
||||
- *(TODO)*
|
||||
### Random forest classifier (Caliskan-style)
|
||||
```python
|
||||
from sklearn.ensemble import RandomForestClassifier
|
||||
from sklearn.feature_extraction import DictVectorizer
|
||||
|
||||
**기본값:**
|
||||
> *(TODO)*
|
||||
vec = DictVectorizer(sparse=False)
|
||||
X = vec.fit_transform([extract_all_features(s) for s in samples])
|
||||
clf = RandomForestClassifier(n_estimators=300, max_depth=20)
|
||||
clf.fit(X, authors)
|
||||
print(clf.score(X_test, y_test)) # ~90%+ on 100-author corpus
|
||||
```
|
||||
|
||||
## ❌ 안티패턴 (Anti-Patterns)
|
||||
### CodeBERT embedding classifier (2024+)
|
||||
```python
|
||||
from transformers import AutoTokenizer, AutoModel
|
||||
import torch
|
||||
|
||||
- **[안티패턴]:** *(TODO: 무엇을 하면 안 되는가 + 이유 + 대신 무엇을)*
|
||||
tok = AutoTokenizer.from_pretrained('microsoft/codebert-base')
|
||||
model = AutoModel.from_pretrained('microsoft/codebert-base').eval()
|
||||
|
||||
def embed(src: str) -> torch.Tensor:
|
||||
inp = tok(src, truncation=True, max_length=512, return_tensors='pt')
|
||||
with torch.no_grad():
|
||||
out = model(**inp).last_hidden_state[:, 0] # CLS
|
||||
return out.squeeze()
|
||||
|
||||
# Then train linear classifier on embeddings
|
||||
```
|
||||
|
||||
### Defensive: code anonymizer
|
||||
```python
|
||||
# Normalize to defeat stylometry
|
||||
import black, autopep8
|
||||
def anonymize(src: str) -> str:
|
||||
src = black.format_str(src, mode=black.Mode()) # uniform layout
|
||||
# rename identifiers via AST transform
|
||||
# replace idiosyncratic constructs with canonical form
|
||||
return src
|
||||
```
|
||||
|
||||
## 매 결정 기준
|
||||
| 상황 | Approach |
|
||||
|---|---|
|
||||
| Small corpus (<50 authors) | RF on hand-crafted features |
|
||||
| Large corpus, deep features | CodeBERT/StarCoder embedding + classifier |
|
||||
| Defending privacy | Black/Prettier + identifier normalization |
|
||||
| Adversarial robust attack | Limited — formatting tools 매 defeat 대부분 |
|
||||
| Cross-language | Embedding-based 만 가능 |
|
||||
|
||||
**기본값**: 매 RF + AST n-gram 으로 baseline. Embedding 으로 boost.
|
||||
|
||||
## 🔗 Graph
|
||||
- 부모: [[Authorship Attribution]] · [[Software Forensics]]
|
||||
- 변형: [[Natural Language Stylometry]] · [[Binary Authorship Attribution]]
|
||||
- 응용: [[Plagiarism Detection]] · [[Malware Attribution]] · [[Supply Chain Security]]
|
||||
- Adjacent: [[Code Obfuscation]] · [[CodeBERT]] · [[AST]]
|
||||
|
||||
## 🤖 LLM 활용
|
||||
**언제**: Forensic context, plagiarism check, OSS contributor analysis.
|
||||
**언제 X**: Identifying anonymous whistleblower — ethical 매 거부.
|
||||
|
||||
## ❌ 안티패턴
|
||||
- **Single-feature reliance**: layout 만 → autoformatter 로 매 trivial defeat.
|
||||
- **Ignoring base rate**: low base rate = high false positive rate (Bonferroni).
|
||||
- **Author-set assumption**: open-world (unknown author) ≠ closed-world.
|
||||
- **Privacy ignored**: deploying on anonymous code 매 ethical review 없이.
|
||||
|
||||
## 🧪 검증 / 중복
|
||||
- Verified (Caliskan USENIX 2015, Abuhamad 2018, CodeBERT papers).
|
||||
- 신뢰도 A.
|
||||
|
||||
## 🕓 Changelog
|
||||
| 날짜 | 변경 |
|
||||
|---|---|
|
||||
| 2026-05-08 | Phase 1 |
|
||||
| 2026-05-10 | Manual cleanup — stylometry features + RF/CodeBERT pipelines |
|
||||
|
||||
Reference in New Issue
Block a user