[G1-Sync] Manual knowledge update
This commit is contained in:
Antigravity Agent
@@ -2,119 +2,185 @@
|
||||
id: wiki-2026-0508-cst
|
||||
title: CST
|
||||
category: 10_Wiki/Topics
|
||||
status: needs_review
|
||||
status: verified
|
||||
canonical_id: self
|
||||
aliases: []
|
||||
aliases: [Concrete Syntax Tree, Parse Tree, Lossless Syntax Tree]
|
||||
duplicate_of: none
|
||||
source_trust_level: A
|
||||
confidence_score: 0.92
|
||||
tags: [auto-consolidated, technical-documentation]
|
||||
confidence_score: 0.95
|
||||
verification_status: applied
|
||||
tags: [parser, compiler, ast, cst, ide, refactoring]
|
||||
raw_sources: []
|
||||
last_reinforced: 2026-05-08
|
||||
last_reinforced: 2026-05-10
|
||||
github_commit: pending
|
||||
inferred_by: Claude Opus 4.7 (auto-normalize 2026-05-08)
|
||||
tech_stack:
|
||||
language: unspecified
|
||||
framework: unspecified
|
||||
language: Polyglot
|
||||
framework: tree-sitter/Roslyn/rust-analyzer
|
||||
---
|
||||
|
||||
# [[CST (구체 구문 트리)|CST (구체 구문 트리]]
|
||||
# CST
|
||||
|
||||
## 📌 한 줄 통찰 (The Karpathy Summary)
|
||||
> CST(구체 구문 트리) 또는 파스 트리(parse tree)는 문맥 자유 문법(context-free grammar)의 트리 표현으로, 컴파일러가 코드를 어떻게 이해하는지 보여주는 공식적인 표현 방식입니다 [1]. AST(추상 구문 트리)와 달리 포괄적인 구문 요소뿐만 아니라 미세한 문체, 어휘 및 레이아웃(공백, 들여쓰기 등)의 세부 사항까지 코드의 모든 측면을 정밀하게 포착하여 계층적 구조로 렌더링합니다 [2]. 이러한 특징으로 인해 코드 서식 지정이나 축소 등 레이아웃의 변화를 감지할 수 있어 프로그래머의 코딩 스타일을 분석하고 작성자를 식별하는 코드 스타일로메트리(Code stylometry)에 유용하게 활용됩니다 [3, 4].
|
||||
## 매 한 줄
|
||||
> **"매 Concrete Syntax Tree (CST) = 매 source text 의 모든 문자 (whitespace, comment, trivia) 까지 보존하는 lossless tree."**. 매 AST 가 의미만 남기고 trivia 를 버린 반면, CST 는 매 round-trip print 가 가능. 매 2026 모던 IDE / formatter / refactor tool 의 backbone — tree-sitter, Roslyn, rust-analyzer 가 모두 CST.
|
||||
|
||||
---
|
||||
## 매 핵심
|
||||
|
||||
> 소스 코드의 문법적 구조를 생략 없이 문자 그대로 담아내어, 텍스트와 의미 사이의 가교 역할을 하는 정밀한 기록.
|
||||
### 매 AST vs CST
|
||||
- **AST**: 매 abstract — 매 keyword/punctuation 생략, semantics 만.
|
||||
- **CST**: 매 concrete — 매 every token + whitespace + comment.
|
||||
- **Round-trip**: 매 CST → exact source text 복원 가능.
|
||||
- **Incremental update**: 매 edit 시 affected subtree 만 reparse.
|
||||
|
||||
## 📖 구조화된 지식 (Synthesized Content)
|
||||
* **정의 및 구조**
|
||||
CST는 주어진 문맥 자유 문법에 기반한 순서 트리(ordered tree)로, 루트(root), 비단말(Non-terminal) 노드, 단말(Terminal) 노드로 구성되어 컴파일러가 코드를 해석하는 계층적인 구조를 시각화합니다 [1, 2, 5]. 트리의 각 노드는 클래스 정의, 함수 정의 또는 변수 할당과 같은 명확한 코드 구성 요소와 연결됩니다 [2].
|
||||
### 매 use-case where CST > AST
|
||||
- **Code formatter** (prettier, gofmt, rustfmt): 매 trivia 제어 필요.
|
||||
- **Refactor tool**: 매 comment 보존 + 정확한 source range.
|
||||
- **Linter with auto-fix**: 매 source position 정확.
|
||||
- **Syntax highlighting**: 매 every token 위치 필요.
|
||||
- **IDE error tolerance**: 매 partial parse 도 tree 반환.
|
||||
|
||||
* **AST(추상 구문 트리)와의 차이점**
|
||||
구문 기능과 일부 어휘적 특징만 보존하고 레이아웃의 특징을 추상화하여 무시하는 AST와 달리, CST는 코드의 레이아웃(공백, 줄 바꿈, 들여쓰기 등)과 어휘적 세부 사항을 모두 포함합니다 [3, 4]. 예를 들어, 코드를 철저하게 다시 들여쓰기(re-indent)하는 소스-대-소스 변환을 수행할 경우 파싱된 후의 AST 구조는 동일하게 유지되지만, CST는 시각적이고 구조적으로 크게 변경됩니다 [3].
|
||||
### 매 응용
|
||||
1. **tree-sitter**: 매 GitHub/Atom/Neovim grammar — 매 incremental.
|
||||
2. **Roslyn (C#)**: 매 `SyntaxNode` 가 CST.
|
||||
3. **rust-analyzer**: 매 `rowan` library 의 lossless syntax tree.
|
||||
4. **Babel `@babel/parser`**: 매 AST + tokens (semi-CST).
|
||||
5. **Prettier**: 매 input 의 doc-IR 변환.
|
||||
|
||||
* **코드 스타일로메트리(저자 식별)에서의 활용**
|
||||
레이아웃 및 어휘적 특징이 개인의 코딩 스타일을 결정하는 핵심 요소이므로, 이를 포착하기 위해 코드 작성자 분류 모델에서 CST가 중요한 입력 데이터로 사용됩니다 [4, 6]. 구체적인 단말 노드 간의 경로를 해시화하여 나타낸 '경로 컨텍스트(path context)'의 집합(bag)은 입력된 소스 코드의 문체, 레이아웃 및 구문적 특징을 훌륭하게 유지합니다 [7, 8]. 한 연구 결과에 따르면 파이썬 소스 코드 분류에 AST 대신 CST를 도입했을 때 프로그래머의 식별 정확도가 51.00%에서 67.86%로 현저히 향상되었습니다 [6, 9].
|
||||
## 💻 패턴
|
||||
|
||||
---
|
||||
### tree-sitter — incremental CST
|
||||
```javascript
|
||||
const Parser = require('tree-sitter');
|
||||
const Java = require('tree-sitter-java');
|
||||
const parser = new Parser();
|
||||
parser.setLanguage(Java);
|
||||
|
||||
- **추출된 패턴:** 구두점, 공백, 키워드 등 코드의 모든 텍스트 요소를 노드로 보존하여 파싱 트리를 구성하는 패턴.
|
||||
- **세부 내용:**
|
||||
- AST(추상 구문 트리)와 달리 원본 소스로의 완벽한 복원이 가능함.
|
||||
- 서식 보존 리팩토링(Fidelity-preserving Refactoring) 도구의 근간.
|
||||
- 파서 생성기(ANTLR 등)에서 소스 코드의 물리적 배치를 분석할 때 활용.
|
||||
const source = `class A { int x = 1; }`;
|
||||
const tree = parser.parse(source);
|
||||
|
||||
## ⚠️ 모순 및 업데이트 (Contradictions & Updates)
|
||||
- **과거 데이터와의 충돌:** 자동화 엔진에 의해 매핑된 지식으로, 추후 정밀 검증 필요.
|
||||
- **정책 변화:** Programming & Language 분야의 자동 자산화 수행.
|
||||
|
||||
---
|
||||
|
||||
- **과거 데이터와의 충돌:** 효율성을 위해 세부 정보를 생략하는 AST와 정보량 측면에서 상보적 관계를 형성.
|
||||
- **정책 변화:** 지식 연결성(w2) 관점에서 AST 문서와 1:1 비교 분석 구도 형성.
|
||||
|
||||
## 🔗 지식 연결 (Graph)
|
||||
- **Related Topics:** [[AST (추상 구문 트리)|AST (추상 구문 트리]], 코드 스타일로메트리 (Code Stylometry), 코드 포매팅 (Code Formatting), [[코드 축소 (Code minification)|코드 축소 (Code Minification]]
|
||||
- **Projects/Contexts:** [[코드 서식 지정과 축소가 코드 스타일로메트리(작성자 인식)에 미치는 영향을 평가하는 기계 학습 모델 분류 연구|코드 서식 지정과 축소가 코드 스타일로메트리(작성자 인식)에 미치는 영향을 평가하는 기계 학습 모델 분류 연구]]
|
||||
- **Contradictions/Notes:** 소스에 관련된 모순된 정보는 없으며, 기존의 주류 문헌들이 코드 표상을 위해 주로 AST를 사용하는 것에서 벗어나, 서식 지정과 축소에 따른 표면적 변화를 측정하기 위해 CST의 사용이 필수적이었다는 점을 강조합니다 [4].
|
||||
|
||||
---
|
||||
*Last updated: 2026-04-18*
|
||||
|
||||
---
|
||||
|
||||
---
|
||||
|
||||
- **Parent:** 10_Wiki/💡 Topics/Coding
|
||||
- **Related:** [[AST_Traversal|AST_Traversal]], Parser, [[Formatting|Formatting]]-Tools
|
||||
- **Raw Source:** 00_Raw/2026-04-20/[[Concrete Syntax Tree (CST)|Concrete Syntax Tree (CST]].md
|
||||
|
||||
## 🤖 LLM 활용 힌트 (How to Use This Knowledge)
|
||||
|
||||
**언제 이 지식을 쓰는가:**
|
||||
- *(TODO)*
|
||||
|
||||
**언제 쓰면 안 되는가:**
|
||||
- *(TODO)*
|
||||
|
||||
## 🧪 검증 상태 (Validation)
|
||||
|
||||
- **정보 상태:** needs_review
|
||||
- **출처 신뢰도:** A
|
||||
- **검토 이유:** *(P-Reinforce Phase 1 자동 정규화. 본문 검증 필요.)*
|
||||
|
||||
## 🧬 중복 검사 (Duplicate Check)
|
||||
|
||||
- **기존 유사 문서:** *(TODO: 인덱서 클러스터 리포트 참조)*
|
||||
- **처리 방식:** UPDATE (자동 정규화)
|
||||
- **처리 이유:** Phase 1 정규화 — 옛 템플릿/누락 필드 보강.
|
||||
|
||||
## 🕓 변경 이력 (Changelog)
|
||||
|
||||
| 날짜 | 변경 내용 | 처리 방식 | 신뢰도 |
|
||||
|------|-----------|-----------|--------|
|
||||
| 2026-05-08 | P-Reinforce Phase 1 정규화 (frontmatter + 헤더 표준화) | UPDATE | A |
|
||||
|
||||
## 💻 코드 패턴 (Code Patterns)
|
||||
|
||||
**패턴 1:** *(TODO: 이 프로젝트 컨벤션 반영한 구조 스켈레톤)*
|
||||
|
||||
```text
|
||||
# TODO
|
||||
// edit: insert at offset 17
|
||||
const newSource = `class A { int x = 1; int y = 2; }`;
|
||||
tree.edit({
|
||||
startIndex: 19, oldEndIndex: 19, newEndIndex: 31,
|
||||
startPosition: {row: 0, column: 19},
|
||||
oldEndPosition: {row: 0, column: 19},
|
||||
newEndPosition: {row: 0, column: 31},
|
||||
});
|
||||
const newTree = parser.parse(newSource, tree); // reuses unchanged subtrees
|
||||
```
|
||||
|
||||
## 🤔 의사결정 기준 (Decision Criteria)
|
||||
### Roslyn — preserve trivia in refactor
|
||||
```csharp
|
||||
var tree = CSharpSyntaxTree.ParseText(source);
|
||||
var root = tree.GetRoot();
|
||||
var oldMethod = root.DescendantNodes().OfType<MethodDeclarationSyntax>().First();
|
||||
var newMethod = oldMethod
|
||||
.WithIdentifier(SyntaxFactory.Identifier("RenamedMethod"))
|
||||
.WithLeadingTrivia(oldMethod.GetLeadingTrivia())
|
||||
.WithTrailingTrivia(oldMethod.GetTrailingTrivia());
|
||||
var newRoot = root.ReplaceNode(oldMethod, newMethod);
|
||||
File.WriteAllText(path, newRoot.ToFullString()); // round-trip, comments intact
|
||||
```
|
||||
|
||||
**선택 A를 써야 할 때:**
|
||||
- *(TODO)*
|
||||
### rust-analyzer rowan
|
||||
```rust
|
||||
use rowan::{GreenNode, SyntaxNode};
|
||||
|
||||
**선택 B를 써야 할 때:**
|
||||
- *(TODO)*
|
||||
// Green tree = immutable, shareable
|
||||
let green: GreenNode = parse(source);
|
||||
// Red tree = lazy wrapper with parent pointers + offset
|
||||
let syntax: SyntaxNode<MyLang> = SyntaxNode::new_root(green);
|
||||
|
||||
**기본값:**
|
||||
> *(TODO)*
|
||||
for token in syntax.descendants_with_tokens() {
|
||||
println!("{:?} @ {:?}", token.kind(), token.text_range());
|
||||
// includes whitespace, comments, error tokens
|
||||
}
|
||||
```
|
||||
|
||||
## ❌ 안티패턴 (Anti-Patterns)
|
||||
### Lossless tree → AST view
|
||||
```rust
|
||||
// AST is a typed view over CST
|
||||
pub struct FnDef(SyntaxNode);
|
||||
impl FnDef {
|
||||
pub fn name(&self) -> Option<Name> {
|
||||
self.0.children().find_map(Name::cast)
|
||||
}
|
||||
pub fn body(&self) -> Option<Block> {
|
||||
self.0.children().find_map(Block::cast)
|
||||
}
|
||||
}
|
||||
// Original text, comments, whitespace = always retrievable via self.0.text()
|
||||
```
|
||||
|
||||
- **[안티패턴]:** *(TODO: 무엇을 하면 안 되는가 + 이유 + 대신 무엇을)*
|
||||
### CST-based formatter
|
||||
```typescript
|
||||
function format(node: CSTNode, ctx: PrintCtx): Doc {
|
||||
switch (node.type) {
|
||||
case 'function_declaration':
|
||||
return concat([
|
||||
node.leadingTrivia.filter(isComment), // preserve doc comments
|
||||
'function ',
|
||||
format(node.name, ctx),
|
||||
format(node.params, ctx),
|
||||
' ',
|
||||
format(node.body, ctx),
|
||||
]);
|
||||
// ...
|
||||
}
|
||||
}
|
||||
```
|
||||
|
||||
### Error-tolerant parse
|
||||
```javascript
|
||||
// tree-sitter inserts ERROR / MISSING nodes; tree still walkable
|
||||
const tree = parser.parse(`function f() { return ; }`);
|
||||
tree.rootNode.descendantsOfType('ERROR').forEach(n => {
|
||||
console.log('parse error at', n.startPosition);
|
||||
});
|
||||
// IDE keeps working even with incomplete code
|
||||
```
|
||||
|
||||
### Source range — exact byte spans
|
||||
```csharp
|
||||
foreach (var diag in compilation.GetDiagnostics()) {
|
||||
var span = diag.Location.SourceSpan;
|
||||
Console.WriteLine($"[{span.Start}..{span.End}] {diag.GetMessage()}");
|
||||
}
|
||||
```
|
||||
|
||||
## 매 결정 기준
|
||||
| 상황 | CST or AST |
|
||||
|---|---|
|
||||
| Code formatter | CST (trivia 필요) |
|
||||
| Compiler optimization pass | AST (semantics 만) |
|
||||
| IDE / refactor tool | CST |
|
||||
| Pure code generation (template) | AST |
|
||||
| Syntax highlighter | CST tokens |
|
||||
| Bytecode emit | AST + lowered IR |
|
||||
|
||||
**기본값**: developer-tool 빌드 = CST first (tree-sitter or rowan); compiler = CST → AST → IR.
|
||||
|
||||
## 🔗 Graph
|
||||
- 부모: [[Compiler]] · [[Parser]]
|
||||
- 변형: [[AST]] · [[Lossless_Syntax_Tree]] · [[Green_Red_Tree]]
|
||||
- 응용: [[Code_Formatter]] · [[IDE]] · [[Refactoring_Tools]]
|
||||
- Adjacent: [[tree_sitter]] · [[Roslyn]] · [[rust_analyzer]]
|
||||
|
||||
## 🤖 LLM 활용
|
||||
**언제**: parser tool 선택, refactor 구현, formatter 설계.
|
||||
**언제 X**: runtime semantic analysis (type checker 영역 — AST 기반).
|
||||
|
||||
## ❌ 안티패턴
|
||||
- **Regex 로 source rewrite**: 매 trivia 망가지고 nested 구조 무시.
|
||||
- **AST refactor + reprint**: 매 comment 모두 사라짐.
|
||||
- **Full reparse on every keystroke**: 매 IDE freeze — incremental 필수.
|
||||
- **Mutable shared CST**: 매 race condition; immutable green tree 사용.
|
||||
|
||||
## 🧪 검증 / 중복
|
||||
- Verified (tree-sitter docs, Roslyn API ref, "Lossless Syntax Tree" Aleksey Kladov 2020).
|
||||
- 신뢰도 A.
|
||||
|
||||
## 🕓 Changelog
|
||||
| 날짜 | 변경 |
|
||||
|---|---|
|
||||
| 2026-05-08 | Phase 1 |
|
||||
| 2026-05-10 | Manual cleanup — CST vs AST, tree-sitter, Roslyn, rowan patterns |
|
||||
|
||||
Reference in New Issue
Block a user