---
id: MATH-KOLM-001
category: "10_Wiki/💡 Topics/AI"
confidence_score: 1.0
tags: [math, computer-science, information-theory, kolmogorov-complexity, compression]
last_reinforced: 2026-04-26
---

# Kolmogorov Complexity (콜모고로프 복잡도)

## 📌 한 줄 통찰 (The Karpathy Summary)
> "데이터의 복잡도는 그 데이터를 설명하기 위해 필요한 '가장 짧은 문장'의 길이다" — 어떤 데이터를 생성할 수 있는 가장 짧은 알고리즘(프로그램)의 길이로 데이터의 정보량을 정의하는 이론적 척도.

## 📖 구조화된 지식 (Synthesized Content)
- **추출된 패턴:** "Algorithmic Incompressibility" — 규칙적인 데이터는 짧은 프로그램으로 설명 가능하지만(낮은 복잡도), 완전 무작위(Random) 데이터는 데이터 그 자체를 출력하는 것 외에는 방법이 없어 데이터 길이만큼의 복잡도를 가진다는 패턴.
- **주요 개념:**
    - **Minimum Description Length (MDL):** 데이터를 설명하는 모델의 복잡도와 모델로 데이터를 설명했을 때의 오차를 동시에 최소화하려는 원리.
    - **Universal Turing Machine:** 복잡도는 언어에 따라 상수로만 차이가 나며 본질적인 복잡도는 보존됨 (Invariance Theorem).
- **의의:** 데이터 압축 기술의 이론적 상한선(Entropy)을 제공하며, 인공지능이 데이터를 '학습'한다는 것이 곧 데이터의 '가장 짧은 압축 알고리즘'을 찾는 과정임을 시사함.

## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
- **과거 데이터와의 충돌:** 이론적으로는 계산 불가능(Uncomputable)한 영역이지만, 실전에서는 신경망의 파라미터 수와 손실 함수의 관계를 분석하여 모델의 효율성을 측정하는 도구로 응용됨.
- **정책 변화:** Antigravity 프로젝트는 지식 문서의 정보 밀도를 측정할 때, 의미론적 핵심 내용이 얼마나 함축적으로 표현되었는지 평가하는 척도 중 하나로 콜모고로프 복잡도 개념을 차용함.

## 🔗 지식 연결 (Graph)
- Probability-Theory, [[Information-Retrieval-IR|Information-Retrieval-IR]], Deep-Learning-Foundations, Occams-Razor-in-ML
- **Raw Source:** 10_Wiki/Topics/AI/Kolmogorov-Complexity.md