Kolmogorov Complexity (콜모고로프 복잡도)

📌 한 줄 통찰 (The Karpathy Summary)

"데이터의 복잡도는 그 데이터를 설명하기 위해 필요한 '가장 짧은 문장'의 길이다" — 어떤 데이터를 생성할 수 있는 가장 짧은 알고리즘(프로그램)의 길이로 데이터의 정보량을 정의하는 이론적 척도.

추출된 패턴: "Algorithmic Incompressibility" — 규칙적인 데이터는 짧은 프로그램으로 설명 가능하지만(낮은 복잡도), 완전 무작위(Random) 데이터는 데이터 그 자체를 출력하는 것 외에는 방법이 없어 데이터 길이만큼의 복잡도를 가진다는 패턴.
주요 개념:
- Minimum Description Length (MDL): 데이터를 설명하는 모델의 복잡도와 모델로 데이터를 설명했을 때의 오차를 동시에 최소화하려는 원리.
- Universal Turing Machine: 복잡도는 언어에 따라 상수로만 차이가 나며 본질적인 복잡도는 보존됨 (Invariance Theorem).
의의: 데이터 압축 기술의 이론적 상한선(Entropy)을 제공하며, 인공지능이 데이터를 '학습'한다는 것이 곧 데이터의 '가장 짧은 압축 알고리즘'을 찾는 과정임을 시사함.

과거 데이터와의 충돌: 이론적으로는 계산 불가능(Uncomputable)한 영역이지만, 실전에서는 신경망의 파라미터 수와 손실 함수의 관계를 분석하여 모델의 효율성을 측정하는 도구로 응용됨.
정책 변화: Antigravity 프로젝트는 지식 문서의 정보 밀도를 측정할 때, 의미론적 핵심 내용이 얼마나 함축적으로 표현되었는지 평가하는 척도 중 하나로 콜모고로프 복잡도 개념을 차용함.

Probability-Theory, Information-Retrieval-IR, Deep-Learning-Foundations, Occams-Razor-in-ML
Raw Source: 10_Wiki/Topics/AI/Kolmogorov-Complexity.md