---
id: EDGE-AI-001
category: "10_Wiki/💡 Topics/AI"
confidence_score: 1.0
tags: [ai, infrastructure, edge-computing, on-device-ai, latency-optimization]
last_reinforced: 2026-04-26
---

# Edge AI and Computing (엣지 AI와 컴퓨팅)

## 📌 한 줄 통찰 (The Karpathy Summary)
> "데이터가 태어나는 그곳에서 지능을 즉시 실행하라" — 클라우드 서버에 의존하지 않고 사용자의 단말기(스마트폰, IoT 기기, 로봇 등)에서 직접 AI 모델을 실행하여 지연 시간을 줄이고 프라이버시를 보호하는 기술.

## 📖 구조화된 지식 (Synthesized Content)
- **추출된 패턴:** 대역폭(Bandwidth) 한계와 보안 리스크를 극복하기 위해, 중앙 집중식 연산을 분산된 단말기로 전이시키고 필요한 정보만 요약하여 전송하는 분산 지능 패턴.
- **핵심 기술:**
    - **Model Compression:** 양자화(Quantization), 프루닝(Pruning), 지식 증류(Distillation) 등을 통해 모델 크기 축소.
    - **NPU (Neural Processing Unit):** 모바일 기기에 최적화된 AI 전용 하드웨어 가속기.
    - **On-device Learning:** 서버 연결 없이 기기 내부 데이터로 모델을 미세 조정.
- **장점:** 초저지연 응답(자율주행, 게임 등), 오프라인 작동 가능, 데이터 유출 방지, 서버 비용 절감.

## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
- **과거 데이터와의 충돌:** 성능이 부족한 엣지 기기는 단순 수집만 해야 한다는 고정관념에서 벗어나, 강력한 모바일 프로세서의 발전으로 서빙과 학습이 가능한 '지능형 엣지' 시대로 진입.
- **정책 변화:** ConnectAI 프로젝트는 로컬 LLM 엔드포인트를 활용한 '로컬 브레인' 전략을 통해, 사용자의 코드가 외부로 유출되지 않는 Edge AI 지향적 아키텍처를 추구함.

## 🔗 지식 연결 (Graph)
- System-Design-for-AI-Scale, Data-Ethics-and-Privacy, [[Federated-Learning|Federated-Learning]], [[Distributed-Computing|Distributed-Computing]]
- **Raw Source:** 10_Wiki/Topics/AI/Edge-AI-and-Computing.md