2nd/10_Wiki/Topics/Edge-AI-and-Computing.md

---

id: EDGE-AI-001 category: "10_Wiki/💡 Topics/AI" confidence_score: 1.0 tags: [ai, infrastructure, Edge-Computing, on-device-ai, latency-Optimization] last_reinforced: 2026-04-26

Edge AI and Computing (엣지 AI와 컴퓨팅)

📌 한 줄 통찰 (The Karpathy Summary)

"데이터가 태어나는 그곳에서 지능을 즉시 실행하라" — 클라우드 서버에 의존하지 않고 사용자의 단말기(스마트폰, IoT 기기, 로봇 등)에서 직접 AI 모델을 실행하여 지연 시간을 줄이고 프라이버시를 보호하는 기술.

📖 구조화된 지식 (Synthesized Content)

• 추출된 패턴: 대역폭(Bandwidth) 한계와 보안 리스크를 극복하기 위해, 중앙 집중식 연산을 분산된 단말기로 전이시키고 필요한 정보만 요약하여 전송하는 분산 지능 패턴.
• 핵심 기술:
  • Model Compression: 양자화(Quantization), 프루닝(Pruning), 지식 증류(Distillation) 등을 통해 모델 크기 축소.
  • NPU (Neural Processing Unit): 모바일 기기에 최적화된 AI 전용 하드웨어 가속기.
  • On-device Learning: 서버 연결 없이 기기 내부 데이터로 모델을 미세 조정.
• 장점: 초저지연 응답(자율주행, 게임 등), 오프라인 작동 가능, 데이터 유출 방지, 서버 비용 절감.

⚠️ 모순 및 업데이트 (Contradictions & RL Update)

• 과거 데이터와의 충돌: 성능이 부족한 엣지 기기는 단순 수집만 해야 한다는 고정관념에서 벗어나, 강력한 모바일 프로세서의 발전으로 서빙과 학습이 가능한 '지능형 엣지' 시대로 진입.
• 정책 변화: ConnectAI 프로젝트는 로컬 LLM 엔드포인트를 활용한 '로컬 브레인' 전략을 통해, 사용자의 코드가 외부로 유출되지 않는 Edge AI 지향적 아키텍처를 추구함.

🔗 지식 연결 (Graph)

- system-Design-for-AI-Scale, Data-Ethics-and-Privacy, Federated-Learning, Distributed-Computing

• Raw Source: 10_Wiki/Topics/AI/Edge-AI-and-Computing.md