2.1 KiB
2.1 KiB
id, category, confidence_score, tags, last_reinforced
| id | category | confidence_score | tags | last_reinforced | |||||
|---|---|---|---|---|---|---|---|---|---|
| EDGE-AI-001 | 10_Wiki/💡 Topics/AI | 1.0 |
|
2026-04-26 |
Edge AI and Computing (엣지 AI와 컴퓨팅)
📌 한 줄 통찰 (The Karpathy Summary)
"데이터가 태어나는 그곳에서 지능을 즉시 실행하라" — 클라우드 서버에 의존하지 않고 사용자의 단말기(스마트폰, IoT 기기, 로봇 등)에서 직접 AI 모델을 실행하여 지연 시간을 줄이고 프라이버시를 보호하는 기술.
📖 구조화된 지식 (Synthesized Content)
- 추출된 패턴: 대역폭(Bandwidth) 한계와 보안 리스크를 극복하기 위해, 중앙 집중식 연산을 분산된 단말기로 전이시키고 필요한 정보만 요약하여 전송하는 분산 지능 패턴.
- 핵심 기술:
- Model Compression: 양자화(Quantization), 프루닝(Pruning), 지식 증류(Distillation) 등을 통해 모델 크기 축소.
- NPU (Neural Processing Unit): 모바일 기기에 최적화된 AI 전용 하드웨어 가속기.
- On-device Learning: 서버 연결 없이 기기 내부 데이터로 모델을 미세 조정.
- 장점: 초저지연 응답(자율주행, 게임 등), 오프라인 작동 가능, 데이터 유출 방지, 서버 비용 절감.
⚠️ 모순 및 업데이트 (Contradictions & RL Update)
- 과거 데이터와의 충돌: 성능이 부족한 엣지 기기는 단순 수집만 해야 한다는 고정관념에서 벗어나, 강력한 모바일 프로세서의 발전으로 서빙과 학습이 가능한 '지능형 엣지' 시대로 진입.
- 정책 변화: ConnectAI 프로젝트는 로컬 LLM 엔드포인트를 활용한 '로컬 브레인' 전략을 통해, 사용자의 코드가 외부로 유출되지 않는 Edge AI 지향적 아키텍처를 추구함.