Spiking Neural Networks (SNNs, 스파이킹 신경망)

📌 한 줄 통찰 (The Karpathy Summary)

"데이터가 아닌 '시간'과 '사건'으로 통신하는 3세대 인공신경망" — 생물학적 뉴런이 임계값에 도달했을 때만 짧은 전기 신호(Spike)를 내보내는 방식 그대로 정보를 처리하는 초저전력 신경망 아키텍처.

추출된 패턴: 정보를 연속적인 수치가 아닌 이산적인 스파이크의 '발생 시점'과 '빈도'에 인코딩하여, 변화가 있을 때만 연산함으로써 에너지 소모를 극도로 줄이는 이벤트 기반(Event-driven) 연산 패턴.
세부 내용:
- Leaky Integrate-and-Fire (LIF): 입력을 시간에 따라 통합하다가 임계치를 넘으면 발화하고 초기화되는 기본 뉴런 모델.
- Temporal Coding: 정보가 스파이크의 타이밍에 담겨 있어 시간적 선후 관계 처리에 매우 민감함.
- Neuromorphic Hardware: SNN 연산에 최적화된 하드웨어 (예: 인텔 Loihi, IBM TrueNorth)와 결합하여 효율성 극대화.
- Learning Algorithms: 미분이 불가능한 스파이크 특성 때문에 전통적인 역전파 대신 STDP(Spike-Timing-Dependent Plasticity)와 같은 지역적 학습 규칙 활용.

과거 데이터와의 충돌: 부동 소수점 연산 중심의 기존 신경망(ANN)에 비해 정확도는 아직 낮을 수 있으나, 엣지 기기나 로보틱스 등 전력 제한이 엄격한 환경에서의 미래 기술로 주목받음.
정책 변화: Antigravity 프로젝트는 실시간 센서 데이터 모니터링 시 소모 전력을 줄이기 위해 SNN 기반의 이벤트 감지 알고리즘 도입을 연구 중.