Neuroevolution (신경 진화)

📌 한 줄 통찰 (The Karpathy Summary)

"미분 불가능한 세상의 장벽을 자연의 섭리인 '적자생존'으로 돌파하여, 스스로 진화하는 신경망의 생태계를 구축하라" — 유전 알고리즘과 같은 진화 연산을 사용하여 신경망의 가중치뿐만 아니라 아키텍처(Topology) 자체를 최적화하는 학습 기법.

추출된 패턴: "Survival of the Fittest and Topology Growth" — 정답을 직접 가르쳐주는 대신, 여러 신경망 후보군(Population)을 환경에 던져놓고 성능이 좋은 개체들을 선택하여 교배(Crossover)와 돌연변이(Mutation)를 통해 다음 세대를 창조하는 진화적 패턴.
핵심 알고리즘:
- NEAT (NeuroEvolution of Augmenting Topologies): 최소한의 구조에서 시작하여 필요에 따라 뉴런과 연결을 점진적으로 추가하며 진화.
- Evolution Strategies (ES): 가중치 업데이트 방향을 무작위 섭동(Perturbation)을 통해 탐색.
의의: 오차 역전파를 위한 미분이 불가능하거나 보상이 매우 드문(Sparse Reward) 환경에서도 작동하며, 신경망 구조 설계의 자동화(AutoML)에 기여함.

과거 데이터와의 충돌: 경사 하강법보다 느리고 비효율적이라는 인식이 강했으나, 병렬 연산 자원의 폭증과 결합하여 아주 복잡한 강화학습 환경에서는 오히려 딥러닝보다 더 빠르고 유연한 해법을 제시하는 사례(OpenAI의 ES 연구 등)가 보고됨.
정책 변화: Antigravity 프로젝트는 에이전트의 전략적 행동 양식을 최적화할 때, 기존의 강화학습 모델과 신경 진화 알고리즘을 앙상블하여 예기치 못한 상황에 대한 적응력을 높임.