Layer Normalization (레이어 정규화)

📌 한 줄 통찰 (The Karpathy Summary)

"모델 내부의 데이터 흐름을 일정하게 제어하여 학습의 안정성을 확보하라" — 각 샘플 내의 피처(Feature)들을 대상으로 평균과 분산을 계산하여 정규화함으로써, 깊은 신경망에서도 학습이 빠르고 안정적으로 이루어지게 돕는 기법.

추출된 패턴: 배치 크기에 의존하지 않고 개별 데이터 샘플 내부의 정보만으로 정규화를 수행하여, 트랜스포머와 같은 복잡한 아키텍처와 가변 길이 데이터에서 일관된 성능을 보장하는 패턴.
세부 내용:
- vs Batch Normalization: 배치는 샘플 간(Across samples) 정규화를 하지만, 레이어 정규화는 샘플 내(Within sample) 피처 간 정규화를 함.
- Transformer Essential: 거의 모든 현대 LLM(GPT, BERT 등) 아키텍처에서 안정적인 학습을 위해 필수적으로 채택됨.
- Scale & Shift: 정규화 후 학습 가능한 파라미터(\gamma, \beta)를 통해 모델이 최적의 데이터 분포를 스스로 찾게 함.
- Inference Stability: 추론 시에도 학습 시와 동일한 방식으로 동작하므로 일관된 결과를 얻을 수 있음.

과거 데이터와의 충돌: 배치 정규화가 대세였던 시기를 지나, 순차적 데이터(RNN)와 트랜스포머 구조가 주류가 되면서 레이어 정규화가 표준으로 자리 잡음.
정책 변화: Antigravity 프로젝트에서 사용하는 모델들의 가중치 분석 시, 레이어 정규화 층의 활성화 값을 모니터링하여 학습 포화 상태를 진단함.