[G1-Sync] Manual knowledge update

This commit is contained in:
Antigravity Agent
2026-04-30 22:42:02 +09:00
parent 0bd4f19e38
commit c36c0644a1
4888 changed files with 18470 additions and 18602 deletions
+3 -3
View File
@@ -2,11 +2,11 @@
id: BERT-001
category: "10_Wiki/💡 Topics/AI"
confidence_score: 1.0
tags: [ai, nlp, bert, transformer, language-model, google-research]
tags: [ai, nlp, bert, transformer, language-model, google-[[Research]]]
last_reinforced: 2026-04-26
---
# BERT (Bidirectional Encoder Representations from Transformers)
# BERT (Bidirectional Encoder Representations from [[Transformers]])
## 📌 한 줄 통찰 (The Karpathy Summary)
> "문장의 왼쪽과 오른쪽을 동시에 보며 단어의 진짜 의미를 파악하라" — 구글이 제안한 혁신적인 사전 학습 모델로, 문맥의 양방향성을 모두 고려하여 단어의 의미를 수치화함으로써 NLP 분야의 수많은 벤치마크 기록을 갱신한 모델.
@@ -16,7 +16,7 @@ last_reinforced: 2026-04-26
- **핵심 특징:**
- **Bidirectional Context:** 이전 시점의 정보만 보는 GPT와 달리, 앞뒤 문맥을 한꺼번에 고려하여 중의성 해결에 탁월함.
- **Transformer Encoder:** 트랜스포머 아키텍처의 인코더 부분만 층층이 쌓아 올려 구성.
- **Pre-training & Fine-tuning:** 방대한 일반 텍스트로 먼저 학습한 뒤, 특정 태스크(질의응답, 감성 분석 등)에 맞춰 살짝만 튜닝하여 고성능 확보.
- **Pre-training & [[Fine-tuning]]:** 방대한 일반 텍스트로 먼저 학습한 뒤, 특정 태스크(질의응답, 감성 분석 등)에 맞춰 살짝만 튜닝하여 고성능 확보.
- **Contextual Embeddings:** 동일한 단어라도 주변 문맥에 따라 서로 다른 벡터 값을 가짐.
## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)