docs: finalized wiki integrity maintenance (v3.0 standard) - pruned 1400+ stubs and fixed 11k+ ghost links

This commit is contained in:
Antigravity Agent
2026-05-02 09:18:34 +09:00
parent c84dcb8371
commit 6445fcc05b
13150 changed files with 55394 additions and 100862 deletions
+4 -4
View File
@@ -2,11 +2,11 @@
id: BERT-001
category: "10_Wiki/💡 Topics/AI"
confidence_score: 1.0
tags: [ai, nlp, bert, transformer, language-model, google-[[Research]]]
tags: [ai, nlp, bert, transformer, language-model, google-[[Research|Research]]]
last_reinforced: 2026-04-26
---
# BERT (Bidirectional Encoder Representations from [[Transformers]])
# BERT (Bidirectional Encoder Representations from [[Transformers|Transformers]])
## 📌 한 줄 통찰 (The Karpathy Summary)
> "문장의 왼쪽과 오른쪽을 동시에 보며 단어의 진짜 의미를 파악하라" — 구글이 제안한 혁신적인 사전 학습 모델로, 문맥의 양방향성을 모두 고려하여 단어의 의미를 수치화함으로써 NLP 분야의 수많은 벤치마크 기록을 갱신한 모델.
@@ -16,7 +16,7 @@ last_reinforced: 2026-04-26
- **핵심 특징:**
- **Bidirectional Context:** 이전 시점의 정보만 보는 GPT와 달리, 앞뒤 문맥을 한꺼번에 고려하여 중의성 해결에 탁월함.
- **Transformer Encoder:** 트랜스포머 아키텍처의 인코더 부분만 층층이 쌓아 올려 구성.
- **Pre-training & [[Fine-tuning]]:** 방대한 일반 텍스트로 먼저 학습한 뒤, 특정 태스크(질의응답, 감성 분석 등)에 맞춰 살짝만 튜닝하여 고성능 확보.
- **Pre-training & [[Fine-tuning|Fine-tuning]]:** 방대한 일반 텍스트로 먼저 학습한 뒤, 특정 태스크(질의응답, 감성 분석 등)에 맞춰 살짝만 튜닝하여 고성능 확보.
- **Contextual Embeddings:** 동일한 단어라도 주변 문맥에 따라 서로 다른 벡터 값을 가짐.
## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
@@ -24,5 +24,5 @@ last_reinforced: 2026-04-26
- **정책 변화:** Antigravity 프로젝트는 문서 간의 의미적 유사성 판별 및 개체명 인식(NER) 작업에 BERT 기반의 임베딩 모델을 주력으로 사용함.
## 🔗 지식 연결 (Graph)
- [[Transformer-Architecture]], NLP, Attention-Mechanisms, Transfer-Learning-Foundations
- [[Transformer-Architecture|Transformer-Architecture]], NLP, Attention-Mechanisms, Transfer-Learning-Foundations
- **Raw Source:** 10_Wiki/Topics/AI/BERT.md