[G1-Sync] Manual knowledge update
This commit is contained in:
@@ -2,11 +2,11 @@
|
||||
id: BERT-001
|
||||
category: "10_Wiki/💡 Topics/AI"
|
||||
confidence_score: 1.0
|
||||
tags: [ai, nlp, bert, transformer, language-model, google-research]
|
||||
tags: [ai, nlp, bert, transformer, language-model, google-[[Research]]]
|
||||
last_reinforced: 2026-04-26
|
||||
---
|
||||
|
||||
# BERT (Bidirectional Encoder Representations from Transformers)
|
||||
# BERT (Bidirectional Encoder Representations from [[Transformers]])
|
||||
|
||||
## 📌 한 줄 통찰 (The Karpathy Summary)
|
||||
> "문장의 왼쪽과 오른쪽을 동시에 보며 단어의 진짜 의미를 파악하라" — 구글이 제안한 혁신적인 사전 학습 모델로, 문맥의 양방향성을 모두 고려하여 단어의 의미를 수치화함으로써 NLP 분야의 수많은 벤치마크 기록을 갱신한 모델.
|
||||
@@ -16,7 +16,7 @@ last_reinforced: 2026-04-26
|
||||
- **핵심 특징:**
|
||||
- **Bidirectional Context:** 이전 시점의 정보만 보는 GPT와 달리, 앞뒤 문맥을 한꺼번에 고려하여 중의성 해결에 탁월함.
|
||||
- **Transformer Encoder:** 트랜스포머 아키텍처의 인코더 부분만 층층이 쌓아 올려 구성.
|
||||
- **Pre-training & Fine-tuning:** 방대한 일반 텍스트로 먼저 학습한 뒤, 특정 태스크(질의응답, 감성 분석 등)에 맞춰 살짝만 튜닝하여 고성능 확보.
|
||||
- **Pre-training & [[Fine-tuning]]:** 방대한 일반 텍스트로 먼저 학습한 뒤, 특정 태스크(질의응답, 감성 분석 등)에 맞춰 살짝만 튜닝하여 고성능 확보.
|
||||
- **Contextual Embeddings:** 동일한 단어라도 주변 문맥에 따라 서로 다른 벡터 값을 가짐.
|
||||
|
||||
## ⚠️ 모순 및 업데이트 (Contradictions & RL Update)
|
||||
|
||||
Reference in New Issue
Block a user