Files

T

Antigravity Agent 745872c7f8 fix(topics): 지식 그래프 정상화 — 고아 29%→4%, 인덱스 12개·개념 문서 13편

링크 그래프 분석(6,372문서·31,623링크) 기반 최소 수정 정상화:
- [수정] Topic_CPP/Topic_C 인덱스의 링크 표기를 실제 문서 제목으로 교정
  (CPP 117건·C 68건 — [[CPP Intro]] → [[C++ Intro]] 등, 인덱스 파일 2개만 수정)
- [수정] C Tutorial 별칭에 'C' 추가 — [[c]] 60건 해소 (frontmatter 1줄)
- [신규] 고아 다발 폴더 11곳에 00_INDEX MOC 자동 생성 (Poetic_Blog_Writing 500편,
  AI_and_ML 330, Coding 200, Reasoning_Creativity 161, Frontend 146 등)
- [신규] 루트 MOC(Topics Root Index) — breadcrumb [[10_Wiki/Topics]] 47건을 별칭으로 수용
- [신규] 수요 최상위 미싱 개념 문서 13편 (깨진 링크 다발 해소):
  글쓰기 7편(리듬·감정·문체·블로그·퇴고·정서·구조) + 설계 6편(React·Software
  Architecture·ADR·CQRS·Observability·RLHF) — AI 생성 초안임을 review_reason에 명시
- 기존 문서 본문은 무수정 (인덱스 2개 링크 교정 + 별칭 1줄이 수정의 전부)

결과: 고아 1,901(29%)→314(4%), 완전고립 1,018→173, 깨진 링크 10,258→9,679

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>

2026-07-11 11:21:57 +09:00

1.8 KiB

Raw Blame History

id, title, category, status, verification_status, canonical_id, aliases, duplicate_of, source_trust_level, confidence_score, created_at, updated_at, review_reason, merge_history, tags, raw_sources, applied_in, github_commit

title

RLHF

🎯 한 줄 통찰 (One-line insight)

인간의 선호 판단을 보상 신호로 바꿔 언어 모델을 미세조정하는 기법 — "정답"을 정의하기 어려운 품질(유용함·무해함)을 사람의 비교 선택으로 학습시킨다.

🧠 핵심 개념 (Core concepts)

3단계 파이프라인 — ① 지시 데이터로 SFT(지도 미세조정) ② 사람이 응답 쌍을 비교한 데이터로 보상 모델 학습 ③ 보상 모델을 신호로 정책(LLM)을 강화학습(PPO 등) 최적화.
보상 해킹 위험 — 모델이 보상 모델의 허점을 파고들어 점수만 높은 응답을 낸다. KL 페널티로 원 모델에서 과도하게 벗어나지 않게 잡는다.
변형들 — 보상 모델 없이 선호 쌍으로 직접 최적화하는 DPO 등 경량 대안이 실무에서 확산됐다.
아첨(sycophancy) 부작용 — 사람이 "듣기 좋은 답"을 선호하는 경향이 보상에 새어들어 모델이 아부하게 될 수 있다.

🧩 추출된 패턴 (Extracted patterns)

RLHF 의 품질은 알고리즘보다 선호 데이터의 품질(누가·어떤 기준으로 비교했나)이 결정한다.

🔗 Knowledge Connections

Related Topics: Software Architecture

1.8 KiB Raw Blame History