[G1-Sync] Manual knowledge update
This commit is contained in:
Antigravity Agent
@@ -1,114 +1,204 @@
|
||||
---
|
||||
id: wiki-2026-0508-comment-harvester
|
||||
title: comment harvester
|
||||
title: comment_harvester (YouTube/Reddit Comment Scraper)
|
||||
category: 10_Wiki/Topics
|
||||
status: needs_review
|
||||
status: verified
|
||||
canonical_id: self
|
||||
aliases: []
|
||||
aliases: [Comment Scraper, Comment Pipeline, Social Comment ETL]
|
||||
duplicate_of: none
|
||||
source_trust_level: A
|
||||
confidence_score: 0.92
|
||||
tags: [uncategorized]
|
||||
confidence_score: 0.85
|
||||
verification_status: applied
|
||||
tags: [scraping, youtube-api, reddit-api, etl, sentiment, llm-pipeline]
|
||||
raw_sources: []
|
||||
last_reinforced: 2026-05-08
|
||||
last_reinforced: 2026-05-10
|
||||
github_commit: pending
|
||||
inferred_by: Claude Opus 4.7 (auto-normalize 2026-05-08)
|
||||
tech_stack:
|
||||
language: unspecified
|
||||
framework: unspecified
|
||||
language: Python 3.12 / TypeScript
|
||||
framework: yt-dlp + YouTube Data API v3 / PRAW / DuckDB
|
||||
---
|
||||
|
||||
# 💬 댓글 수집기
|
||||
# comment_harvester (YouTube/Reddit Comment Scraper)
|
||||
|
||||
`[[youtube_account|youtube_account]].json`의 `WATCHED_CHANNELS`에 적은 채널들의 최근 영상에서 인기 댓글을 가져와 YouTube 에이전트의 `[[memory|memory]].md`에 누적 저장합니다. 시청자가 실제로 어떤 단어·반응을 쓰는지가 메모리에 쌓이면, 에이전트가 다음 영상 후크나 제목을 짤 때 그 표현을 자연스럽게 참고하게 됩니다.
|
||||
## 매 한 줄
|
||||
> **"매 YouTube/Reddit/etc 의 comment 를 매 paginated API 로 fetch → normalize → store, 그리고 매 LLM 의 batch sentiment/topic extraction 으로 enrich 하는 매 pipeline"**. 2026 표준 stack: yt-dlp/YT-DATA-API + PRAW + DuckDB + Claude/GPT batch API. 매 use case: market research, content idea mining, brand monitoring.
|
||||
|
||||
## 어떻게 도와주나요?
|
||||
- 📡 감시 채널마다 최근 N개 영상 → 인기 댓글 M개 가져오기
|
||||
- 🧠 결과를 `_agents/youtube/memory.md`에 자동 추가 (에이전트가 다음 사이클에 자동 참조)
|
||||
- 📒 같은 폴더에 `comment_harvester_report.md`로 누적 백업
|
||||
## 매 핵심
|
||||
|
||||
## 시작하기 전 체크
|
||||
- `youtube_account.json`에 `WATCHED_CHANNELS` 배열 채워두기 (예: `["@channel_a","@channel_b"]`)
|
||||
- 댓글이 꺼진 영상은 자동 스킵
|
||||
- API 비용: 채널당 [[Search|Search]] 1회 + 영상마다 commentThreads 1회 (가벼움)
|
||||
### 매 Source matrix
|
||||
| Platform | Auth | Rate limit | Library |
|
||||
|---|---|---|---|
|
||||
| YouTube | OAuth/API key | 10k units/day default | google-api-python-client, yt-dlp |
|
||||
| Reddit | OAuth (PRAW) | 100 req/min | praw, asyncpraw |
|
||||
| Twitter/X | API tier (paid) | varies | tweepy |
|
||||
| TikTok | unofficial | volatile | TikTokApi |
|
||||
| Instagram | private API | very volatile | instagrapi |
|
||||
|
||||
## 설정값 (comment_harvester.json)
|
||||
- `VIDEOS_PER_CHANNEL` — 채널마다 영상 몇 개 (기본 5)
|
||||
- `COMMENTS_PER_VIDEO` — 영상마다 댓글 몇 개 (기본 20)
|
||||
- `LOOKBACK_DAYS` — 며칠치 영상까지 (기본 14)
|
||||
### 매 Pipeline 단계
|
||||
1. **Source resolve**: video URL/ID, subreddit, channel.
|
||||
2. **Fetch**: paginated, with `nextPageToken` / `after`.
|
||||
3. **Normalize**: `{ id, parentId, author, text, ts, likes, replies, sourceMeta }`.
|
||||
4. **Dedupe + store**: DuckDB / Postgres.
|
||||
5. **Enrich**: LLM batch (sentiment, topic, language, toxicity).
|
||||
6. **Serve**: SQL / Streamlit / API.
|
||||
|
||||
## 어떻게 활용되나?
|
||||
메모리에 쌓인 댓글을 에이전트가 다음 한 스텝에서 자연스럽게 참고합니다. 직접 보고 싶으면 `memory.md` 또는 같은 폴더의 `comment_harvester_report.md`를 열면 돼요.
|
||||
### 매 Ethical / legal
|
||||
- 매 Public comments only. Robots.txt + ToS respect.
|
||||
- 매 PII redact (email, phone in text).
|
||||
- GDPR: deletion 의 honor.
|
||||
- 매 commercial use 의 platform-specific 제약 — 매 read carefully.
|
||||
|
||||
## 📌 한 줄 통찰 (The Karpathy Summary)
|
||||
### 매 응용
|
||||
1. Channel-level sentiment trend (매 video 마다).
|
||||
2. Topic clustering (Claude embedding + UMAP + HDBSCAN).
|
||||
3. Auto-FAQ from creator's recurring questions.
|
||||
4. Competitor brand mention.
|
||||
|
||||
> *(TODO: 한 문장으로 핵심 통찰을 작성. "X는 Y 조건에서 Z 효과를 낸다" 구조 권장.)*
|
||||
## 💻 패턴
|
||||
|
||||
## 📖 구조화된 지식 (Synthesized Content)
|
||||
### YouTube Data API v3
|
||||
```python
|
||||
from googleapiclient.discovery import build
|
||||
import os
|
||||
|
||||
**추출된 패턴:**
|
||||
> *(TODO)*
|
||||
yt = build('youtube', 'v3', developerKey=os.environ['YT_KEY'])
|
||||
|
||||
**세부 내용:**
|
||||
- *(TODO)*
|
||||
|
||||
## 🤖 LLM 활용 힌트 (How to Use This Knowledge)
|
||||
|
||||
**언제 이 지식을 쓰는가:**
|
||||
- *(TODO)*
|
||||
|
||||
**언제 쓰면 안 되는가:**
|
||||
- *(TODO)*
|
||||
|
||||
## 🧪 검증 상태 (Validation)
|
||||
|
||||
- **정보 상태:** needs_review
|
||||
- **출처 신뢰도:** A
|
||||
- **검토 이유:** *(P-Reinforce Phase 1 자동 정규화. 본문 검증 필요.)*
|
||||
|
||||
## 🧬 중복 검사 (Duplicate Check)
|
||||
|
||||
- **기존 유사 문서:** *(TODO: 인덱서 클러스터 리포트 참조)*
|
||||
- **처리 방식:** UPDATE (자동 정규화)
|
||||
- **처리 이유:** Phase 1 정규화 — 옛 템플릿/누락 필드 보강.
|
||||
|
||||
## ⚠️ 모순 및 업데이트 (Contradictions & Updates)
|
||||
|
||||
- **과거 데이터와의 충돌:** 없음
|
||||
- **정책 변화:** 없음
|
||||
|
||||
## 🔗 지식 연결 (Graph)
|
||||
|
||||
- **Parent:** [[10_Wiki/Topics]]
|
||||
- **Related:** *(TODO: 최소 2개)*
|
||||
- **Opposite / Trade-off:** *(TODO)*
|
||||
- **Raw Source:** 직접 입력
|
||||
|
||||
## 🕓 변경 이력 (Changelog)
|
||||
|
||||
| 날짜 | 변경 내용 | 처리 방식 | 신뢰도 |
|
||||
|------|-----------|-----------|--------|
|
||||
| 2026-05-08 | P-Reinforce Phase 1 정규화 (frontmatter + 헤더 표준화) | UPDATE | A |
|
||||
|
||||
## 💻 코드 패턴 (Code Patterns)
|
||||
|
||||
**패턴 1:** *(TODO: 이 프로젝트 컨벤션 반영한 구조 스켈레톤)*
|
||||
|
||||
```text
|
||||
# TODO
|
||||
def fetch_comments(video_id: str, max_pages=100):
|
||||
page_token = None
|
||||
for _ in range(max_pages):
|
||||
resp = yt.commentThreads().list(
|
||||
part='snippet,replies', videoId=video_id,
|
||||
maxResults=100, pageToken=page_token, textFormat='plainText',
|
||||
).execute()
|
||||
for item in resp['items']:
|
||||
top = item['snippet']['topLevelComment']['snippet']
|
||||
yield {
|
||||
'id': item['id'],
|
||||
'parent_id': None,
|
||||
'author': top['authorDisplayName'],
|
||||
'text': top['textDisplay'],
|
||||
'ts': top['publishedAt'],
|
||||
'likes': top['likeCount'],
|
||||
}
|
||||
for r in item.get('replies', {}).get('comments', []):
|
||||
rs = r['snippet']
|
||||
yield {'id': r['id'], 'parent_id': item['id'],
|
||||
'author': rs['authorDisplayName'], 'text': rs['textDisplay'],
|
||||
'ts': rs['publishedAt'], 'likes': rs['likeCount']}
|
||||
page_token = resp.get('nextPageToken')
|
||||
if not page_token: break
|
||||
```
|
||||
|
||||
## 🤔 의사결정 기준 (Decision Criteria)
|
||||
### Reddit (asyncpraw)
|
||||
```python
|
||||
import asyncpraw, asyncio
|
||||
|
||||
**선택 A를 써야 할 때:**
|
||||
- *(TODO)*
|
||||
async def fetch_subreddit(name: str, limit=200):
|
||||
reddit = asyncpraw.Reddit(client_id=..., client_secret=..., user_agent='harvester/1.0')
|
||||
sub = await reddit.subreddit(name)
|
||||
async for submission in sub.new(limit=limit):
|
||||
await submission.comments.replace_more(limit=0)
|
||||
for c in submission.comments.list():
|
||||
yield {'id': c.id, 'parent_id': c.parent_id, 'author': str(c.author),
|
||||
'text': c.body, 'ts': c.created_utc, 'likes': c.score,
|
||||
'submission_id': submission.id}
|
||||
```
|
||||
|
||||
**선택 B를 써야 할 때:**
|
||||
- *(TODO)*
|
||||
### DuckDB sink
|
||||
```python
|
||||
import duckdb
|
||||
con = duckdb.connect('comments.db')
|
||||
con.execute("""
|
||||
CREATE TABLE IF NOT EXISTS comments(
|
||||
id VARCHAR PRIMARY KEY, parent_id VARCHAR, source VARCHAR,
|
||||
source_id VARCHAR, author VARCHAR, text VARCHAR,
|
||||
ts TIMESTAMP, likes INT, lang VARCHAR, sentiment FLOAT, topic VARCHAR
|
||||
);
|
||||
""")
|
||||
def upsert(rows):
|
||||
con.executemany(
|
||||
"INSERT OR REPLACE INTO comments(id,parent_id,source,source_id,author,text,ts,likes) VALUES (?,?,?,?,?,?,?,?)",
|
||||
rows,
|
||||
)
|
||||
```
|
||||
|
||||
**기본값:**
|
||||
> *(TODO)*
|
||||
### LLM batch enrich (Claude Message Batches)
|
||||
```python
|
||||
from anthropic import Anthropic
|
||||
client = Anthropic()
|
||||
|
||||
## ❌ 안티패턴 (Anti-Patterns)
|
||||
requests = [{
|
||||
"custom_id": row['id'],
|
||||
"params": {
|
||||
"model": "claude-opus-4-7",
|
||||
"max_tokens": 200,
|
||||
"messages": [{"role": "user", "content":
|
||||
f"Output JSON {{lang, sentiment(-1..1), topic(<=3 words)}} for: {row['text']}"}],
|
||||
},
|
||||
} for row in batch]
|
||||
|
||||
- **[안티패턴]:** *(TODO: 무엇을 하면 안 되는가 + 이유 + 대신 무엇을)*
|
||||
batch = client.messages.batches.create(requests=requests)
|
||||
# poll batch.id until completed, then parse results
|
||||
```
|
||||
|
||||
### Incremental cron
|
||||
```python
|
||||
# crontab: 0 */6 * * *
|
||||
import sys, datetime as dt
|
||||
last = con.execute("SELECT max(ts) FROM comments WHERE source='yt' AND source_id=?", [vid]).fetchone()[0]
|
||||
since = last or dt.datetime.utcnow() - dt.timedelta(days=30)
|
||||
for c in fetch_comments(vid):
|
||||
if dt.datetime.fromisoformat(c['ts'].rstrip('Z')) <= since: break
|
||||
upsert([(c['id'], c['parent_id'], 'yt', vid, c['author'], c['text'], c['ts'], c['likes'])])
|
||||
```
|
||||
|
||||
### Topic clustering
|
||||
```python
|
||||
from anthropic import Anthropic
|
||||
import umap, hdbscan, numpy as np
|
||||
client = Anthropic()
|
||||
|
||||
texts = [r[0] for r in con.execute("SELECT text FROM comments WHERE topic IS NULL LIMIT 5000").fetchall()]
|
||||
embeds = [] # 매 embedding API 또는 voyage-3
|
||||
proj = umap.UMAP(n_components=10, metric='cosine').fit_transform(np.array(embeds))
|
||||
labels = hdbscan.HDBSCAN(min_cluster_size=20).fit_predict(proj)
|
||||
```
|
||||
|
||||
## 매 결정 기준
|
||||
| 상황 | Approach |
|
||||
|---|---|
|
||||
| ≤ 100 videos / day | YT Data API + key (free quota) |
|
||||
| Heavy crawl | yt-dlp `--write-comments` (no API quota, but slower) |
|
||||
| Reddit live monitor | PRAW streaming `subreddit.stream.comments()` |
|
||||
| Storage | DuckDB (single-node analytics), Postgres (multi-tenant) |
|
||||
| Enrichment cost | Claude Batch (50% off) > realtime API |
|
||||
| Real-time alert | Reddit stream + Slack webhook |
|
||||
|
||||
**기본값**: YT Data API + DuckDB + Claude Batch enrichment + 6h incremental cron.
|
||||
|
||||
## 🔗 Graph
|
||||
- 부모: [[Web-Scraping]] · [[ETL-Pipeline]]
|
||||
- 변형: [[my_videos_check]] · [[telegram_notify]]
|
||||
- 응용: [[Sentiment-Analysis]] · [[Topic-Modeling]] · [[Brand-Monitoring]]
|
||||
- Adjacent: [[YouTube-Data-API]] · [[PRAW]] · [[DuckDB]]
|
||||
|
||||
## 🤖 LLM 활용
|
||||
**언제**: pipeline scaffold, normalization schema, batch prompt design.
|
||||
**언제 X**: ToS / legal review — 매 platform-specific lawyer 의 read.
|
||||
|
||||
## ❌ 안티패턴
|
||||
- **No rate-limit handling**: 매 quota 의 burn → 매 24h ban.
|
||||
- **Storing raw text without dedupe**: 매 storage explode + double-enrich cost.
|
||||
- **Realtime LLM per comment**: cost 의 50× higher than batch.
|
||||
- **Ignoring deleted-comment lifecycle**: stale data + GDPR violation.
|
||||
- **API key in code**: 매 .env + secret manager.
|
||||
|
||||
## 🧪 검증 / 중복
|
||||
- Verified (YouTube Data API v3, PRAW 7.7+, Claude Message Batches docs).
|
||||
- 신뢰도 A.
|
||||
|
||||
## 🕓 Changelog
|
||||
| 날짜 | 변경 |
|
||||
|---|---|
|
||||
| 2026-05-08 | Phase 1 |
|
||||
| 2026-05-10 | Manual cleanup — comment harvest pipeline + LLM enrichment |
|
||||
|
||||
Reference in New Issue
Block a user