Files

T

koriweb 27b2c25e4d feat(wiki): Topic_Blog SEO 지식화 + orphan 연결

- Topic_Blog: 미추적 상태였던 SEO/색인 지식 문서 일괄 추적 추가
  (Google '페이지 색인 생성 보고서' 기반 신규 6종 포함:
   페이지 색인 생성 보고서/색인 생성 유효성 검사/Soft 404/NOINDEX/
   크롤링됨·발견됨-현재 색인 안 됨/SEO를 위한 HTTP 상태 코드).
- orphan 연결: 완전 고립된 지식 문서 9개를 관련 기존 문서와 양방향 링크
  (Game Design 쌍, Aerospace, Apple Vision Pro, 3D_Web_HMI, Stock 3,
   Topics_Biz). append-only, 존재 타깃만 링크(dangling 0).
도구: Datacollect/scripts/wiki_audit.mjs (중복·orphan 감사)

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>

2026-06-10 14:48:16 +09:00

7.2 KiB

Raw Blame History

id, title, category, status, verification_status, canonical_id, aliases, duplicate_of, source_trust_level, confidence_score, created_at, updated_at, review_reason, merge_history, tags, raw_sources, applied_in, github_commit

title

NOINDEX

🎯 한 줄 통찰 (One-line insight)

페이지를 검색 색인에서 확실히 제외하는 정확한 메커니즘으로, robots.txt 차단과 달리 Google이 페이지를 읽되 색인에는 등록하지 않도록 지시하는 명령어 [S1].

🧠 핵심 개념 (Core concepts)

정의: noindex 명령어가 있는 페이지는 Google이 크롤링하더라도 색인을 생성하지 않음 — 보고서에 'URL이 NOINDEX로 표시됨'으로 나타남 [S1].
적용 위치: HTML <meta name="robots" content="noindex"> 또는 HTTP 응답 헤더 X-Robots-Tag: noindex(비 HTML 리소스용) [S1].
robots.txt와의 결정적 차이: robots.txt는 '크롤링 차단'이지 '색인 차단'이 아님 — 외부 링크로 차단된 페이지도 색인될 수 있음. 색인을 막으려면 차단을 풀고 noindex를 써야 함 [S1].
확인 방법: URL 검사의 '색인 생성 허용 여부'에서 NOINDEX가 색인을 막고 있는지, 라이브 버전에 여전히 존재하는지 점검 [S1].

🧩 추출된 패턴 (Extracted patterns)

차단 해제 → noindex 적용: robots.txt로 막힌 페이지엔 noindex가 '보이지 않으므로', 먼저 robots.txt 차단을 풀어 Google이 noindex를 읽게 함 [S1].
의도 확인 패턴: 보고서에 NOINDEX가 떴을 때, 의도한 제외면 '다행', 색인을 원했다면 태그/헤더를 삭제 [S1].
민감·중복 제외: 로그인 후 페이지, 내부 검색 결과, 중복 변형 등을 색인에서 제외할 때 사용 [S1].

⚖️ 비교 및 선택 기준 (Comparison & decision criteria)

항목 (Option)	효과	색인 차단?	언제 선택
noindex	크롤링은 되나 색인 제외	✅ 확실	검색 결과에서 확실히 빼야 할 때 [S1]
robots.txt Disallow	크롤링 자체 차단	❌ (외부 링크로 색인 가능)	크롤링 부하/예산 절약이 목적일 때 — robots.txt [S1]
인증(401/403)	비로그인 접근 차단	✅ (접근 불가)	비공개 콘텐츠 — SEO를 위한 HTTP 상태 코드 [S1]

📖 세부 내용 (Details)

1. NOINDEX가 색인을 막는 원리

Google이 페이지를 크롤링하면서 noindex 명령어를 발견하면 색인 생성을 중단합니다 [S1]. 이는 '읽기는 허용하되 등록은 금지'하는 방식이므로, 페이지를 검색 결과에서 제거하는 데 가장 신뢰할 수 있는 방법입니다 [S1].

2. robots.txt와의 흔한 충돌

가장 잦은 실수는 robots.txt로 차단한 페이지에 noindex를 다는 것입니다. 차단된 페이지는 Google이 본문을 읽지 못해 noindex를 볼 수 없고, 외부 링크가 있으면 오히려 'robots.txt로 차단되었으나 색인이 생성됨' 경고로 색인될 수 있습니다 [S1]. 따라서 색인 제거가 목적이라면 robots.txt 차단을 해제하고 noindex를 적용해야 합니다 [S1].

3. 적용·확인 절차

URL 검사 → '색인 생성 허용 여부'에서 NOINDEX 감지 여부 확인 → 라이브 URL 테스트로 라이브 버전에도 명령어가 있는지 점검 [S1]. 색인을 원해서 noindex를 제거했다면 '색인 생성 요청'으로 재색인을 요청합니다 [S1].

⚖️ 모순 및 업데이트 (Contradictions & updates)

차단 ≠ 색인 방지: robots.txt 차단을 색인 차단으로 오해하기 쉬우나, 색인 방지의 정확한 도구는 noindex입니다 [S1].
캐시/지연: 태그를 제거해도 Google이 다시 크롤링하기 전까지 보고서에 NOINDEX가 남을 수 있어 크롤링 날짜 확인이 필요합니다 [S1].

🛠️ 적용 사례 (Applied in summary)

내부 검색 결과 페이지 제외: 무한히 생성되는 검색 결과 URL에 noindex를 적용해 색인 오염 방지 [S1].
스테이징/중복 변형 제외: 테스트 환경·필터 파라미터 변형 페이지를 noindex로 검색에서 제외 [S1].

💻 코드 패턴 (Code patterns)

메타 태그

<meta name="robots" content="noindex">

HTTP 헤더 (비 HTML 리소스)

X-Robots-Tag: noindex

두 방식 모두 Google이 리소스를 읽을 수 있어야 적용됨 — robots.txt로 차단되면 무효 [S1].

✅ 검증 상태 및 신뢰도

상태: draft
검증 단계: conceptual
출처 신뢰도: A (Google 공식 Search Console 도움말 기반)
신뢰 점수: 0.93
중복 검사 결과: 신규 생성 (robots.txt와 역할 구분 — 본 문서는 색인 차단 명령어 전용)

상위/유사 개념

페이지 색인 생성 보고서 — NOINDEX 상태가 보고되는 상위 보고서
Indexing — noindex가 개입하는 색인 생성 절차
robots.txt — 자주 혼동되는 크롤링 차단 메커니즘

심층 후속 질문 (Deeper Research Questions)

noindex 적용 후 색인에서 제거되기까지의 평균 소요 시간은?
noindex + nofollow 조합과 noindex 단독의 링크 자산 전달 차이는?
대규모 파라미터 URL 제어에서 noindex vs canonical vs robots.txt의 최적 조합은?

실무 적용 맥락 (Practical Application Contexts)

Implementation: 제외 대상 페이지에 메타/헤더 noindex 일괄 적용.
System Design: 파라미터·필터 URL의 색인 정책(noindex/canonical) 설계.
Operation / Maintenance: 보고서의 NOINDEX 목록을 검토해 의도성 확인.
Learning Path: robots.txt와 차이 이해 → URL 검사 확인 → 재색인 요청.

인접 주변 주제

Duplicate Content — 확장 방향: 중복 제어에서 noindex와 canonical 선택
Canonical URL — 확장 방향: 색인 통합 vs 색인 제외의 구분

🔗 지식 그래프 (Knowledge Graph)

상위/루트: 페이지 색인 생성 보고서
관련 개념: robots.txt, Indexing, Canonical URL, Duplicate Content, SEO를 위한 HTTP 상태 코드
참조 맥락: 색인 제외 전략, robots.txt와의 구분, 민감/중복 페이지 처리.

📚 출처 (Sources)

[S1] Google 검색 센터 / Search Console 도움말 - 페이지 색인 생성 보고서의 'URL이 NOINDEX로 표시됨', 'robots.txt로 인해 차단되었으나 색인이 생성됨'

📝 변경 이력 (Change history)

2026-06-10: Initial draft — noindex 명령어와 robots.txt 차단의 차이, 적용/확인 절차를 정리.

7.2 KiB Raw Blame History