2nd/10_Wiki/Topics/AI/Sequence-to-Sequence-Models.md

id, category, confidence_score, tags, last_reinforced

id	category	confidence_score	tags	last_reinforced
SEQ2SEQ-001	10_Wiki/💡 Topics/AI	1.0	ai nlp seq2seq encoder-decoder deep-learning	2026-04-26

Sequence-to-Sequence Models (Seq2Seq)

📌 한 줄 통찰 (The Karpathy Summary)

"시퀀스를 이해하고, 또 다른 시퀀스로 재구성하라" — 입력된 가변 길이의 시퀀스를 고정된 벡터로 압축(Encoder)한 뒤, 이를 바탕으로 다시 가변 길이의 결과 시퀀스를 생성(Decoder)해내는 아키텍처.

📖 구조화된 지식 (Synthesized Content)

• 추출된 패턴: 입-출력의 길이가 달라도 문맥을 보존하며 데이터를 변환할 수 있게 하는 인코더-디코더 매핑 패턴.
• 세부 내용:
  • Encoder: 입력 시퀀스의 정보를 요약하여 문맥 벡터(Context Vector) 생성.
  • Decoder: 문맥 벡터를 초기값으로 받아 한 토큰씩 결과 생성.
  • RNN-based Origins: 초기에는 LSTM이나 GRU를 기반으로 설계되었으나, 현재는 트랜스포머가 주류.
  • Applications: 기계 번역, 요약, 챗봇, 음성 인식 등 대다수의 생성형 태스크.

⚠️ 모순 및 업데이트 (Contradictions & RL Update)

• 과거 데이터와의 충돌: 고정된 크기의 '문맥 벡터' 하나에 모든 정보를 담으려다 정보가 소실되는 병목 현상이 발생. 이를 해결하기 위해 '어텐션(Attention)' 기법이 도입되며 현대 AI의 폭발적 성장을 견인함.
• 정책 변화: Antigravity 프로젝트의 '코드 요약 에이전트'는 Seq2Seq 원리를 활용하여 복잡한 소스 코드를 간결한 자연어 위키 문서로 변환함.

🔗 지식 연결 (Graph)

• Encoder-Decoder-Architecture, Transformer-Architecture, NLP, Attention-Mechanisms
• Raw Source: 10_Wiki/Topics/AI/Sequence-to-Sequence-Models.md