---
id: HARNESS-RES-2026-05-002
title: API Gateway (LLM/MCP Gateway)
category: "10_Wiki/Topics/Infrastructure"
status: verified
confidence_score: 0.94
tags: [harness, api-gateway, llm-gateway, mcp, security, finops]
created_at: 2026-05-05
updated_at: 2026-05-08
---

# API Gateway (LLM/MCP Gateway)

## 📌 한 줄 통찰 (The Karpathy Summary)
> "에이전트와 외부 세계를 잇는 통제된 검문소: 다중 LLM 라우팅을 통한 비용 최적화와 MCP 도구 접근에 대한 보안 가드레일을 통합 관리하는 에이전트 인프라의 중추."

## 📖 구조화된 지식 (Synthesized Content)
*   **다중 모델 라우팅 및 비용 최적화 (LLM Gateway):** OmniRoute와 같은 다중 제공자 LLM 게이트웨이는 인텔리전트 라우팅, 로드 밸런싱, 자동 대체(Fallback), 속도 제한, 응답 캐싱을 수행한다 [2]. 단순한 작업은 저렴한 모델로, 복잡한 추론은 고성능 모델로 라우팅하여 토큰 비용을 40~60%가량 절감할 수 있다 [2]. Helicone의 AI Gateway 역시 코드 변경 없이 요청 라우팅과 캐싱 기능을 제공하여 비용 추적과 토큰 모니터링을 지원한다 [1].
*   **보안 및 도구 접근 통제 (MCP/API Gateway):** 외부 도구 사용 시 Harness MCP Gateway는 외부 MCP 서버 호출을 프록시하고 필터링하여 허용 목록(Allow-listing) 적용, 속도 제한, 콘텐츠 검사를 활성화한다 [3]. GitHub의 에이전트 워크플로우 또한 내부 보안 아키텍처의 일환으로 MCP 게이트웨이와 API 프록시를 활용하여 에이전트 실행 환경을 방어한다 [6]. Amazon Bedrock AgentCore는 서버리스 런타임 환경에서 도구 접근을 위한 안전한 게이트웨이를 기본 제공한다 [5].
*   **FinOps 및 예산 가드레일 강제:** 인프라 게이트웨이는 에이전트 서비스의 유닛 이코노믹스를 관리하기 위해 루프 및 단계 제한, 도구 호출 캡(Cap), 실행당 토큰 예산, Wall-clock 타임아웃, 이상 탐지가 포함된 테넌트별 예산 제한 등 5가지의 구체적인 예산 가드레일을 강제한다 [4].
*   **개인용 에이전트 게이트웨이 (Personal Agent Gateway):** OpenHarness 기반의 개인용 에이전트 앱인 'ohmo'의 경우, 자체 워크스페이스 내에 `gateway.json`을 두어 선택된 LLM 프로바이더 프로필과 외부 채널(Telegram, Slack, Discord 등) 설정을 연결하고 관리하는 역할을 수행한다 [7, 8].

## ⚖️ 트레이드오프 및 고려사항
*   **운영 복잡성과 세션 관리의 충돌:** 게이트웨이를 도입하면 보안과 운영 효율성이 크게 향상되지만, 인프라의 세션 관리 복잡성이 증가하는 제약이 있다 [1]. 
*   **상태 유지의 한계:** MCP를 원격 서비스로 실행하기 위해 HTTP 전송을 사용할 경우, 상태를 유지해야 하는 세션 제약(예: `Mcp-Session-Id` 헤더 유지)이 로드 밸런서 환경이나 수평적 확장(Horizontal scaling) 구조와 충돌하는 현상이 발생한다 [1]. 이 때문에 대규모 확장성을 위해서는 전송 계층(Transport layer)에서 세션 관리를 완전히 분리해야 하는 구조적 한계와 극복 과제가 존재한다 [1].

## 🔗 지식 연결 (Graph)
- **유사 개념**: [[Rate Limiting]], [[Reverse Proxy]]
- **관련 프로젝트**: [[OpenHarness]], [[ConnectAI]]

---
*Last updated: 2026-05-08*

## 🛠️ 적용 사례 (Applied in summary)

<!-- CODE-GROUNDING:START -->
### 🔎 코드베이스 근거 (자동 추출 — E:\Wiki 레포)
**실제 구현/사용 위치:**
- `connectai/src/features/secondBrainTrace.ts:256` — [Omitted long matching line]

_자동 생성: code_grounding.mjs · 재실행 시 갱신됨_
<!-- CODE-GROUNDING:END -->