한 줄 요약 로컬·원격 LLM 파이프라인에서 RunnableParallel 팬아웃을 오픈에이아이 호환 게이트 한 줄로 모으고 병렬 수·토큰·도구 초·회로 차단을 매트릭스에 박제한 뒤 스키마 검증 초와 부분 실패 요약 봉투까지 같은 저장소에 남깁니다.

목차 제약 · 매트릭스 · 단계 · FAQ · 인용 · 다음

① 분기마다 베이스 URL이 갈리면 관측 키가 깨져 롤링 예산이 중복 집계됩니다.
② 스키마 검증을 모델 초와 같은 상자에 넣으면 부분 성공 분기까지 끊깁니다.
③ 한 분기만 느려도 전체 지연이 체감되므로 도구 초와 회로 차단을 분기 축에 맞춰 달리 둡니다.

게이트웨이 동시성 결정 매트릭스

축 보수적 균형 공격적
병렬 분기 수 이 분기 삼 분기 다섯 분기 이상은 큐 분리
토큰 롤링 예산 분당 십이만 분당 이십사만 분기 키별 이중 한도
도구 초 이십 초 사십 초 팔십 초는 백그라운드 큐
회로 차단 카운터 삼 회 열림 다섯 회 열림 열림 시 육십 초 신규 거절

재현 단계

  1. 오픈클로를 원격 맥 전용 계정에 설치하고 공식 검증 명령으로 매니페스트와 루프백 리슨을 확인합니다.
  2. RunnableParallel 맵의 각 Runnable에 동일한 게이트웨이 베이스 URL과 베어러 키 프로필을 주입해 라우팅 표를 한 줄로 맞춥니다.
  3. 게이트 업스트림에서 분기 키를 헤더나 메타 필드로 넘겨 토큰 롤링 카운터를 분기별로 차감합니다.
  4. 모델 스트림 초와 별도로 JSON Schema 검증 Runnable에 짧은 파싱 초를 두고 실패 시 원문 대신 오류 코드만 붙입니다.
  5. 회로 차단 임계를 넘기면 신규 요청만 거절하고 이미 열린 스트림은 끝까지 허용하는 정책을 게이트에 기록합니다.
  6. RunnablePassthrough로 성공 값과 실패 요약 봉투를 합쳐 워크플로 입력을 일정한 스키마로 고정합니다.

프록시 라우팅 숫자 체계는 라이트엘엠엠 프록시 글과 맞추고 스키마 게이트 패턴은 아웃라인스 스키마 글의 초·재시도 표와 교차 검증하세요.

FAQ: 경쟁 상태와 부분 분기 실패

경쟁 상태는 동일 상관 키로 들어온 병렬 요청이 롤링 카운터를 동시에 읽을 때 발생합니다. 해결은 게이트에서 원자적 차감을 쓰거나 분기별 직렬 슬롯을 두는 것입니다.

부분 분기 실패 시 전체 RunnableParallel을 실패 처리하지 말고 성공 맵과 실패 맵을 나눠 합성 Runnable 뒤에서 조인합니다. 운영 알림에는 실패 유형과 재시도 횟수만 넣습니다.

인용 가능한 운영 숫자

  • 균형 프로필에서 병렬 삼 분기·도구 사십 초·분당 토큰 이십사만
  • 회로 차단 다섯 회 누적 시 육십 초 동안 신규만 거절
  • 스키마 검증 전용 초 팔 초를 모델 초와 분리

다음 행동

공개 문서에서 셸 절차를 확인하고 요금과 대조한 뒤 노드를 고릅니다. 인스트럭터 기반 스키마 변형은 인스트럭터 게이트 글을 참고하세요.