바로가기: 리스크 · 이벤트 루프 · 배치·메모리 · 퓨즈 표 · 관측 · 비용 · 매트릭스 · HowTo · FAQ
GenAI 관측·RAG 할당·벡터 인덱스와 교차 검증 후 인제스트를 동결하세요.
M4급 스택에서의 운영 리스크
1) 루프 위 동기 HTTP·무거운 파서는 전 스텝 꼬리 지연. 2) 배치·팬아웃을 RSS 없이 키우면 KV용 통합 메모리를 먼저 소모. 3) 모델 단가만 보고 렌탈·유휴 GPU·쿨다운 벽시계를 빼면 비용 낙관.
이벤트 루프 설정
프로세스당 단일 asyncio 정책을 문서화하고 Workflows 스텝은 논블로킹으로 유지합니다. 파일 IO·서브프로세스·CPU 파서는 실행기로 보내고 동시 워크플로는 세마포어로 캡합니다. GPU 임베딩은 LLM 뒤에서 직렬화하고 운영 엔트리에서 nest_asyncio를 분리하세요.
검색 배치 크기와 메모리
임베딩·노드 배치와 상위 케이를 함께 스윕해 M4 피크 RSS가 안정인 마지막 튜플을 계약으로 고정합니다.
- 통합 메모리 약 15퍼센트 헤드룸 유지.
- mmap 인덱스는 SSD에 두고 Haystack 원격 Mac과 디스크 예산을 맞춥니다.
- 스윕별 피크 RSS를 로그에 남깁니다.
타임아웃·퓨즈 표
그래프 옆에 퓨즈 표를 두고 클라이언트 데드라인은 서버 상한보다 약간 길게 잡아 구조화된 실패를 받습니다.
| 단계 | 시작 퓨즈 | 서킷 규칙 |
|---|---|---|
| HTTP 도구 | 읽기 위주 팔 초에서 십이 초. | 세 번 타임아웃 후 열고 30초 쿨다운. |
| 서브프로세스 도구 | 트리 한도+20초 워치독. | 비영 종료는 실패, 묵시 재시도 금지. |
| LLM 첫 토큰 | 프리필 예산을 총 상한과 분리. | 프리필 위반은 인프라 신호. |
| 벡터 쿼리 | 샤드 중앙값의 이에서 네 배. | p95가 게이트 초과 시 반개 회로. |
관측 지표
스팬에 workflow_name·step_id·tool_name·retrieval_batch·cache_hit·토큰·queue_depth·breaker_state와 도구별 타임아웃·브레이커 오픈 분을 넣고 평가 ID와 조인하세요.
비용 임계
백만 토큰당 달러·시간당 렌탈·이그레스·느린 도구 시 유휴 GPU 분 상한을 먼저 박습니다.
- p95 종단 간이 게이트 초과면 소크 실패(제품 서명 예외).
- 소크 시간×렌탈을 API 비용 옆에 같은 패킷에 적습니다.
- llama.cpp 대 Ollama로 처리량 설명을 보강합니다.
의사결정 매트릭스
| 프로파일 | 로컬 M4 노트북 | 원격 Mac 미니급 렌탈 |
|---|---|---|
| 인터랙티브 설계 | 짧은 트레이스·낮은 동시성. | 데모 전력 안정 시 선택. |
| 야간 스윕 | 수면·GUI가 꼬리 왜곡. | 무인 소크에 선호. |
| 병렬 평가 | 통합 메모리 경쟁. | 전용 코어로 큐 격리. |
# 예시 환경 변수 — 비밀은 git 밖으로
export WORKFLOW_MAX_CONCURRENCY=2
export RETRIEVAL_BATCH_SIZE=32
export EMBED_BATCH_SIZE=16
export HTTP_TOOL_TIMEOUT_S=10
export VECTOR_QUERY_TIMEOUT_S=4
export BREAKER_THRESHOLD=3
export BREAKER_COOLDOWN_S=30
export P95_LATENCY_MS_MAX=4500
export REMOTE_SOAK_MIN_HOURS=4HowTo 절차
- 루프 계약 정책·실행기·동시 상한 문서화.
- 배치 스윕으로 안정 RSS 튜플 동결.
- 퓨즈를 도구·서브프로세스·첫 토큰·벡터에 매핑.
- 스팬에 브레이커·타임아웃·토큰 키 고정.
- 비용 게이트 합산 후 위반 시 중단.
- 원격 소크 4시간+·매니페스트 해시 보관.
프리랜서 M4 렌탈 체험·멀티 모델 라우팅 비용을 함께 보세요. 야간 스윕·타임아웃 리허설·비용 패킷은 전용 원격 Mac에서 먼저 통과시키는 것이 안전합니다.
FAQ
별 루프? 프로세스당 하나, GPU는 직렬. 보편 배치? 없음—그린 튜플을 원격에 재생.