추측 디코딩은 초안 연산을 늘리고 검증 스텝을 줄이는 거래입니다. 맥 통합 메모리에서는 실제 프롬프트로 십 분 소크한 수락과 압력이 통과한 조합만 승리합니다.
목차: 하드웨어 전제 · 방법 비교 · 파라미터 스윕 단계 · 실패 폴백 · FAQ
스택 중립 요약입니다. 케이브이 매트릭스 올라마 라우팅 평가 동결 관측을 같이 보세요.
난점 1) 수락 없이 처리량만 보는 착시 2) 통합 메모리 피크를 무시한 초안 추가 3) 롤백 꼬리를 평균으로 가리는 보고
하드웨어 전제
엠포급 전원·열·데스크톱 발자국에서 측정하세요. 통합 메모리는 초안·검증·케이브이가 한 풀입니다.
메모리 봉투 선언 예시 이십사기가바이트면 여덟에서 열두기가바이트 여유 합의 후 소크 양자화와 토크나이저와 템플릿 핀 고정.
방법 비교
자기회귀는 매 스텝 검증 한 번 추측은 초안 블록 제안 후 검증이 묶어 받거나 롤백합니다. 신호는 처리량·꼬리 지연·수락·피크 메모리 네 가지로 같습니다.
| 축 | 자기회귀 | 추측 블록 | 메모 |
|---|---|---|---|
| 패턴 | 토큰마다 검증 전방 | 초안 전방과 묶인 검증 | 대역 안에서 초안이 검증 몫을 먹는지 |
| 처리량 | 검증 한계 | 수락 길이 곱에서 롤백 차감 | 수락 낮으면 세금만 증가 |
| 꼬리 | 단일 스트림은 매끈 | 블록 경계 롤백 몰림 | 구십오·구십구 백분위 필수 |
| 메모리 | 검증과 케이브이 | 쌍 가중치와 넓은 활성 | 소크 피크 상주가 게이트 |
| 품질 | 경로 하나 | 초안·검증 정책 정렬 | 제이슨·도구 문법부터 흔들림 |
임계 예시 자기회귀 중앙 삼십팔토큰당초 구십오 백분위 오십이밀리초면 추측은 사십사 이상 사십오 이하 블록 네 수락 영점오오 이상 동시 충족 시 후보 오분 창 둘 연속 영점사 미만이면 폴백.
파라미터 스윕 단계
하네스 고정 후 손잡이 하나씩 움직이세요.
- 동결: 체크섬·양자화·런타임·메탈 플래그 기록.
- 믹스: 짧은 제어·중간 추론·긴 검색 접두 층.
- 기하: 검증당 초안 토큰 둘에서 여섯까지 거칠게 수락과 처리량 동시 기록.
- 분해: 첫토큰·프리필·안정 디코드 분리 초안이 첫토큰을 깎을 수 있음.
- 소크: 데스크톱 켠 채 육백초 이상 상주 폭주나 스왑 단조 증가면 실패.
- 관측: 자기회귀 필드에 수락·롤백·초안 전방 횟수 추가.
통합 메모리 수락 체크리스트
- 여유: 바닥 이상 예시 십기가바이트급.
- 압력: 빨간 연속 육십초 미만.
- 스왑: 누적 이백메가바이트 이하 예시.
- 열: 쓰로틀 영건.
- 첫토큰: 짧은 프롬프트 팔퍼센트 이내 아니면 큐잉 문서.
- 품질: 제이슨 미니셋 영점오퍼센트포인트 이내.
실패 시 폴백
임계 초과 시 추측 끄고 순수 자기회귀 동일 샘플링 메타 유지.
블록 축소 가벼운 초안 초안 제거 순 타임스탬프 로그 로컬 빡빡하면 원격 맥 미니 엠포 동일 핀 재생.
FAQ
항상 빨라지나? 수락 낮으면 아님.
아무 초안? 토크나이저 로짓 정렬 필수.
공정 비교? 프롬프트 온도 전원 고정 수락 처리량 첫토큰 메모리 품질 동시.
동시성? 게이트웨이 캡 먼저.
요약: 동결 스윕 폴백 후 운영 승격.