LLM 모델 서빙 시 권장 옵션

meta-llama/Llama-4-Maverick-17B-128E-Instruct-FP8

• 권장 VRAM: 640 GB (양자화로 인해 Hopper 이상 GPU 필요)

• 권장 args: 하단 참조

gpu-memory-utilization: 0.9
enable-expert-parallel: true
quantization: "compressed-tensors"
enable-auto-tool-choice: true
tool-call-parser: "pythonic"
chat-template: "examples/tool_chat_template_llama4_pythonic.jinja"

• v0.9.0 이하에서 tool 옵션 사용 시 unicode 이슈 발생 가능

• Chat template 다운로드 링크

Qwen/Qwen3-235B-A22B

• 권장 VRAM: 640 GB

• 권장 args: 하단 참조

gpu-memory-utilization: 0.95
max-model-len: 32768
tool-call-parser: "hermes"
reasoning-parser: "qwen3"
enable-expert-parallel: true
enable-auto-tool-choice: true
enable-reasoning: true

• Qwen3 reasoning parser는 v0.9.0 이상 지원

• Reasoning을 원하지 않을 경우 "--no-enable-reasoning": "X-BOOLEAN-TRUE" 사용 (v0.10.0에서 deprecated 예정)

google/gemma-3-27b-it

• 권장 VRAM: 640 GB

• 권장 args: 하단 참조

gpu-memory-utilization: 0.9
max-model-len: 100000
tool-call-parser: "pythonic"
chat-template: "/mnt/model/tool_chat_template_gemma3_pythonic.jinja"
enable-auto-tool-choice: true

• Function calling template을 별도로 추가해야 tool-call-parser 사용 가능

• Gemma3는 tool calling을 위한 special token이 존재하지 않아, 성능이 저조할 수 있음

• Chat template 다운로드 링크

---

RoPE

• RoPE scaling은 아래와 같이 설정 가능

rope-scaling:
  rope_type: "yarn"
  factor: 4.0
  original_max_position_embeddings: 32768