qwen3:30b/qwen3:8b速度测试

编辑器文档
1

模型均为q4量化
测试工具llama.cpp vulkan
配置

qwen3:8b
qwen3:30b

速度(tokens) 7900xt 8845hs
qwen3:30b 50 22
qwen3:8b 71 12

可以跑qwen3:30b不爆显存的卡

  • 7900xtx
  • rtx4090
  • rtx5090