ITIMO创新库

让大模型"量体裁衣":这个工具为你量身选择大模型进行本地部署

精选开源项目评分 3.8316 阅读

shoehorn 是一个用 Rust 从零实现的开源工具,专为将 BF16 GGUF 大语言模型精确量化到用户可用显存而设计。与 Q4_K_M 等固定预设量化不同,shoehorn 先探测你机器的真实可用 VRAM,扣除 KV cache 和计算缓冲区后,通过拉格朗日松弛算法对每个张量进行混合精度分配,确保总大小精确落在预算范围内,利用率超过 99.9%。它支持从 IQ2_XXS 到 Q8_0 的十余种量化格式,输出标准 GGUF v3 文件,兼容 llama.cpp、LM Studio、ollama 等下游工具。一条命令 shoehorn fit unsloth/Qwen3-4B-GGUF --serve 即可完成下载、量化、部署全流程,同时也提供 Web UI 和 shoehorn eval 质量评估功能。MIT 协议,支持 macOS/ Linux/ Windows。

e74ae927-e877-412d-9766-5126b7b5808a.png

开源地址:https://github.com/notactuallytreyanastasio/shoehorn