LLM 量化体积计算
比较 FP32、FP16、INT8 以及各低比特格式下的权重体积。
全部在浏览器内运行，你输入的内容不会被上传。
关于这个工具
输入参数量，即可看到各精度下的理论权重体积、计入开销后的体积，以及相对 FP16 的节省比例。可在下载量化模型前判断能否装下。
常见问题
- 为什么实际的 GGUF 文件比理论值大？
- 量化格式会为每个小分组保存缩放系数（通常还有零点），并且嵌入层与归一化层通常保持较高精度。开销一栏正是用来近似这部分的。
- 体积如何计算？
- 参数量 × 每权重比特数 ÷ 8。7B 模型在 4bit 下为 7,000,000,000 × 4 ÷ 8 = 3.5 GB（未计开销）。
- 降低精度会损害质量吗？
- 通常会，低于约 4bit 后更明显，但程度取决于模型与量化方法。本工具只给出体积，不对输出质量作任何判断。