LLM 量子化サイズ計算
FP32・FP16・INT8 から低ビットまで、モデルの重みサイズを比較します。
すべてブラウザ内で動作します。入力した内容が送信されることはありません。
このツールについて
パラメータ数を入力すると、各精度での理論上の重みサイズ、オーバーヘッドを含めたサイズ、FP16 比の削減率が表で出ます。量子化済みモデルをダウンロードする前に、収まるかどうかの判断に使えます。
よくある質問
- 実際の GGUF ファイルが理論値より大きいのはなぜですか。
- 量子化形式は小さなグループごとにスケール（多くはゼロ点も）を保存し、埋め込みや正規化層は通常より高い精度のまま残すためです。オーバーヘッド欄はその分を概算するためのものです。
- サイズはどう計算しますか。
- パラメータ数 × 1 重みあたりのビット数 ÷ 8 です。7B モデルの 4bit なら 7,000,000,000 × 4 ÷ 8 = 3.5 GB（オーバーヘッド前）になります。
- 精度を下げると品質は落ちますか。
- 一般には落ち、およそ 4bit を下回ると顕著になりますが、程度はモデルと量子化手法によります。このツールが示すのはサイズだけで、出力品質については何も主張しません。