LLM VRAM 計算
パラメータ数と精度から、モデルに必要な GPU メモリを見積もります。
すべてブラウザ内で動作します。入力した内容が送信されることはありません。
このツールについて
パラメータ数と重みの精度を入力すると重みのメモリ量が出ます。層数・KV ヘッド数・ヘッド次元・コンテキスト長・バッチサイズを指定すると KV キャッシュを加えた詳細見積りになります。これらが無い場合は推測せず「重みのみ」として報告します。
よくある質問
- 重みのメモリ量はどう計算しますか。
- パラメータ数 × 1 重みあたりのビット数 ÷ 8 です。7B モデルの FP16 なら 7,000,000,000 × 16 ÷ 8 = 14 GB になります。
- KV キャッシュが表示されないことがあるのはなぜですか。
- モデルの規模ではなくアーキテクチャに依存するためです。層数・KV ヘッド数・ヘッド次元が分からなければ誠実に計算する方法がないので、数値を捏造せず「重みのみ」と表示します。
- GPU に収まれば必ず動きますか。
- 必ずしも動きません。この見積りは重み、判明している場合の KV キャッシュ、指定した余裕分を含みます。実行時には活性値のための作業領域も必要で、断片化やドライバも一部を消費します。