LLM-VRAM-Rechner
Schätzt den GPU-Speicher eines Modells aus Parameterzahl und Präzision.
Läuft vollständig im Browser. Nichts, was Sie eingeben, wird hochgeladen.
Über dieses Werkzeug
Geben Sie Parameterzahl und Gewichtspräzision ein, um den Speicher für die Gewichte zu erhalten. Liefern Sie die Architektur — Schichten, KV-Köpfe, Kopfdimension, Kontextlänge und Batchgröße —, kommt der KV-Cache für eine detaillierte Schätzung hinzu. Ohne diese Angaben meldet der Rechner nur die Gewichte, statt sie zu erraten.
Fragen und Antworten
- Wie wird der Gewichtsspeicher berechnet?
- Parameter mal Bits pro Gewicht, geteilt durch acht. Ein 7B-Modell in FP16 sind 7.000.000.000 × 16 / 8 = 14 GB.
- Warum fehlt manchmal der KV-Cache?
- Weil er von der Architektur des Modells abhängt, nicht nur von seiner Größe. Ohne Schichtzahl, KV-Kopfzahl und Kopfdimension gibt es keine ehrliche Rechnung, also meldet das Werkzeug nur die Gewichte, statt eine Zahl zu erfinden.
- Heißt Hineinpassen, dass es läuft?
- Nicht zwingend. Die Schätzung deckt die Gewichte, den KV-Cache sofern bekannt, und den von Ihnen gesetzten Zuschlag ab. Laufzeiten brauchen zusätzlich Platz für Aktivierungen, und Fragmentierung sowie der Treiber holen sich ihren Anteil.