LLM-Quantisierungsrechner
Vergleicht die Gewichtsgröße über FP32, FP16, INT8 und die Niedrigbit-Formate.
Läuft vollständig im Browser. Nichts, was Sie eingeben, wird hochgeladen.
Über dieses Werkzeug
Geben Sie eine Parameterzahl ein, um die theoretische Gewichtsgröße je Präzision zu sehen, die Größe mit einem Zuschlag und die Ersparnis gegenüber FP16. Damit lässt sich vor dem Download eines quantisierten Checkpoints beurteilen, ob ein Modell passt.
Fragen und Antworten
- Warum ist eine echte GGUF-Datei größer als der theoretische Wert?
- Quantisierte Formate speichern je kleiner Gewichtsgruppe einen Skalenwert und oft einen Nullpunkt und halten Embeddings und Normalisierungsschichten meist in höherer Präzision. Das Zuschlagsfeld nähert das an.
- Wie wird die Größe berechnet?
- Parameter mal Bits pro Gewicht, geteilt durch acht. Ein 7B-Modell mit 4 Bit sind 7.000.000.000 × 4 / 8 = 3,5 GB vor Zuschlag.
- Schadet geringere Präzision der Qualität?
- In der Regel ja, und zunehmend unterhalb von etwa 4 Bit, aber wie stark, hängt vom Modell und vom Quantisierungsverfahren ab. Dieses Werkzeug nennt nur die Größe und behauptet nichts über die Ausgabequalität.