Calculadora de cuantización de LLM
Compara el tamaño de los pesos en FP32, FP16, INT8 y los formatos de pocos bits.
Funciona por completo en tu navegador. Nada de lo que escribes se envía a ningún sitio.
Sobre esta herramienta
Introduce el número de parámetros para ver el tamaño teórico de los pesos en cada precisión, el tamaño con un margen de sobrecarga y el ahorro frente a FP16. Sirve para juzgar si un modelo cabe antes de descargar un checkpoint cuantizado.
Preguntas y respuestas
- ¿Por qué un archivo GGUF real es mayor que el tamaño teórico?
- Los formatos cuantizados guardan una escala, y a menudo un punto cero, por cada grupo pequeño de pesos, y suelen mantener las incrustaciones y las capas de normalización a mayor precisión. El campo de sobrecarga sirve para aproximar eso.
- ¿Cómo se calcula el tamaño?
- Parámetros por bits por peso, dividido entre ocho. Un modelo de 7B a 4 bits son 7.000.000.000 × 4 / 8 = 3,5 GB antes de la sobrecarga.
- ¿Reducir la precisión perjudica la calidad?
- En general sí, y cada vez más por debajo de unos 4 bits, pero cuánto depende del modelo y del método de cuantización. Esta herramienta solo informa del tamaño; no afirma nada sobre la calidad de la salida.