Calculadora de VRAM para LLM
Estima la memoria de GPU que necesita un modelo según sus parámetros y precisión.
Funciona por completo en tu navegador. Nada de lo que escribes se envía a ningún sitio.
Sobre esta herramienta
Introduce el número de parámetros y la precisión de los pesos para obtener la memoria de pesos. Si aportas la arquitectura —capas, cabezas KV, dimensión de cabeza, longitud de contexto y tamaño de lote— añade la caché KV para una estimación detallada. Sin esos datos informa solo de los pesos en lugar de inventarlos.
Preguntas y respuestas
- ¿Cómo se calcula la memoria de pesos?
- Parámetros por bits por peso, dividido entre ocho. Un modelo de 7B en FP16 son 7.000.000.000 × 16 / 8 = 14 GB.
- ¿Por qué a veces no aparece la caché KV?
- Porque depende de la arquitectura del modelo, no solo de su tamaño. Sin el número de capas, de cabezas KV y la dimensión de cabeza no hay forma honesta de calcularla, así que la herramienta indica solo pesos en vez de inventar una cifra.
- ¿Que quepa en mi GPU significa que funcionará?
- No necesariamente. La estimación cubre los pesos, la caché KV cuando se conoce y el margen que fijes. Los entornos de ejecución también necesitan espacio para las activaciones, y la fragmentación y el controlador se llevan su parte.