¿Qué Puedo Ejecutar Localmente?

Para qué sirve

Sirve para quien quiere ejecutar un modelo de IA en su propio computador, sin depender de la nube, y necesita saber hasta qué tamaño aguanta su equipo. Ingresas la RAM del sistema y, si la tienes, la VRAM de la tarjeta gráfica, y ves el rango de modelos que probablemente cabe, de pequeños a muy grandes.

Cómo funciona

La herramienta aplica dos reglas prácticas: cerca de 1 GB de memoria por cada mil millones de parámetros en cuantización de 8 bits, y cerca de 0,5 GB en 4 bits. Antes reserva el 30% de la memoria para el sistema operativo, el programa de inferencia y el contexto, así que solo cuenta el 70%. El resultado es el máximo de miles de millones de parámetros en 8 y en 4 bits, y un nivel de tamaño según el valor de 4 bits.

Ejemplo práctico

Con 16 GB de RAM quedan 11,2 GB utilizables (70%). En 8 bits son unos 11,2 mil millones de parámetros; en 4 bits, unos 22,4 mil millones. Como 22,4 queda entre 13 y 34, la herramienta lo clasifica como modelos grandes. Con 32 GB las cifras se duplican: 22,4 y 44,8 mil millones, ya en el nivel de modelos muy grandes.

Límites y precauciones

Es una aproximación de regla práctica, no una especificación. La capacidad real depende de la arquitectura del modelo, la longitud del contexto, el programa que uses y la velocidad que esperes. Ejecutar en CPU funciona, pero puede ser bastante lento.

Preguntas frecuentes

¿Cuánta RAM necesito para ejecutar un modelo de IA local?

Depende del tamaño y de la cuantización. Con la regla usada aquí, un modelo de 7 mil millones de parámetros en 4 bits necesita cerca de 3,5 GB solo para los pesos, y la herramienta además reserva un margen del 30% para el sistema y el contexto.

¿Qué significa cuantización de 4 bits o de 8 bits?

Es una técnica que guarda los pesos del modelo con menos precisión para ocupar menos memoria. Con 4 bits se usa aproximadamente la mitad de la memoria que con 8 bits, con una pérdida de calidad que varía según el modelo.

¿Conviene más usar la VRAM de la GPU o la RAM del sistema?

Ejecutar en la VRAM de la tarjeta gráfica suele ser mucho más rápido, pero el modelo debe caber allí. La RAM del sistema admite modelos más grandes, aunque la generación es más lenta. La herramienta muestra ambas estimaciones.