← Todas las herramientas
¿Qué Puedo Ejecutar Localmente?
Una guía aproximada, basada en reglas prácticas, sobre qué tamaños de modelo de IA local puede manejar realmente tu hardware.
Lo que probablemente puedes ejecutar
En CPU / RAM del sistema
Modelos grandes
Hasta unos 22B de parámetros — cerca de la cima de los modelos abiertos, mejor con una GPU potente.
- con cuantización de 8 bits
- ~11B
- con cuantización de 4 bits
- ~22B
Estas cifras usan aproximaciones prácticas ampliamente citadas (~1GB por mil millones de parámetros en 8 bits, ~0,5GB por mil millones en 4 bits, con margen reservado para el contexto y el sistema operativo) — no son especificaciones precisas. El tamaño realmente utilizable depende de la arquitectura del modelo, la longitud de contexto, el método de cuantización y el software usado.