O Que Eu Consigo Rodar Localmente?

Para que serve

Serve para quem quer rodar um modelo de IA no próprio computador, sem depender de nuvem, e precisa saber até que tamanho o hardware aguenta. Você informa a RAM do sistema e, se tiver, a VRAM da placa de vídeo, e vê a faixa de modelos que provavelmente cabe, de pequenos a muito grandes.

Como funciona

A ferramenta usa duas regras práticas: cerca de 1 GB de memória por bilhão de parâmetros em quantização de 8 bits e cerca de 0,5 GB em 4 bits. Antes disso, reserva 30% da memória para o sistema operacional, o programa de inferência e o contexto, então usa só 70% do que você informou. O resultado é o máximo de bilhões de parâmetros em 8 e em 4 bits, e uma faixa (pequeno, médio, grande...) definida pelo valor de 4 bits.

Exemplo prático

Com 16 GB de RAM, sobram 11,2 GB utilizáveis (70%). Em 8 bits isso dá cerca de 11,2 bilhões de parâmetros; em 4 bits, cerca de 22,4 bilhões. Como 22,4 fica entre 13 e 34, a ferramenta classifica como modelos grandes. Com 32 GB, os valores dobram: 22,4 e 44,8 bilhões, já na faixa de modelos muito grandes.

Limites e cuidados

É uma aproximação de regra prática, não uma especificação. O tamanho real depende da arquitetura do modelo, do tamanho do contexto, do programa que você usa e da velocidade desejada. Rodar na CPU funciona, mas pode ser bem lento.

Perguntas frequentes

Quanta RAM preciso para rodar um modelo de IA local?

Depende do tamanho e da quantização. Pela regra usada aqui, um modelo de 7 bilhões de parâmetros em 4 bits pede perto de 3,5 GB só para os pesos, e a ferramenta ainda reserva uma folga de 30% para sistema e contexto.

O que significa quantização de 4 bits ou 8 bits?

É uma técnica que guarda os pesos do modelo com menos precisão para ocupar menos memória. 4 bits usa mais ou menos metade da memória de 8 bits, com alguma perda de qualidade que varia de modelo para modelo.

Vale mais usar a VRAM da GPU ou a RAM do sistema?

Rodar na VRAM da placa de vídeo costuma ser bem mais rápido, mas o modelo precisa caber nela. A RAM do sistema comporta modelos maiores, só que a geração fica mais lenta. A ferramenta mostra as duas estimativas lado a lado.