Nota 02 / Inferenza · Operatività
Llama su GPU: pianifica la memoria, poi misura
I pesi sono solo una parte della memoria. Verifica cache KV, contesto e runtime prima di scegliere la configurazione di serving.
Il modello entra davvero nella GPU?
Nome del modello e bit della quantizzazione non bastano per pianificare un server affidabile. Oltre ai pesi, occupano memoria metadati di quantizzazione, attivazioni, buffer del runtime e cache KV. Lunghezza del contesto e richieste simultanee cambiano il fabbisogno. L40S è un possibile dispositivo, non una garanzia per una configurazione del modello.
Calcola un limite inferiore
Il calcolo considera solo i pesi memorizzati in modo ideale. Aiuta a individuare presto ipotesi implausibili. Non modella il checkpoint reale né l’allocazione di vLLM. Nella pianificazione non confondere GB e GiB.
from decimal import Decimal
def weight_lower_bound_gib(parameters, bits):
if parameters <= 0 or bits <= 0:
raise ValueError("parameters and bits must be positive")
# Solo pesi: niente cache KV, buffer o metadati.
weight_bytes = Decimal(parameters) * Decimal(bits) / 8
return weight_bytes / (Decimal(1024) ** 3)
# Esempio aritmetico, non una misura della memoria GPU.
estimate = weight_lower_bound_gib(70_000_000_000, 4)
assert Decimal("32") < estimate < Decimal("33")
Verifica checkpoint e runtime insieme
Registra revisione del modello, tokenizer, formato di quantizzazione, versione vLLM, GPU e driver. Verifica la compatibilità nella documentazione di quella versione. GGUF, AWQ e GPTQ sono formati diversi: una sigla di llama.cpp non è automaticamente una configurazione vLLM valida. La documentazione attuale descrive GGUF in vLLM come sperimentale e spostato in un plugin separato.
Parti con contesto e concorrenza limitati. Rileva la memoria all’avvio, durante il prefill e durante la generazione dei token. Prova anche input lunghi e interruzioni. L’avvio riuscito non dimostra che il sistema gestisca stabilmente picchi o contesti lunghi.
Prepara un piano di misura riproducibile
Definisci i confini: Time-to-First-Token fino al primo token visibile, durata complessiva fino all’ultimo token e tasso di errore separato. Registra lunghezze dei prompt, limite delle risposte, concorrenza, warm-up e ripetizioni. Confronta le quantizzazioni sullo stesso set di valutazione: minore memoria può cambiare la qualità.
Cosa è stato verificato qui
Il test Python locale verifica la funzione aritmetica e gli input invalidi. Non è stato eseguito un benchmark GPU. La nota non riporta quindi latenze, throughput, qualità misurata o presunti parametri vLLM ottimali. Anche una seconda GPU non crea automaticamente alta disponibilità: l’host comune resta un punto di guasto condiviso.