Engineering Notes

Nota 02 / Inferenza · Operatività

Llama su GPU: pianifica la memoria, poi misura

I pesi sono solo una parte della memoria. Verifica cache KV, contesto e runtime prima di scegliere la configurazione di serving.

Il modello entra davvero nella GPU?

Nome del modello e bit della quantizzazione non bastano per pianificare un server affidabile. Oltre ai pesi, occupano memoria metadati di quantizzazione, attivazioni, buffer del runtime e cache KV. Lunghezza del contesto e richieste simultanee cambiano il fabbisogno. L40S è un possibile dispositivo, non una garanzia per una configurazione del modello.

Calcola un limite inferiore

Il calcolo considera solo i pesi memorizzati in modo ideale. Aiuta a individuare presto ipotesi implausibili. Non modella il checkpoint reale né l’allocazione di vLLM. Nella pianificazione non confondere GB e GiB.

Python · limite inferiore ideale della memoria
from decimal import Decimal


def weight_lower_bound_gib(parameters, bits):
    if parameters <= 0 or bits <= 0:
        raise ValueError("parameters and bits must be positive")
    # Solo pesi: niente cache KV, buffer o metadati.
    weight_bytes = Decimal(parameters) * Decimal(bits) / 8
    return weight_bytes / (Decimal(1024) ** 3)

# Esempio aritmetico, non una misura della memoria GPU.
estimate = weight_lower_bound_gib(70_000_000_000, 4)
assert Decimal("32") < estimate < Decimal("33")

Verifica checkpoint e runtime insieme

Registra revisione del modello, tokenizer, formato di quantizzazione, versione vLLM, GPU e driver. Verifica la compatibilità nella documentazione di quella versione. GGUF, AWQ e GPTQ sono formati diversi: una sigla di llama.cpp non è automaticamente una configurazione vLLM valida. La documentazione attuale descrive GGUF in vLLM come sperimentale e spostato in un plugin separato.

Parti con contesto e concorrenza limitati. Rileva la memoria all’avvio, durante il prefill e durante la generazione dei token. Prova anche input lunghi e interruzioni. L’avvio riuscito non dimostra che il sistema gestisca stabilmente picchi o contesti lunghi.

Prepara un piano di misura riproducibile

Definisci i confini: Time-to-First-Token fino al primo token visibile, durata complessiva fino all’ultimo token e tasso di errore separato. Registra lunghezze dei prompt, limite delle risposte, concorrenza, warm-up e ripetizioni. Confronta le quantizzazioni sullo stesso set di valutazione: minore memoria può cambiare la qualità.

Cosa è stato verificato qui

Il test Python locale verifica la funzione aritmetica e gli input invalidi. Non è stato eseguito un benchmark GPU. La nota non riporta quindi latenze, throughput, qualità misurata o presunti parametri vLLM ottimali. Anche una seconda GPU non crea automaticamente alta disponibilità: l’host comune resta un punto di guasto condiviso.