Risolvere gli Errori VRAM Out of Memory e Crash CUDA con DeepSeek su Ollama

Eseguire modelli linguistici avanzati in locale richiede risorse hardware notevoli. L’architettura avanzata della famiglia DeepSeek mette a dura prova le schede grafiche consumer.

Durante l’esecuzione su Ollama possono comparire blocchi improvvisi. In questa guida analizziamo come risolvere il crash CUDA con modelli DeepSeek e gestire la memoria grafica.

Per una panoramica completa sulle problematiche note, consulta la nostra guida completa agli errori di DeepSeek.

Perché si verificano gli errori di memoria su Ollama

La memoria grafica dedicata non è infinita. I modelli linguistici richiedono spazio per i pesi e per i calcoli attivi.

La saturazione della VRAM e il buffer di contesto

Quando carichi un modello, Ollama alloca i tensori nella memoria video. La dimensione del modello determina il quantitativo iniziale di memoria occupata.

A questa quota base si aggiunge il Context Window. Ogni token memorizzato richiede ulteriore spazio di calcolo dinamico.

Se la memoria fisica si esaurisce, il driver video interrompe il processo. Questo evento genera il tipico errore CUDA out of memory.

La suddivisione dei layer tra GPU e CPU

Ollama tenta di distribuire i calcoli tra scheda grafica e processore centrale. Questo meccanismo di offload automatico è utile ma delicato.

Molti utenti riscontrano un crash CUDA con modelli DeepSeek quando la finestra di contesto supera i limiti fisici. Il driver grafico rifiuta ulteriori allocazioni improvvise e l’applicazione si arresta.

Configurare il Modelfile per ridurre l’impronta di memoria

Puoi intervenire direttamente sui parametri di configurazione del motore di inferenza. Modificare il file di configurazione offre il massimo controllo sulle risorse allocate.

Ridurre il parametro num_ctx

Il parametro num_ctx definisce quanti token il modello può analizzare contemporaneamente. Un valore predefinito troppo alto consuma gigabyte preziosi.

Crea un file di testo denominato Modelfile e definisci una finestra inferiore:

• Apri il terminale del tuo sistema operativo.
• Crea un nuovo file con il comando nano Modelfile.
• Inserisci la riga FROM deepseek-r1:8b nella prima posizione.
• Aggiungi il comando PARAMETER num_ctx 4096 per limitare la memoria.
• Salva il file e ricompila con ollama create deepseek-custom -f ./Modelfile.

Una configurazione errata dei parametri genera frequentemente un crash CUDA con modelli DeepSeek su sistemi desktop. Ridurre il contesto da 8192 a 4096 token dimezza lo spazio richiesto dalla memoria temporanea.

Limitare i layer caricati sulla GPU con num_gpu

Se la scheda non supporta l’intero modello, puoi forzare la quantità di layer elaborati via hardware. Il parametro num_gpu stabilisce quanti livelli risiedono nella memoria video.

Segui questa procedura pratica per alleggerire la VRAM:

1. Modifica il file Modelfile inserendo PARAMETER num_gpu 25.
2. Inizia con un valore basso per verificare la stabilità.
3. Aumenta gradualmente il valore di due unità alla volta.
4. Monitora costantemente la memoria tramite strumenti di diagnostica.

Attenzione: un valore di num_ctx troppo elevato satura la memoria istantaneamente. Riduci il contesto prima di cambiare modello per evitare crash di sistema.

Scegliere la corretta quantizzazione del modello

La dimensione dei modelli varia in base al livello di compressione numerica adottato. Scegliere la variante adatta al proprio hardware previene crash e rallentamenti critici.

Confronto tra formati di quantizzazione

I modelli nativi a 16 bit richiedono enormi quantitativi di VRAM. La quantizzazione riduce la precisione numerica dei pesi per risparmiare spazio utile.

Le varianti a 4 bit (Q4_K_M) offrono un bilanciamento ideale tra qualità e consumo. Le versioni a 8 bit (Q8_0) mantengono una fedeltà logica superiore ma raddoppiano la memoria occupata.

L’uso di quantizzazioni errate rappresenta la causa principale del crash CUDA con modelli DeepSeek durante l’inferenza. Se possiedi una GPU da 8 GB, orientati sempre su modelli con quantizzazione Q4.

Scaricare la variante più leggera

Ollama permette di selezionare varianti compresse con un solo comando da terminale:

• Esegui il comando ollama run deepseek-r1:7b-q4_K_M per scaricare la versione leggera.
• Se riscontri ancora instabilità, passa alla versione q3_K_M.
• Verifica che lo spazio libero sulla VRAM rimanga superiore a 1,5 GB.

Ottimizzazione delle variabili d’ambiente di sistema

Il comportamento di Ollama può essere modificato configurando variabili d’ambiente globali. Queste opzioni stabilizzano la comunicazione con il runtime CUDA.

Abilitare Flash Attention e disattivare il parallelismo

L’algoritmo Flash Attention riduce drasticamente l’occupazione di memoria nei modelli avanzati. Puoi abilitarlo prima di avviare il servizio Ollama.

Inoltre, impostare il parallelismo su un singolo flusso evita richieste concorrenti impreviste. Procedi come descritto:

• Su Linux o macOS, esegui export OLLAMA_FLASH_ATTENTION=1 nel terminale.
• Imposta l’elaborazione singola digitando export OLLAMA_NUM_PARALLEL=1.
• Su Windows, inserisci le medesime voci nelle Variabili di Ambiente di Sistema.
• Riavvia il servizio di Ollama per applicare le nuove direttive.

Monitorare la memoria grafica in tempo reale

Controllare lo stato della scheda video permette di anticipare i blocchi hardware improvvisi. Apri una finestra di terminale secondaria durante i test.

Utilizza l’utility ufficiale NVIDIA digitando nvidia-smi -l 1. Il comando aggiorna i consumi di memoria ogni secondo. Se il consumo supera il 95%, interrompi subito l’inferenza.

Domande frequenti (FAQ)

Come prevenire un crash CUDA con modelli DeepSeek su una scheda grafica con soli 8 GB di memoria?

Per le schede da 8 GB si consiglia l’uso di DeepSeek-R1 nella versione quantizzata a 7B o 8B con compressione Q4. È fondamentale impostare il valore di num_ctx a 2048 o 4096 all’interno del Modelfile. Queste accortezze garantiscono la massima stabilità operativa.

Cosa accade quando Ollama sposta il carico sulla CPU?

Quando la VRAM non è sufficiente, Ollama attiva l’offload automatico sulla memoria RAM di sistema. Il modello non va in crash, ma la velocità di generazione crolla visibilmente. La velocità dei token generati può ridursi anche di dieci volte rispetto alla GPU.

Come posso risolvere i problemi se riscontro altri errori con Ollama?

I problemi di inferenza possono dipendere da conflitti nei driver NVIDIA o da versioni datate del software. Ti consigliamo di leggere la nostra guida completa dedicata alla risoluzione degli errori per ottenere soluzioni approfondite su ogni singola anomalia riscontrata.