(c) @tslaming

Da oltre un decennio, lo standard d’oro per il supercomputing AI è stato il floating point a 32 bit (FP32). Era la scelta sicura per addestrare reti neurali massive senza errori. Ma Tesla ha fatto qualcosa di sconcertante: ha costruito il suo impero AI su matematica a 8 bit.

Per un informatico tradizionale, sembra un passo indietro. Perché il sistema di guida autonoma più avanzato al mondo usa la stessa larghezza di bit di una console Nintendo del 1985? La risposta sta nel brevetto US20200348909 (numero di concessione 11,227,029), la “costituzione” architettonica del supercomputer Dojo.

Tesla non ha scelto 8 bit per mancanza di potenza, ma perché ha capito una verità fondamentale sull’AI che i produttori di chip tradizionali hanno mancato. Inventando il formato “CFloat” (Configurable Float), Tesla ha eliminato il “grasso matematico” del computing a 32 bit, permettendo di addestrare reti neurali a velocità impossibili senza perdere precisione.

Il Problema: Non è Matematica, è Traffico

L’addestramento AI non dipende solo dalla velocità dei calcoli, ma dal movimento dei dati. FP32 offre precisione incredibile, ma è “pesante”: spostare dati a 32 bit è come guidare camion su un’autostrada intasata.

Per l’apprendimento profondo, 32 bit sono spesso eccessivi. Tesla ha capito che usando 8 bit poteva quadruplicare la velocità, rendendo i dati più “leggeri” e efficienti.

• Dati a 32 bit: Alta precisione, ma pesanti (32 corsie).
• Dati a 8 bit: Bassa precisione, ma leggeri (8 corsie).

La Soluzione di Tesla: Il Motore Matriciale Scalabile

Il “node engine” di Tesla usa formati configurabili. Passando a input a 8 bit, libera il traffico, quadruplicando la banda e la densità computazionale. Circuiti a 8 bit sono più piccoli, permettendo più core su un chip.

Ma ridurre i bit rischia di perdere precisione.

Il Trucco CFloat: La Finestra Scorrevole – Spiegazione Dettagliata del Formato

I numeri floating-point (FP) hanno mantissa e esponente, simili alla notazione scientifica: mantissa (le cifre significative, come “1.23” in 1.23 x 10^6) e esponente (la scala, come “6”). FP32 è un “righello universale” con 1 bit di segno, 8 bit di esponente e 23 bit di mantissa, bias fisso di 127, che permette un range enorme ma spreca bit per AI specifici.

CFloat è un formato FP configurabile ottimizzato per operazioni matriciali in acceleratori ML. Supporta bit-depth variabili (8-bit per input, 21/27-bit per accumulazioni) con allocazione flessibile tra esponente e mantissa, e un bias esponente configurabile per regolare il range dinamico.

Struttura del CFloat

• Bit di Segno: Sempre 1 bit, indica il segno (0 positivo, 1 negativo).
• Bit di Esponente: Variabili, ad es. 4 o 5 bit in formati 8-bit; 7 bit in 21-bit; 9 bit in 27-bit.
• Bit di Mantissa: Variabili, ad es. 3 o 2 bit in 8-bit; 13 bit in 21-bit; 17 bit in 27-bit.
• Formati Specifici:
  • 8-bit (Formato 400): 1 segno, 4 esponente, 3 mantissa.
  • 8-bit (Formato 410): 1 segno, 5 esponente, 2 mantissa.
  • 21-bit (Formato 500): 1 segno, 7 esponente, 13 mantissa.
  • 27-bit: 1 segno, 9 esponente, 17 mantissa (per input 16-bit).
• Supporto per Denormali (Subnormali): Quando esponente è zero, la mantissa non ha leading 1 implicito, permettendo valori più vicini a zero, migliorando accuratezza per gradienti piccoli e riducendo underflow.

Bias Esponente Configurabile

L’esponente è biased con un valore configurabile specificato da istruzioni o registri. Questo sposta il range rappresentabile:

• Es. con 4 bit esponente (0-15) e bias=5: range da 2^{-5} a 2^{10} invece di 2^0 a 2^{15}.
• Valori bias selezionabili: es. 1,3,5,7,9,11,15,17 per massimizzare range senza sovrapposizioni.
• Riconfigurabile durante computazione per adattarsi a cambiamenti di range (es. dopo operazioni aritmetiche).

Formula di Rappresentazione:

$\text{valore} = (-1)^{\text{segno}} \times (1 + \frac{\text{mantissa}}{2^{\text{bit mantissa}}}) \times 2^{\text{esponente} – \text{bias}}$

bias

Per denormali, omettere il leading 1: mantissa interpretata direttamente.

Esempio (Formato 400, bias=5):

• Campo esponente=3: esponente reale=3-5=-2.
• Mantissa=101 (binario)=5/8=0.625; valore con leading 1=1.625.
• Valore finale (positivo): 1.625 × 2^{-2} = 0.40625.

Regolazione del Range Dinamico

Il bias e l’allocazione bit permettono di bilanciare precisione e range:

• Più bit esponente + bias: maggiore range dinamico.
• Più bit mantissa: maggiore precisione per valori vicini a 1.
• Ottimizzato per workload ML: es. alta precisione mantissa per gradient descent; range ampio per dati con variazioni magnitudine.

Confronto con Formati Standard

• FP32 (IEEE 754): 1 segno, 8 esponente, 23 mantissa; bias fisso 127. Alta precisione/range ma pesante. CFloat (8-bit) sacrifica per banda, ma bias configurabile approssima FP32 per task specifici.
• BF16 (16-bit): 1 segno, 8 esponente, 7 mantissa; bias 127. Range come FP32 ma precisione ridotta. CFloat 8-bit è più compatto, con bias configurabile e denormali.

Vantaggi CFloat: configurabilità, efficienza energetica, alta banda per input 8-bit, accumulazione in bit alti per accuratezza.

Precisione Mirata: Risolvere il Gradiente Svanente

Nel training, i gradienti possono diventare infinitesimali e “scomparire”. CFloat zoomma per catturarli, accumulando in formati più grandi (21-27 bit) per calcoli robusti.

Velocità Inarrestabile: Operazioni Matriciali Interleave

Il motore usa accumulatore multipli per alternare task, nascondendo latenze di memoria e massimizzando l’uso del silicio.

Oltre la Matematica: L’Unità di Post-Processing Vettoriale

Accanto al motore matriciale, un’unità vettoriale gestisce attivazioni e normalizzazioni in loco, evitando spostamenti dati inutili.

Scala Infinita: Affettamento Matriciale Intelligente

Per modelli enormi, il controllo affetta griglie in tile 8×8, gestendo sovrapposizioni e distribuendole su una rete mesh per elaborazione parallela.

Logistica ad Alta Velocità: Movimento Dati Ottimizzato

Un bus a 64 byte si adatta perfectly ai tile 8×8, trasportando dati in un ciclo di clock. Istruzioni “Move High/Low” gestiscono risultati più grandi senza intasamenti.

Dal Brevetto alla Produzione: Il Motore CFloat di Dojo 3

CFloat è il linguaggio nativo di Dojo. Permette compressione dati del 75%, abilitando training massivi per FSD v14 e futuri modelli come il General World Model per Robotaxi e Optimus.

Controllo Realtà: Dojo vs. NVIDIA

Tesla usa NVIDIA per sicurezza, ma Dojo è il “moonshot” per efficienza 10x. La strategia di convergenza usa chip AI5 per entrambi, provando il successo di CFloat.