Xiaomi, in collaborazione con TileRT, ha raggiunto un record di 1.000 token al secondo con un modello da 1 trilione di parametri, utilizzando un nodo GPU standard. La tecnologia innovativa FP4 quantization e DFlash speculative decoding permette prestazioni senza precedenti, aprendo nuove possibilità per l'adozione industriale dell'AI.

Leggi su GoYou