[Cina, Shenzhen, 14 luglio 2023] Oggi Huawei ha presentato la sua nuova soluzione di storage AI per l'era dei modelli su larga scala, fornendo soluzioni di storage ottimali per l'addestramento dei modelli di base, l'addestramento dei modelli specifici del settore e l'inferenza in scenari segmentati, liberare nuove capacità di intelligenza artificiale.
Nello sviluppo e nell’implementazione di applicazioni modello su larga scala, le imprese devono affrontare quattro sfide principali:
In primo luogo, il tempo richiesto per la preparazione dei dati è lungo, le origini dati sono sparse e l’aggregazione è lenta: occorrono circa 10 giorni per la preelaborazione di centinaia di terabyte di dati. In secondo luogo, per i modelli multimodali di grandi dimensioni con enormi set di dati di testo e immagini, la velocità di caricamento corrente per file di piccole dimensioni è inferiore a 100 MB/s, con conseguente bassa efficienza per il caricamento del set di addestramento. In terzo luogo, frequenti aggiustamenti dei parametri per modelli di grandi dimensioni, insieme a piattaforme di addestramento instabili, causano interruzioni dell'addestramento circa ogni 2 giorni, rendendo necessario il meccanismo Checkpoint per riprendere l'addestramento, con il recupero che richiede più di un giorno. Infine, soglie di implementazione elevate per modelli di grandi dimensioni, configurazione di sistema complessa, sfide di pianificazione delle risorse e utilizzo delle risorse GPU spesso inferiore al 40%.
Huawei si sta allineando al trend dello sviluppo dell’intelligenza artificiale nell’era dei modelli su larga scala, offrendo soluzioni su misura per diversi settori e scenari. Presenta il Data Lake Storage per il deep learning OceanStor A310 e l'appliance superconvergente per formazione/inferenza FusionCube A3000. OceanStor A310 Deep Learning Data Lake Storage si rivolge a scenari di data Lake di grandi dimensioni sia di base che di settore, ottenendo una gestione completa dei dati AI dall'aggregazione dei dati, alla preelaborazione, all'addestramento del modello e alle applicazioni di inferenza. OceanStor A310, in un singolo rack 5U, supporta una larghezza di banda leader del settore di 400 GB/s e fino a 12 milioni di IOPS, con scalabilità lineare fino a 4096 nodi, consentendo una comunicazione tra protocolli senza soluzione di continuità. Il Global File System (GFS) facilita l’intreccio intelligente dei dati tra regioni, semplificando i processi di aggregazione dei dati. L'elaborazione Near Storage realizza la preelaborazione Near Data, riducendo lo spostamento dei dati e migliorando l'efficienza della preelaborazione del 30%.
L'appliance superconvergente per addestramento/inferenza FusionCube A3000, progettata per scenari di addestramento/inferenza di modelli di grandi dimensioni a livello di settore, si rivolge ad applicazioni che coinvolgono modelli con miliardi di parametri. Integra nodi di storage ad alte prestazioni OceanStor A300, nodi di addestramento/inferenza, apparecchiature di commutazione, software della piattaforma AI e software di gestione e funzionamento, fornendo ai partner di modelli di grandi dimensioni un'esperienza di implementazione plug-and-play per una consegna unica. Pronto all'uso, può essere distribuito entro 2 ore. Sia i nodi di training/inferenza che quelli di storage possono essere espansi in modo indipendente e orizzontale per soddisfare i vari requisiti di scala del modello. Nel frattempo, FusionCube A3000 utilizza contenitori ad alte prestazioni per abilitare più attività di training e inferenza di modelli per condividere GPU, aumentando l'utilizzo delle risorse dal 40% a oltre il 70%. FusionCube A3000 supporta due modelli di business flessibili: la soluzione One-Stop Huawei Ascend e la soluzione One-Stop di partner terzi con software di piattaforma di elaborazione, rete e intelligenza artificiale aperti.
Il presidente della linea di prodotti di archiviazione dati di Huawei, Zhou Yuefeng, ha dichiarato: “Nell'era dei modelli su larga scala, i dati determinano il livello dell'intelligenza artificiale. In quanto vettore di dati, l’archiviazione dei dati diventa l’infrastruttura fondamentale per i modelli di intelligenza artificiale su larga scala. Huawei Data Storage continuerà a innovare, fornendo soluzioni e prodotti diversificati per l’era dei grandi modelli di intelligenza artificiale, collaborando con i partner per promuovere l’empowerment dell’intelligenza artificiale in un’ampia gamma di settori”.
Orario di pubblicazione: 01-ago-2023
