Neudefinition der Datenspeicherung: Huawei präsentiert mit dem OceanStor A800 Storagelösung für das KI-Zeitalter

Dr. Peter Zhou beim IDI Forum 2024

Seit den 1990er Jahren haben sich Unternehmensanwendungen von einzelnen Hosts, Datenbanken, Virtualisierung und Dateifreigabe zu Big Data und High Performance Data Analytics (HPDA) weiterentwickelt. Diese Entwicklung hat zu einer Verlagerung der Datenspeichertechnologien von DAS (Direct Attached Storege), SAN (Storage Area Network) und NAS (Network Attached Storage) hin zu unstrukturierten Datenspeichern geführt. Mit dem Aufstieg der generativen KI ist die Nachfrage nach robusten Datenspeicherlösungen in der heutigen Technologielandschaft wichtiger denn je.

So ist die Cluster-Größe für das Training großer KI-Modelle auf Zehntausende und sogar Hunderttausende von GPUs (Graphics Processor Unit) angewachsen. Diese Expansion hat häufigeren Cluster-Fehlern und Trainingsunterbrechungen zur Folge. Der langwierige Prozess des wiederholten Schreibens von Checkpoint-Daten und der Wiederaufnahme des Trainings führt zu längeren Leerlaufzeiten der GPUs, wodurch die Cluster-Auslastung auf unter 50 Prozent sinkt. Darüber hinaus erwarten Expert:innen, dass der Stromverbrauch der globalen Rechenzentren bis 2026 das 2,3-fache des Wertes von 2022 erreichen wird und dem jährlichen Stromverbrauch Japans entspricht. Mehr als die Hälfte des Stroms in Rechenzentren wird dann von KI verbraucht. 

KI wird die herkömmliche Datenspeicherung verändern, indem es sich nicht nur auf Leistung, Zuverlässigkeit und Datenparadigma konzentriert, sondern auch auf Skalierbarkeit, Nachhaltigkeit und Datenstruktur. In der beginnenden „Ära des Datenerwachens“ definiert Huawei die Datenspeicherung durch Innovationen in sechs Dimensionen neu: 

1. Höchste Leistung: Huawei steigert die Speicherleistung um den Faktor 10 im Vergleich zu herkömmlichen Speichern. Die Speicher unterstützen außerdem Bandbreiten in PB/s (Peta Byte pro Sekunde) und 100 Millionen IOPS (Input/Output Operations per Second), was die Effizienz des gesamten generativen KI-Prozesses erheblich verbessert.
2. Ausfallsicherheit der Daten: Innovative Architekturen und Technologien sorgen für eine hohe Zuverlässigkeit von 99,9999 Prozent. Die integrierte Ransomware-Erkennungs-Engine steigert die Erkennungsgenauigkeit auf 99,99 Prozent. Sogar die Checkpoint-Wiederherstellungszeit während des KI-Trainings wird auf weniger als eine Minute verkürzt.
3. Neues Datenparadigma: Die mehrdimensionalen Tensordaten ermöglichen eine schnelle Datenabfrage über eine intelligente Suchmaschine. Die RAG-Technologie (Retrieval-Augmented Generation) arbeitet mit der eingebetteten Wissensbasis, um Halluzinationen in großen KI-Modellen zu vermeiden.
4. Skalierbarkeit: Ein einzelner Speicher-Cluster kann für eine Kapazität auf EB-Ebene (Exa Byte) skaliert werden und jede Engine lässt sich mit weiteren GPUs, DPUs (Data Processing Unit) oder NPUs (Neural Processing Unit) für speichernahe Berechnungen aufstocken.
5. Nachhaltigkeit: Innovationen bei Speichermedien und -geräten haben zu einer herausragenden Energieeffizienz (weniger als 1 Watt/TB) und Speicherdichte (mehr als 1 PB/U) geführt.
6. Datenstruktur: Die Möglichkeiten der Verwaltung und Suche von Speichermetadaten ermöglichen eine globale Datentransparenz und -verwaltung sowie eine zehnmal effizientere Datenmobilität.

Gleichzeitig treibt Huawei mit Innovationen bei den Speichermedien die nachhaltige Entwicklung voran. Die neu veröffentlichten SSDs mit hoher Kapazität bieten eine 10-mal höhere Kapazität bei gleicher Festplattengröße, was den Energieverbrauch eines Rechenzentrums weiter senken kann. Mit einer Kapazität von 128 TB pro Festplatte verbrauchen die neuen SSDs 88 Prozent weniger Platz und 92 Prozent weniger Energie als die SSDs anderer Anbieter, wenn sie jeweils ein PB an Daten speichern.