HBM3-Speicher: Wie der schnelle KI-RAM funktioniert

Wenn ein Rechenzentrumsbetreuer aus dem Maschinenbau-Cluster anruft und wissen will, warum seine neue Beschleunigerkarte zwar mit 80 Gigabyte Speicher beworben wird, das Training seines Modells aber trotzdem langsamer läuft als auf dem Vorgängersystem, dann landet man früher oder später bei einer Technologie, die in den Datenblättern meist nur am Rand erwähnt wird: dem HBM3-Speicher. Wer hier den Unterschied zwischen reiner Kapazität und tatsächlich erreichbarer Bandbreite nicht versteht, kauft am Ende die falsche Karte oder wundert sich über Engpässe, die auf dem Papier gar nicht existieren.

HBM3 ist kein gewöhnlicher Arbeitsspeicher, der sich später einmal nachrüsten lässt. Es ist eine Speicherbauform, die fest mit dem Prozessor oder der GPU verdrahtet wird und deren Aufgabe es ist, in jedem Taktzyklus möglichst viele Daten parallel bereitzustellen. Genau diese Bandbreite — nicht allein die Kapazität — entscheidet darüber, wie schnell ein KI-Modell seine Gewichte lesen und schreiben kann. Wer versteht, wie HBM3 technisch aufgebaut ist, kann auch besser einordnen, was die Prospektangaben im realen Einsatz bedeuten.

Was HBM3 ist und warum es nicht in einen DIMM-Slot passt

HBM3 steht für High Bandwidth Memory der dritten Generation. Der zugrundeliegende Standard trägt die Bezeichnung JESD238 und wurde am 27. Januar 2022 von der JEDEC, dem Gremium für Speicherstandards, verabschiedet. Damit gehört HBM3 in eine Familie, die mit dem ersten HBM-Standard im Oktober 2013 begann, über HBM2 im Januar 2016 zu HBM3 und später zu HBM3e fortgeschrieben wurde. Im April 2025 hat die JEDEC bereits die nächste Generation mit HBM4 (JESD270-4) veröffentlicht.

Das Entscheidende ist die Bauform. HBM3 wird nicht als Modul auf einen DIMM-Steckplatz gesteckt, wie man es von klassischem DDR-Arbeitsspeicher kennt. Stattdessen werden mehrere dünne DRAM-Chips, sogenannte Dies, vertikal zu einem Speicherstapel übereinandergesetzt. Diese Stapel werden anschließend über einen 2,5D-Silizium-Interposer direkt neben dem Prozessor- oder GPU-Die auf dem Substrat platziert. Das bedeutet für die Praxis: Wer nachträglich den Speicher eines KI-Servers aufrüsten will, hat bei HBM3 keine Handhabe. Die Speicherkapazität ist mit dem Kauf der GPU oder des Beschleunigers festgelegt, einzelne Stacks lassen sich nicht austauschen.

HBM3 ist kein Aufrüst-Speicher, sondern fester Bestandteil des Prozessor- oder GPU-Pakets — die hohe Bandbreite entsteht aus Geometrie, nicht aus reiner Taktfrequenz.

Aufbau und Geometrie: Stacking, TSVs und der Interposer

Damit die vertikal gestapelten DRAM-Dies überhaupt miteinander kommunizieren können, durchläuft jeder Chip senkrechte Mikrokanäle, die als Through-Silicon Vias, kurz TSVs, bezeichnet werden. Über winzige Lötverbindungen, sogenannte Microbumps, werden die Dies sowohl untereinander als auch mit dem darunterliegenden Logik-Die verbunden. Der Abstand dieser Kontakte, der Pitch, liegt je nach Fertigungsgeneration und Anbieter zwischen etwa 40 und 100 Mikrometern.

Das Stapeln erlaubt beachtliche Kapazitäten auf kleinem Raum. Der HBM3-Standard JESD238 sieht Dichten von bis zu 32 Gigabit pro DRAM-Die vor. Bei einer Stapelhöhe von bis zu 16 Dies, also 16-high, ergibt sich daraus eine maximale Kapazität von etwa 64 Gigabyte pro Speicherstapel. In der Praxis sind 8-high- und 12-high-Stacks verbreiteter, weil die Fertigungsausbeute mit zunehmender Stapelhöhe technisch anspruchsvoller wird. Dieser Zusammenhang schlägt sich direkt im Preis nieder und ist einer der Gründe, warum Beschleunigerkarten mit hoher HBM3-Kapazität so kostspielig sind.

Die Anbindung an den Prozessor oder die GPU erfolgt über den bereits erwähnten 2,5D-Silizium-Interposer. Dabei handelt es sich um eine dünne Siliziumplatte, auf der sowohl das Logik-Die als auch ein oder mehrere HBM3-Stacks nebeneinander montiert werden. Die kurzen Signalwege auf diesem Interposer sind ein wesentlicher Grund, warum HBM3 die enormen Datenraten erreicht, die im nächsten Abschnitt eine Rolle spielen. Eine herkömmliche Leiterplatte mit diskreten Speicherbausteinen wäre auf dieser Fläche schlicht nicht in der Lage, die gleichen Datenmengen pro Sekunde zu transportieren.

Bandbreite und Kanäle: Wo die 819 GB/s pro Stack herkommen

Die Bandbreite ist das zentrale Argument für HBM3. Der Standard definiert pro Speicherstapel eine Schnittstellenbreite von 1.024 Bit, aufgeteilt in 16 unabhängige Kanäle mit jeweils 32 Bit. Jeder dieser Kanäle kann mit einer Datenrate von bis zu 6,4 Gigabit pro Sekunde pro Pin arbeiten. Multipliziert man diese Werte, ergibt sich die oft zitierte Bandbreite von bis zu 819 Gigabyte pro Sekunde pro Stack.

Wer ein KI-System mit mehreren HBM3-Stacks einsetzt, kommt entsprechend auf das Mehrfache dieses Wertes. Eine typische High-End-Beschleunigerkarte mit sechs Stacks erreicht dann rechnerisch einen Speicherdurchsatz von etwa vier bis fünf Terabyte pro Sekunde. Das ist eine Größenordnung, die mit klassischem DDR5-Arbeitsspeicher auch theoretisch nicht erreichbar wäre, und genau deshalb haben sich GPUs und KI-Beschleuniger früh für gestapelten Speicher entschieden.

Das bedeutet für die Praxis: Bei rechenintensiven Aufgaben wie dem Training großer Sprachmodelle, der Inferenz mit vielen gleichzeitigen Anfragen oder wissenschaftlichen Simulationen entscheidet diese Bandbreite darüber, wie oft der Prozessor pro Sekunde neue Daten aus dem Speicher nachladen kann. In vielen realen Konfigurationen ist nicht die reine Compute-Leistung, sondern die Speicherbandbreite der limitierende Faktor. Wer diesen Zusammenhang ignoriert, dimensioniert sein System falsch.

HBM3, HBM3e und GDDR6 — wo die Unterschiede tatsächlich liegen

Wer sich mit Beschleunigerkarten beschäftigt, stößt unweigerlich auf zwei verwandte Begriffe: HBM3e und GDDR6. Sie sind keine Konkurrenten im eigentlichen Sinne, sondern bedienen unterschiedliche Einsatzbereiche.

HBM3e ist eine erweiterte Variante des HBM3-Standards, die höhere Pin-Raten bis 9,6 Gigabit pro Sekunde erlaubt und damit pro Stack Bandbreiten von über 1,2 Terabyte pro Sekunde erreicht. Sie wird vor allem dort eingesetzt, wo das Maximum an Datendurchsatz pro Stack benötigt wird. GDDR6 sowie der Nachfolger GDDR6X bedienen hingegen weiterhin den Bereich der Gaming-Grafikkarten und klassischen Workstations, wo kleinere Stückzahlen und ein anderes Kostenmodell die aufwendige 2,5D-Packaging-Technologie weniger attraktiv machen. Für klassische Serveraufgaben bleibt zusätzlich DDR5-Arbeitsspeicher auf DIMM-Modulen das Mittel der Wahl — die hohe Bandbreite von HBM3 wird dort schlicht nicht benötigt und wäre wirtschaftlich nicht darstellbar.

Datenintegrität: On-Die ECC und Scrubbing im Hintergrund

In Serverumgebungen zählt nicht nur rohe Bandbreite, sondern auch die Zuverlässigkeit über lange Betriebszeiten. HBM3 sieht deshalb On-Die-Error-Correction-Mechanismen vor, die nach dem SECDED-Prinzip arbeiten — Single Error Correction, Double Error Detection. Das bedeutet: Ein einfacher Bitfehler pro Codewort wird automatisch korrigiert, ein Doppelbitfehler wird zuverlässig erkannt.

Ergänzt wird dies durch Echtzeit-Fehler-Scrubbing. Das System liest die Speicherzellen regelmäßig im Hintergrund, erkennt und korrigiert dabei auftretende Fehler und verhindert so, dass sich seltene, aber kritische Mehrbitfehler über die Zeit anhäufen. Für ein KI-Rechenzentrum, das über Wochen oder Monate hinweg ununterbrochen trainiert, ist das ein nicht zu unterschätzender Aspekt: Ein einziger unbemerkter Speicherfehler mitten in einem Trainingslauf kann tagelange Rechenzeit zunichtemachen, weil das gesamte Modell in einen undefinierten Zustand geraten kann.

Datenintegrität ist im KI-Betrieb kein Bonus, sondern Voraussetzung — HBM3 liefert sie auf Die-Ebene, ohne den Host-Prozessor zu belasten.

Auswahl und Betrieb in der Praxis

Für IT-Verantwortliche, die eine Beschleunigerkarte oder einen KI-Server beschaffen wollen, folgen aus diesen technischen Eigenschaften einige klare Entscheidungslinien. Drei Werte sollten getrennt betrachtet werden:

• Gesamtkapazität in Gigabyte. Sie entscheidet, wie groß ein Modell sein darf, das komplett im Speicher gehalten werden soll. Eine typische High-End-Karte trägt heute mehrere Stacks und kommt so auf 80, 96 oder mehr Gigabyte Gesamtspeicher.
• Bandbreite pro Stack und pro Karte. Sie entscheidet, wie schnell das Modell mit Daten gefüttert werden kann. Eine Verdopplung der Stacks verdoppelt in der Regel auch die nutzbare Bandbreite.
• Anzahl unabhängiger Kanäle. Sie entscheidet, wie gut sich der Datenstrom parallelisieren lässt. HBM3 bietet hier 16 Kanäle pro Stack, was bei mehreren Stacks eine sehr feine Granularität erlaubt.

Wer nur auf eine dieser drei Größen schaut, übersieht leicht den eigentlichen Engpass. Eine Karte mit großer Kapazität, aber nur wenigen Stacks und damit geringer Bandbreite, ist für bandbreitenintensive Aufgaben wie das Training eines Transformermodells schlecht geeignet. Umgekehrt bringt eine sehr hohe Bandbreite bei knapper Kapazität wenig, wenn das Modell ohnehin nicht in den Speicher passt.

Für den laufenden Betrieb empfiehlt es sich, das Monitoring um die ECC-Korrekturraten zu erweitern. Viele GPU- und Beschleunigerhersteller bieten Telemetriedaten an, die zeigen, wie häufig ECC-Korrekturen pro Stack und Zeiteinheit auftreten. Ein Anstieg dieser Rate über Wochen kann ein Hinweis auf thermische Probleme, eine alternde Charge bestimmter Komponenten oder marginale Versorgungsspannungen sein — und damit auf Wartungsbedarf, bevor ein Ausfall den Trainingslauf unterbricht. Erfahrungsgemäß zeigen sich erste Auffälligkeiten nicht in der Rechenleistung, sondern genau in diesen Telemetriewerten.

Wann HBM3 die richtige Wahl ist — und wann nicht

HBM3 ist immer dann die richtige Speicherwahl, wenn eine Aufgabe parallelisierbar ist und gleichzeitig hohe Datenraten benötigt. Dazu gehören das Training und die Inferenz großer KI-Modelle, wissenschaftliche Simulationen in der Molekulardynamik, Wettermodellierung oder Signalverarbeitung, sowie bestimmte Datenbank-Workloads mit stark parallelem Zugriffsmuster. Für klassische Büro- oder Webserver-Workloads, Datenbankanwendungen mit eher sequenziellen Zugriffen oder Virtualisierungsumgebungen ist HBM3 dagegen überdimensioniert und unwirtschaftlich. Hier bleiben DDR5-Module auf DIMM-Steckplätzen das Mittel der Wahl, auch weil sie sich im laufenden Betrieb erweitern oder ersetzen lassen.

Ausblick: HBM3e im Feld und der Sprung zu HBM4

HBM3 ist mit der Veröffentlichung von JESD238 Anfang 2022 in den Markt eingeführt worden und hat sich seither als Standard für KI-Trainingshardware etabliert. HBM3e erweitert diesen Standard um deutlich höhere Pin-Raten und damit gesteigerte Bandbreiten pro Stack. Wer ein System beschafft, das für die nächsten drei bis vier Jahre reichen soll, wird in vielen Fällen bereits HBM3e-basierte Karten wählen, weil sie pro Stack etwa 50 Prozent mehr Bandbreite liefern.

Mit HBM4 hat die JEDEC im April 2025 den nächsten Schritt vollzogen. HBM4 verdoppelt unter anderem die Busbreite auf 2048 Bit pro Stack und ist damit für kommende Beschleunigergenerationen vorgesehen, die noch größere Modelle oder noch höhere Inferenzdurchsätze bedienen sollen. Das bedeutet für die Praxis: Bestehende HBM3- und HBM3e-Investitionen werden mittelfristig nicht entwertet, sondern durch neue HBM4-Karten ergänzt. Wer hingegen heute eine Karte kauft, sollte im Blick behalten, dass sich die Architektur in den nächsten Jahren spürbar weiterentwickeln wird.

Für die tägliche Arbeit heißt das: Wer sich bei der Beschaffung an der tatsächlichen Bandbreite pro Karte orientiert, ECC-Telemetrie aktiv überwacht und die fehlende Aufrüstbarkeit von Anfang an realistisch einplant, ist für den Alltag im KI-Rechenzentrum gut aufgestellt. HBM3 ist kein Speicher, den man versteht, indem man das Datenblatt liest — es ist eine Bauform, deren Vorteile sich erst dann erschließen, wenn man Bandbreite, Kanalanzahl und Datenintegrität gemeinsam betrachtet. Genau dieses Zusammenspiel macht den Unterschied zwischen einem System, das in Benchmarks glänzt, und einem, das in der realen Trainingslast tatsächlich hält, was der Prospekt verspricht.