KI-Inferenz: Warum Rechenzentren mehr als nur GPUs benötigen

Die Kosten pro Token sowie die Antwortzeit hängen zunehmend von Storage-Latenz, Netzwerkbandbreite, Datenbewegung und Verlustleistung ab. GPU-Rechenleistung bleibt notwendig, ist aber nicht mehr allein entscheidend.

Lastprofil bestimmt den Komponentenmix

Drei Workload-Klassen prägen die Anforderungen unterschiedlich:

• Interaktiver Chat: Latenzpriorität, Reaktionszeit unterhalb der Nutzerwahrnehmungsschwelle.
• Batch-Inferenz: Durchsatzpriorität, maximierte Token pro Zeiteinheit.
• Agentische Systeme: wachsende Kontextfenster, persistente Zustände, häufige Retrieval-Vorgänge.

IBM-Manager Ka Wai Leung formuliert den Design-Grundsatz: Zuerst wird das Lastprofil klassifiziert, darauf abgestimmt werden Compute-, Storage- und Netzwerkkomponenten. William Li (Supermicro) und Anders Graham (Kioxia) teilen diese Einschätzung im selben Gesprächsformat.

Storage-Latenz tritt in den Vordergrund

Trainings-Workloads setzen auf hohen sequenziellen Durchsatz: Datenströme müssen GPUs auslasten, Checkpointing darf keine Leerlaufphasen erzeugen. Inferenz verschiebt die Anforderungen. Niedriglatente Random-Reads und Random-Writes dominieren, insbesondere bei Retrieval-Augmented Generation, bei der Modelle kontextrelevante Daten in Echtzeit nachladen.

Kioxia hat die BiCS8-basierte CM9-Generation gegen den Vorgänger CM7 verglichen. Ergebnis pro Watt Verlustleistung:

Kennwert | CM7 (Basis) | CM9 (BiCS8) | Delta

Random-Read-IOPS/W | 1,00 | 1,76 | +76 %

Random-Write-IOPS/W | 1,00 | >2,00 | >100 %

Diese Effizienzgewinne verändern die Auswahl von NVMe-SSDs in datenintensiven Inferenzpfaden direkt, da Strom- und Kühlbudgets pro Rack begrenzt sind.

Datenlage und Souveränität

Leung benennt eine zweite, oft unterschätzte Herausforderung: In Enterprise-Installationen liegen strukturierte, unstrukturierte und multimodale Daten verstreut über Mainframes und weitere Bestandssysteme. Die Frage lautet, wie diese Daten einer AI-Factory zugänglich gemacht werden, ohne sie vollständig zu migrieren. Data Gravity und Data Sovereignty sind die relevanten Randbedingungen.

Marktdaten aus zweiter Quelle

The Globe and Mail vergleicht nVent Electric (NVT) und Super Micro Computer (SMCI) als Indikatoren für die Ausgabenentwicklung in der Infrastruktur:

• NVT erwartet 2026 Datacenter-Umsatz über 2 Mrd. USD, mehr als Verdopplung gegenüber 2025. Auftragsbestand Ende Q2: 2,5 Mrd. USD. Capex 2026: rund 130 Mio. USD, +40 % gegenüber Vorjahr. Neue Fertigung Blaine 2 für H1 2027 angekündigt.
• SMCI meldet für 2024 eine Lieferquote von über 80 % flüssigkeitsgekühlten Systemen. Die Erweiterung der Flüssigkühlkapazität läuft.
• Supermicros Referenzdesign kombiniert Nvidia-Hardware mit flüssigkeitsgekühlten Racks, der vollständige Auszug der Spezifikationen lag in der Quelle nicht vor.

Prüfliste für IT-Verantwortliche

Parameter | Konkrete Aktion

Lastprofil | Latenz-, Durchsatz- und Kontextanforderungen je Workload getrennt dokumentieren

Storage-IOPS/W | Herstellerwerte für Random Read/Write vergleichen, CM7-vs-CM9-Delta als Benchmark nutzen

RAG-Datenpfad | End-to-End-Latenz vom Storage zum GPU messen, bei Token-Raten von 50 bis 200 ms/s

Netzwerk | Bandbreite pro geplanter Token-Rate dimensionieren, RDMA-Pfad prüfen

Energie/Kühlung | PUE, Rack-Dichte, Anteil flüssigkeitsgekühlter Server erfassen

Datenresidenz | Souveränitätsanforderungen je Datendomäne festhalten, Migrationsaufwand gegen direkten Zugriff abwägen

Lieferanten-Risiko | Auftragsbestand und Capex der Lieferanten als Indikator für Lieferzeiten beobachten