IBM und Together AI investieren 240 Millionen Dollar in dedizierte HGX B300-Inferenz-Cluster
Wenn in einem Unternehmen plötzlich KI-Inferenz in Produktion gehen soll, tauchen am Support-Tisch meist dieselben Fragen auf: Wo läuft das Modell, wie kommen die Daten dorthin, und wer bezahlt die Token am Ende des Monats?
Eine frische Ankündigung von IBM und Together AI verschiebt hier die Größenordnung. Wie StorageReview.com berichtet, investieren die beiden Unternehmen 240 Millionen US-Dollar in einen dedizierten Inferenz-Cluster auf Basis von NVIDIAs HGX B300-Systemen, der exklusiv auf IBM Cloud bereitgestellt wird.
Der Stack und seine Tücken
Der neue Cluster ist nach IBM-Angaben der erste dedizierte Großinferenz-Cluster auf IBM Cloud, der vollständig auf NVIDIAs HGX B300 aufbaut. Damit setzt IBM die im vergangenen Jahr über CoreWeave begonnene Grace-Blackwell-Erweiterung konsequent fort. Als Netzwerk-Fabric kommt NVIDIAs Spectrum-X-Ethernet zum Einsatz, was laut Anbieter eine „AI Factory"-Architektur mit hohem Durchsatz und niedriger Latenz ermöglichen soll. IBM spricht von einer 30-fach höheren KI-Factory-Leistung im Vergleich zu früheren Generationen, schränkt aber ein, dass die tatsächliche Workload-Performance von Modellarchitektur, Präzision, Batch-Größe und Serving-Konfiguration abhängt. Together AI betreibt eigenen Angaben zufolge bereits eine Inferenzplattform mit einem Volumen von 400 Billionen Token pro Monat und will diese Kapazität nun ausweiten, um Open-Source-Modelle für Unternehmenskunden anzubieten.
Das bedeutet für die Praxis
Wer in seinem Haus schon einmal erlebt hat, dass ein Inferenz-Job das Storage-Backend in die Knie zwingt, weiß: Compute allein ist nicht das Problem, der Datenpfad ist es. Genau hier setzt die Architektur an. Die Kombination aus HGX B300, Spectrum-X und IBM-Cloud-Standorten zielt auf Agentic-AI-Workloads, bei denen Antwortzeit und Infrastrukturauslastung direkt in die Betriebskosten durchschlagen. Vipul Ved Prakash, CEO von Together AI, formuliert das Ziel, „fortschrittliche KI über Open Source breit verfügbar zu machen". Alan Peacock, General Manager IBM Cloud, spricht von einer Plattform für den „Wettlauf um agentenbasierte KI im Unternehmen". Inferenz wird damit zur Standardinfrastruktur, vergleichbar mit Datenbanken oder Mail-Servern, und nicht mehr als Experiment auf einer einzelnen GPU betrieben.
Was IT-Verantwortliche jetzt prüfen sollten
Bevor ein Team auf einen neuen Inferenz-Anbieter wie Together AI auf IBM Cloud setzt, helfen vier konkrete Schritte aus dem Support-Alltag:
1. Datenpfad dokumentieren: Welche Quellen füttern die Modelle? Liegen diese Storage-Pfade in der gleichen Region wie der Cluster, oder entstehen unnötige Egress-Kosten?
2. Token-Budget kalkulieren: 400 Billionen Token pro Monat sind eine Plattform-Kennzahl, nicht Ihre eigene. Modellieren Sie realistisch mit Ihren tatsächlichen Prompts und erwarteten Volumina.
3. Fallback-Strategie festlegen: Was passiert, wenn der Cluster ausgelastet ist? Klären Sie Service-Level, Queueing und ein alternatives Serving-Modell, bevor das erste produktive Feature live geht.
4. Backup und Recovery nicht vergessen: Inferenz-Plattformen sind keine statischen Datenbanken. Wer Konfiguration, Modellgewichte und Embeddings nicht versioniert und sichert, steht beim nächsten Update ohne Fallback da.
Die 240-Millionen-Investition ist mehr als ein Finanzierungsdetail: Sie zeigt, dass Inferenz sich vom Pilotprojekt zur Kerninfrastruktur entwickelt. Für IT-Verantwortliche heißt das, frühzeitig zu evaluieren, statt später unter Zeitdruck zu migrieren.