PCIe 5.0 SSDs im Server: Kompatibilität und Konfiguration

Prozessor, Server-Mainboard, Firmware, Steckplatz, Rückwandplatine, Verkabelung und Kühlung müssen dieselbe Übertragungsgeneration unterstützen.

Die zentrale Frage lautet daher nicht: Passt die PCIe-5.0-SSD mechanisch in den Server? Entscheidend ist: Unterstützt die gesamte Verbindung PCIe 5.0, ist die Lane-Aufteilung korrekt konfiguriert und kann das Gehäuse die Leistungsaufnahme der Laufwerke dauerhaft abführen?

PCIe 5.0 im Server: Mehr Bandbreite verändert die Systemarchitektur

PCIe 5.0 verdoppelt die Übertragungsrate gegenüber PCIe 4.0. Pro Lane steigt sie von 16 auf 32 GT/s. Bei einer NVMe-SSD mit PCIe-x4-Anbindung ergibt sich daraus eine theoretische Bruttobandbreite von ungefähr 16 GB/s. Nach dem Protokoll-Overhead bleiben etwa 15,8 GB/s nutzbare One-Way-Bandbreite.

Zum Vergleich:

Die Verdopplung der Schnittstellenbandbreite führt nicht automatisch zur Verdopplung der Anwendungsleistung. Eine SSD kann die maximale Übertragungsrate nur dann ausnutzen, wenn die Speicherbausteine, der Controller, die Warteschlangentiefe und das Zugriffsmuster des Dienstes diese Last erzeugen. Bei kleinen, zufälligen Zugriffen bleibt die Latenzzeit meist wichtiger als der sequenzielle Durchsatz.

Für Datenbanken, Virtualisierung und Anwendungen mit vielen parallelen Ein- und Ausgabeoperationen ist daher eine getrennte Bewertung erforderlich:

• Sequenzieller Durchsatz: Relevant bei großen Dateien, Sicherungen und Streaming-Daten.
• Zufällige Ein- und Ausgabe: Relevant bei Datenbanken, virtuellen Maschinen und Dateisystem-Metadaten.
• Latenzzeit: Entscheidend, wenn einzelne Operationen schnell beantwortet werden müssen.
• Dauerlast: Zeigt, ob die SSD ihre Leistung über längere Zeit ohne thermische Drosselung hält.
• Anzahl der Laufwerke: Bestimmt, ob die CPU-Lanes und die Rückwandplatine zum Engpass werden.

Eine einzelne PCIe-5.0-SSD benötigt vier Lanes. Acht Laufwerke benötigen bei direkter Anbindung bereits 32 Lanes. Zusätzliche Netzwerkkarten, Beschleuniger und weitere Speichergeräte erhöhen den Bedarf. Genau hier unterscheidet sich eine Serverplattform von einem gewöhnlichen Arbeitsplatzsystem: Die Schnittstellen müssen als Gesamtarchitektur geplant werden.

PCIe 5.0 liefert die Bandbreite. Die Plattform entscheidet, ob sie am Laufwerk ankommt.

Nutzbare Bandbreite richtig bewerten

Die Angabe in GT/s beschreibt die Anzahl der Übertragungssymbole pro Sekunde. Sie ist nicht identisch mit der tatsächlich nutzbaren Datenrate. Für die praktische Planung ist deshalb die Bandbreite nach Protokoll-Overhead maßgeblich.

Eine PCIe-5.0-x4-Verbindung stellt etwa 15,8 GB/s in eine Richtung bereit. Lesen und Schreiben sind getrennte Übertragungsrichtungen. Daraus folgt jedoch nicht, dass jede SSD gleichzeitig 15,8 GB/s lesen und 15,8 GB/s schreiben kann. Der SSD-Controller, die NAND-Konfiguration und die thermischen Reserven begrenzen die reale Leistung.

Bei mehreren Laufwerken muss zusätzlich zwischen direkter CPU-Anbindung und gemeinsam genutzten Verbindungen unterschieden werden. Eine Rückwandplatine kann mehrere SSDs aufnehmen, während die Uplink-Verbindung zum Prozessor weniger Lanes besitzt. In diesem Fall teilen sich die Laufwerke die verfügbare Bandbreite. Die Zahl der Laufwerksschächte beschreibt daher nicht automatisch die verfügbare Systemleistung.

EDSFF, E1.S und E3.S: Der Formfaktor wird Teil der Leistungsplanung

PCIe-5.0-SSDs benötigen nicht nur eine schnellere elektrische Schnittstelle. Auch die mechanische Aufnahme und die Kühlung ändern sich. Im Serverbereich gewinnen deshalb EDSFF-Formfaktoren an Bedeutung. E1.S und E3.S wurden für hohe Speicherdichten, definierte Luftführung und höhere Leistungsbudgets entwickelt.

Klassische M.2-SSDs sind für Servereinsätze nur bedingt geeignet. Das Format ist kompakt, bietet aber wenig Oberfläche für die Wärmeabfuhr. Übliche M.2-NVMe-Laufwerke sind in der Leistungsaufnahme in der Regel auf maximal etwa 12 Watt begrenzt. Bei PCIe 5.0 kann dieses Budget unter Dauerlast knapp werden. Sobald der Controller seine Temperaturgrenze erreicht, reduziert die SSD den Takt. Der maximale Spitzenwert bleibt dann nur kurzzeitig verfügbar.

E1.S bietet mehr Platz für Controller, Speicherbausteine und Kühlflächen. Das Leistungsbudget kann bis zu 20 Watt betragen. Dadurch lässt sich die PCIe-5.0-Leistung unter geeigneten thermischen Bedingungen stabiler halten. E3.S bietet ein größeres Gehäuse und ist für höhere Kapazitäten sowie höhere Leistungsaufnahmen ausgelegt.

Die Formate erfüllen unterschiedliche Anforderungen:

• M.2: Kompakt. Für begrenzte Einbauplätze und niedrigere Leistungsbudgets. Im Server nur mit passender Kühlung und definierter Halterung sinnvoll.
• U.2/U.3: Bewährtes 2,5-Zoll-Format. Mechanisch robust und in vielen bestehenden Servern verfügbar. Bei neuen PCIe-5.0-Plattformen jedoch nicht mehr die einzige Option.
• E1.S: Hohe Packungsdichte, kurze Bauform und bis zu 20 Watt Leistungsbudget. Geeignet für dichte NVMe-Speicherkonfigurationen.
• E3.S: Größeres EDSFF-Format. Mehr Fläche für Kühlung und höhere Leistungsreserven. Erfordert eine dafür ausgelegte Rückwandplatine und Gehäusemechanik.

Eine E1.S- oder E3.S-SSD passt nicht direkt in einen M.2- oder U.2-Steckplatz. Die elektrische Schnittstelle kann zwar auf PCIe und NVMe basieren, die mechanische Aufnahme, Stromversorgung, Signalführung und Befestigung sind trotzdem unterschiedlich. Ein Adapter löst nur einen Teil des Problems. Ohne kompatible Rückwandplatine, passende Halterung und ausreichende Kühlung bleibt die Integration unvollständig.

Rückwandplatine und Laufwerksschächte

Bei PCIe 5.0 steigen die Anforderungen an die Signalqualität. Höhere Übertragungsraten tolerieren weniger Verluste durch Leiterbahnen, Steckverbinder und Kabel. Die Rückwandplatine muss deshalb für PCIe 5.0 ausgelegt sein. Eine ältere Platine kann mechanisch kompatibel wirken und trotzdem nur PCIe 4.0 oder eine instabile Verbindung ermöglichen.

Für moderne NVMe-Rückwandplatinen kommen häufig MCIO-Steckverbinder nach SFF-1016 zum Einsatz. Die Pinbelegung muss zur Rückwandplatine und zum Host-Adapter passen. Zusätzlich sind SFF-9402-konforme Pinouts relevant. Ein Kabel mit passendem Stecker ist nicht automatisch elektrisch korrekt belegt.

Bei der Prüfung der Laufwerksschächte sind vier Ebenen zu trennen:

1. Mechanik: Passt das Laufwerk in den Schacht? Sind Führungsschienen, Träger und Verriegelung kompatibel?

2. Stromversorgung: Liefert der Schacht das für das Laufwerk erforderliche Leistungsbudget?

3. Signalweg: Unterstützen Rückwandplatine, Kabel und Steckverbinder PCIe 5.0?

4. Firmware: Erkennt das Server-BIOS oder die Verwaltungssoftware das Laufwerk korrekt?

Erst wenn alle vier Ebenen erfüllt sind, ist die Integration technisch belastbar.

Bifurcation: Die entscheidende Einstellung für mehrere NVMe-SSDs

Ein PCIe-Steckplatz mit x16-Anbindung kann nicht automatisch vier einzelne NVMe-SSDs erkennen. Dafür muss die Plattform die Lanes aufteilen. Diese Funktion heißt PCIe-Bifurcation.

Bei einer x16-Verbindung kann die Aufteilung beispielsweise als x4/x4/x4/x4 erfolgen. Ein x8-Steckplatz lässt sich je nach Plattform in x4/x4 aufteilen. Das Server-Mainboard muss diese Betriebsart unterstützen, und die Einstellung muss im UEFI oder BIOS aktiviert werden.

Ohne Bifurcation sieht das System möglicherweise nur ein Gerät am ersten Teil der Verbindung. Die übrigen SSDs bleiben unsichtbar. Ein PCIe-Switch kann dieses Problem lösen, ist aber eine zusätzliche Komponente mit eigener Firmware, Leistungsaufnahme und Latenz. Die direkte Lane-Aufteilung ohne Switch ist einfacher, setzt jedoch eine passende Plattform voraus.

Die Konfiguration folgt einer festen Reihenfolge:

1. Prozessor und Plattform identifizieren.

Prüfen, ob der Prozessor PCIe 5.0 direkt bereitstellt. Moderne Plattformen auf Basis von AMD EPYC 9004 oder 9005 sowie Intel Xeon Scalable der 4., 5. und 6. Generation bieten entsprechende Schnittstellen. Die konkrete Lane-Zuordnung hängt trotzdem vom jeweiligen Mainboard ab.

2. Lane-Budget des Prozessors prüfen.

AMD EPYC 9004 stellt bis zu 128 PCIe-5.0-Lanes in einer Ein-Sockel-Konfiguration und bis zu 160 Lanes in einer Zwei-Sockel-Konfiguration bereit. Bei Intel Xeon Scalable der 4. und 5. Generation sind je nach Plattform bis zu 80 PCIe-5.0-Lanes pro Prozessor vorgesehen. Nicht jede Lane steht jedoch zwingend als frei nutzbarer Steckplatz zur Verfügung.

3. Steckplatzbelegung aus dem Handbuch übernehmen.

Ein Steckplatz kann elektrisch nur mit x8 angebunden sein, obwohl er mechanisch die Länge eines x16-Steckplatzes besitzt. Zusätzlich können bestimmte Steckplätze deaktiviert werden, wenn U.2-, EDSFF- oder Netzwerkanschlüsse verwendet werden.

4. Bifurcation im UEFI aktivieren.

Typische Optionen sind x4/x4, x4/x4/x4/x4 oder x8/x8. Die Bezeichnung variiert nach Hersteller. Eine automatische Einstellung ist nicht auf jeder Plattform zuverlässig.

5. Erkennung im Betriebssystem kontrollieren.

Nach dem Start müssen alle Laufwerke einzeln sichtbar sein. Anschließend wird geprüft, mit welcher PCIe-Generation und mit welcher Lane-Breite jedes Laufwerk tatsächlich arbeitet.

6. Dauerlast testen.

Ein kurzer Lesetest bestätigt nur die grundsätzliche Funktion. Für die Serverplanung sind längere Schreib- und Mischlasten erforderlich, weil erst dabei thermische Drosselung und Bandbreitenteilung sichtbar werden.

Typische Fehlkonfigurationen

Die häufigsten Fehler entstehen nicht durch die SSD selbst, sondern durch die Plattformkonfiguration.

• Die SSD wird erkannt, arbeitet aber nur mit PCIe 4.0.

Ursache kann eine PCIe-4.0-Rückwandplatine, ein begrenzter Steckplatz oder eine automatische Kompatibilitätseinstellung sein.

• Nur ein Laufwerk erscheint im Betriebssystem.

Meist fehlt die korrekte Bifurcation-Einstellung. Alternativ unterstützt der Steckplatz die gewünschte Lane-Aufteilung nicht.

• Die SSD fällt unter Last auf deutlich niedrigere Werte zurück.

Wahrscheinliche Ursachen sind unzureichende Kühlung, ein zu knappes Leistungsbudget oder eine zu hohe Umgebungstemperatur.

• Das Laufwerk wird sporadisch zurückgesetzt.

Bei PCIe 5.0 kommen neben Firmwareproblemen auch Signalverluste durch ungeeignete Kabel, Steckverbinder oder Rückwandplatinen infrage.

• Die volle Bandbreite steht nicht für jedes Laufwerk zur Verfügung.

Mehrere Schächte können über eine gemeinsame Uplink-Verbindung angebunden sein. Die SSDs teilen sich dann den verfügbaren Durchsatz.

Thermische Verlustleistung: 20 Watt müssen aus dem Luftstrom heraus

PCIe-5.0-SSDs erzeugen unter Last mehr thermische Verlustleistung als ältere Laufwerke. Die elektrische Bandbreite steigt, gleichzeitig arbeitet der Controller mit höherer interner Datenrate. Bei E1.S sind bis zu 20 Watt vorgesehen. Das ist deutlich mehr als das typische Leistungsbudget vieler M.2-Lösungen.

Im Server zählt nicht die Temperatur eines einzelnen Laufwerks im Leerlauf. Entscheidend ist der Zustand bei voller Bestückung und dauerhaftem Zugriff. Mehrere SSDs hintereinander erwärmen die Ansaugluft der jeweils nachfolgenden Laufwerke. Eine Kühlung, die für zwei Laufwerke ausreichend ist, kann bei acht oder zwölf bestückten Schächten nicht dieselbe Temperaturreserve bieten.

Die thermische Bewertung sollte deshalb folgende Punkte enthalten:

• Leistungsaufnahme im Leerlauf und unter Dauerlast.
• Position des Controllers auf der SSD.
• Kühlkörper und Kontaktfläche zum Luftstrom.
• Abstand zwischen den Laufwerksschächten.
• Luftmenge und Druckverlust der Gehäuselüfter.
• Umgebungstemperatur im Rechenzentrum.
• Temperaturverhalten bei gemischten Lese- und Schreibzugriffen.
• Verhalten der SSD, sobald die thermische Schutzfunktion greift.

Ein Kühlkörper allein garantiert keine stabile Leistung. Wenn die erwärmte Luft nicht aus dem Laufwerkskanal abgeführt wird, steigt die Temperatur trotz großer Metallfläche. Umgekehrt kann ein gut geführter Luftstrom auch bei hoher Packungsdichte eine stabile Konfiguration ermöglichen, sofern Rückwandplatine und Laufwerksträger dafür ausgelegt sind.

Bei der Planung ist zwischen Spitzenleistung und nachhaltiger Leistung zu unterscheiden. Spitzenwerte sind für kurze Datenbursts relevant. Für virtuelle Maschinen, Protokollserver oder Datenbanken ist die Leistung über längere Zeit wichtiger. Eine SSD, die nach wenigen Minuten drosselt, liefert im praktischen Serverbetrieb nicht dieselbe Leistung wie im kurzen Prüfprogramm.

Eine PCIe-5.0-SSD ist erst dann schnell, wenn sie ihre Leistung unter Dauerlast ohne thermische Drosselung hält.

Plattform-Kompatibilität: Prozessor, Mainboard und Firmware gemeinsam prüfen

Die Angabe PCIe 5.0 auf dem Datenblatt des Prozessors reicht nicht aus. Der Prozessor stellt die Lanes bereit, das Mainboard verteilt sie, die Rückwandplatine führt sie zu den Laufwerken und die Firmware initialisiert die Geräte.

Moderne Serverprozessoren bieten ausreichend Lane-Kapazität für mehrere NVMe-SSDs. AMD EPYC 9004 stellt bis zu 128 PCIe-5.0-Lanes bei einem Sockel und bis zu 160 Lanes bei zwei Sockeln bereit. Intel Xeon Scalable der 4. und 5. Generation bietet je nach Ausführung bis zu 80 PCIe-5.0-Lanes pro CPU. Diese Werte sind Maximalangaben der Plattform. Sie sagen nicht, dass jeder Anschluss gleichzeitig mit voller Geschwindigkeit verfügbar ist.

Mainboards reservieren Lanes für:

• Netzwerkadapter mit hoher Übertragungsrate.
• Grafikkarten und GPU-Beschleuniger.
• SAS- oder RAID-Controller.
• Onboard-NVMe-Anschlüsse.
• Chipsatzverbindungen.
• Zusätzliche Verwaltungs- und Erweiterungsfunktionen.

In Zwei-Sockel-Systemen kommt die Zuordnung zwischen den Prozessoren hinzu. Ein Steckplatz kann direkt an CPU 1 angebunden sein, während ein anderer über CPU 2 läuft. Wird nur ein Prozessor installiert, bleiben bestimmte Steckplätze ohne Funktion. Die Belegung muss deshalb anhand des Blockschaltbilds des Mainboards geprüft werden, nicht anhand der mechanischen Anordnung.

Firmware und Initialisierung

PCIe-5.0-Geräte reagieren empfindlicher auf veraltete Firmware. Ein UEFI-Update kann die Unterstützung neuer SSD-Controller, die Bifurcation-Auswahl oder die Kompatibilität mit bestimmten Rückwandplatinen verbessern. Auch die SSD selbst kann eine aktualisierte Firmware benötigen.

Vor der Inbetriebnahme sollte die Firmwarekette geschlossen betrachtet werden:

1. UEFI-Version des Server-Mainboards.

2. Firmware des PCIe-Retimers oder PCIe-Switches, sofern vorhanden.

3. Firmware der Rückwandplatine.

4. Firmware der NVMe-SSD.

5. NVMe-Treiber und Betriebssystemversion.

6. Verwaltungssoftware für Zustands- und Temperaturüberwachung.

Ein Firmware-Update darf nicht isoliert erfolgen. Wenn mehrere Komponenten im Signalweg beteiligt sind, müssen ihre Versionen zueinander passen. Nach jeder Änderung ist zu prüfen, ob die Laufwerke mit PCIe 5.0 und der erwarteten Lane-Breite ausgehandelt werden.

Die Aushandlung kann auf eine niedrigere Generation zurückfallen, wenn die Signalqualität nicht ausreicht. Das erhöht die Kompatibilität, reduziert aber die Bandbreite. Ein solcher Rückfall ist kein Beweis für einen Defekt der SSD. Er zeigt zunächst, dass mindestens eine Komponente im Signalweg PCIe 5.0 nicht stabil unterstützt.

Konfiguration nach Einsatzprofil

Die optimale PCIe-5.0-Konfiguration hängt vom Dienst ab. Eine hohe Zahl an SSDs ist nicht automatisch effizienter als eine kleinere Zahl mit direkter CPU-Anbindung.

Datenbanken

Datenbanken profitieren von niedriger Latenzzeit, ausreichender Schreibdauerleistung und stabilen Antwortzeiten. Die maximale sequenzielle Lesebandbreite ist nur ein Teil der Bewertung. Die SSD sollte bei gemischten Zugriffen und hoher Warteschlangentiefe geprüft werden.

Für transaktionale Systeme sind zusätzlich Power-Loss-Protection, zuverlässige Firmware und ein geeignetes Dateisystem entscheidend. Die PCIe-5.0-Anbindung kann die Ein- und Ausgabe beschleunigen, ersetzt aber keine Speicher- und Datenbankplanung.

Virtualisierung

Bei vielen virtuellen Maschinen steigt die Zahl paralleler Zugriffe. Mehrere EDSFF-Laufwerke können die Last besser verteilen als ein einzelnes Laufwerk mit hoher Spitzenleistung. Die Lane-Zuordnung muss so geplant werden, dass nicht alle SSDs über eine zu schmale gemeinsame Verbindung laufen.

Wenn vier SSDs jeweils mit x4 angebunden sind, benötigen sie zusammen 16 PCIe-Lanes. Eine Aufteilung über einen x16-Steckplatz ist möglich, wenn das Mainboard x4/x4/x4/x4 unterstützt. Ohne diese Funktion werden zusätzliche Laufwerke nicht korrekt erkannt oder benötigen einen PCIe-Switch.

Sicherung und große Datenmengen

Bei Sicherungen und großen sequentiellen Dateien ist der Durchsatz entscheidend. Eine PCIe-5.0-x4-Verbindung stellt dafür deutlich mehr Bandbreite bereit als PCIe 4.0 x4. Die Netzwerkseite muss jedoch mithalten. Ein einzelner 100-GbE-Adapter kann die Speicherseite stark auslasten; mehrere Datenströme benötigen eine entsprechende Lane- und Speicherarchitektur.

Bei gleichzeitigem Lesen und Schreiben sinkt die nutzbare Leistung gegenüber einem isolierten Lesetest. Die Bewertung muss daher mit dem realen Zugriffsmuster erfolgen. Ein synthetischer Spitzenwert ohne Angabe von Blockgröße, Warteschlangentiefe und Dauer ist für die Serverplanung nur eingeschränkt aussagekräftig.

Vorgehen bei der Integration

Eine belastbare Installation lässt sich in sechs Prüfphasen aufteilen:

1. Kompatibilitätsmatrix erstellen

Prozessor, Mainboard, Steckplatz, Rückwandplatine, Kabel, SSD-Formfaktor und Firmware werden in einer gemeinsamen Übersicht erfasst.

2. Lane-Zuordnung dokumentieren

Für jeden Laufwerksschacht wird festgehalten, an welche CPU, welchen Steckplatz und welche Uplink-Verbindung er angeschlossen ist.

3. Formfaktor und Leistungsbudget abgleichen

Ein E1.S-Laufwerk benötigt eine E1.S-Aufnahme. Ein M.2-Laufwerk benötigt eine passende Halterung und eine definierte Kühlung. Die mechanische Kompatibilität wird nicht aus der PCIe-Unterstützung abgeleitet.

4. Bifurcation konfigurieren

Die im Mainboard-Handbuch vorgesehene Aufteilung wird im UEFI gesetzt. Danach wird kontrolliert, ob jedes Laufwerk als separates NVMe-Gerät erscheint.

5. Verbindungseigenschaften auslesen

Für jedes Laufwerk werden PCIe-Generation und Lane-Breite geprüft. Erwartet wird PCIe 5.0 x4. Eine Verbindung mit PCIe 4.0 oder x2 weist auf eine Begrenzung im System hin.

6. Dauerlast und Temperatur messen

Erst ein längerer Test mit dem vorgesehenen Zugriffsmuster zeigt, ob die SSD stabil arbeitet. Temperaturanstieg, Drosselung, Fehlerraten und Rücksetzungen werden protokolliert.

Die Messung muss unter realistischen Bedingungen erfolgen. Ein leerer Server mit geöffneter Gehäuseabdeckung bildet den späteren Betrieb nicht ab. Die relevante Konfiguration umfasst die geplante Zahl an SSDs, die vorgesehenen Netzwerkkarten, die installierten Erweiterungskarten und die normale Umgebungstemperatur.

Technische Zusammenfassung

PCIe-5.0-SSDs lassen sich zuverlässig in Server integrieren, wenn die Planung auf der gesamten Verbindung basiert. Der Prozessor muss die Lanes bereitstellen. Das Mainboard muss sie korrekt aufteilen. Rückwandplatine und MCIO-Verkabelung müssen die Signalintegrität sicherstellen. EDSFF-Laufwerke benötigen passende Schächte und eine definierte Luftführung. Die Firmware muss die Geräte mit PCIe 5.0 und der vorgesehenen Lane-Breite initialisieren.

Die entscheidende Spezifikation ist daher nicht die SSD allein. Es ist die Kombination aus Bandbreite, Lane-Zuordnung, Formfaktor, Leistungsbudget und Dauerlastverhalten. Nur wenn diese Parameter zusammenpassen, wird aus PCIe 5.0 tatsächlich eine belastbare Serverlösung.