Server-Mainboard-Auswahl: Worauf es bei PCIe-Lanes ankommt

Die verfügbare Lane-Zahl, ihre elektrische Anbindung und die NUMA-Zuordnung bestimmen, ob ein System seinen Durchsatz erreicht oder I/O-Last hinter einem gemeinsamen Uplink staut.

Die Server-Mainboard-PCIe-Lanes-Auswahl beginnt daher nicht mit der Anzahl der Steckplätze. Sie beginnt mit einer Lane-Bilanz. Entscheidend sind die direkt an der CPU angebundenen Lanes, die Generation der Verbindung, die unterstützte Bifurkation und die physische Topologie des Boards.

Bei aktuellen Plattformen ist der Unterschied erheblich: AMD EPYC 9005 stellt in Ein-Sockel-Systemen bis zu 128 PCIe-5.0-Lanes bereit. Intel Xeon 6 erreicht bis zu 136 PCIe-5.0-Lanes pro Sockel. Diese Werte sind die Obergrenze der CPU-Plattform. Das konkrete Mainboard kann weniger Lanes nach außen führen, Lanes für Onboard-Controller reservieren oder Steckplätze elektrisch anders verschalten, als ihre Bauform vermuten lässt.

Ein freier x16-Steckplatz ist keine Kapazitätszusage. Erst der elektrische Modus und der Lane-Ursprung zeigen, welche I/O-Leistung verfügbar ist.

PCIe 5.0: Bandbreite pro Lane richtig einordnen

PCIe 5.0 arbeitet mit 32 GT/s pro Lane. Gegenüber PCIe 4.0 mit 16 GT/s verdoppelt sich die theoretische Übertragungsrate. Praktisch ergibt sich ungefähr folgende Größenordnung:

Die Tabelle beschreibt die Link-Bandbreite, nicht den garantierten Nutzdurchsatz eines Geräts. Protokoll-Overhead, Controller-Architektur, Speicherzugriffe und Softwarepfade reduzieren den messbaren Wert. Für die Mainboard-Planung bleibt die Größenordnung trotzdem entscheidend.

Eine GPU mit PCIe 5.0 x16 belegt 16 CPU-Lanes. Vier solcher Karten benötigen 64 Lanes, sofern jede Karte direkt und mit voller Breite angebunden wird. Kommen acht NVMe-Laufwerke mit jeweils PCIe 5.0 x4 hinzu, entstehen weitere 32 Lanes. Eine 100-GbE-Karte an x8 erhöht den Bedarf auf 104 Lanes. Dazu können Boot-Medien, ein RAID- oder HBA-Controller, ein BMC-angebundenes Speichermodul oder weitere Onboard-Funktionen treten.

Die Rechnung ist einfach. Ihre Konsequenz nicht. Sobald die Lane-Bilanz die CPU-Kapazität oder die externe Lane-Führung des Mainboards überschreitet, folgt Lane-Splitting, ein Switch oder eine Anbindung über den Chipsatz. Das kann korrekt sein. Es muss nur mit dem Lastprofil übereinstimmen.

Prozessor-Lanes und Mainboard-Lanes sind nicht identisch

Datenblätter nennen häufig mehrere Zahlen:

• PCIe-Lanes der CPU-Plattform;
• physische Steckplätze auf dem Mainboard;
• M.2-, SlimSAS-, MCIO- oder U.2/U.3-Anschlüsse;
• durch Chipsatz oder Onboard-Controller bereitgestellte Verbindungen;
• gemeinsam genutzte Steckplätze.

Diese Angaben dürfen nicht addiert werden. Ein Mainboard kann etwa zwei x16-Steckplätze besitzen, die bei Vollbestückung jeweils nur mit x8 arbeiten. Es kann vier NVMe-Anschlüsse aus einem x16-Port per Bifurkation erzeugen. Und es kann zusätzliche Anschlüsse über einen Chipsatz bereitstellen, die sich einen einzigen Uplink teilen.

Für die Mainboard-Spezifikationen beim Server-Kauf zählt deshalb die Lane-Map. Sie steht meist im technischen Handbuch unter Begriffen wie „Block Diagram“, „Slot Configuration“ oder „PCIe Expansion“. Fehlt sie, bleibt unklar, welche Ressourcen sich Steckplätze, Onboard-NVMe und Netzwerkkarten teilen.

EPYC 9005 und Xeon 6: Kapazität ist nur der erste Vergleichspunkt

AMD EPYC 9005 und Intel Xeon 6 gehören zu den Plattformen mit hoher PCIe-5.0-Dichte. Beide eignen sich für Systeme mit vielen NVMe-Laufwerken, Beschleunigern und schnellen Netzwerkadaptern. Die Auswahl darf dennoch nicht auf die maximale Lane-Zahl reduziert werden.

Die Zwei-Sockel-Werte sind keine Verdopplung der Ein-Sockel-Kapazität. Zwischen den Prozessoren läuft Interprozessor-Kommunikation über Infinity Fabric beziehungsweise xGMI bei AMD oder UPI bei Intel. Dafür werden Ressourcen benötigt. Wer die PCIe-Lanes für einen Server berechnen will, muss daher immer die konkrete Sockelkonfiguration verwenden.

Ein Ein-Sockel-System ist bei I/O-lastigen Aufgaben häufig die sauberere Architektur. Der Grund ist nicht allein die Lane-Zahl. Alle direkt angeschlossenen Geräte liegen in einer NUMA-Domäne. GPU, NVMe-Speicher und Netzwerkkarte können derselben CPU zugeordnet werden. Das reduziert Remote-Zugriffe über den Sockel-Interconnect.

Ein Zwei-Sockel-System ist sinnvoll, wenn Rechenkapazität, Arbeitsspeicher oder die Anzahl der direkt angebundenen Geräte tatsächlich zwei CPUs erfordern. Es ist keine automatische Lösung für jede Erweiterung. Ein schlecht verteiltes 2P-System erzeugt zusätzliche Latenz und verlagert Datenverkehr über UPI oder xGMI, obwohl die Komponenten im Gehäuse nur wenige Zentimeter voneinander entfernt sitzen.

Die Chipsatz-Anbindung ist der häufigste I/O-Engpass

Der Unterschied zwischen CPU-direkten und chipsatzangebundenen PCIe-Lanes entscheidet über die Lastfestigkeit eines Servers. Direkt angebundene Geräte kommunizieren ohne gemeinsamen Chipsatz-Uplink mit der CPU. Das ist der vorgesehene Pfad für GPUs, NVMe-Pools mit hoher Parallelität und 100-GbE- oder 200-GbE-Netzwerkadapter.

Ein Chipsatz erweitert dagegen Anschlussmöglichkeiten. Er ersetzt keine CPU-Lanes. Alle Geräte hinter dem Chipsatz teilen dessen Verbindung zur CPU. Diese Architektur ist für Verwaltungsfunktionen, SATA-Geräte, Boot-Medien, langsamere Erweiterungskarten oder einzelne NVMe-Laufwerke zweckmäßig. Unter paralleler Last entsteht jedoch ein gemeinsamer Engpass.

Ein typischer Fehlansatz lautet: Das Board bietet mehrere M.2- oder SlimSAS-Anschlüsse, also sind alle NVMe-Laufwerke gleichwertig angebunden. Das stimmt nur, wenn die Dokumentation für jeden Anschluss eine direkte CPU-Verbindung ausweist. Liegen mehrere Laufwerke hinter dem Chipsatz, konkurrieren sie beim gleichzeitigen Lesen, Schreiben oder Rebuild um denselben Uplink.

Besonders sichtbar wird das in drei Konstellationen:

1. Mehrere NVMe-Laufwerke im Software-RAID oder verteilten Speicher. Parallele Schreibvorgänge, Prüfsummen und Rebuilds erhöhen die I/O-Last. Ein geteilter Uplink begrenzt dann nicht ein einzelnes Laufwerk, sondern den gesamten Verbund.

2. 100-GbE-Netzwerk und lokaler NVMe-Speicher. Ein 100-GbE-Adapter benötigt für hohe Transferraten eine ausreichend breite und direkte PCIe-Anbindung. Hängt er am Chipsatz, konkurriert Netzwerkverkehr mit weiteren dort angeschlossenen Geräten.

3. Beschleuniger mit Datennachschub aus lokalem Speicher. Bei GPU-Workloads ist nicht nur die x16-Verbindung der GPU relevant. Auch die Datenquelle muss den Beschleuniger mit ausreichendem Durchsatz versorgen. Liegen GPU und NVMe-Pool auf unterschiedlichen, überlasteten Pfaden, sinkt die Auslastung trotz hoher Nennwerte.

Der Chipsatz erweitert Anschlüsse. Er erweitert nicht die Bandbreite zwischen CPU und I/O-Geräten.

Die Konsequenz für die Frage „Server-Mainboard: worauf achten?“ ist klar: Im Handbuch jedes relevanten Anschlusses den Ursprung prüfen. „CPU PCIe“ und „PCH PCIe“ sind unterschiedliche Klassen. Die mechanische Steckplatzgröße sagt darüber nichts aus.

Bifurkation nutzt Lanes effizient, ersetzt aber keine Planung

PCIe-Bifurkation teilt eine physische Verbindung logisch auf. Aus einem x16-Port können beispielsweise vier x4-Verbindungen werden. Damit lassen sich vier NVMe-Laufwerke über eine passive Adapterkarte oder einen geeigneten Riser direkt an die CPU anbinden. Möglich sind unter anderem die Modi x4x4x4x4, x8x8 und x8x4x4.

Das Verfahren ist technisch effizient. Es vermeidet in passenden Konfigurationen einen zusätzlichen PCIe-Switch und erhält die direkte CPU-Anbindung. Voraussetzung ist Unterstützung auf drei Ebenen:

• Der Prozessor und der betreffende PCIe-Root-Port müssen den gewünschten Aufteilungsmodus bereitstellen.
• Das Server-Mainboard muss den Modus im BIOS oder UEFI implementieren.
• Riser, Adapterkarte und Verkabelung müssen für Generation, Signalqualität und Zielkonfiguration ausgelegt sein.

Die dritte Ebene wird oft unterschätzt. PCIe 5.0 arbeitet mit hohen Signalfrequenzen. Passive Riser und lange Leiterwege verschlechtern die Signalintegrität. Das Ergebnis kann ein Link-Training auf niedrigerer Generation sein, instabile Geräteerkennung oder ein Ausfall unter Last. Ein System, das im Leerlauf sauber startet, ist damit nicht qualifiziert. Entscheidend sind Lasttests mit allen Laufwerken, der vorgesehenen Netzwerkkarte und den endgültigen BIOS-Einstellungen.

Ein PCIe-Switch löst ein anderes Problem. Er verteilt die Bandbreite eines Upstream-Ports dynamisch auf mehrere Downstream-Geräte. Das kann sinnvoll sein, wenn nicht alle Endpunkte gleichzeitig maximale Bandbreite benötigen. Der Switch erzeugt jedoch keine zusätzlichen CPU-Lanes. Vier Laufwerke hinter einem x16-Upstream teilen sich weiterhin dessen verfügbare Übertragungsrate.

Für NVMe-Server gilt daher eine einfache Wenn-Dann-Kette:

• Wenn vier Laufwerke gleichzeitig und mit vorhersehbarer Bandbreite arbeiten sollen, ist ein CPU-direkter x16-Port mit x4x4x4x4-Bifurkation eine klare Lösung.
• Wenn viele Laufwerke mit stark wechselnder Last betrieben werden und die Summe ihrer Spitzenlast selten gleichzeitig eintritt, kann ein Switch-Design wirtschaftlich sein.
• Wenn das Mainboard keine Bifurkation für den vorgesehenen Steckplatz dokumentiert, darf eine passive Vierfach-NVMe-Karte nicht als funktionsfähig eingeplant werden.

Steckplatzbelegung: Die Lane-Bilanz vor dem Kauf erstellen

Eine Lane-Bilanz muss jedes Gerät erfassen, das hohe I/O-Last erzeugt oder eine feste Mindestanbindung verlangt. Nicht jede Komponente benötigt PCIe 5.0 x16. Überdimensionierung blockiert Ressourcen. Unterdimensionierung begrenzt den Durchsatz dauerhaft.

Eine praxistaugliche Planung folgt dieser Reihenfolge:

1. Lastklassen festlegen. GPUs, FPGA- oder KI-Beschleuniger, NVMe-Speicherpools und Netzwerkadapter mit hoher Datenrate erhalten die höchste Priorität. Boot-Geräte und Verwaltungscontroller folgen danach.

2. Mindest-Linkbreite je Gerät bestimmen. Eine 100-GbE-Karte wird üblicherweise an x8 geplant. Ein einzelnes NVMe-Laufwerk benötigt vier Lanes. Ein Beschleuniger kann x16 voraussetzen, auch wenn sein Durchschnittsdurchsatz darunter liegt.

3. Direkte CPU-Pfade reservieren. Kritische Geräte zuerst den CPU-direkten Slots und Anschlüssen zuweisen. Erst danach kommen Chipsatz-Pfade, Zusatzcontroller und geteilte Ports.

4. Bifurkation und gemeinsame Ressourcen prüfen. Für jeden Riser und jedes Adaptermodul muss der konkrete Bifurkationsmodus im Board-Handbuch stehen. Gleichzeitig ist zu prüfen, ob die Nutzung eines Steckplatzes M.2-Ports, OCP-Netzwerkmodule oder andere Slots deaktiviert.

5. Reserve realistisch definieren. Eine freie x16-Position ist nur dann Reserve, wenn ihre Lanes nicht mit bereits belegten Ports geteilt werden. Bei späterer Erweiterung muss auch die Kühlung der Karte, die thermische Verlustleistung und die Stromversorgung des Chassis verfügbar sein.

Die thermische Seite gehört zur I/O-Planung. Mehrere PCIe-5.0-NVMe-Laufwerke, Retimer, Riser und Beschleuniger erhöhen die Verlustleistung im Luftstrom. Drosselt ein Laufwerk wegen Temperatur, hilft die formal korrekte Lane-Zahl nicht. Server-Chassis, Lüfterprofil und Luftführung müssen zur Endbestückung passen, nicht zur Grundkonfiguration.

Dual-Socket-NUMA: Der kürzeste Datenpfad zählt

In einem Zwei-Sockel-System ist jedes PCIe-Gerät physisch einer CPU zugeordnet. Der Zugriff der anderen CPU auf dieses Gerät läuft über UPI oder Infinity Fabric beziehungsweise xGMI. Das erhöht die Latenz und beansprucht Interconnect-Bandbreite.

Die Topologie ist bei folgenden Workloads direkt messbar:

• Datenbanken mit NVMe-Speicher und vielen parallelen Threads;
• GPU-Beschleunigung mit CPU-seitiger Vorverarbeitung;
• Virtualisierung mit SR-IOV-Netzwerkkarten und lokalem Hochleistungsspeicher;
• verteilte Speicherdienste, bei denen Netzwerkadapter und NVMe-Laufwerke Datenpfade bilden.

Ein Beispiel: Eine Netzwerkkarte hängt an Sockel 0, die zugehörigen NVMe-Laufwerke an Sockel 1, und die Anwendung läuft überwiegend auf Kernen von Sockel 0. Dann bewegt sich ein Teil des Datenverkehrs über den Sockel-Interconnect. Die nominelle PCIe-Bandbreite bleibt unverändert. Die Ende-zu-Ende-Latenz und der effektive Durchsatz verschlechtern sich dennoch.

Die Gegenmaßnahme ist Zuordnung, nicht bloß Kapazität. Netzwerkkarte, Speicher und Beschleuniger eines Datenpfads sollten möglichst am selben Sockel liegen. CPU-Affinität, Interrupt-Verteilung und Speicherzuordnung der Anwendung müssen diese Hardware-Topologie anschließend abbilden. Das Betriebssystem kann nur begrenzt kompensieren, wenn die physische Verkabelung des Mainboards einen ungünstigen Pfad vorgibt.

Vor der Beschaffung sollte daher die Slot-Zuordnung pro CPU dokumentiert werden. Viele Server-Mainboards markieren Steckplätze nicht ausreichend eindeutig auf der Platine. Maßgeblich ist der Blockschaltplan des Herstellers. Dort wird sichtbar, welcher Steckplatz an CPU 0, CPU 1, dem Chipsatz oder einem Switch hängt.

CXL 2.0: PCIe-Steckplätze werden zu Speicherpfaden

Compute Express Link, kurz CXL, nutzt die physische Infrastruktur von PCIe 5.0. Der Unterschied liegt im Protokoll: CXL kann cache-kohärenten Speicher über PCIe-Verbindungen an das System anbinden. Damit wird ein Teil der bislang klassischen Erweiterungssteckplätze zu einem Pfad für Speichererweiterung.

Intel Xeon 6 unterstützt CXL 2.0 über bis zu 64 Lanes. Für die Mainboard-Planung ist das relevant, weil dieselben physischen Ressourcen entweder für klassische PCIe-Geräte oder für CXL-Geräte vorgesehen werden können. Ein CXL-Speichergerät belegt daher nicht nur einen Steckplatz. Es belegt Lane-Kapazität, die möglicherweise für NVMe, Netzwerk oder Beschleuniger eingeplant war.

CXL ist keine pauschale Lösung für knappen Arbeitsspeicher. Die Speicherhierarchie wird komplexer. Latenz, Bandbreite, Betriebssystemunterstützung und Anwendungsmuster entscheiden über den Nutzen. Für große Speicherpools, bestimmte Datenbank- oder Analyseprofile und Plattformen mit klar definierter Speicherexpansion kann CXL eine sinnvolle Erweiterung sein. Für einen Server, dessen Engpass im NVMe-Durchsatz oder Netzwerkverkehr liegt, verdrängt CXL unter Umständen die wichtigeren I/O-Pfade.

Die Planung muss deshalb zuerst die feste I/O-Basis absichern. CXL folgt als definierte Erweiterungsoption. Nicht umgekehrt.

Typische Fehler bei der Server-Mainboard-Auswahl

Der häufigste Fehler ist das Zählen sichtbarer Steckplätze. Die folgenden Konfigurationen führen regelmäßig zu Fehlplanungen:

• x16 mechanisch mit x8 elektrisch verwechseln. Die Karte passt, erhält aber nur die halbe Linkbreite. Bei mehreren belegten Steckplätzen kann das vom Mainboard vorgesehen sein.
• Onboard-NVMe als CPU-direkt voraussetzen. M.2- und SlimSAS-Anschlüsse können über den Chipsatz oder über geteilte CPU-Ports laufen.
• Bifurkation mit einem PCIe-Switch gleichsetzen. Bifurkation teilt Root-Ports in feste Teilverbindungen. Ein Switch verteilt einen gemeinsamen Upstream dynamisch. Beides hat andere Bandbreiten- und Kompatibilitätseigenschaften.
• Zwei Sockel als additive Lane-Rechnung behandeln. Interconnect-Verbindungen benötigen Ressourcen. Zusätzlich entstehen NUMA-Pfade, die nicht durch mehr Steckplätze verschwinden.
• PCIe-Generation nur am Prozessor bewerten. CPU, Mainboard, Riser, Backplane und Endgerät müssen die gewünschte Generation stabil unterstützen. Ein einzelnes schwaches Glied reduziert den Link.
• Firmware als Randthema behandeln. BIOS- oder BMC-Versionen können Bifurkationsmodi, Gerätekompatibilität und Link-Training beeinflussen. Die freigegebene Firmware-Kombination gehört in die Inbetriebnahmeplanung.

Zusammenfassung der Planungsparameter

Die Auswahl eines Server-Mainboards ist damit eine Topologieentscheidung. Die maximale Lane-Zahl der CPU setzt nur den Rahmen. Den realen Durchsatz definieren die Lane-Führung des Boards, die elektrische Slot-Konfiguration, die Bifurkationsunterstützung und der Datenpfad zwischen CPU, Speicher, Netzwerk und Beschleunigern.

Ein belastbares Design dokumentiert diese Zuordnung vor dem Kauf. Dann sind PCIe-Lanes keine nachträgliche Einschränkung, sondern eine berechenbare Ressource.