Erasure Coding: Die moderne RAID-Alternative erklärt

Wenn ein Kunde mit einem wachsenden Videospeicher anruft und sagt: "Wir kaufen immer mehr Festplatten, aber der nutzbare Speicher wächst kaum", dann ist das fast immer ein Replikationsproblem. Drei Kopien jedes Objekts bedeuten dreifache Rohkapazität – das ist der Preis klassischer Spiegelung. Erasure Coding verändert diese Rechnung grundlegend: Es sichert Daten mit deutlich weniger Overhead ab und toleriert trotzdem mehrere gleichzeitige Ausfälle. Wer versteht, wie diese Speichertechnologie arbeitet, kann in vielen Szenarien Speicherplatz sparen, ohne die Datensicherheit zu kompromittieren.

Das bedeutet für die Praxis: Erasure Coding ist keine akademische Spielerei, sondern eine ausgereifte Speichertechnologie, die in modernen Objektspeichern, Software-Defined-Storage-Lösungen und Hyperconverged-Infrastrukturen wie VMware vSAN längst Standard ist. Wer die Grundlagen kennt, kann fundiert entscheiden, wann der Umstieg von klassischem RAID oder einfacher Replikation sinnvoll ist – und wann nicht.

Das k+m-Prinzip: So zerlegt Erasure Coding Ihre Daten

Im Kern funktioniert Erasure Coding nach einem mathematisch eleganten Prinzip: Ein Datenobjekt wird in k Datenfragmente zerlegt, und daraus werden m zusätzliche Paritätsfragmente berechnet. Insgesamt entstehen also k+m Fragmente, die auf unterschiedliche Knoten, Festplatten oder Standorte verteilt werden. Die entscheidende Eigenschaft: Solange mindestens k dieser k+m Fragmente lesbar sind, lässt sich das Original vollständig rekonstruieren.

Ein konkretes Beispiel aus dem Support-Alltag: Ein 10 MB großes Videoobjekt wird bei einem 4+2-Schema in vier Datenfragmente zu je 2,5 MB aufgeteilt. Hinzu kommen zwei Paritätsfragmente, die ebenfalls je 2,5 MB groß sind und mithilfe mathematischer Verfahren berechnet werden. Insgesamt werden 15 MB Speicherplatz belegt – 50 % Overhead. Bei einem 6+2-Schema mit gleichem Ausfallschutz sinkt der Overhead auf rund 33 %, der tatsächliche Speicherbedarf auf etwa 13,3 MB.

Erasure Coding verteilt Daten in k Fragmente plus m Paritätsfragmente – die Originaldaten bleiben rekonstruierbar, solange k von k+m Fragmenten verfügbar sind.

Als mathematisches Fundament dient meist der Reed-Solomon-Algorithmus, der 1960 von Irving S. Reed und Gustave Solomon vorgestellt wurde und auf linearer Algebra über Galois-Körpern basiert. Für die Anwendung im Alltag bedeutet das: Die Rekonstruktion arbeitet zuverlässig und wird von modernen Storage-Stacks effizient in Software oder mit spezialisierten Bibliotheken berechnet. Backblaze hat seine Java-basierte Reed-Solomon-Implementierung bereits 2015 als Open Source veröffentlicht, was die Verbreitung in Eigenentwicklungen zusätzlich beschleunigt hat.

Speichereffizienz im Vergleich: Erasure Coding schlägt RAID-1 deutlich

Hier liegt einer der größten praktischen Vorteile: Vergleicht man den Kapazitätsbedarf verschiedener Schutzverfahren, zeigt sich schnell, warum Erasure Coding in wachsenden Infrastrukturen so attraktiv ist. Die folgende Übersicht fasst gängige Schemata zusammen:

Die Tabelle zeigt einen wichtigen Zusammenhang: Ein RAID-1-Verbund mit doppelter Fehlertoleranz verbraucht die dreifache Rohkapazität, während ein Erasure-Coding-Schema mit derselben Fehlertoleranz (4+2) nur den 1,5-fachen Bedarf hat. Das bedeutet für die Praxis: Wer bei wachsendem Datenvolumen nicht ständig neue Festplatten kaufen möchte, kann mit Erasure Coding den Speicher-Overhead halbieren – bei gleicher Hardware fast doppelt so viele Anwendungen versorgen.

Ein häufiger Irrtum, der uns am Support-Telefon begegnet: Viele Administratoren verwechseln Erasure Coding mit klassischem RAID-6. Tatsächlich ist RAID-6 mathematisch gesehen ein Spezialfall von Erasure Coding mit festen Schemata und lokaler Anwendung auf einem einzelnen Array. Erasure Coding im modernen Sinne geht weit darüber hinaus: Die Fragmente werden über mehrere Knoten, Rack-Standorte oder sogar Rechenzentrumsregionen verteilt, was die Ausfallsicherheit auf Infrastrukturebene deutlich erhöht.

Hardware-Voraussetzungen in VMware vSAN

Wer Erasure Coding in einer Hyperconverged-Infrastruktur wie VMware vSAN einsetzen möchte, muss die Mindestanforderungen der jeweiligen Schutzstufe kennen. Diese Zahlen stehen in vielen Konzeptpapieren, werden aber erfahrungsgemäß oft übersehen, wenn ein Cluster "mal schnell" mit Erasure Coding ausgestattet werden soll:

Das bedeutet für die Praxis: Ein vSAN-Cluster mit nur drei Hosts kann zwar FTT=1 (Failures To Tolerate = 1) konfigurieren, aber keine RAID-5-Erasure-Coding-Konfiguration nutzen. Wer RAID-6 mit Erasure Coding einsetzen will, braucht mindestens sechs Hosts – und damit eine deutlich größere Anfangsinvestition. In vielen unserer Kundenprojekte zeigt sich: Diese Anforderung ist einer der Hauptgründe, warum kleinere Installationen zunächst bei klassischer Spiegelung bleiben und erst bei der Skalierung auf Erasure Coding umstellen. VMware hat die Funktion mit vSAN 6.2 im Jahr 2016 offiziell eingeführt.

Einsatzgebiete: Warum Objektspeicher und Archive profitieren

Erasure Coding spielt seine Stärken dort aus, wo große Datenmengen langfristig und schreibarm gespeichert werden. Objektspeicher wie Ceph, Cloudian oder MinIO sind Paradebeispiele, ebenso wie klassische Archivierungssysteme mit WORM-Workloads (Write Once, Read Many). In diesen Szenarien werden Daten einmal geschrieben und anschließend über Jahre oder Jahrzehnte nur gelesen – die Schreibstrafe fällt dann kaum ins Gewicht.

Typische Anwendungsfälle aus unserer Beratungspraxis:

• Videoüberwachung und Aufzeichnungsarchive, wo Terabytes pro Woche anfallen und nach 30 Tagen nahezu nur noch Lesezugriffe stattfinden
• Medizinische Bildarchive (PACS), in denen DICOM-Daten über lange Zeiträume vorgehalten werden müssen
• Backup- und Disaster-Recovery-Ziele, wo Snapshots und Sicherungskopien selten angefasst, aber zuverlässig rekonstruierbar sein müssen
• Compliance-Archive, in denen Daten aus gesetzlichen Gründen unveränderbar gespeichert werden müssen

In allen diesen Fällen überwiegt der Speichervorteil den Performance-Nachteil deutlich. Bei einer 4+2-Konfiguration spart ein Unternehmen mit 100 TB Nutzdaten im Vergleich zu RAID-1 rund 150 TB Rohkapazität ein – was sich direkt in niedrigeren Hardwarekosten, reduziertem Stromverbrauch und weniger Stellplatz im Rechenzentrum niederschlägt.

Die Kehrseite: Write Penalty und CPU-Last

So verlockend die Speichereffizienz ist, darf ein Aspekt nicht unterschätzt werden: Erasure Coding ist bei Schreibvorgängen spürbar anspruchsvoller als einfache Replikation. Jedes Mal, wenn ein neues Datenfragment geschrieben oder ein bestehendes geändert wird, müssen die Paritätsinformationen neu berechnet und über mehrere Knoten verteilt geschrieben werden – in der Fachsprache die sogenannte Write Penalty.

Konkret bedeutet das:

• Bei einem 4+2-Schema erzeugt ein logischer Schreibvorgang typischerweise sechs physische Schreiboperationen – eines pro Fragment
• Die Reed-Solomon-Berechnung bindet CPU-Kerne, die bei reiner Replikation für Anwendungsworkloads zur Verfügung stünden
• Die Netzwerkverbindungen zwischen den Knoten werden zusätzlich belastet, weil Paritätsfragmente an andere Hosts übertragen werden müssen

Erasure Coding ist kein Allheilmittel: Die Speichereffizienz wird mit CPU-Last, Schreibstrafe und komplexerer Rekonstruktion erkauft.

Es gibt allerdings Ansätze, diese Nachteile abzumildern. VMware vSAN ESA (Express Storage Architecture) nutzt spezielle Software-Optimierungen, die einen Teil der Paritätsberechnung direkt im Kernel und in optimierten Code-Pfaden erledigen, um die Performance-Einbußen zu reduzieren. Solche Architekturen zeigen, dass die Zukunft von Erasure Coding nicht in der reinen Mathematik liegt, sondern in der engen Verzahnung von Hardware und Software. Pauschale Prozentzahlen zur Performance-Differenz wären allerdings irreführend, weil die tatsächlichen Latenz- und CPU-Werte stark vom jeweiligen Software-Stack und der eingesetzten Hardware abhängen.

Wann zu welcher Lösung? Eine Entscheidungshilfe aus der Praxis

Nach unzähligen Beratungsgesprächen und Cluster-Migrationen lässt sich die Frage "Erasure Coding oder doch RAID?" nicht pauschal beantworten. Entscheidend sind drei Faktoren:

1. Workload-Profil: Handelt es sich um schreibintensive Datenbanken, virtuelle Maschinen mit hoher IOPS-Last oder um ein Archiv mit überwiegend Lesezugriffen? Bei ersteren ist klassisches RAID-5/6 lokal oft noch immer die beste Wahl, weil Latenz und Schreibperformance wichtiger sind als der letzte Prozentpunkt Speichereffizienz. Bei letzteren ist Erasure Coding klar im Vorteil.

2. Clustergröße und Verteilung: Erasure Coding entfaltet seinen Nutzen erst ab einer bestimmten Mindestanzahl an Knoten. In kleinen NAS-Systemen mit vier oder sechs Festplatten bleibt RAID-6 die pragmatische Lösung. In verteilten Objektspeichern mit Dutzenden Knoten ist Erasure Coding die natürliche Wahl.

3. Recovery-Anforderungen: Wie schnell muss eine Festplatte rekonstruiert werden? Bei einem RAID-6 mit 10-TB-Festplatten kann ein Rebuild mehrere Tage dauern und die Performance des gesamten Arrays beeinträchtigen. Erasure Coding verteilt die Last auf mehrere Knoten und mehrere kleinere Fragmente – ein Vorteil, der in größeren Umgebungen den Unterschied macht.

Das bedeutet für die Praxis: Wer ein bestehendes RAID-System betreibt und mit der Performance zufrieden ist, muss nicht zwangsläufig umstellen. Wer aber eine neue, skalierbare Speicherinfrastruktur plant oder unter akutem Kapazitätsdruck steht, sollte Erasure Coding ernsthaft in Betracht ziehen – gerade in Kombination mit moderner Hardware wie NVMe-SSDs und Hochgeschwindigkeitsnetzwerken.

Mein Fazit: Speichereffizienz mit Augenmaß

Erasure Coding ist eine ausgereifte Speichertechnologie, die in vielen Szenarien die wirtschaftlichere und technisch zukunftssichere Variante gegenüber klassischer Replikation darstellt. Sie ermöglicht Fehlertoleranz für mehrere gleichzeitige Ausfälle bei einem Bruchteil des Speicher-Overheads, den RAID-1 verursacht. Gleichzeitig ist sie kein Universalschlüssel: Die zusätzliche CPU-Last und die Write Penalty sind reale Kosten, die in schreibintensiven Workloads spürbar werden.

Für die meisten unserer Kundenprojekte lautet die Empfehlung daher: Mischen, wo es sinnvoll ist. Eine saubere Trennung im Storage-Design – schreibintensive, performancekritische Daten auf schnellen RAID-Volumes, große Archiv- und Backup-Bestände auf Erasure-Coding-Pools – hat sich als robuster Kompromiss bewährt. Wer seine Workloads kennt und die Schutzbedürfnisse sauber analysiert, kann mit dieser Hybridstrategie das Beste aus beiden Welten kombinieren: Die Performance lokaler RAID-Arrays dort, wo Latenz zählt, und die Speichereffizienz von Erasure Coding dort, wo jedes Terabyte zählt.