Rolling Upgrades sind in Telco- und Provider-Netzen die pragmatische Antwort auf eine harte Realität: Software, Hardware und Services müssen regelmäßig aktualisiert werden, aber Wartungsfenster sind knapp, riskant und teuer. Jede Minute, in der ein Netzsegment „degradiert“ läuft, erhöht das Risiko von Congestion, SLO-Verletzungen und Alarmfluten. Rolling Upgrades minimieren dieses Risiko, indem sie Updates schrittweise und topologisch kontrolliert ausrollen – Gerät für Gerät, Cluster für Cluster, Domain für Domain – ohne dass der Service spürbar unterbrochen wird. Der entscheidende Erfolgsfaktor ist nicht die Upgrade-Prozedur auf dem einzelnen Router, sondern die Topologie: Redundanz, Failure Domains, Drain-Fähigkeit, N-1 Kapazität, konsistente MTU/QoS-Profile und eine Control-Plane-Struktur, die Pfadwechsel sauber abfedert. Wenn diese Grundlagen fehlen, werden Rolling Upgrades zum Zufallsspiel: Man upgradet ein Gerät, und plötzlich kippt Traffic auf einen ohnehin engen IXP-Port; ECMP rehasht, einzelne LAG-Member überlasten; BGP-Updates steigen, und das NOC sieht hunderte Alarme. Ein professionelles Design dagegen macht Wartung „langweilig“: Upgrades laufen in Wellen, mit klaren Guardrails, messbaren Vorher/Nachher-Kriterien, automatisierbaren Drains und einer Upgrade-Topologie, die Wartungsfenster drastisch verkleinert. Dieser Artikel erklärt, wie Rolling Upgrades funktionieren, welche topologischen Muster Wartungsfenster minimieren und wie Sie Rolling Upgrades so operationalisieren, dass sie planbar, wiederholbar und SLO-sicher werden.
Warum Wartungsfenster in Telco-Netzen so kostspielig sind
Wartungsfenster sind nicht nur eine organisatorische Hürde. Sie sind ein technischer Risikomodus: In Wartung läuft das Netz oft im N-1, manchmal sogar näher an N-0, weil mehrere Abhängigkeiten gleichzeitig betroffen sind (z. B. Edge + Interconnect + Service-Edge). Dadurch sinkt Headroom, Failoverpfade werden länger, QoS-Profile greifen an anderen Engpässen, und jede kleine Störung hat größeren Impact. Rolling Upgrades reduzieren Wartungsfenster, indem sie die Zeit im Risiko-Modus pro Domain minimieren.
- N-1 Betrieb: Kapazität und Pfadvielfalt sind reduziert; Congestion-Risiko steigt.
- Mehr Pfadwechsel: Drains, Rehashing, FRR-Aktivierungen erzeugen transienten Stress.
- Operative Komplexität: Koordination über Teams (Core, Edge, Services, Observability) wird schwieriger.
- Fehlertoleranz sinkt: Ein zusätzlicher Ausfall während Wartung hat größeren Blast Radius.
Leitprinzip: Minimieren Sie „Zeit in Degradation“, nicht nur die Anzahl der Changes
Rolling Upgrades sind effektiv, weil sie pro Schritt klein halten, wie viel Infrastruktur gleichzeitig degradiert ist. Das ist die Kernidee hinter Wartungsfenster-Minimierung.
Rolling Upgrades in einem Satz: Viele kleine, kontrollierte Schritte
Ein Rolling Upgrade bedeutet: Sie aktualisieren nicht „den Core“, sondern ein einzelnes Gerät oder eine kleine Einheit, verifizieren Stabilität, und erst dann geht es weiter. Diese Einheit ist idealerweise eine Maintenance Domain, die topologisch isolierbar ist. Rolling Upgrades skalieren nur, wenn Domain-Schnitt und Sequenzierung sauber sind.
- Granularität: Gerät, Linecard, Cluster-Knoten oder PoP-Paar – abhängig von Topologie.
- Drain: Traffic kontrolliert umsteuern, bevor etwas rebootet oder neu startet.
- Verifikation: SLO/SLI, Queue-Drops, Routing-Health, Interconnect-Health vor/nachher vergleichen.
- Rollback: Klare Kriterien, wann gestoppt oder zurückgerollt wird.
Designregel: Rolling Upgrades brauchen definierte „Stop Points“
Jede Welle muss einen sicheren Zustand haben, in dem man pausieren kann, ohne dass die nächste Welle „aus Zwang“ folgen muss. Stop Points minimieren Risiko und reduzieren Wartungsstress.
Topologie als Wartungswerkzeug: Maintenance Domains und Failure Domains
Rolling Upgrades sind topologiegetrieben. Die wichtigste Frage lautet: Welche Einheiten können Sie unabhängig voneinander drainen und upgraden, ohne dass der Rest des Netzes unkontrolliert reagiert? Diese Einheiten sind Ihre Maintenance Domains. Sie sollten möglichst mit natürlichen Failure Domains zusammenfallen: PoP, Metro-Hub, Ringsegment, Edge-Cluster, RR-Cluster, BNG/CGNAT-Cluster.
- PoP-Domain: Geräte in einem Standort; gut für lokale Sequenzen, aber mit Facility-SRLG verbunden.
- Metro-Domain: Hub + zugehörige Aggregationslinks; geeignet für regionalspezifische Rolling Wellen.
- Edge-Domain: Interconnect-Standort (IXP/PNI/Transit) als eigene Domain; hoch sensitiv.
- Service-Domain: Stateful Knoten (BNG/CGNAT/Firewalls) als Cluster; Rolling erfordert Session-/State-Planung.
- Control-Plane-Domain: Route Reflectors, Controller, Telemetry-Collector; muss separat und sehr vorsichtig gewartet werden.
Anti-Pattern: Domains nach Organigramm statt nach Pfaden schneiden
Wenn Domains „Teamgrenzen“ folgen, aber Trafficpfade quer darüber laufen, entstehen Upgrades mit unklaren Abhängigkeiten. Domain-Schnitt muss der realen Topologie folgen: Pfadsets, Engpässe, Failure Domains.
Redundanz richtig nutzen: Dual-Core, Dual-Edge, ECMP und Clusterfähigkeit
Topologie minimiert Wartungsfenster, wenn sie Redundanz wartungsfreundlich macht. Das klingt trivial, ist es aber nicht: Redundanz kann existieren, ohne wartungsfähig zu sein – etwa wenn N-1 Kapazität fehlt oder wenn Ersatzpfade andere MTU/QoS-Profile haben. Rolling Upgrades benötigen deshalb „Maintenance-ready Redundancy“.
- Dual-Core/Dual-Edge: Zwei unabhängige Knoten, die jeweils allein den kritischen Betrieb tragen können.
- ECMP/LAG: Pfadvielfalt, die Drains ermöglicht, ohne dass einzelne Member überlasten.
- Clusterfähigkeit: Stateful Services mit N+1, damit ein Knoten drainbar ist.
- SRLG-Diversität: Redundanz ohne diverse Pfade reduziert Wartungsfähigkeit (gemeinsame Trasse/Facility).
Designregel: N-1 muss in der Busy Hour gelten
Wenn N-1 nur nachts funktioniert, werden Wartungsfenster zwangsläufig eng. Rolling Upgrades minimieren Wartungsfenster erst dann wirklich, wenn N-1 auch in realen Peakzeiten tragfähig ist oder QoS den Betrieb stabil hält.
Drain-Mechaniken: Wie Topologie Rolling Upgrades ermöglicht
Drain ist das Herz von Rolling Upgrades. Ein guter Drain verschiebt Traffic kontrolliert, ohne Flapping und ohne Hotspots. Topologie entscheidet, welche Drain-Mechanik sinnvoll ist: IGP-Metriken, BGP-Policies, LAG-Member-Drain, SR-Policies oder Kombinationen. Wichtig ist, dass Drain immer messbar und reversibel ist.
- IGP Drain: Metrik erhöhen, Links deaktivieren oder Node „out“ nehmen; gut im Core/Metro, wenn Summaries stabil bleiben.
- BGP Drain: Local Preference/Communities ändern; besonders geeignet an Interconnect und Service-Edges.
- LAG/ECMP Drain: Member sukzessive aus dem Bundle nehmen; Member-Telemetry verhindert Imbalance-Überraschungen.
- SR/TE Drain: Policies umlegen, um Last gezielt zu verschieben, ohne globale Metrikänderungen.
Designregel: Drain ohne Observability ist kein Drain
Sie müssen sehen, dass Traffic wirklich weg ist: Portauslastung sinkt, Queue-Drops bleiben stabil, SLOs bleiben grün. Ohne diese Bestätigung verlängern Sie Wartungsfenster, weil Unsicherheit Zeit kostet.
Interconnect- und Edge-Topologie: Der häufigste Wartungsfenster-Treiber
IXPs, PNIs und Transit-Uplinks sind besonders wartungsintensiv, weil sie stark lastgetrieben sind und weil „kurz mal umsteuern“ sofort Kosten- oder Performanceeffekte haben kann. Rolling Upgrades minimieren Wartungsfenster an der Edge nur, wenn die Edge-Topologie bewusst so gebaut ist, dass Sie einen Router oder eine Portgruppe drainen können, ohne den Rest in Congestion zu treiben.
- Portklassen: Mehrere kleinere Ports statt ein einzelner großer als Wartungshebel (wenn wirtschaftlich sinnvoll).
- PNI/IXP/Transit Mix: Fallbackpfade müssen kapazitiv passen; Transit muss Peering-Ausfälle kurzfristig tragen können.
- Regionalisierung: Regionale Exits verkürzen Pfade, reduzieren Hairpinning und verringern Wartungsblast-Radius.
- Edge-Domains: Pro Standort klare Maintenance Domains und Sequenzen (Router A, dann Router B).
Anti-Pattern: Edge ohne Fallback-Headroom
Wenn Transit im Normalbetrieb „knapp“ dimensioniert ist oder IXP-Ports schon an der Grenze laufen, werden Wartungsfenster zwangsläufig eng und riskant. Rolling Upgrades brauchen Edge-Headroom.
Service-Edges: Rolling Upgrades für BNG, CGNAT, Firewalls
Stateful Systeme bestimmen oft die wirklichen Wartungsfenster. Ein Router-Upgrade kann mit Drain schnell gehen; ein BNG/CGNAT-Upgrade kann Kunden-Sessions beeinflussen, Logging-Pipelines belasten oder asymmetrische Pfade erzeugen. Topologisch minimieren Sie Wartungsfenster, indem Sie Service-Edges als Cluster-Domänen mit N+1 bauen und Rolling Mechanismen vorsehen.
- BNG/BRAS: Session Drain/Relocation, kontrollierte Reauth-Wellen, Kapazitätsreserve für Churn.
- CGNAT: State- und Port-Pool-Planung, CPS-Headroom, Logging/Collector-Headroom im Upgrade-Fenster.
- Firewalls: HA-Failover unter Last getestet, State-Sync stabil, Symmetrie-Strategie definiert.
- Service Chaining: Rolling muss Pfadsymmetrie und Policy-Consistency erhalten, sonst brechen Sessions.
Designregel: Stateful Domains brauchen längere Stop Points
Rolling Upgrades bei stateful Knoten brauchen oft zusätzliche Verifikationszeit (Sessionstabilität, Drop-Reasons, CPS-Spikes). Topologie minimiert Wartungsfenster, wenn sie diese Verifikation beschleunigt: klare KPIs, klare Health Checks, klare Rollback-Kriterien.
Control Plane und Observability: Rolling Upgrades ohne Blindflug
Wartungsfenster verlängern sich drastisch, wenn Teams im Upgrade nicht sicher sind, ob das Netz stabil ist. Deshalb muss die Observability-Domain selbst wartungsfähig und redundant sein. Ebenso müssen Control-Plane-Elemente (Route Reflectors, Controller) als eigene Rolling Domains geplant werden, damit Upgrades keine Routingstürme auslösen.
- RR-Cluster Rolling: Ein RR nach dem anderen, Health Checks, keine gleichzeitige Wartung redundanter RRs.
- Telemetry-Collector Rolling: Regionale Collector-Cluster, Buffering, Backpressure; Monitoring der Pipeline-SLOs.
- Zeitquellen: NTP/PTP stabil; sonst sind Logs/Events nicht korrelierbar und Verifikation dauert länger.
- Change-Awareness: Wartungen labeln, Alerts dämpfen ohne Blindstellen; SLOs weiterhin messen.
Designregel: Observability ist der Wartungsbeschleuniger
Je besser Sie Verifikation automatisieren können (SLO grün, Drops ok, Pfade wie erwartet), desto kürzer wird das Wartungsfenster. Die Topologie muss diese Messbarkeit unterstützen.
Wellen-Rollout: Canary, Batch, Freeze – wie Rolling Upgrades planbar werden
Rolling Upgrades minimieren Wartungsfenster, wenn sie als Wellen organisiert sind. Wellen bedeuten: zuerst Canary (kleiner Scope), dann Batch (definierte Anzahl Domains), dann Pause/Freeze zur Beobachtung. Diese Struktur reduziert Risiko und vermeidet, dass Wartungen „durchgezogen“ werden, obwohl ein Problem bereits sichtbar ist.
- Canary: Eine Domain oder ein PoP-Paar; Ziel ist frühes Erkennen von Software-/Interoperabilitätsproblemen.
- Batch: Mehrere Domains mit ähnlicher Topologie; standardisierte Sequenz und Checks.
- Freeze: Beobachtungsphase, um latente Effekte (Memory Leaks, Control-Plane Drift) zu erkennen.
- Rollback Gate: Klare Kriterien, wann gestoppt oder zurückgerollt wird, statt „weiter hoffen“.
Ein OPEX-Hebel: Wiederholbarkeit durch Templates
Wenn jede Domain denselben Blueprint hat, können Sie Wellen schneller ausrollen. Wenn jede Domain anders ist, werden Wartungsfenster lang, weil jede Sequenz neu gedacht werden muss.
MTU, QoS und ECMP: Die häufigsten Ursachen für „nicht hitless“
Viele Wartungsprobleme entstehen durch Unterschiede zwischen Normal- und Ersatzpfaden. Rolling Upgrades triggern Pfadwechsel, und damit treten Inkonsistenzen sichtbar hervor: kleinere MTU auf Backup-Pfad, fehlende PMTUD/ICMP, andere Queue-Profile oder ECMP-Rehash, der einzelne Member überlastet. Topologie minimiert Wartungsfenster, indem sie Ersatzpfade gleichwertig macht.
- MTU-Konsistenz: End-to-end MTU inklusive Overhead (MPLS/SR, EVPN, QinQ, IPsec).
- QoS-Konsistenz: Gleiche Klassen/Queue-Profile an Engpässen; Schutz kritischer Klassen im N-1.
- ECMP/LAG-Visibility: Member-Auslastung und Drop-Indikatoren, um Hotspots beim Drain früh zu erkennen.
- Hysterese: Verhindert Ping-Pong bei instabilen Links während Wartung.
Designregel: Ersatzpfade sind Teil des Normaldesigns
Wenn Ersatzpfade nur „für den Notfall“ existieren und nie im Alltag geprüft werden, verlängern sie Wartungsfenster, weil jedes Failover eine Überraschung ist.
Noise-Reduktion im Wartungsmodus: Alarmierung, die nicht blind macht
Rolling Upgrades reduzieren Wartungsfenster auch operativ, wenn Alarmierung „wartungsbewusst“ ist. Während Drains dürfen nicht tausende Alarme das NOC blockieren. Gleichzeitig muss echter Impact sichtbar bleiben. Das erreichen Sie mit SLO-orientierten Alerts, topologischer Korrelation und Change-Awareness.
- Change Labels: Wartungsfenster markieren, damit Alerts korrekt korrelieren.
- SLO-First: Paging nur bei SLO-Impact, nicht bei erwarteten Drain-Events.
- Incident Clustering: Ein PoP-Incident statt 200 Port-Alerts, mit Drilldown in Root Cause.
- Go/No-Go Gates: Wartung stoppen, wenn Error Budget oder Headroom nicht passt.
Designregel: Wartung darf nicht „Monitoring ausschalten“ bedeuten
Statt stummzuschalten sollten Sie dämpfen und korrelieren. SLO-Messung bleibt aktiv, damit Wartung nicht unbemerkt in einen Incident kippt.
Typische Fallstricke und wie man sie vermeidet
- Zu große Domains: Lösung: Maintenance Domains entlang natürlicher Failure Domains schneiden, konservative Sequenzen.
- N-1 nur theoretisch: Lösung: N-1 in Busy Hour testen, Headroom und QoS-Strategien definieren.
- Drain ohne Verifikation: Lösung: Telemetry-Pflicht (Queue-Drops, Member-Stats, Path-KPIs), klare Checks.
- Stateful Services ignoriert: Lösung: BNG/CGNAT/Firewall als eigene Rolling Domains mit Session-/State-Playbooks.
- MTU/QoS inkonsistent: Lösung: End-to-end Profile und Ersatzpfad-Validierung als Standard.
- Observability nicht redundant: Lösung: Collector-Cluster, Pipeline-SLOs, RR/Telemetry getrennt und rolling-fähig.
- Keine Stop Points: Lösung: Wellen mit Canary/Batch/Freeze und Rollback Gates.
Praktische Leitlinien: Wie Topologie Wartungsfenster minimiert
- Maintenance Domains definieren: PoP/Metro/Edge/Service/Control-Plane als getrennte Domains mit klaren Scopes.
- Maintenance-ready Redundancy bauen: N-1 Kapazität, diverse Pfade, konsistente MTU/QoS, getestete Ersatzpfade.
- Rolling Sequenzen standardisieren: Standby zuerst, ein Redundanzpaar nach dem anderen, konservative Reihenfolge für zentrale Knoten.
- Drain-Mechaniken auswählen: IGP/BGP/ECMP/SR-Drain passend zur Rolle, mit Hysterese und Telemetry-Verifikation.
- Interconnect separat behandeln: IXP/PNI/Transit als Edge-Domains, Fallback-Headroom und Portklassen definieren.
- Service-Edges als Cluster: BNG/CGNAT/Firewalls N+1, Session-/State-Playbooks, Logging/Telemetry-Headroom.
- Observability sichern: Telemetry-Domain redundant, Pipeline-SLOs, Change-Awareness und SLO-First Alerting.
- Wellen-Rollout nutzen: Canary, Batch, Freeze, Stop Points und klare Rollback-Kriterien.
- Regelmäßig üben: Geplante Drains, Failover unter Last, Vorher/Nachher-Messung und kontinuierliches Tuning.