In den letzten Monaten genoss das Thema Netzwerke und wie sie sich miteinander verbinden verstärkte Aufmerksamkeit. Cloudflare betreibt ein großes Netzwerk, das mit vielen anderen auf der ganzen Welt verbunden ist. Von unserer Position aus haben wir eine unglaubliche Einsicht in den globalen Netzwerkbetrieb. Angesichts unserer einzigartigen Situation hielten wir es für sinnvoll zu erklären, wie Netzwerke funktionieren und welche relativen Kosten für die Internetkonnektivität in verschiedenen Teilen der Welt entstehen.
Ein Netzwerk aus Netzwerken
Das Internet ist ein riesiges Netzwerk, das aus einer Ansammlung kleinerer Netzwerke besteht. Die Netzwerke, die das Internet bilden, sind im Wesentlichen auf zwei Arten miteinander verbunden. Netzwerke können sich direkt miteinander verbinden, also sogenanntes „Peering“ betreiben, oder sie verbinden sich über ein zwischengeschaltetes Netzwerk, das als „Transitanbieter“ bezeichnet wird.
Den Kern des Internets bildet eine Handvoll sehr großer Transitanbieter, die alle miteinander Peering betreiben. Diese Gruppe von rund zwölf Unternehmen ist als Tier-1-Netzwerkanbieter bekannt. Ob direkt oder indirekt, jeder ISP (Internetanbieter) auf der ganzen Welt verbindet sich mit einem dieser Tier-1-Netzwerke. Und da die Tier-1-Netzwerke alle untereinander verbunden sind, sollte man von jedem Punkt des Netzwerks aus jeden anderen Punkt erreichen können. Das ist es, was das Internet ausmacht: Es ist eine riesige Gruppe von Netzwerken, die alle miteinander verbunden sind.
Bezahlen für die Verbindung
Um Teil des Internets zu sein, kauft Cloudflare Bandbreite, den sogenannten Transit, von einer Reihe verschiedener Anbieter. Der Preis, den wir für diese Bandbreite zahlen, variiert von Region zu Region auf der ganzen Welt. In einigen Fällen kaufen wir von einem Tier-1-Netzwerk. In anderen Fällen kaufen wir von regionalen Transitanbietern, die entweder mit den Netzwerken, die wir direkt erreichen müssen, Peering betreiben (unter Umgehung von Tier-1-Netzwerken) oder sich mit anderen Transitanbietern verbinden.
Cloudflare kauft Transit en gros und auf Grundlage der Kapazität, die wir in einem bestimmten Monat nutzen. Im Gegensatz zu einigen Cloud-Diensten wie Amazon Web Services (AWS) oder traditionellen CDNs, die die einzelnen über ein Netzwerk übertragenen Bits berechnen („Bestand“ bzw stock genannt), bezahlen wir für eine maximale Nutzung für einen bestimmten Zeitraum („Fluss“ bzw. flow genannt). Normalerweise zahlen wir auf Grundlage der maximalen Anzahl von Megabit pro Sekunde, die wir während eines Monats bei einem bestimmten Anbieter nutzen.
Das Traffic-Niveau im globalen Netzwerk von Cloudflare in den letzten 3 Monaten. Jede Farbe repräsentiert eines unserer 28 Rechenzentren.
Die meisten Transitverträge berechnen das 95. Perzentil der Nutzung in einem bestimmten Monat. Das bedeutet, dass bei der Berechnung der Nutzung für den Monat ca. 36 nicht unbedingt zusammenhängende Stunden der Spitzenauslastung ignoriert werden. Gerüchten zufolge nutzte Google in seinen Anfängen die Vorteile dieser Verträge, indem es die meiste Zeit des Monats sehr wenig Bandbreite verbrauchte und dann innerhalb eines 24-Stunden-Zeitraums seine Indizes zwischen Rechenzentren versandte, ein Vorgang, der sehr umfangreichen Datenverkehr benötigt. Eine clevere, wenn auch zweifellos kurzlebige Strategie zur Vermeidung von Rechnungen für hohe Datenmengen.
Eine weitere Raffinesse ist, dass man, wenn man Transit en gros kauft, normalerweise nur für den eingehenden Traffic („Ingress“) oder den ausgehenden Traffic („Egress“) seines Netzwerks bezahlt, nicht aber für beides. Im Allgemeinen bezahlt man das, was höher ist.
Cloudflare ist ein Caching-Proxy, sodass Egress (ausgehender Traffic) in der Regel höher ist als Ingress (eingehender Traffic), normalerweise etwa um das Vier- oder Fünffache. Unsere Datenübertragungsrechnung wird daher auf Egress-Basis berechnet und wir zahlen nicht für Ingress. Dies ist teilweise der Grund dafür, dass wir keine zusätzlichen Gebühren erheben, wenn eine Website in unserem Netzwerk einen DDoS-Angriff erleidet. Ein Angriff erhöht unseren Ingress, aber solange der Angriff nicht sehr groß ist, wird unser eingehender Traffic immer noch nicht den Egress überschreiten und somit auch unsere Datenübertragungsrechnung nicht erhöhen.
Peering
Während wir für Transit bezahlen, ist das direkte Peering mit anderen Anbietern in der Regel kostenlos – von einigen bemerkenswerten Ausnahmen abgesehen, die kürzlich von Netflix hervorgehoben wurden. Für Cloudflare ist, im Gegensatz zu Netflix, zum jetzigen Zeitpunkt unser gesamtes Peering „ohne Verrechnung“, d. h. wir zahlen nicht dafür. Daher gilt: Je mehr Peering wir betreiben, desto weniger zahlen wir für die Datenübertragung. Peering erhöht in der Regel auch die Performance, indem es Mittelsmänner ausschließt, die die Latenzzeit erhöhen können. Im Allgemeinen ist Peering eine gute Sache.
Die obige Grafik zeigt, wie Cloudflare in den letzten drei Monaten die Anzahl der Netzwerke erhöht hat, mit denen wir Peering betreiben (sowohl über IPv4 als auch über IPv6). Derzeit wickeln wir etwa 45 % unseres gesamten globalen Datenverkehrs über Peering ab (abhängig von der Tageszeit), bei fast 3.000 verschiedenen Peering-Sitzungen. Die folgende Grafik zeigt das Verhältnis zwischen Peering und Transit und wie es sich in den letzten drei Monaten verbessert hat, da wir weitere Peering-Partner hinzugefügt haben.
Nordamerika
Wir können nicht genau offenlegen, was wir für Transit bezahlen, aber ich kann Ihnen ein relatives Gefühl für regionale Unterschiede vermitteln. Nehmen wir als Bezugsgröße an, man zahlt in Nordamerika einen gemischten Durchschnitt von 10 USD/Mbps (Megabit pro Sekunde und Monat) bei allen Transitanbietern. In Wirklichkeit zahlen wir weniger als das, aber es kann als Maßstab dienen, durch den die Zahlen beim Vergleich von Regionen rund bleiben. Auf Basis dieser Bezugsgröße zahlt man für jeweils 1.000 Mbps (1 Gbps) 10.000 USD/Monat (denken Sie noch einmal daran, dass das mehr ist als in Wirklichkeit; es ist nur ein illustrativer Maßstab, durch den die Zahlen rund bleiben).
Während diese Bezugsgröße die Transitkosten festlegt, bestehen die effektiven Kosten für Datenübertragung in der Region aus den Mischkosten von Transit (10 USD/Mbps) und Peering (0 USD/Mbps). Jedes Byte, das über Peering geliefert wird, ist ein potentielles Transitbyte, für das nicht bezahlt werden muss. Nordamerika hat zwar einige der niedrigsten Transitkosten der Welt, aber auch einen unterdurchschnittlichen Peering-Anteil. Die folgende Grafik zeigt die Aufteilung zwischen Peering und Transit in der Region. Obwohl es in den letzten drei Monaten besser geworden ist, hinkt Nordamerika in Bezug auf Peering immer noch hinter allen anderen Regionen der Welt hinterher.
Während wir für fast 40 % unseres weltweiten Traffics Peering nutzen, liegt unser Peering-Anteil in Nordamerika bei nur etwa 20–25 %. Angenommen, die Transitkosten in Nordamerika entsprechend der Bezugsgröße in Höhe von 10 USD/Mbps ohne Peering, dann sind es mit Peering effektiv 8 USD/Mbps. Basierend nur auf den Datenübertragungskosten ist Nordamerika damit die zweitgünstigste Region der Welt, um einen Internetdienst wie Cloudflare anzubieten. Was ist dann die günstigste?
Europa
Die europäischen Transitkosten entsprechen in etwa denen in Nordamerika, weshalb wir wieder von der Bezugsgröße von 10 USD/Mbps ausgehen können. Während der Transit ähnlich wie in Nordamerika berechnet wird, gibt es in Europa einen deutlich höheren Peering-Anteil. Cloudflare wickelt 50–55 % des Traffics in der Region über Peering ab, was effektive Datenübertragungskosten von 5 USD/Mbps ergibt. Aufgrund des hohen Peering-Anteils und der niedrigen Transitkosten ist Europa die günstigste Region der Welt für Datenübertragung.
Der höhere Peering-Anteil ist zum Teil auf die Organisation der „Peering-Knoten“ in der Region zurückzuführen. Ein Peering-Knoten ist ein Dienst, mit dem sich Netzwerke gegen eine Gebühr verbinden können, um dann problemlos Traffic mit anderen Netzwerken auszutauschen, ohne einzelne Kabel zwischen den Routern verlegen zu müssen. Netzwerke verbinden sich mit einem Peering-Knoten, verlegen ein einziges Kabel und können sich dann mit vielen anderen Netzwerken verbinden. Da die Verwendung eines Ports auf einem Router mit Kosten verbunden ist (Router kosten Geld, haben eine begrenzte Anzahl von Ports und ein Port, der für ein Netzwerk verwendet wird, kann nicht für ein anderes verwendet werden) und da Rechenzentren in der Regel eine monatliche Gebühr für den Betrieb eines Kabels zwischen zwei verschiedenen Kunden erheben (die als „Cross-Connect“ bezeichnet wird), kann es sehr kostengünstig sein, sich mit einem Dienst zu verbinden, einen Port und ein Kabel zu nutzen, und auf diese Weise den Anschluss an viele Netzwerke zu bekommen.
Der Wert eines Knotens hängt von der Anzahl der Netzwerke ab, die dazu gehören. Der Amsterdam Internet Exchange (AMS-IX), der Frankfurt Internet Exchange (DE-CIX) und der London Internet Exchange (LINX) sind drei der größten Knoten der Welt. (Hinweis: Diese Links verweisen auf PeeringDB.com, das Informationen über das Peering zwischen Netzwerken bietet. Sie müssen die Benutzername/Passwort-Kombination guest/guest verwenden, um sich anzumelden.)
In Europa und den meisten anderen Regionen außerhalb Nordamerikas werden diese und andere Knoten in der Regel als gemeinnützige Kollektive betrieben, die zugunsten ihrer Mitgliedsnetze gegründet wurden. In Nordamerika gibt es zwar Internet-Knoten, diese werden aber in der Regel von gewinnorientierten Unternehmen betrieben. Die größten dieser gewinnorientierten Knoten in Nordamerika gehören Equinix, einem Rechenzentrums-Unternehmen, das Knoten in seinen Einrichtungen nutzt, um es attraktiver zu machen, dort Geräte zu platzieren. Da diese Knoten mit Gewinnabsicht geführt werden, sind die Kosten für den Beitritt zu den nordamerikanischen Knoten in der Regel höher als die in anderen Ländern.
Cloudflare ist an vielen Equinix-Knoten vertreten, aber insgesamt verbinden sich weniger Netzwerke mit Equinix als mit den europäischen Knoten (so sind z. B. an seinem beliebtesten Knoten Equinix Ashburn rund 400 Netzwerke angeschlossen, im Vergleich zu 1.200 Netzwerken, die mit AMS-IX verbunden sind). In Nordamerika verringert die Kombination aus relativ günstigem Transit und relativ teuren Knoten den Wert des Beitritts zu einem Knoten. Da sich weniger Netzwerke mit Knoten verbinden, gibt es weniger Möglichkeiten für Netzwerke, einfach Peering zu betreiben. In Europa ist der Transit ebenfalls günstig, aber Peering ist sehr einfach, wodurch die effektiven Kosten für Datenübertragung in dieser Region die niedrigsten auf der Welt sind.
Asien
Der Peering-Anteil in Asien ist ähnlich hoch wie in Europa. Wie in Europa wickelt Cloudflare in Asien 50–55 % des Traffics über Peering ab. Die Transitkosten sind jedoch deutlich höher. Im Vergleich zur Bezugsgröße von 10 USD/Mbps in Nordamerika und Europa sind die Transitkosten in Asien etwa siebenmal so hoch (70 USD/Mbps, basierend auf der Bezugsgröße). Wenn jedoch Peering berücksichtigt wird, liegen die effektiven Kosten für Datenübertragung in der Region bei 32 USD/Mbit/s.
Es gibt drei Hauptgründe, warum der Transit in Asien so viel teurer ist. Erstens gibt es weniger Wettbewerb und eine größere Anzahl großer Monopolanbieter. Zweitens ist der Markt für Internetdienste weniger gesättigt. Und schließlich, wenn man sich eine Karte von Asien ansieht, sieht man vor allem eines: Wasser. Das Verlegen von Unterwasserkabeln ist teurer als das Verlegen von Glasfaserkabeln auf dem Festland, weshalb die Transitkosten die Kosten für die Infrastruktur für den Transport von Bytes wettmachen.
Lateinamerika
Lateinamerika ist die neueste Region von Cloudflare. Als wir unser erstes Rechenzentrum in Valparaíso (Chile) eröffneten, lieferten wir 100 Prozent unseres Traffics über Transit, was Sie in der obigen Grafik sehen können. Um Traffic in Lateinamerika über Peering abzuwickeln, muss man sich entweder in einem „betreiberneutralen“ Rechenzentrum befinden – das heißt, mehrere Netzwerkbetreiber kommen in einem einzigen Gebäude zusammen, wo sie sich direkt an die Router des anderen anschließen können – oder man muss in der Lage sein, einen Internet-Knoten zu erreichen. Beides ist in weiten Teilen Lateinamerikas schwierig.
Das Land mit dem robustesten Peering-Ökosystem ist Brasilien, das zufällig auch das größte Land und die größte Traffic-Quelle in der Region ist. Wie Sie sehen können, hat sich unser Peering-Anteil in der Region deutlich erhöht, als wir vor etwa zwei Monaten unser Rechenzentrum in São Paulo (Brasilien) in Betrieb genommen haben. Wir haben auch spezielle Vereinbarungen mit ISPs in Lateinamerika getroffen, um Anlagen direkt in ihren Rechenzentren einzurichten und mit ihren Netzwerken Peering zu betreiben (was wir z. B. in Medellín (Kolumbien) getan haben).
Während heute unser Peering-Anteil in Lateinamerika mit rund 60 Prozent der weltweit höchste ist, betragen die Transitkosten in der Region das Achtfache (80 USD/Mbps) der Bezugsgröße von Nordamerika und Europa. Das bedeutet, dass die effektiven Datenübertragungskosten in der Region bei 32 USD/Mbps liegen, ungefähr so hoch wie in Asien.
Australien
Australien ist die teuerste Region, in der wir tätig sind, aber aus einem interessanten Grund. Wir betreiben Peering mit praktisch jedem ISP in der Region, mit einer Ausnahme: Telstra. Telstra, das etwa 50 % des Marktes kontrolliert und traditionell der Monopol-Telekommunikationsanbieter war, verlangt einen der weltweit höchsten Transitpreise – das Zwanzigfache der Bezugsgröße (200 USD/Mbps). Da wir etwa die Hälfte unseres Traffics über Peering abwickeln können, liegt der effektive Bezugsgrößenpreis für Datenübertragung bei 100 USD/Mbps.
Um Ihnen einen Eindruck davon zu vermitteln, wie sehr Australien aus der Reihe fällt: Wir bei Cloudflare zahlen jeden Monat etwa so viel für Datenübertragung für das gesamte Europa, wie wir es für Australien tun. Und das trotz der Tatsache, dass etwa 33 Mal mehr Menschen in Europa leben (750 Millionen) als in Australien (22 Millionen).
Falls sich Australier fragen, warum das Internet und viele andere Dienste in ihrem Land teurer sind als irgendwo sonst auf der Welt, brauchen sie nur auf Telstra zu blicken. Interessant ist, dass Telstra seine hohen Preise beibehält, auch wenn es sich nur um die Abwicklung von Traffic innerhalb des Landes handelt. Da Australien eine große Landmasse mit relativ konzentrierten Bevölkerungszentren ist, ist es schwierig, die Preisgestaltung auf etwas anderes als die Marktmacht von Telstra zurückzuführen. Für Regionen wie Nordamerika, in denen die Konsolidierung der Netzwerke zunimmt, bietet die Erfahrung Australiens mit Telstra ein warnendes Beispiel.
Fazit
Die obige Grafik zeigt die relativen Kosten der Datenübertragung unter der Annahme einer Transitkosten-Bezugsgröße von 10 USD/Megabits pro Sekunde (Mbps) pro Monat in Nordamerika und Europa (wir wissen, dass dies höher ist als die tatsächlichen Kosten, es ist nur eine Bezugsgröße).
Während wir unsere Preisgestaltung bei Cloudflare einfach halten und eine Flatrate erheben, unabhängig davon, wo der Traffic auf der Welt bereitgestellt wird, variieren die tatsächlichen Datenübertragungskosten stark von Region zu Region. Wir werden weiter daran arbeiten, unsere Transitkosten zu senken und unseren Peering-Anteil zu erhöhen, um den bestmöglichen Service zu einem möglichst niedrigen Preis anzubieten. Falls Sie ein ISP sind, der dem wachsenden Teil des Internets hinter dem Netzwerk von Cloudflare eine bessere Konnektivität bieten möchte: Wir vertreten eine Politik der Offenheit und sind immer gerne zu Peering bereit.
Tags: Datenübertragung, Peering, Datenübertragungskosten