Überall im Internet passiert jeden Tag etwas, das zwar schlimm, aber leider ganz normal ist: Tausende von Ursprungsservern fallen aus, was zu Verbindungsfehlern und Frust bei Nutzern führt. Zusammengerechnet verbringen die Nutzer von Cloudflare jeden Tag mehr als viereinhalb Jahre damit, auf unerreichbare Ursprungsserver zu warten, die nur mit Fehlermeldungen antworten. Doch Besucher wollen keine Fehlerseiten sehen, sie wollen Inhalte sehen!
Heute ist ein guter Tag für alle, die sich schon immer ein stärkeres und widerstandsfähigeres Internet mit mehr Redundanzen gewünscht haben: Wir freuen uns, unsere Partnerschaft mit dem Internet Archive bekannt zu geben, um neue Funktionen in unseren Always Online Service einzubringen.
Always Online dient als Absicherung für die Websites unserer Kunden. Sollte der Ursprungsserver eines Kunden offline gehen, aussetzen oder anderweitig ausfallen, springt Always Online ein und stellt Besuchern archivierte Kopien der Webseiten zur Verfügung. Das Internet Archive ist eine gemeinnützige Organisation, die mit der Wayback Machine einen Dienst betreibt, der Schnappschüsse von Milliarden von Websites im Internet speichert. Durch die Partnerschaft mit dem Internet Archive kann Cloudflare nahtlos Antworten für unerreichbare Websites aus dem Internet Archive liefern, während das Internet Archive weiterhin seine Aufgabe der Archivierung des Webs erfüllen und sämtliches Wissen zugänglich machen kann.
Wenn Sie Always Online im Cloudflare-Dashboard aktivieren, können wir Ihren Hostnamen mit der Wayback Machine teilen, damit sie Ihre Website archivieren kann. Wenn der Ursprungsserver einer Website ausfällt, wendet sich Cloudflare ans Internet Archive, um die zuletzt archivierte Version der Website abzurufen, sodass die Besucher den Inhalt der Website weiterhin einsehen können.
Wenn ein Ursprungsserver ausfällt
Wenn eine Person eine Cloudflare-Website besucht, wird eine Anfrage von ihrem Laptop/Handy/Tablet/smarten Kühlschrank an die Cloudflare-Edge gestellt. Unsere Edge schaut zunächst, ob wir mit gecachten Inhalten antworten können. Wenn sich der angeforderte Inhalt nicht im Cache befindet oder als veraltet einzustufen ist, holen wir uns eine frische Kopie vom Ursprung. Im Rahmen eines solchen Fetchs nicht gecachter/veralteter Inhalte vom Ursprungsserver aktualisieren wir auch unseren Cache, damit nachfolgende Anfragen schneller und sicherer beantwortet werden können. Wenn der Ursprung nicht erreichbar ist, versucht unsere Edge noch einige Male, eine Verbindung herzustellen, bevor sie den Ursprung als ausgefallen markiert und dem Besucher eine Fehlerseite anzeigt. Mit einer solchen Fehlerseite kann niemand wirklich etwas anfangen, daher bemühen wir uns sehr darum, Besuchern von Websites, die Cloudflare verwenden, zumindest einige Inhalte anzubieten, auch wenn ein Ursprungsserver gerade mit einem Problem zu kämpfen hat.
Eine kurze Geschichte von Always Online
Als Cloudflare vor 10 Jahren ins Leben gerufen wurde, waren die meisten unserer Kunden kleine Unternehmen und nutzten Hosts, die häufig ausfielen. Diese frühen Kunden befürchteten, dass ihr Host genau dann ausfallen könnte, wenn eine Suchmaschine ihre Website indexiert. Der Crawler der Suchmaschine meldet dann, dass die ausgefallene Website nicht antwortet, und die Website wird im Such-Ranking heruntergestuft. Aus dieser Sorge heraus entstand Always Online.
Durch den Betrieb von Always Online während der letzten zehn Jahre haben wir gelernt: Kunden und ihre Nutzer wissen die Bekämpfung von Internet-Ausfallzeiten mit einfachen, unaufdringlichen Tools sehr zu schätzen. Obwohl einige Features immer wieder neu geschrieben wurden, sind andere Teile unseres Codes vom Lauf der Zeit unberührt geblieben. Das ist ein Beweis für ihre Robustheit. Always Online zeigt z. B. mit einem Banner deutlich an, dass eine archivierte Version der Seite bereitgestellt wird, da der Ursprungsserver nicht erreichbar ist. Diese Transparenz wird sowohl von den Eigentümern als auch von den Besuchern der Website gut aufgenommen.
Vor Kurzem haben wir beschlossen, Always Online noch besser zu machen. Wir wollten die Features bewahren, die Kunden am Herzen lagen (eine möglichst nahtlose Erfahrung für ihre Nutzer, wenn ihre Ursprungsserver ausfallen) und gleichzeitig die Menge der über Always Online verfügbaren Inhalte erhöhen. Außerdem wollten wir sicherstellen, dass die Inhalte so frisch wie möglich sind, und diese Archivierung auf eine Weise durchführen, die allgemein dazu beiträgt, das Internet zu einem besseren Ort zu machen.
Hier kommt das Internet Archive ins Spiel
All diese Ziele werden durch die Partnerschaft mit der Wayback Machine vom Internet Archive erreicht. Sie ist die technische Grundlage der nächsten Generation von Always Online. Beim Internet Archive geht es um universellen Zugang zu sämtlichem Wissen. Seit 1996 wird in der Wayback Machine des Internet Archives ein Großteil des öffentlichen Webs archiviert: Sie bewahrt Millionen von Websites und Webseiten, die sonst verloren gehen würden, und macht sie zugänglich. Hierfür hat das Archiv mehr als 468 Milliarden Webseiten mit mehr als 45 Petabyte an Informationen archiviert.
Die Integration von Always Online in das Internet Archive wird dem Archiv dabei helfen, seine Aufzeichnungen des Internets auszuweiten; viele der Domains, bei denen die Always-Online-Funktionalität aktiviert wurde, hätte der Crawler des Archivs sonst vielleicht niemals entdeckt. Und für Cloudflare-Kunden wird das Archiv den Besuchern nahtlos Zugang zu Inhalten bieten, die sonst nur als Fehler ausgegeben worden wären.
Mit anderen Worten: Die Partnerschaft von Cloudflare mit dem Internet Archive macht das Internet besser, stärker und allgemein zugänglicher.
„Durch unsere Partnerschaft mit Cloudflare finden und archivieren wir Webseiten, von denen wir sonst vielleicht nichts gewusst hätten. Und durch die Integration mit dem Dienst Always Online von Cloudflare stehen die Archive dieser Seiten denjenigen zur Verfügung, die versuchen, auf die Seiten zuzugreifen, wenn sie über das Live-Web nicht mehr verfügbar sind.“
– Mark Graham, Direktor der Wayback Machine des Internet Archives
„Wir freuen uns auf die Zusammenarbeit mit Cloudflare und erwarten von dieser Partnerschaft, dass sie wichtige Redundanz für das Internet herstellt und unsere ständigen Anstrengungen, das Internet noch nützlicher und zuverlässiger zu machen, weiter voranbringt.“
– Brewster Kahle, Gründer und Digital Librarian des Internet Archives
Wie funktioniert das neue Always Online hinter den Kulissen?
Durch ein Upgrade auf das neue Always Online im Cloudflare-Dashboard können wir einige grundlegende Informationen über Ihre Website mit dem Internet Archive teilen (z. B. Hostname und beliebte URLs), damit es Ihre Website in regelmäßigen Abständen durchsuchen und archivieren kann. Dieses Teilen und Durchsuchen von Informationen stellt sicher, dass die Inhalte für Always Online verfügbar sind und dient auch dazu, die Bibliothek der direkt über das Archiv verfügbaren Inhalte zu vergrößern.
Wenn Ihr Ursprungsserver ausfällt oder nicht erreichbar ist, gibt Cloudflares Edge einen Statuscode in Bereich 520 bis 527 aus, was auf ein Problem hinweist, das mit dem Ursprung zusammenhängt. In diesem Fall schaut Cloudflare zunächst im lokalen Edge-Rechenzentrum nach, um zu sehen, ob es eine veraltete oder abgelaufene Version des Inhalts gibt, die wir dem Website-Besucher anbieten können. Wenn es keine Version im lokalen Cache gibt, ruft Cloudflare beim Internet Archive die zuletzt archivierte Version der Website ab und stellt sie Ihren Besuchern zur Verfügung. Wenn dies geschieht, stellt Always Online den archivierten Inhalt zur Verfügung und zeigt ein Banner an, um Ihre Besucher wissen zu lassen, dass Ihr Ursprungsserver gerade ein Problem hat. Mit dem Banner können Ihre Besucher mit einem einzigen Klick nachsehen, ob der Ursprung wieder online ist. Während für dynamische Inhalte, die eine Kommunikation mit einem Ursprungsserver erfordern (z. B. Webanwendungen oder Warenkörbe), immer noch eine Fehlermeldung ausgegeben wird, sind einfache Inhalte oft mit Always Online verfügbar.
Das neue Always Online aktivieren
Derzeit ist der alte Always-Online-Dienst weiterhin verfügbar. Wir planen jedoch, in Kürze ganz auf die vom Internet Archive gestützte Version umzustellen.
Cloudflare-Kunden können Always Online im Dashboard aktivieren:
Mehr dazu
- Weitere Informationen über Always Online und seine Funktionsweise finden Sie in unserer Dokumentation.
- Um mit Always Online loszulegen, loggen Sie sich bitte in Ihr Cloudflare-Dashboard ein und schalten Sie es dort ein.
- Hier finden Sie die Ankündigung unserer Partnerschaft durch das Internet Archive.
- Wenn Sie uns helfen möchten, Always Online oder einen anderen Bereich in unserem Teil des Internets zu verbessern, schreiben Sie uns einfach.