So reagiert Cloudflare auf kinderpornografisches Online-Material

Schon von Anfang an hatte die Reaktion auf kinderpornografisches Online-Material (child sexual abuse material, CSAM) bei Cloudflare höchste Priorität. Das Schicksal von CSAM-Opfern ist tragisch und lenkt den Blick auf einen entsetzlichen Aspekt des Internets. In Sachen CSAM ist unsere Position ganz einfach: Wir tolerieren es nicht. Wir verabscheuen es. Es handelt sich um ein Verbrechen, und wir unterstützen die Verfahren zur Erkennung und Beseitigung dieser Inhalte mit allen uns zur Verfügung stehenden Mitteln.

Schon wenige Monate nach dem Start von Cloudflare haben wir uns im Jahr 2010 mit dem National Center for Missing and Exploited Children (NCMEC) in Verbindung gesetzt und gemeinsam einen Prozess eingeleitet, um festzustellen, welche Rolle wir spielen und wie wir mit dieser Einrichtung zusammenarbeiten können. Im Laufe der Jahre haben wir regelmäßig mit vielen Behörden und Interessenverbänden gesprochen, um herauszufinden, wie Cloudflare auf Berichte über CSAM, die wir durch über Missbrauchsmeldungen erhalten, reagieren sollte und kann, und wie wir Ermittlungen gegen Websites, die die Dienste von Cloudflare nutzen, durch Informationen unterstützen können.

Vor Kurzem haben 36 Tech-Unternehmen, darunter auch Cloudflare, von einer Gruppe von US-Senatoren diesen Brief erhalten. Darin werden wir um weitere Informationen darüber gebeten, wie wir mit CSAM-Inhalten umgehen. Dabei bezogen die Senatoren sich auf Berichte der New York Times, die Ende September und Anfang November veröffentlicht wurden und große Wirkung hatten. Dort wurde berichtet, wie beunruhigend hoch die Anzahl von Bildern von sexuellem Missbrauch von Kindern im Internet ist, einschließlich drastischer Details über die schrecklichen Fotos und darüber, wie die Opfer durch die Abbildungen erneut traumatisiert werden. Schwerpunkt der Berichte waren Mängel und Schwierigkeiten dabei, die Straftäter vor Gericht zu bringen. Außerdem wurden die Bemühungen (oder fehlenden Bemühungen) einer Gruppe von Tech-Unternehmen wie Amazon, Facebook, Google, Microsoft und Dropbox beschrieben, dieses Material so umfassend wie möglich auszumerzen. Dazu gibt es bestehende Prozesse und neue Tools wie PhotoDNA, mit denen man CSAM-Material proaktiv identifizieren könnte.

Wir halten es für wichtig, unsere Antwort an die Senatoren zu veröffentlichen (am Ende dieses Blogbeitrags finden Sie eine Kopie), öffentlich darüber zu sprechen, was wir in diesem Bereich getan haben, und zu überlegen, was wir sonst noch tun können.

Aus unserer Arbeit mit NCMEC wissen wir, dass die CSAM-Berichte dort mit allen zur Verfügung stehenden Mitteln auf ihre Berechtigung überprüft werden. Danach werden Website-Betreiber, Moderatoren von Plattformen oder Website-Hosts veranlasst, diese Inhalte schnellstmöglich aus dem Internet zu entfernen. Obwohl Cloudflare bei den Nutzern unserer Kerndienste keine Inhalte aus dem Internet entfernen kann, arbeiten wir ständig daran, Möglichkeiten zur Unterstützung dieser Bemühungen zu entwickeln.

Cloudflares erste Reaktion auf CSAM besteht darin, jeden Vorwurf dieser Art ordnungsgemäß zu melden. Sobald uns in Bezug auf eine Website, die Cloudflare-Dienste nutzt, über unsere Seite für Missbrauchsmeldungen Inhalte gemeldet werden, die unter die Kategorie „Kinderpornografie“ fallen, werden drei Maßnahmen ausgelöst:

1. Wir leiten die Meldung an NCMEC weiter. Zusätzlich zum Inhalt der Meldung, die Cloudflare erhalten hat, geben wir NCMEC Informationen zur Identifizierung des Hosting-Anbieters der Website, Kontaktinformationen für diesen Hosting-Anbieter und die Ursprungs-IP-Adresse, unter der man die fraglichen Inhalte finden kann.

2. Wir leiten die Meldung an den Website-Betreiber und an den Hosting-Anbieter weiter, damit diese die Inhalte entfernen können, und wir geben die Ursprungs-IP an, unter der sich der Inhalt auf dem System befindet, damit sie die Inhalte schnell finden können. (Seit 2017 geben wir den Meldern die Möglichkeit, die Meldung anonym abzugeben, wenn sie nicht möchten, dass der Host oder der Website-Betreiber über ihre Identität informiert wird).

3. Wir stellen jedem Melder Informationen über die Identität des Hosting-Anbieters und Kontaktinformationen für den Hosting-Anbieter zur Verfügung, falls er den Vorgang direkt verfolgen möchte.

Seit seiner Gründung hat Cloudflare 5.208 Meldungen an NCMEC weitergeleitet. Für die letzten drei Jahre waren es 1.111 Meldungen im Jahr 2019 (bis heute), 1.417 im Jahr 2018 und 627 im Jahr 2017.

Meldungen, bei denen die Kategorie „Kinderpornographie“ angegeben ist, machen etwa 0,2 % der Missbrauchsmeldungen aus, die Cloudflare erhält. Unser Trust & Safety-Team behandelt diese Meldungen mit höchster Priorität und stellt sie in der Bearbeitungsliste für Missbrauchsfälle ganz nach vorn. Normalerweise können wir unabhängig von Tageszeit oder Wochentag innerhalb weniger Minuten mit einer Weitergabe der Meldung und der Zusatzinformationen an NCMEC reagieren.

Der zweite Punkt bei unserer Reaktion auf CSAM ist unser Programm „Vertrauenswürdige Melder“. Es soll relevante Informationen liefern, mit der wir die Untersuchungen von fast 60 Kinderschutzorganisationen auf der ganzen Welt unterstützen. Mit dem Programm „Vertrauenswürdige Melder“ fördern wir die ständige Zusammenarbeit mit diesen Organisationen und reagieren auf deren Anfragen nach Informationen über den Hosting-Anbieter der betreffenden Websites sowie über die Ursprungs-IP-Adresse der betreffenden Inhalte. Die Angaben über die Ursprungs-IP sind normalerweise sensibel, denn mit ihnen könnten Hacker bestimmte Sicherheitsvorkehrungen für eine Website, wie etwa den DDoS-Schutz, umgehen. Deshalb leiten wir diese Informationen über spezifische Kanäle vorrangig an diese Organisationen weiter.

Wie NCMEC sind auch diese Organisationen dafür verantwortlich, Meldungen über CSAM auf Websites oder Hosting-Anbieter in ihrem Zuständigkeitsbereich nachzugehen. Sie brauchen die entsprechenden Ressourcen, um diese Beteiligten so schnell wie möglich zu identifizieren, zu kontaktieren und zum Entfernen der Inhalte zu veranlassen. Am Programm „Vertrauenswürdige Melder“ nehmen Gruppen wie die Internet Watch Foundation (IWF), die INHOPE Association, die Australian eSafety Commission und Meldpunt teil. In den letzten fünf Jahren haben wir auf mehr als 13.000 IWF-Anfragen und mehr als 5.000 Anfragen von Meldpunt reagiert. Wir reagieren auf solche Anfragen am selben Tag, in der Regel innerhalb weniger Stunden. In ähnlicher Weise erhält und beantwortet Cloudflare auch Auskunftsanfragen der Strafverfolgungsbehörden bei Ermittlungen im Zusammenhang mit CSAM oder dem Missbrauch Minderjähriger.

Dabei sind insbesondere die einzigartigen Bemühungen des Canadian Centre for Child Protection hervorzuheben. Zum Cybertip-Programm dieses Zentrums gehört die Initiative „Project Arachnid“. Dabei handelt es sich um einen neuartigen Ansatz mit einem automatisierten Webcrawler, der proaktiv im Internet nach Bildern sucht, die einem bekannten CSAM-Hash entsprechen, und bei Übereinstimmungen den Hosting-Anbieter benachrichtigt. Auf der Grundlage unserer Zusammenarbeit mit Project Arachnid haben wir auf mehr als 86.000 Meldungen reagiert und Informationen über den Hosting-Anbieter und die Ursprungs-IP-Adresse weitergegeben. Diese werden unserem Kenntnisstand zufolge dann bei dieser und allen folgenden Meldungen zur Kontaktaufnahme mit dem Hosting-Anbieter genutzt.

Obwohl wir solche Meldungen in der Regel innerhalb weniger Stunden auswerten, haben uns Teilnehmer unseres Programms „Vertrauenswürdige Melder“ berichtet, dass ihre Systeme Probleme haben, weil unsere Reaktion nicht sofort erfolgt. Sie wünschen sich die Möglichkeit, unsere Systeme direkt abzufragen und den Hosting-Anbieter sowie die Ursprungs-IP zu ermitteln, oder noch besser, auf ihren automatisierten Systemen Schnittstellen zu unseren Systemen entwickeln zu können, um jegliche Verzögerung zu beseitigen. Dies ist besonders für das kanadische Project Arachnid relevant, das unsere Informationen zu einem Teil des eigenen automatisierten Systems machen möchte.  Nachdem wir diese Lösung geprüft haben, sind wir nun zuversichtlich, dass wir diesen Weg gehen können. Im November haben wir einige vertrauenswürdige Melder darüber informiert, dass wir eine API zur Verfügung stellen werden, mit der ihre Anfragen im Rahmen der Untersuchungen unverzüglich beantwortet werden. Wir gehen davon aus, dass diese Funktionalität im ersten Quartal 2020 online sein wird.

Unter entsprechenden Umständen leitet Cloudflare Schritte ein, seine Dienste für eine Website zu beenden, wenn deutlich wird, dass die Website zur Weitergabe von CSAM dient oder wenn die Betreiber der Website und ihr Host keine geeigneten Schritte unternehmen, um CSAM-Inhalte zu löschen. In den meisten Fällen geht es bei CSAM-Meldungen um einzelne Bilder, die auf Websites mit benutzergenerierten Inhalten veröffentlicht und von den verantwortlichen Website-Betreibern oder Hosting-Anbietern schnell entfernt werden. In anderen Fällen, wenn die Betreiber oder Hosts selbst keine Maßnahmen ergreifen, kann Cloudflare selbst die Inhalte zwar nicht löschen oder entfernen, wird aber Schritte unternehmen, um die Dienste für die Website zu beenden.  Wir verfolgen Meldungen von NCMEC und anderen Organisationen weiter, wenn sie uns berichten, dass sie ihre erste Untersuchung abgeschlossen und die Richtigkeit der Beschwerde bestätigt haben, den Website-Betreiber oder -Host aber nicht zum Entfernen der Inhalte veranlassen konnten. Außerdem arbeiten wir mit Interpol zusammen, und wenn dort festgestellt wird, dass eine Website nicht gegen CSAM vorgeht, stellen wir den Dienst für sie ein.

Auf der Grundlage derartiger Feststellungen und Interaktionen haben wir in den letzten acht Jahren den Service für 5.428 Domains beendet.

Darüber hinaus hat Cloudflare neue Produkte eingeführt, bei denen wir selbst Inhalte hosten, zum Beispiel Cloudflare Stream und Cloudflare Workers. Hier könnten wir auch selbst Inhalte aus dem Internet entfernen.  Obwohl diese Produkte bisher nur begrenzt angenommen wurden, gehen wir davon aus, dass ihre Nutzung in den nächsten Jahren deutlich zunehmen wird. Wir werden deshalb die Inhalte, die wir für Benutzer dieser Produkte hosten, mit PhotoDNA oder ähnlichen Tools scannen, die die NCMEC-Bildhashliste verwenden. Wenn solche Inhalte gemeldet werden, werden wir sie umgehend entfernen. Wir arbeiten noch an dieser Funktionalität und gehen davon aus, dass sie im ersten Halbjahr 2020 einsatzbereit sein wird.

Cloudflares Vorgehen gegen CSAM erfolgt vor einem umfassenden juristischen und politischen Hintergrund. Kongress, Strafverfolgungsbehörden und Kinderschutzorganisationen arbeiten seit langem zusammen, um die Ausbeutung von Kindern zu bekämpfen. Schon 1998 erkannte NCMEC, wie wichtig es ist, die Online-Verbreitung von CSAM zu bekämpfen, und schuf die CyberTipline, ein zentralisiertes Meldesystem für die Öffentlichkeit und Online-Anbieter, über das man die Online-Ausbeutung von Kindern melden kann.

Im Jahr 2006 führte der Kongress eine einjährige Untersuchung durch und verabschiedete dann eine Reihe von Gesetzen gegen den sexuellen Missbrauch von Kindern. Mit diesen Gesetzen sollten die Interessen der verschiedenen Beteiligten ausgeglichen und ihre Reaktionen abgestimmt werden. Die ausgeglichene Politik des Kongresses beim Vorgehen gegen CSAM im Internet enthielt auch einige Elemente, die Anbieter von Onlinediensten betreffen.

Erstens gab der Kongress NCMEC eine offizielle Rolle als zentrale Bearbeitungsstelle für Meldungen und Ermittlungen über die CyberTipline. Online-Anbieter sind seitdem gesetzlich verpflichtet, alle Meldungen von CSAM an NCMEC weiterzumelden, andernfalls drohen Geldbußen. Im Gesetz ist ausdrücklich festgelegt, dass aus Datenschutzgründen keine Verpflichtung zur Überwachung von Inhalten oder zur aktiven Suche oder Durchsuchung von Inhalten für solche Meldungen besteht.

Zweitens reagierte der Kongress auf die vielen Geschichten von Opfern im Kindesalter, bei denen betont wurde, wie sehr durch die Verbreitung von Bildern ihres Missbrauchs kontinuierlich weiter Schaden angerichtet wurde. Nach Aussage von NCMEC „dokumentieren diese Bilder und Videos nicht nur die Ausbeutung und den Missbrauch der Opfer. Werden diese Dateien über das Internet weitergegeben, werden die Kinder jedes Mal wieder zu Opfern gemacht, wenn die Abbildungen ihres sexuellen Missbrauchs angesehen werden“, selbst wenn dies zu scheinbar berechtigten Ermittlungszwecken geschieht. Um diesem Problem zu begegnen, schreibt das Gesetz vor, dass die Zahl der Mitarbeiter, die Zugang zu visuellen Darstellungen des sexuellen Missbrauchs von Kindern erhalten, bei den Anbietern so gering wie möglich bleiben muss.

Um zu gewährleisten, dass Kinderschutz- und Strafverfolgungsbehörden die Unterlagen bekommen, die sie für eine Ermittlung brauchen, schreibt das Gesetz schließlich vor, dass die Anbieter nicht nur die Meldung an NCMEC, sondern auch „alle visuellen Darstellungen, Daten oder andere digitale Dateien, die Kontext oder zusätzliche Informationen über das gemeldete Material oder die gemeldete Person enthalten können“, 90 Tage lang aufbewahren müssen.

Da die Cloudflare-Dienste überaus umfassend genutzt werden – von mehr als 20 Millionen Internetwebsites, und nach Abgaben von W3Techs von über 10 % der 10 Millionen wichtigsten Websites der Welt –, haben wir sehr viel Arbeit investiert, um diese Prinzipien zu verstehen und unter den verschiedensten Umständen angemessen umzusetzen. Bei den Prozessen, die ich in diesem Blogbeitrag beschrieben habe, geht es darum, dass wir diese Prinzipien so vollständig und so schnell wie möglich einhalten, und um weitere Maßnahmen, mit denen die zugrunde liegenden Ziele des Systems gefördert werden.

Wir geben uns nicht der Illusion hin, dass wir auf diesem Gebiet nichts mehr zu tun haben. Wir werden weiterhin mit anderen Gruppen zusammenarbeiten, die sich der Bekämpfung dieses abscheulichen Verbrechens verschrieben haben, und Werkzeuge bereitstellen, mit denen wir sie noch schneller informieren können, damit CSAM-Inhalte gelöscht und die Kriminellen ermittelt werden, die sie herstellen und verbreiten.

Cloudflare's Senate Res... by Cloudflare on Scribd

Cloudflare's Senate Res... by Cloudflare on Scribd