Il y a deux semaines, nous écrivions un article portant sur les mesures prises par Cloudflare à l'égard des contenus d’abus sexuels contre des enfants (CSAM). Dans les mois qui ont suivi notre lancement public en 2010, nous avons entamé une collaboration avec le National Center for Missing and Exploited Children (NCMEC), l'organisme américain qui sert de plate-forme centralisée chargée de supprimer ces contenus répugnants. Au cours des neuf dernières années, notre équipe Trust & Safety a collaboré avec le NCMEC, Interpol et près de 60 autres organismes publics et privés du monde entier pour concevoir notre programme. Nous sommes fiers du travail que nous avons accompli pour supprimer les contenus CSAM d'Internet.

D'une certaine manière, les dossiers les plus choquants sont les plus faciles à traiter pour nous. Bien que Cloudflare soit dans l’incapacité de retirer les contenus hébergés par d'autres, nous prenons toutefois des mesures pour mettre fin aux activités d'un site Web lorsqu'il devient évident que le site est dédié au partage de contenus CSAM, ou si ses administrateurs et son hébergeur ne prennent pas les mesures nécessaires pour supprimer ces contenus. Lorsque nous fermons un site Web, nous vidons nos caches (ce qui prend effet en quelques secondes à l'échelle mondiale) et nous empêchons définitivement le site Web d’utiliser à nouveau le réseau de Cloudflare.

S'attaquer aux cas difficiles

Exemple de cas difficile : l'un de nos clients utilise un service qui permet les contenus générés par l’utilisateur (comme un forum de discussion) et un utilisateur y télécharge du contenu CSAM. De deux choses l’une, ou bien il est piraté, ou bien l'un de ses employés mal intentionné stocke des contenus CSAM sur ses serveurs. Nous avons vu de nombreux cas de ce genre dans lesquels des services qui étaient prêts à prendre les mesures nécessaires ont été pris complètement au dépourvu lorsque des contenus CSAM se sont retrouvés à leur insu sur leurs sites. Même si les administrateurs de ces sites sont de bonne foi et ne sont pas à l'origine de la mise en ligne de ces contenus, il demeure nécessaire de supprimer ces derniers le plus rapidement possible.

Aujourd'hui, nous sommes donc fiers de faire un pas en avant pour aider à traiter ces cas difficiles. À partir d'aujourd'hui, chaque client de Cloudflare peut se connecter à son tableau de bord pour activer l'accès à l'outil de détection de contenus CSAM. À mesure que cet outil de détection de contenus CSAM passera du stade de développement à celui de la production, il examinera toutes les propriétés Internet ayant activé la détection de ces contenus illégaux. Cloudflare vous enverra automatiquement une alerte lorsque nous détecterons des contenus CSAM, bloquerons l'accès à ces contenus (en renvoyant un code 451 « bloqué pour des raisons légales ») et ferons le nécessaire pour que ces contenus soient signalés conformément aux dispositions légales.

La détection des contenus CSAM sera disponible sur le tableau de bord de Cloudflare sans frais pour tous les clients, quelle que soit l’offre choisie. Vous trouverez cet outil dans l'onglet « Cache » de votre tableau de bord. Nous espérons qu'en offrant gratuitement cet outil à tous nos clients, nous pourrons faire encore plus pour lutter contre les contenus CSAM en ligne et contribuer à protéger nos clients contre les risques juridiques et l’impact sur leur image que ceux-ci peuvent poser à leurs entreprises.

Le chemin a été long pour en arriver au point où nous avons pu nous engager à offrir ce service à nos millions d'utilisateurs. Pour comprendre ce que nous faisons et pourquoi cela a été difficile d'un point de vue technique et en terme de stratégie, il est nécessaire de vous expliquer sommairement la situation actuelle des méthodes de détection des contenus CSAM.

Trouver des images similaires

À l’époque de la naissance de Cloudflare en 2009, un professeur de Dartmouth nommé Hany Farid développait un logiciel permettant de comparer les images à une liste de signatures numériques (connues sous le nom de hashes) tenue par le NCMEC. Microsoft a pris les devants en créant l'outil PhotoDNA, qui se fondait sur les travaux du professeur Farid pour identifier automatiquement les contenus CSAM.

Au tout début, Microsoft utilisait PhotoDNA pour ses services internes et, fin 2009, l’entreprise a fait don de cette technologie au NCMEC pour faciliter son utilisation par d'autres organismes. Les réseaux sociaux ont été parmi les premiers à l'adopter. En 2011, Facebook a introduit cette technologie dans le cadre de son processus de lutte contre les mauvais traitements. Twitter l'a adoptée en 2014.

Le processus est connu sous le nom de hachage flou (fuzzy hash). Les algorithmes de hachage traditionnels comme MD5, SHA1 et SHA256 prennent un fichier (par exemple une image ou un document) de longueur arbitraire et génèrent un nombre de longueur fixe qui correspond en fait à l'empreinte numérique du fichier. Par exemple, le MD5 de cette photo donne l’empreinte 605c83bf1bba62e85f4f5fccc56bc128.

L'image d’origine

Si l'on modifie un seul pixel de l'image pour qu'il soit légèrement blanc cassé plutôt que blanc pur, le résultat est visuellement identique mais l'empreinte change complètement et devient 42ea4fb30a440d8787477c6c37b9daed. Comme vous pouvez le voir à partir des deux empreintes, une petite modification de l'image entraîne une modification importante et imprévisible du hachage traditionnel.

L'image originale avec un seul pixel modifié

Cela est parfait pour certains types de hachage qui permettent de déterminer avec certitude que le document que vous regardez est exactement le même que celui que vous avez vu auparavant. Par exemple, si un zéro supplémentaire à été ajouté à un contrat numérique, vous voulez que le hachage du document utilisé dans sa signature soit non valide.

Hachage flou

Cependant, dans le cas des contenus CSAM, cette caractéristique du hachage traditionnel est un fardeau. Afin d'éviter la détection, les criminels qui produisent du contenu pédopornographique redimensionnent l'image, y ajoutent du bruit ou la modifient de quelque façon que ce soit, de manière à ce qu'elle ait la même apparence, mais qu'elle produise un hachage radicalement différent.

Le hachage flou fonctionne différemment. Au lieu de tenter de déterminer si deux photos sont exactement identiques, on tente plutôt de cerner la nature profonde d'une photographie. Cela permet au logiciel de calculer les hachages de deux images puis de comparer la « distance » entre les deux. Bien que le hachage flou puisse encore être différent entre deux photographies modifiées, contrairement au hachage traditionnel, vous pouvez comparer les deux et voir les similitudes qui existent entre elles.

Ainsi, dans les deux photos ci-dessus, le hachage flou de la première est

00e308346a494a188e1042333147267a
653a16b94c33417c12b433095c318012
5612442030d1484ce82c613f4e224733
1dd84436734e4a5c6e25332e507a8218
6e3b89174e30372d

et la deuxième image donne

00e308346a494a188e1042333147267a
653a16b94c33417c12b433095c318012
5612442030d1484ce82c613f4e224733
1dd84436734e4a5c6e25332e507a8218
6e3b89174e30372d

La différence entre les deux en termes de pixels est minime et les hachages flous sont identiques.

L'image de base après avoir augmenté la saturation, l'avoir convertie en sépia, avoir ajouté une bordure et avoir ajouté du bruit aléatoire.

Le hachage flou a été élaboré pour pouvoir identifier des images qui sont très semblables. Par exemple, nous avons modifié la photo représentant des chiens en améliorant d'abord sa couleur, puis en la changeant en sépia, en ajoutant une bordure et enfin en ajoutant du bruit aléatoire.  Le hachage flou de la photo est le suivant :

00d9082d6e454a19a20b4e3034493278
614219b14838447213ad3409672e7d13
6e0e4a2033de545ce731664646284337
1ecd4038794a485d7c21233f547a7d2e
663e7c1c40363335

Ce hachage est très différent de celui de l'image non modifiée ci-dessus, mais c'est en se basant sur leurs similitudes que l'on compare les hachages flous.

La plus grande distance possible entre deux images est d'environ 5 millions d'unités. Ces deux hachages flous ne diffèrent que de 4 913 unités (plus le nombre est petit, plus les images sont similaires), ce qui indique qu'il s'agit essentiellement de la même image.

Comparons ces résultats avec deux photos distinctes. Le hachage flou de la photo ci-dessous est le suivant

011a0d0323102d048148c92a4773b60d
0d343c02120615010d1a47017d108b14
d36fff4561aebb2f088a891208134202
3e21ff5b594bff5eff5bff6c2bc9ff77
1755ff511d14ff5b

Le hachage flou de la photo ci-dessous est le suivant

062715154080356b8a52505955997751
9d221f4624000209034f1227438a8c6a
894e8b9d675a513873394a2f3d000722
781407ff475a36f9275160ff6f231eff
465a17f1224006ff

Le calcul de la différence entre les deux hachages donne 713 061. Par l'expérimentation, il est possible de fixer un seuil de distance entre deux photographies en dessous duquel on peut considérer qu'elles sont probablement identiques.

Le fonctionnement du hachage flou est délibérément tenu secret

Quel en est le principe de fonctionnement ? Bien que de nombreux travaux sur le hachage flou aient été publiés, ce procédé est sciemment entouré d'un peu de mystère. Le New York Times a récemment publié un article qui fait probablement la description publique la plus détaillée du fonctionnement de cette technologie. Le problème est que, si les auteurs et les distributeurs criminels de contenus CSAM savaient exactement comment fonctionnent ces outils, ils pourraient alors trouver le moyen de modifier leurs images pour les contourner. En clair, Cloudflare utilisera l'outil de détection des contenus CSAM pour le compte de l'exploitant du site Web à partir de nos points de présence sécurisés. Nous ne distribuerons pas le logiciel directement aux utilisateurs. Nous resterons très vigilants face à toute tentative éventuelle de détournement de la plateforme et nous prendrons rapidement les mesures appropriées.

Compromis entre les faux négatifs et les faux positifs

Nous collaborons avec plusieurs organismes pour déterminer la meilleure façon de mettre cette fonctionnalité à la disposition de nos clients. L'un des défis pour un réseau ayant une clientèle aussi diversifiée que celle de Cloudflare est de déterminer le seuil approprié pour établir le seuil de comparaison entre les hachages flous.

Si le seuil est trop bas (ce qui signifie qu'il est plus proche d'un hachage traditionnel et que deux images doivent être pratiquement identiques pour établir une correspondance), alors il est probable que vous obteniez de nombreux faux négatifs (c’est-à-dire que des contenus CSAM non signalés). Si le seuil est trop élevé, il est probable que vous obteniez de nombreux faux positifs. Les faux positifs peuvent sembler être un moindre mal, mais on peut légitimement craindre qu'en augmentant les chances d'obtenir des faux positifs, on risque de gaspiller des ressources limitées et de saturer davantage l'écosystème existant.  Nous mettrons en place un outil de détection des contenus CSAM afin de donner au propriétaire du site Internet un contrôle plus précis tout en préservant l'efficacité de l'écosystème. Aujourd'hui, nous pensons pouvoir offrir à nos clients une première série d'options qui nous permettront de signaler plus rapidement les contenus CSAM sans accaparer les ressources de l'écosystème.

Différents seuils pour différents clients

Nous avons constaté la même volonté de privilégier une approche précise dans nos conversations avec nos clients. Lorsque nous leur avons demandé ce qui leur convenait, nous avons obtenu des réponses radicalement différentes selon le type d'entreprise, le degré de sophistication du processus de prévention contre les abus existant et son niveau d'exposition et de tolérance probables face au risque que des contenus CSAM soient affichés sur leur site.

Par exemple, un réseau social bien établi qui utilise Cloudflare et dispose d'une équipe chargée de la lutte contre les abus peut préférer que le seuil soit moins élevé, mais sans que les contenus soient automatiquement bloqués parce qu'il dispose des ressources nécessaires pour vérifier manuellement ce qui est signalé.

Une nouvelle entreprise qui offre un forum destiné aux nouveaux parents pourrait vouloir que le seuil soit moins élevé et que les résultats positifs soient automatiquement bloqués parce qu'elle n'a pas encore constitué d'équipe de lutte contre les abus et que le risque pour son image est très élevé si des contenus CSAM sont affichés sur son site, même si cela se traduit par de faux positifs.

Une institution financière commerciale peut vouloir fixer un seuil assez élevé parce qu'elle est moins susceptible de recevoir des contenus créés par les utilisateurs et tolèrerait mal les faux positifs, mais en bloquant automatiquement tout ce qui est détecté parce que si ses systèmes sont compromis d'une manière ou d'une autre à cause de la présence de contenus CSAM connus elle veut les bloquer immédiatement.

Des exigences différentes selon les différentes législations

Il peut également exister des difficultés liées à l'emplacement de nos clients et aux lois et règlements qui les concernent. Selon l'endroit où se trouve l'entreprise d'un client et où se trouvent ses utilisateurs, il est possible qu'elle choisisse d'utiliser une, plusieurs ou toutes les différentes listes de hachage disponibles.

En d'autres termes, un modèle unique ne conviendrait pas à tout le monde et, idéalement, nous croyons que le fait de permettre aux administrateurs de définir les paramètres qui conviennent le mieux à leur site se traduira par des taux de faux négatifs plus faibles (c.-à-d. davantage de contenus CSAM signalés) que si nous essayons d'établir un modèle global pour tous nos clients.

Améliorer l'outil au fil du temps

Avec le temps, nous espérons pouvoir améliorer la détection de contenus CSAM pour nos clients. Nous prévoyons d'ajouter des listes de hachage supplémentaires provenant de nombreuses agences mondiales pour nos clients ayant des utilisateurs dans le monde entier. Nous sommes résolus à offrir cette souplesse sans pour autant surcharger l'écosystème mis en place pour lutter contre ce crime horrible.

Enfin, nous estimons qu'il y a peut-être là une occasion de contribuer au développement de la nouvelle génération de hachage flou. Par exemple, le logiciel ne peut analyser que les images qui sont stockées dans la mémoire d'une machine, et non celles qui sont diffusées en streaming. Nous travaillons avec Hany Farid, l'ancien professeur de Dartmouth qui enseigne désormais à Berkeley, en Californie, sur les moyens de mettre en place un système de hachage flou plus souple afin de repérer les images avant même qu'elles ne soient affichées.

Problèmes et responsabilités

Lorsque nous avons commencé à envisager de proposer un système de détection des contenus CSAM, nous nous sommes demandés si nous étions bien placés pour le faire. Comme tout le monde, nous nous inquiétons de la diffusion de scènes de crimes horribles contre les enfants et nous pensons qu'elles n'ont pas leur place sur Internet, mais Cloudflare est un fournisseur d'infrastructure de réseau et non une plate-forme de contenu.

Cependant, nous avons pensé que nous avions un rôle légitime à jouer dans ce domaine. La principale raison d'être de Cloudflare est de fournir à plus de 2 millions de clients des outils qui étaient auparavant réservés aux seuls géants d'Internet. Sans nous, les services de sécurité, de performance et de fiabilité que nous fournissons, souvent gratuitement, seraient extrêmement coûteux ou limités aux géants de l'Internet comme Facebook et Google.

Aujourd'hui, il existe des startups qui cherchent à devenir les nouveaux géants de l'Internet et à concurrencer Facebook et Google parce qu'elles peuvent utiliser Cloudflare pour garantir leur sécurité, leur rapidité et leur fiabilité en ligne. Toutefois, étant donné que les contraintes réglementaires liées à la résolution de problèmes incroyablement difficiles comme la gestion des contenus CSAM continuent de se multiplier, nombre d'entre eux n'ont pas accès à des outils sophistiqués leur permettant d'effectuer une analyse proactive de ces derniers. Il faut atteindre une certaine envergure pour être admis au club de ceux qui ont accès à ces outils et, chose inquiétante, le fait de faire partie du club est de plus en plus une condition préalable pour atteindre une certaine envergure.

Si nous voulons accroître la concurrence face aux géants d'Internet, nous devons mettre ces outils à la disposition d'un plus grand nombre de personnes et de petites structures. Dans cette optique, nous pensons qu'il est tout à fait logique que nous contribuions à démocratiser ce puissant outil dans la lutte contre les contenus CSAM.

Nous espérons que cela permettra à nos clients de constituer des équipes de modération de contenus plus performantes et adaptées à leurs propres communautés, et qu'ils pourront s'adapter de manière responsable pour concurrencer les géants d'Internet actuels. Cela correspond parfaitement à notre mission qui consiste à contribuer à bâtir un Internet meilleur, et c'est pourquoi nous annonçons que nous allons mettre gratuitement ce service à la disposition de tous nos clients.