Lorsque nous avons annoncé Cloudflare Images au monde entier, nous proposions un moyen de stocker des images au sein du produit et d'aider les clients à s'affranchir des frais de trafic sortant encourus suite à l'utilisation de sources distantes pour leurs diffusions via Cloudflare.
Pour stocker les images sur Cloudflare, les clients peuvent les importer via l'interface utilisateur par simple glisser-déposer ou via l'API dans les scénarios comportant un grand nombre d'objets, pour lesquels il s'avère plus judicieux d'utiliser un script pour le processus d'importation.
Afin de créer de la flexibilité quant à la manière d'importer les images, nous avons récemment inclus la possibilité de les importer à l'aide d'une URL ou de définir des noms et des chemins personnalisés pour vos images, afin de permettre une mise en correspondance simple entre les référentiels des clients et les objets dans Cloudflare. Il reste également possible de les diffuser à partir d'un nom d'hôte personnalisé afin de proposer de la flexibilité quant à la manière dont vos utilisateurs finaux voient le chemin d'accès, d'améliorer les performances de diffusion en supprimant la nécessité de passer par une négociation TLS ou d'améliorer la reconnaissance de votre marque grâce à une certaine cohérence au niveau des URL.
Pourtant, il n'existait pas de moyen simple de dire à notre produit : « Des dizaines de millions d'images se trouvent dans le référentiel disponible à cette URL. Récupère-les toutes. »
Dans certains scénarios, nos clients disposent de compartiments (buckets) contenant des millions d'images à importer vers Cloudflare Images. Leur objectif consiste à faire migrer l'ensemble des objets vers Cloudflare en suivant un processus à usage unique. Cette solution permet d'abandonner totalement le stockage externe.
Dans un autre scénario courant, différents services au sein de grandes entreprises s'appuient sur des systèmes indépendants configurés avec différents référentiels de stockage, qu'ils alimentent tous de volumes d'importation inégaux, à des moments spécifiques. Il s'avérerait préférable que tous ces services puissent réutiliser les définitions afin de centraliser l'ensemble de ces nouvelles images dans Cloudflare et de s'assurer que le catalogue reste à jour. De même, ils pourraient également éviter de payer des frais de trafic sortant exorbitants grâce à la diffusion directe vers le public à partir de ces multiples fournisseurs de stockage.
Dans ces situations, le processus d'importation vers Cloudflare Images nécessitait une coordination logistique et des connaissances en matière de scriptage. Jusqu'à présent.
Annonce du Sourcing Kit de Cloudflare Images
Aujourd'hui, nous sommes heureux de partager avec vous notre Sourcing Kit (kit de sourçage), dans lequel vous pouvez définir une ou plusieurs sources contenant les objets que vous souhaitez faire migrer vers Cloudflare Images.
Mais, qu'est-ce que le sourçage exactement ? Dans divers secteurs, comme le secteur manufacturier, ce processus implique un certain nombre d'opérations, de la sélection des fournisseurs au contrôle des matières premières, en passant par la communication de rapports aux responsables des processus.
Nous avons donc emprunté cette définition et l'avons traduite en un ensemble de capacités de Cloudflare Images, qui vous permettront d'effectuer les actions suivantes :
- définir un ou plusieurs référentiels d'images à importer en masse ;
- réutiliser ces sources et n'importer que les nouvelles images ;
- s'assurer que seules les images réellement utilisables sont importées et non d'autres objets ou types de fichiers disponibles au sein de cette source ;
- définir le chemin et le nom de fichier cibles pour les images importées ;
- obtenir les journaux relatifs aux opérations d'importations de masse.
Le nouveau kit permet de procéder à toutes ces opérations. Passons-les en revue.
Comment fonctionne le Sourcing Kit de Cloudflare Images ?
Vous trouverez bientôt le Sourcing Kit au sein du tableau de bord Cloudflare, sous la rubrique Images.
Le kit vous permettra de créer une nouvelle définition de source, de consulter les définitions existantes et d'afficher l'état des dernières opérations.
En cliquant sur le bouton Créer, vous lancerez l'assistant qui vous guidera dans la première importation en masse à partir de la source que vous aurez définie :
Vous devrez tout d'abord renseigner le nom de la source et l'URL permettant d'y accéder. Vous serez alors en mesure d'enregistrer les définitions et de réutiliser la source lorsque vous le souhaitez.
Après avoir effectué les validations nécessaires, vous pourrez définir les règles du processus d'importation.
La première option à votre disposition autorise la définition d'un chemin de préfixe facultatif. La définition d'un préfixe permet d'identifier de manière unique les images téléchargées depuis cette source particulière, afin de différencier les images importées à partir de cette source.
La règle de dénomination en vigueur respecte déjà le nom et le chemin de l'image source. Partons donc du principe que vous devez récupérer une image de chiot :
https://my-bucket.s3.us-west-2.amazonaws.com/folderA/puppy.png
Si vous l'importez sans préfixe de chemin, vous trouverez l'image à l'adresse suivante :
https://imagedelivery.net/<AccountId>/folderA/puppy.png
À présent, vous pourriez vouloir créer un préfixe de chemin supplémentaire pour identifier la source, par exemple en mentionnant que ce compartiment provient du service Rédaction technique (Technical Writing). Dans le cas du chiot, le résultat serait le suivant :
https://imagedelivery.net/<AccountId>/techwriting/folderA/puppy.png
Les préfixes de chemin personnalisé permettent également d'éviter les conflits de noms provenant d'autres sources.
Il arrive pourtant que les clients ne souhaitent pas s'en servir. De même, lorsque vous réutilisez une source pour importer des images, un conflit de destinations peut se produire, avec un nom de chemin et de fichier identiques.
Par défaut, nous n'écrasons pas les images existantes, mais nous vous permettons de sélectionner cette option et de réactualiser votre catalogue présent dans le pipeline de Cloudflare.
Une fois ces entrées définies, il vous suffira de cliquer sur le bouton Créer et lancer la migration au bas de la page pour déclencher le processus d'importation.
Cette action affichera la dernière page de l'assistant, qui présente l'état de la migration. Le journal de progression signale toutes les erreurs rencontrées pendant l'importation. Vous avez également la possibilité de télécharger ce dernier.
Vous pouvez réutiliser, modifier ou supprimer des définitions de sources si aucune opération n'est en cours. En outre, vous pouvez accéder à tout moment à l'état depuis la page d'accueil du kit et revenir au dernier rapport de migration ou au rapport de migration en cours.
Et ensuite ?
La version bêta du Sourcing Kit de Cloudflare Images vous permet de définir des compartiments AWS S3 en tant que source pour les importations. Les versions suivantes prendront en charge les définitions pour d'autres référentiels courants, comme ceux des comptes Azure Storage ou Google Cloud Storage.
En outre, si nous souhaitons que l'interface utilisateur reste simple, nous prévoyons également de mettre l'ensemble des fonctions à disposition via une interface CLI : de la définition de l'URL du référentiel au lancement du processus d'importation, en passant par la récupération du rapport final.
Inscrivez-vous à la version bêta
Nous publierons la version bêta de ce kit dans les semaines à venir, afin de vous permettre de sourcer vos images à importer vers Cloudflare depuis des référentiels tiers. Si vous souhaitez figurer parmi les premiers à utiliser le Sourcing Kit, inscrivez-vous à la file d'attente sur le tableau de bord de Cloudflare Images.
