当社は、過ちを犯しました。この過ちにより、ファミリー向けサービスを提供する新1.1.1.1がうかつにも、多くのLGBTQIA+サイトをブロックしてしまいました。何が、なぜ起きたのか、そしてそれにどのように対処したのかを順にお話しします。
この3年間で新製品の発表が当社の習慣になっていますが、4月1日、インターネットを利用する一般向け新製品をいくつか開始します。今年、こうした新製品の1つがフィルタリングしたDNSサービスの1.1.1.1 for Familiesでした。これは、誰でも特定のカテゴリーに入るサイトを制限するかどうか選択できるサービスです。
DNSフィルタリング vs フィルタリングなし
新しいフィルタリング機能付きDNSサービスが、元のフィルタリング機能がない1.1.1.1サービスの特質を変更するものはありません。しかし、自分の家の中にあるコンテンツを管理する方法を求める方がいることに気が付きました。たとえば、私は仕事を片付けようとしている時、自分の生産性を上げるために、ソーシャルメディアサイトが解決しようとするのを阻止します。1.1.1.1のユーザーからのリクエストで一番多いのは、特定カテゴリーのサイトをブロックできる家庭向けバージョンのサービスを作成してほしいというものでした。今日は、始めに1.1.1.1 for Familiesを発表したのです。
今後、時間をかけて、1.1.1.1 for Familiesのユーザーにどのカテゴリーのサイトをブロックするか（私が自分の生産性を落とさないようにソーシャルメディアサイトにしているように）、正確にカスタマイズできるサービスを提供していきます。しかし当初、ユーザーがブロックしたいコンテンツで最もリクエストが多かった2つのデフォルト設定を作成しました。1つは、マルウェア（1.1.1.2と1.0.0.2をDNSリゾルバーとして設定するとブロックできます）とマルウェア+アダルトコンテンツ（1.1.1.3と1.0.0.3をDNSリゾルバーとして設定するとブロックできます）です。
認可された分類データ
1.1.1.1 for Familiesのデータを取得するために、サイトの分類を専門とする複数のプロバイダーからのフィードを認可しました。ここ数ヶ月、分類プロバイダーを見直して、最も正確で誤検知が最も低いプロバイダーを選びました。
広く認められているサイバーセキュリティの脅威を網羅するマルウェアでは、2つのカテゴリーを定義するのが簡単でした。一方アダルコンテンツに関しては、Google SafeSearchの基準を反映させるようにしました。Googleはこの領域に配慮しており、SafeSearchツールは「露骨に性的なコンテンツ」の検索結果を制限するように設計されています。この定義では、ポルノグラフィに焦点を当てて、主に米国内の学校および図書館が守らなければならない米国の児童オンラインプライバシー保護法（CIPA）の要件に従います。
1.1.1.3サービスのデフォルトだったためと将来的に個人がデフォルトを超えて独自の機能を設定できるようにする予定だったため、アダルトコンテンツを意図的に狭めました。アダルトコンテンツのカテゴリーにLGBTQIA+を含めることは、当社の意図ではありませんでした。しかし、開始時にこうしたサイトがフィルタリングされているという報告を受けてゾッとしたのです。
誤ったフィードを選択する
何が問題だったのでしょうか。当社がコンテンツ取得を許可したデータプロバイダーは、それぞれ異なるカテゴリー化をしています。こうしたカテゴリー化はプロバイダー間で完全に一致していません。プロバイダーの1つには、複数の「アダルトコンテンツ」カテゴリーがあります。「アダルトコンテンツ」カテゴリーの1つは、Google SafeSearch / CIPAの定義を反映しています。別の「アダルトコンテンツ」カテゴリーでは、LGBTQIA+を含めて、幅広いトピックのセットがあります。
アダルトコンテンツカテゴリーを注意深く見直して、Google SafeSearch/CIPAの定義を厳密に反映するために調整する一方で、今朝、この製品バージョンをリリースした際に、プロバイダーから間違った「アダルトコンテンツ」カテゴリーをビルト機能に含めてしまいました。その結果、1.1.1.3を使おうとした最初のユーザーが意図としたよりも広いセットのサイトがフィルタリングされていることに気が付きました。これにLGBTQIA+コンテンツが含まれていました。当社は、この問題の即時解決に向けて動きました。
データ構造の更新が遅い
当社の全データセンターにサイトのリストを迅速に配布するために、圧縮したデータ構造を使用します。利点は、非常に効率よく世界中でデータ構造を複製できることです。欠点は、新しいバージョンのデータ構造を生成するのに数時間もかかることです。間違いを犯したと気がついた瞬間、間違ったデータプロバイダーをプルし、新しいデータ構造の再作成を始めました。
当社のネットワーク全体で、新しいデータ構造が複製されますが、個人のサイトでも即時リストを許可するようにプッシュしました。ユーザーレポートと他のLGBTQIA+リソースの両方からリストのコンパイルを開始しました。この更新はすぐに公開されました。サイトが報告された場合や、発見された場合に許可リストに追加し続けました。
UTC時間の16:51（日本時間の7:51）までに、誤ったブロックがあったという最初の報告を受けてからおよそ2時間後、アダルトコンテンツに関して意図とする定義を備えたデータ構造が生成され、ライブでプッシしました。過度に広いブロッキングに気づいた唯一のユーザーのはすでに1.1.1.3サービスに切り替えたユーザーの方々でした。1.1.1.1（フィルタリングなしのまま）と1.1.1.2のユーザーは不注意なブロッキングは経験しなかったはずです。
現時点では1.1.1.3のデフォルト設定で提供するフィルタリングが、当社が意図とするものです。それは、Google SafeSearchを使った場合とほぼ一致し、LGBTQIA+サイトはブロックされないはずです。もしブロックされるべきではないサイトがブロックされていたら、ぜひこちらまでご報告ください。
https://report.teams.cloudflare.com/
未来のための保護
将来的に、意図とするカテゴリーから外れるべき既知サイトのチェックを数多く設定しました。これには、今日、誤ってリストしてしまったサイトも含まれています。今後のためにデフォルトが更新される前に、当社のビルドシステムが、これらのサイトが1つもリストに入っていないことを確認します。今後、こうした間違いを見つけるために役に立つことを期待しています。
今回のエラーについて深くお詫びします。何が原因だったのかがわかっていますが、この間違いは起きてはならないものでした。間違いの修正に迅速に対応してくれたチームに感謝します。