Envoy Media：Cloudflareのボット管理と機械学習を利用

Ryan Marlowです。Envoy Media GroupのCTOを務めています。本日は、EnvoyとCloudflare、そして私たちが自動送信トラフィックの監視にボット管理（Bot Management）をどう活用しているかについてお話できることを嬉しく思います。

Envoy Media Groupは、デジタルマーケティングとリードジェネレーションの会社です。私たちの仕事の目的はシンプルで、マーケティングによってお客様と金融サービスをつなぐことです。Envoyは、資金面で特定の問題に悩む人々に、情報動画やマネーマネジメントツール、その他のリソースを提供しています。その際、お客様にはオンラインでお手続きいただき、ニーズを当社で把握した上で、選択肢についてお伝えできるようにしています。いただいた情報をもとに、厳しい審査を経たパートナーのデータベースと照会し、どのプログラムが有用かを見極めて、最も適した会社とのマッチングを行います。

ご想像の通り、私たちにとっては、エンゲージしたお客様は責任を持って適切な金融サービスとマッチングすることが重要です。Envoyは、このプロセスの最初から最後までお客様をガイドする独自ブランドを開発しました。私たちは自社の広告費を使い、純粋にパフォーマンス重視で働き、お客様を大事にするとわかっているパートナーを選んでいます。Envoyは信頼されるガイドとして、お客様のファイナンスを軌道に戻すお手伝いをしています。

当社はよく、Envoyは「洗練されたオンラインエクスペリエンス」をお届けします、と言います。並みのリードジェネレーションエンジンではありません。当社は、コンテンツ管理、マーケティングの自動化、ビジネスインテリジェンスを扱う、Revstrという名のマルチチャンネルのマーケティングプラットフォームを構築しました。Envoyには、Revstrの数百万行のPHPアプリ、クラウドコンピューティングサービス、インフラストラクチャの開発と保守を担当する社内技術チームがあります。Revstrのシステムによって、あらゆるビジネスルールセットを使ったデザインのあらゆる組み合わせをA/Bテストすることができます。そのため、Envoyは毎回、適切なお客様に適切な体験をお見せし、各人の反応に合わせることもできるのです。

Revstrは、ページやフォームを通じてお客様の進捗状況をあらゆる面で追跡します。また、Revstrは、広告プラットフォームやクライアント企業のCRMシステム、サードパーティのマーケティングツールと統合します。さらに、当社のパフォーマンスとカスタマーエクスペリエンスについて360°の全体像を作成します。この情報は当社独自のデータウェアハウスに格納され、ビジネスチームに提供されます。このウェアハウスは、クリーニング、正規化、ラベリング済みのデータを、当社の機械学習パイプラインへ供給します。MLモデルの簡易テストや訓練、デプロイメントも、必要に応じて実施できます。当社のビジネスチームもマーケティング自動化も、これらのレポートやモデルから得るガイダンスに大きく依存しています。そこで、Cloudflareの出番です。

当社の主要課題の一つは自社トラフィックの品質評価です。悪性アクターは常に進歩し、拡散しています。重要なのは、当社サイトへの偽トラフィックはすべて、広告やユーザーエクスペリエンス最適化、カスタマーサービスに投入したリソースが無駄になることも含めて、当社のビジネスに直接影響を与えるということです。

私たちのようなデジタルマーケティングの世界、とりわけ当社が競争する業界では、クリックの一つ一つにコストがかかっているため、貴重なコモディティのように扱わなければなりません。「クリック一回の獲得に最も多くのリソースを注ぎ込める者が勝つ」とも言われます。当社は、クリックの獲得に自社資金を費やしますが、クライアントからのお支払いは、着実に登録に変換する真のリードを提供してはじめていただけるのです。

不正なクリックにお金を費やせば、当社の収益に響きます。そして、不正の主犯はたいていボットです。ボットは、オークションにおける当社の立場を傷つけ、購買力を低下させます。当社ビジネスチームのメディア購入者は、広告トラフィックのコスト、質、エンゲージメント、コンバージョン率の統計を、常に注視しています。詐欺的なクリックかもしれない異常に目を光らせて、無駄な支出はすべて当社で省くよう監視しているのです。

Cloudflareは、まさに私たちが注意しておかなければならないトラフィックを見つけるボット管理を提供してくれています。

Cloudflareのおかげで問題が解決しました。Envoyに届く各リクエストについて、Cloudflareが「ボットスコア」を計算します。ボットスコアは１（自動）から99（人間）までで、機械学習などいくつかの高度な手法で生成されます。Cloudflareは秒あたり数百万件ものリクエストがあるトラフィックを見ていますから、その訓練データセットは膨大で、ボットスコアは極めて正確です。当社は、そのボットスコアを使って広告クリックの正当性を評価し、結果に応じてエクスペリエンスを変えることにより、お金を費やしたクリックの一つ一つを最大限に活かすことができます。

クリックの単価が高いため、Cloudflareがボットかもしれないと言っても、当社としてはそれを完全にブロックしてしまうことはできません。その代わりに、ボットスコアをカスタムヘッダーとして取り込み、当社のルールエンジンへのインプットとして使います。たとえば、不審なトラフィックに対しては、質問項目が多くてより定性的なフォームを用意し、スコアの高い訪問者に対しては簡素化したフォームを用意することができます。極端な場合、不審な訪問者には、オンラインフォーム入力の代わりに当社への電話連絡を求めることもできます。このようにして、送信元は怪しくても実は正当かもしれないリードを変換し、最良のリードにとって快適なエクスペリエンスを維持することができるのです。

また、当社ではボットスコアをデータウェアハウスに保存し、マーケティングチームに提供しています。長期的には、何らかの広告キャンペーンやトラフィックソースの平均ボットスコアが低いことにマーケティングチームが気づけば、そのトラフィックソースにかける費用の削減または排除、プロバイダーからの払い戻し請求が可能になり、収益性の高いセグメントに注力することができます。

Envoyはさらに、ボットスコアをMLモデルに統合して活用しています。たいていのリードジェネレーション会社にとっては、リード数と収益率を追跡できれば十分でしょう。Envoyでは、売り上げを上げるだけでなく、クライアントにとってのリードの生涯価値をしっかり見極めることを身上としています。そこで目を付けたのが機械学習（ML）です。当社は機械学習によって、過去のリードに関する既知のデータをもとに、新しい訪問者の生涯価値を予測し、そのシグナルを広告ベンダーへ伝えています。予測生涯価値が高いリードのコンバージョン率に傾斜をつけることで、クリック報酬型（PPC）プラットフォーム自体のスマート入札アルゴリズムに影響を与え、最良のリードを検索することが可能になります。

このプロセスで当社が使っているモデルの一つは、バックエンドのコンバージョン率、つまり、あるリードがクライアント企業に登録する可能性を予測します。このモデルにボットスコアと挙動メトリクスを加えたところ、確度が大幅に向上しました。コンバージョン率予測の確度が上がれば良質なリードが獲得できますし、プラットフォーム全体の増強にもつながります。メディアマネジメントはもちろん、フォームのデザインやリード提供の統合、メール自動化にも影響します。

Envoyは、分析的でデータ駆動型であることを誇りにしています。ここで、Cloudflareのボットスコアと当社の内部データを組み合わせて得られたインサイトをいくつか紹介します。

1. コンバージョン率予測MLモデルにボットスコアと挙動メトリクスを加えたところ、確度が15%向上しました。このような慎重にチューニングしたモデルでは1%の向上さえ難しいため、15%の向上は大躍進です。

2. ボットスコアは、当社のメディア購入チームとユーザーエクスペリエンス最適化チームが使う76種のレポートと、9つのMLモデルに含められており、今や、新しいユーザーエクスペリエンスレポートでは標準項目になっています。

3. ボットスコアは確度が高く、当社内で広く利用可能なため、思いもよらない組織パフォーマンスの向上効果が見られます。たとえば、ユーザーエクスペリエンス最適化チームの証言を聞いてみましょう。

「PPC検索レポートでボットスコアを使っています。ボットスコアを使えるようになるまでは、自動送信トラフィックが混ざってPPCレポートが不明瞭でした。コンバージョン率が11%の日があるかと思えば、翌日は5%だったりで、これではとてもビジネス運営はできません。そういった差を理解して正当化しようと、長時間かけて調査しましたが、満足の行く答えが得られず分析を投げ出さざるを得ないことが多々ありました。現在はボットスコアが使えますので、データの希薄化を防げ、自分の分析に対する自信が断然深まりました。」

Cloudflareチームの皆さん、当社の体験を共有する機会を与えていただき、ありがとうございました。私たちは不断のイノベーションを進めており、今後もCloudflareとの共同開発体験をお話できればと思います。