新規投稿のお知らせを受信されたい方は、サブスクリプションをご登録ください:

Workers AI、Vectorize、D1に対するLangChainのサポート

2024-01-31

2分で読了
この投稿はEnglish繁體中文한국어简体中文でも表示されます。

Developer Weekの期間中、Cloudflare Workersに対するLangChainのサポートを発表しました。Langchainは、開発者が宣言型API Workersを使用して、さまざまなモデル、プロバイダー、プラグインを組み合わせることによって、強力なAIワークフローを作成することができるオープンソースのフレームワークです。また、フルスタックのAIを使用したアプリケーションを作成するためのWorkersと完全に適合します。

LangChain Support for Workers AI, Vectorize and D1

これを受けて、私たちはCloudflareの開発者プラットフォーム全体で多くのツールのより深い統合に向けてLangChainチームと協力してきました。私たちのこれまでの成果を皆様にお伝えできることをうれしく思います。

本日、当社はLangChainとの新たな5つの主な統合を発表します。

  1. Workers AI チャットモデルWorkers AI テキスト生成を使用することで、LangChain.jsを使用したアプリ内のチャットモデルを強化します。

  2. Workers AI指示モデル:MistralやCodeLlamaなどのユースケースを指示するために微調整されたWorkers AIモデルを、Langchain.jsを使用したアプリ内で使用できるようになります。

  3. テキスト埋め込みモデル:テキストの埋め込みを使用する場合、LangChain.jsでWorkers AIテキスト埋め込み機能を使用できるようになりました。

  4. Vectorize Vector Store:ベクトルデータベースとLangChain.jsを使用する場合、Cloudflareの強力なベクトルデータベースであるVectorizeを使用するオプションが利用できるようになりました。

  5. Cloudflare D1によるチャットメモリのサポート:長時間持続するチャットセッションに備え、LangChainのデフォルトのメモリ内chatHistoryをCloudflare D1インスタンスに置き換えてCloudflare D1インスタンスのBufferMemoryのようなチャットメモリクラスをサポートすることができます。

これら5つのCloudflare AIツールがLangChainに加わったことで、開発者は新規および既存のAIアプリに統合するための強力な新たなプリミティブを手に入れることができます。LangChainのAIツールとモデルの混在とマッチングに使う表現力豊かなツールがあれば、Vectorize、Cloudflare AIのテキスト埋め込みおよび生成モデル、Cloudflare D1を使って、わずか数行のコードで完全な機能を備えたAIアプリを構築することができます。

This is a full persistent chat app powered by an LLM in 10 lines of code–deployed to @Cloudflare Workers, powered by @LangChainAI and @Cloudflare D1.

You can even pass in a unique sessionId and have completely user/session-specific conversations 🤯 https://t.co/le9vbMZ7Mc pic.twitter.com/jngG3Z7NQ6

— Kristian Freeman (@kristianf_) September 20, 2023

マルチソースチャットボットテンプレート(Cloudflare + LangChain + Nuxt)の利用を開始する

LangChainのCloudflareチャットボットテンプレートを使用して始めてみましょう:https://github.com/langchain-ai/langchain-cloudflare-nuxt-template

このアプリケーションでは、Cloudflare Workers AIのさまざまな部分がどのように組み合わされているかを見ることができます。複数のデータソース間を行き来して、与えられた質問を基により関連性の高いものを選択する対話型検索システムを構築するために、検索拡張生成(RAG)の概念を拡張しています。この方法は、単一のデータベースのみを使用する場合にベクトルストアの類似性検索によって引き起こされる可能性のある、関連性のない文書が引き出されることによる混乱を減らすことができます。

基本バージョンは、Llama 2-7Bモデルを使用してCloudflare Workers AIスタック上で完全に動作します。下記を使います:

  • Cloudflare Workers AIで動作するLlama 2-7Bのチャット亜種

  • Cloudflare Workers AI埋め込みモデル

  • 2つのCloudflare Vectorize DB(さらに追加することも可能)

  • Cloudflare Pages(ホスティング用)

  • LangChain.js(調整用)

  • Nuxt + Vue(フロントエンド用)

デフォルトのデータソースは、Cloudflareの機能の一部を説明したPDFと、OpenAIのLilian Weng氏による自律エージェントに関するブログ投稿記事の2つです。

ボットは、与えられた質問がCloudflareに関するものであるか、AIに関するものであるか、またはそのどちらでもないものかに分類し、対応するデータソースを利用してより的を絞った結果を取得します。すべてが完全にカスタマイズ可能となっており、取り込んだデータの内容、使用するモデル、すべてのプロンプトの変更が可能です。

また、LangSmithベータ版へのアクセスが可能であれば、アプリにはトレースがセットアップされているため、アプリの各ステップを簡単に確認してデバッグすることができます。

皆様がどのようなものを構築されるのか楽しみにしています

LangChainとCloudflareを使って皆様がどのようなものを構築されるのか楽しみにしています。是非、Discordコミュニティフォーラムでお知らせください。

Cloudflareは企業ネットワーク全体を保護し、お客様がインターネット規模のアプリケーションを効率的に構築し、あらゆるWebサイトやインターネットアプリケーションを高速化し、DDoS攻撃を退けハッカーの侵入を防ぎゼロトラスト導入を推進できるようお手伝いしています。

ご使用のデバイスから1.1.1.1 にアクセスし、インターネットを高速化し安全性を高めるCloudflareの無料アプリをご利用ください。

より良いインターネットの構築支援という当社の使命について、詳しくはこちらをご覧ください。新たなキャリアの方向性を模索中の方は、当社の求人情報をご覧ください。
LangChainCloudflare WorkersAID1Developer Platform開発者

Xでフォロー

Ricky Robinett|@rickyrobinett
Kristian Freeman|@kristianf_
Cloudflare|@cloudflare

関連ブログ投稿

2024年10月31日 13:00

Moving Baselime from AWS to Cloudflare: simpler architecture, improved performance, over 80% lower cloud costs

Post-acquisition, we migrated Baselime from AWS to the Cloudflare Developer Platform and in the process, we improved query times, simplified data ingestion, and now handle far more events, all while cutting costs. Here’s how we built a modern, high-performing observability platform on Cloudflare’s network....

2024年10月24日 13:05

Build durable applications on Cloudflare Workers: you write the Workflows, we take care of the rest

Cloudflare Workflows is now in open beta! Workflows allows you to build reliable, repeatable, long-lived multi-step applications that can automatically retry, persist state, and scale out. Read on to learn how Workflows works, how we built it on top of Durable Objects, and how you can deploy your first Workflows application....