訂閱以接收新文章的通知:

LangChain 對 Workers AI、Vectorize 和 D1 的支援

2024-01-31

閱讀時間:2 分鐘
本貼文還提供以下語言版本:English日本語한국어简体中文

在 Developer Week 期間,我們宣佈了 LangChain 對 Cloudflare Workers 的支援。Langchain 是一個開放原始碼架構,允許開發人員透過使用聲明性 API 組合不同的模型、提供者和外掛程式來建立強大的 AI 工作流程——它與 Workers 完美契合,可用於建立 AI 支援的完整堆疊應用程式。

LangChain Support for Workers AI, Vectorize and D1

從那時起,我們一直與 LangChain 團隊合作,在 Cloudflare 的開發人員平台上更深入地整合許多工具,我們很高興能與大家分享我們的工作成果。

今天,我們宣佈推出與 LangChain 的五個新關鍵整合:

  1. Workers AI 聊天模型:這允許您使用 Workers AI 文字產生來為 LangChain.js 應用程式中的聊天模型提供支援。

  2. Workers AI 指導模型:這允許您在 Langchain.js 應用程式中使用針對指導使用案例進行微調的 Workers AI 模型,例如 Mistral 和 CodeLlama。

  3. 文字嵌入模型:如果您正在使用文字嵌入,那麼您現在可以將 Workers AI 文字嵌入與 LangChain.js 一起使用。

  4. Vectorize Vector Store:使用 Vector 資料庫和 LangChain.js 時,您現在可以選擇使用 Cloudflare 強大的向量資料庫 Vectorize

  5. Cloudflare D1 支援的聊天記憶體:為了在聊天工作階段中保持更長期的持久性,您可以將 LangChain 的預設記憶體 chatHistory(支援聊天記憶體類,如 BufferMemory)換成 Cloudflare D1 執行個體

隨著這五款 Cloudflare AI 工具加入 LangChain,開發人員擁有了強大的新基元,可以整合到新的和現有的 AI 應用程式中。藉助 LangChain 用於混合和匹配 AI 工具和模型的富有表現力的工具,您可以使用 Vectorize、Cloudflare AI 的文字嵌入和產生模型以及 Cloudflare D1,僅用幾行程式碼即可構建功能齊全的 AI 應用程式。

This is a full persistent chat app powered by an LLM in 10 lines of code–deployed to @Cloudflare Workers, powered by @LangChainAI and @Cloudflare D1.

You can even pass in a unique sessionId and have completely user/session-specific conversations 🤯 https://t.co/le9vbMZ7Mc pic.twitter.com/jngG3Z7NQ6

— Kristian Freeman (@kristianf_) September 20, 2023

開始使用 Cloudflare + LangChain + Nuxt 多來源聊天機器人范本

您可以從 LangChain 的 Cloudflare 聊天機器人範本開始:https://github.com/langchain-ai/langchain-cloudflare-nuxt-template

此應用程式展示了 Cloudflare Workers AI 的各個部分如何組合在一起,並擴展了檢索增強生成 (RAG) 的概念,以構建一個對話式擷取系統,該系統可以在多個資料來源之間路由,並根據傳入的問題選擇最相關的資料來源。此方法有助於減少因向量存放區的相似性搜尋而引入的離題文件所造成的干擾,如果僅使用單一資料庫,則可能會發生這種情況。

基礎版本完全在 Cloudflare Workers AI 堆疊上執行,採用 Llama 2-7B 模型。它使用:

  • 在 Cloudflare Workers AI 上執行的 Llama 2-7B 聊天變體

  • Cloudflare Workers AI 嵌入模型

  • 兩個不同的 Cloudflare Vectorize DB(您可以新增更多!)

  • 用於託管的 Cloudflare Pages

  • 用於協調流程的 LangChain.js

  • 用於前端的 Nuxt + Vue

兩個預設資料來源是一個詳細介紹 Cloudflare 部分功能的 PDF一篇由 OpenAI 的 Lilian Weng 撰寫的討論自主代理的部落格文章

機器人會將傳入的問題分類為 Cloudflare 相關、AI 相關或兩者均無關,並利用相應的資料來源獲取更具針對性的結果。一切都是完全可自訂的——您可以變更所擷取資料的內容、使用的模型以及所有提示!

如果您有權存取 LangSmith 測試版,該應用程式還設定了追蹤功能,以便您可以輕鬆查看應用程式中的每個步驟並偵錯

我們迫不及待想看看您構建的成果

我們迫不及待地想看看大家使用 LangChain 和 Cloudflare 構建了什麼。歡迎在 Discord 或我們的社群論壇上告訴我們。

我們保護整個企業網路,協助客戶有效地建置網際網路規模的應用程式,加速任何網站或網際網路應用程式抵禦 DDoS 攻擊,阻止駭客入侵,並且可以協助您實現 Zero Trust

從任何裝置造訪 1.1.1.1,即可開始使用我們的免費應用程式,讓您的網際網路更快速、更安全。

若要進一步瞭解我們協助打造更好的網際網路的使命,請從這裡開始。如果您正在尋找新的職業方向,請查看我們的職缺
LangChainCloudflare WorkersAID1Developer PlatformDevelopers

在 X 上進行關注

Ricky Robinett|@rickyrobinett
Kristian Freeman|@kristianf_
Cloudflare|@cloudflare

相關貼文

2024年10月31日 下午1:00

Moving Baselime from AWS to Cloudflare: simpler architecture, improved performance, over 80% lower cloud costs

Post-acquisition, we migrated Baselime from AWS to the Cloudflare Developer Platform and in the process, we improved query times, simplified data ingestion, and now handle far more events, all while cutting costs. Here’s how we built a modern, high-performing observability platform on Cloudflare’s network....

2024年10月25日 下午1:00

Elephants in tunnels: how Hyperdrive connects to databases inside your VPC networks

Hyperdrive (Cloudflare’s globally distributed SQL connection pooler and cache) recently added support for directing database traffic from Workers across Cloudflare Tunnels. We dive deep on what it took to add this feature....

2024年10月24日 下午1:05

Build durable applications on Cloudflare Workers: you write the Workflows, we take care of the rest

Cloudflare Workflows is now in open beta! Workflows allows you to build reliable, repeatable, long-lived multi-step applications that can automatically retry, persist state, and scale out. Read on to learn how Workflows works, how we built it on top of Durable Objects, and how you can deploy your first Workflows application....