在 Developer Week 期间,我们宣布了 LangChain 对 Cloudflare Workers 的支持。Langchain 是一个开源框架,允许开发人员通过使用声明性 API 组合不同的模型、提供商和插件来创建强大的 AI 工作流——它与 Workers 完美契合,可用于创建 AI 驱动的全栈应用程序。
从那时起,我们一直与 LangChain 团队合作,在 Cloudflare 的开发人员平台上更深入地集成许多工具,我们很高兴能与大家分享我们的工作成果。
今天,我们宣布推出与 LangChain 的五个新关键集成:
Workers AI 聊天模型:这允许您使用 Workers AI 文本生成来为 LangChain.js 应用程序中的聊天模型提供支持。
Workers AI 指导模型:这允许您在 Langchain.js 应用程序中使用针对指导用例进行微调的 Workers AI 模型,例如 Mistral 和 CodeLlama。
文本嵌入模型:如果您正在使用文本嵌入,那么您现在可以将 Workers AI 文本嵌入与 LangChain.js 一起使用。
Vectorize Vector Store:使用 Vector 数据库和 LangChain.js 时,您现在可以选择使用 Cloudflare 强大的向量数据库 Vectorize。
Cloudflare D1 支持的聊天内存:为了在聊天会话中保持更长期的持久性,您可以将 LangChain 的默认内存 chatHistory(支持聊天内存类,如 BufferMemory)换成 Cloudflare D1 实例。
随着这五款 Cloudflare AI 工具加入 LangChain,开发人员拥有了强大的新原语,可以集成到新的和现有的 AI 应用程序中。借助 LangChain 用于混合和匹配 AI 工具和模型的富有表现力的工具,您可以使用 Vectorize、Cloudflare AI 的文本嵌入和生成模型以及 Cloudflare D1,仅用几行代码即可构建功能齐全的 AI 应用程序。
This is a full persistent chat app powered by an LLM in 10 lines of code–deployed to @Cloudflare Workers, powered by @LangChainAI and @Cloudflare D1.
You can even pass in a unique sessionId and have completely user/session-specific conversations 🤯 https://t.co/le9vbMZ7Mc pic.twitter.com/jngG3Z7NQ6
— Kristian Freeman (@kristianf_) September 20, 2023
开始使用 Cloudflare + LangChain + Nuxt 多源聊天机器人模板
您可以从 LangChain 的 Cloudflare 聊天机器人模板开始:https://github.com/langchain-ai/langchain-cloudflare-nuxt-template
此应用程序展示了 Cloudflare Workers AI 的各个部分如何组合在一起,并扩展了检索增强生成 (RAG) 的概念,以构建一个对话式检索系统,该系统可以在多个数据源之间路由,并根据传入的问题选择最相关的数据源。此方法有助于减少因向量存储的相似性搜索而引入的离题文档所造成的干扰,如果仅使用单个数据库,则可能会发生这种情况。
基础版本完全在 Cloudflare Workers AI 堆栈上运行,采用 Llama 2-7B 模型。它使用:
在 Cloudflare Workers AI 上运行的 Llama 2-7B 聊天变体
Cloudflare Workers AI 嵌入模型
两个不同的 Cloudflare Vectorize DB(您可以添加更多!)
用于托管的 Cloudflare Pages
用于编排的 LangChain.js
用于前端的 Nuxt + Vue
两个默认数据源是一个详细介绍 Cloudflare 部分功能的 PDF 和一篇由 OpenAI 的 Lilian Weng 撰写的讨论自主代理的博客文章。
机器人会将传入的问题分类为 Cloudflare 相关、AI 相关或两者均无关,并利用相应的数据源获取更具针对性的结果。一切都是完全可定制的——您可以更改所提取数据的内容、使用的模型以及所有提示!
如果您有权访问 LangSmith 测试版,该应用程序还设置了跟踪功能,以便您可以轻松查看和调试应用程序中的每个步骤。
我们迫不及待想看看您构建的成果
我们迫不及待地想看看大家使用 LangChain 和 Cloudflare 构建了什么。欢迎在 Discord 或我们的社区论坛上告诉我们。