订阅以接收新文章的通知:

LangChain 支持 Workers AI、Vectorize 和 D1

2024-01-31

1 分钟阅读时间
这篇博文也有 English日本語한국어繁體中文版本。

在 Developer Week 期间,我们宣布了 LangChain 对 Cloudflare Workers 的支持。Langchain 是一个开源框架,允许开发人员通过使用声明性 API 组合不同的模型、提供商和插件来创建强大的 AI 工作流——它与 Workers 完美契合,可用于创建 AI 驱动的全栈应用程序。

LangChain Support for Workers AI, Vectorize and D1

从那时起,我们一直与 LangChain 团队合作,在 Cloudflare 的开发人员平台上更深入地集成许多工具,我们很高兴能与大家分享我们的工作成果。

今天,我们宣布推出与 LangChain 的五个新关键集成:

  1. Workers AI 聊天模型:这允许您使用 Workers AI 文本生成来为 LangChain.js 应用程序中的聊天模型提供支持。

  2. Workers AI 指导模型:这允许您在 Langchain.js 应用程序中使用针对指导用例进行微调的 Workers AI 模型,例如 Mistral 和 CodeLlama。

  3. 文本嵌入模型:如果您正在使用文本嵌入,那么您现在可以将 Workers AI 文本嵌入与 LangChain.js 一起使用。

  4. Vectorize Vector Store:使用 Vector 数据库和 LangChain.js 时,您现在可以选择使用 Cloudflare 强大的向量数据库 Vectorize

  5. Cloudflare D1 支持的聊天内存:为了在聊天会话中保持更长期的持久性,您可以将 LangChain 的默认内存 chatHistory(支持聊天内存类,如 BufferMemory)换成 Cloudflare D1 实例

随着这五款 Cloudflare AI 工具加入 LangChain,开发人员拥有了强大的新原语,可以集成到新的和现有的 AI 应用程序中。借助 LangChain 用于混合和匹配 AI 工具和模型的富有表现力的工具,您可以使用 Vectorize、Cloudflare AI 的文本嵌入和生成模型以及 Cloudflare D1,仅用几行代码即可构建功能齐全的 AI 应用程序。

This is a full persistent chat app powered by an LLM in 10 lines of code–deployed to @Cloudflare Workers, powered by @LangChainAI and @Cloudflare D1.

You can even pass in a unique sessionId and have completely user/session-specific conversations 🤯 https://t.co/le9vbMZ7Mc pic.twitter.com/jngG3Z7NQ6

— Kristian Freeman (@kristianf_) September 20, 2023

开始使用 Cloudflare + LangChain + Nuxt 多源聊天机器人模板

您可以从 LangChain 的 Cloudflare 聊天机器人模板开始:https://github.com/langchain-ai/langchain-cloudflare-nuxt-template

此应用程序展示了 Cloudflare Workers AI 的各个部分如何组合在一起,并扩展了检索增强生成 (RAG) 的概念,以构建一个对话式检索系统,该系统可以在多个数据源之间路由,并根据传入的问题选择最相关的数据源。此方法有助于减少因向量存储的相似性搜索而引入的离题文档所造成的干扰,如果仅使用单个数据库,则可能会发生这种情况。

基础版本完全在 Cloudflare Workers AI 堆栈上运行,采用 Llama 2-7B 模型。它使用:

  • 在 Cloudflare Workers AI 上运行的 Llama 2-7B 聊天变体

  • Cloudflare Workers AI 嵌入模型

  • 两个不同的 Cloudflare Vectorize DB(您可以添加更多!)

  • 用于托管的 Cloudflare Pages

  • 用于编排的 LangChain.js

  • 用于前端的 Nuxt + Vue

两个默认数据源是一个详细介绍 Cloudflare 部分功能的 PDF一篇由 OpenAI 的 Lilian Weng 撰写的讨论自主代理的博客文章

机器人会将传入的问题分类为 Cloudflare 相关、AI 相关或两者均无关,并利用相应的数据源获取更具针对性的结果。一切都是完全可定制的——您可以更改所提取数据的内容、使用的模型以及所有提示!

如果您有权访问 LangSmith 测试版,该应用程序还设置了跟踪功能,以便您可以轻松查看和调试应用程序中的每个步骤

我们迫不及待想看看您构建的成果

我们迫不及待地想看看大家使用 LangChain 和 Cloudflare 构建了什么。欢迎在 Discord 或我们的社区论坛上告诉我们。

我们保护整个企业网络,帮助客户高效构建互联网规模的应用程序,加速任何网站或互联网应用程序抵御 DDoS 攻击,防止黑客入侵,并能协助您实现 Zero Trust 的过程

从任何设备访问 1.1.1.1,以开始使用我们的免费应用程序,帮助您更快、更安全地访问互联网。要进一步了解我们帮助构建更美好互联网的使命,请从这里开始。如果您正在寻找新的职业方向,请查看我们的空缺职位
LangChainCloudflare WorkersAID1Developer Platform开发人员

在 X 上关注

Ricky Robinett|@rickyrobinett
Kristian Freeman|@kristianf_
Cloudflare|@cloudflare

相关帖子

2024年9月12日 14:15

Protecting APIs from abuse using sequence learning and variable order Markov chains

At Cloudflare, we protect customer APIs from abuse. This is no easy task, as abusive traffic can take different forms, from giant DDoS attacks to low-and-slow credential stuffing campaigns. We now address this challenge in a new way: by looking outside typical volumetric measures and using statistical machine learning to find important API client request sequences....