구독해서 새 게시물에 대한 알림을 받으세요.

Workers AI, Vectorize, D1에 대한 LangChain 지원

2024-01-31

2분 읽기
이 게시물은 English, 繁體中文, 日本語简体中文로도 이용할 수 있습니다.

Developer Week에 저희는 Cloudflare Workers에 대한 LangChain 지원을 발표했습니다. Langchain은 개발자가 선언적 API를 사용하여 다양한 모델, 공급자, 플러그인을 결합하여 강력한 AI 워크플로우를 생성할 수 있도록 해주는 오픈 소스 프레임워크이며, 전체 스택 AI 기반 앱을 만드는 Workers와 완벽하게 들어맞습니다.

LangChain Support for Workers AI, Vectorize and D1

그 이후로, 저희는 LangChain 팀과 함께 Cloudflare의 개발자 플랫폼에 많은 도구를 더 심층적으로 통합하기 위해 작업하고 있으며 지금까지의 성과를 공유하게 되어 매우 기쁩니다.

오늘, 저희는 LangChain과의 다섯 가지 핵심 사항 통합을 발표합니다.

  1. Workers AI 채팅 모델: 이 모델은 Workers AI 텍스트 생성을 사용하여 LangChain.js 앱 내에서 채팅 모델을 강화할 수 있도록 해줍니다.

  2. Workers AI 지시 모델: 이 모델은 Misral 및 CodeLlama 등의 지시 사용 사례에 맞게 미세 조정된 Workers AI 모델을 Langchain.js 앱 내에서 사용할 수 있도록 해줍니다.

  3. 텍스트 임베딩 모델: 텍스트 임베딩으로 작업하는 경우 이제 LangChain.js와 함께 Workers AI 텍스트 임베딩을 사용할 수 있습니다.

  4. Vectorize 벡터 저장: Vector 데이터베이스와 LangChain.js로 작업할 때, 이제 Cloudflare의 강력한 벡터 데이터베이스인 Vectorize를 사용할 수 있는 옵션이 있습니다.

  5. Cloudflare D1 지원 채팅 메모리: 채팅 세션 간의 장기적인 지속성을 원하면 Cloudflare D1 인스턴스에서 BufferMemory 등의 채팅 메모리 클래스를 지원하는 LangChain의 기본 인-메모리 chatHistory를 대체할 수 있습니다.

이 5가지 Cloudflare AI 도구가 LangChain에 추가되면서, 개발자들은 기존 AI 앱과 신규 AI 앱에 통합할 수 있는 강력하고 새로운 기본 요소를 갖출 수 있습니다. AI 도구와 모델을 혼합하고 매칭하기 위한 LangChain의 표현형 도구를 사용하면 Cloudflare AI의 텍스트 임베딩 및 생성 모델인 Vectorize와 아울러 Cloudflare D1을 사용하여 단 몇 줄의 코드만으로 모든 기능을 갖춘 AI 앱을 구축할 수 있습니다.

This is a full persistent chat app powered by an LLM in 10 lines of code–deployed to @Cloudflare Workers, powered by @LangChainAI and @Cloudflare D1.

You can even pass in a unique sessionId and have completely user/session-specific conversations 🤯 https://t.co/le9vbMZ7Mc pic.twitter.com/jngG3Z7NQ6

— Kristian Freeman (@kristianf_) September 20, 2023

Cloudflare + LangChain + Nuxt 다중 소스 챗봇 템플릿 시작하기

LangChain의 Cloudflare 챗봇 템플릿(https://github.com/langchain-ai/langchain-cloudflare-nuxt-template)을 사용하여 시작할 수 있습니다

이 앱은 Cloudflare Workers AI의 다양한 부분이 어떻게 결합되고 검색 증강 생성(RAG)의 개념을 확장하여 여러 데이터 소스 간에 라우팅할 수 있는 대화형 검색 시스템을 구축하고 들어오는 질문에 따라 더 관련 있는 소스를 선택하는지 보여줍니다. 이 방법은 단일 데이터베이스만 사용하는 경우 발생할 수 있는 벡터 저장소의 유사성 검색으로 인해 주제에서 벗어난 문서를 가져오는 데 방해가 되는 일을 줄이는 데 도움이 됩니다.

기본 버전은 전적으로 Llama 2-7B 모델의 Cloudflare Workers AI 스택에서 실행됩니다. 기본 버전은 다음을 사용합니다.

  • 20억~70억 개 Llama의 채팅 변형, Cloudflare Workers AI에서 실행

  • Cloudflare Workers AI 임베딩 모델

  • 서로 다른 두 개의 Cloudflare Vectorize DB(더 추가할 수도 있음!)

  • 호스팅용 Cloudflare Pages

  • 오케스트레이션을 위한 LangChain.js

  • 프런트엔드용 Nuxt + Vue

기본 데이터 소스 두 가지는 Cloudflare의 일부 기능을 자세히 설명하는 PDFOpenAI의 Lilian Weng이 자율 에이전트에 대해 이야기 하는 블로그 게시물입니다.

이 봇은 들어오는 질문을 Cloudflare나 AI에 관련된 것 또는 둘 다에 관련되지 않은 것으로 분류하고, 해당 데이터 소스를 활용하여 더 표적화된 결과를 얻습니다. 수집한 데이터의 콘텐츠, 사용된 모델, 모든 프롬프트 등 모든 것을 자유롭게 사용자 지정할 수 있습니다!

LangSmith 베타에 대한 액세스 권한이 있는 경우 앱에 추적 설정도 있어 앱의 각 단계를 쉽게 확인하고 디버깅할 수 있습니다.

여러분이 무엇을 구축해 나갈지 정말 기대됩니다

LangChain과 Cloudflare로 여러분이 무엇을 구축해 나갈지 정말 기대됩니다. Discord나 저희 커뮤니티 포럼에서 그 결과를 알려주세요.

Cloudflare에서는 전체 기업 네트워크를 보호하고, 고객이 인터넷 규모의 애플리케이션을 효과적으로 구축하도록 지원하며, 웹 사이트와 인터넷 애플리케이션을 가속화하고, DDoS 공격을 막으며, 해커를 막고, Zero Trust로 향하는 고객의 여정을 지원합니다.

어떤 장치로든 1.1.1.1에 방문해 인터넷을 더 빠르고 안전하게 만들어 주는 Cloudflare의 무료 앱을 사용해 보세요.

더 나은 인터넷을 만들기 위한 Cloudflare의 사명을 자세히 알아보려면 여기에서 시작하세요. 새로운 커리어 경로를 찾고 있다면 채용 공고를 확인해 보세요.
LangChain (KO)Cloudflare WorkersAID1 (KO)Developer Platform개발자

X에서 팔로우하기

Ricky Robinett|@rickyrobinett
Kristian Freeman|@kristianf_
Cloudflare|@cloudflare

관련 게시물

2024년 10월 31일 오후 1:00

Moving Baselime from AWS to Cloudflare: simpler architecture, improved performance, over 80% lower cloud costs

Post-acquisition, we migrated Baselime from AWS to the Cloudflare Developer Platform and in the process, we improved query times, simplified data ingestion, and now handle far more events, all while cutting costs. Here’s how we built a modern, high-performing observability platform on Cloudflare’s network....

2024년 10월 25일 오후 1:00

Elephants in tunnels: how Hyperdrive connects to databases inside your VPC networks

Hyperdrive (Cloudflare’s globally distributed SQL connection pooler and cache) recently added support for directing database traffic from Workers across Cloudflare Tunnels. We dive deep on what it took to add this feature....

2024년 10월 24일 오후 1:05

Build durable applications on Cloudflare Workers: you write the Workflows, we take care of the rest

Cloudflare Workflows is now in open beta! Workflows allows you to build reliable, repeatable, long-lived multi-step applications that can automatically retry, persist state, and scale out. Read on to learn how Workflows works, how we built it on top of Durable Objects, and how you can deploy your first Workflows application....