Developer Week에 저희는 Cloudflare Workers에 대한 LangChain 지원을 발표했습니다. Langchain은 개발자가 선언적 API를 사용하여 다양한 모델, 공급자, 플러그인을 결합하여 강력한 AI 워크플로우를 생성할 수 있도록 해주는 오픈 소스 프레임워크이며, 전체 스택 AI 기반 앱을 만드는 Workers와 완벽하게 들어맞습니다.
그 이후로, 저희는 LangChain 팀과 함께 Cloudflare의 개발자 플랫폼에 많은 도구를 더 심층적으로 통합하기 위해 작업하고 있으며 지금까지의 성과를 공유하게 되어 매우 기쁩니다.
오늘, 저희는 LangChain과의 다섯 가지 핵심 사항 통합을 발표합니다.
Workers AI 채팅 모델: 이 모델은 Workers AI 텍스트 생성을 사용하여 LangChain.js 앱 내에서 채팅 모델을 강화할 수 있도록 해줍니다.
Workers AI 지시 모델: 이 모델은 Misral 및 CodeLlama 등의 지시 사용 사례에 맞게 미세 조정된 Workers AI 모델을 Langchain.js 앱 내에서 사용할 수 있도록 해줍니다.
텍스트 임베딩 모델: 텍스트 임베딩으로 작업하는 경우 이제 LangChain.js와 함께 Workers AI 텍스트 임베딩을 사용할 수 있습니다.
Vectorize 벡터 저장: Vector 데이터베이스와 LangChain.js로 작업할 때, 이제 Cloudflare의 강력한 벡터 데이터베이스인 Vectorize를 사용할 수 있는 옵션이 있습니다.
Cloudflare D1 지원 채팅 메모리: 채팅 세션 간의 장기적인 지속성을 원하면 Cloudflare D1 인스턴스에서 BufferMemory 등의 채팅 메모리 클래스를 지원하는 LangChain의 기본 인-메모리 chatHistory를 대체할 수 있습니다.
이 5가지 Cloudflare AI 도구가 LangChain에 추가되면서, 개발자들은 기존 AI 앱과 신규 AI 앱에 통합할 수 있는 강력하고 새로운 기본 요소를 갖출 수 있습니다. AI 도구와 모델을 혼합하고 매칭하기 위한 LangChain의 표현형 도구를 사용하면 Cloudflare AI의 텍스트 임베딩 및 생성 모델인 Vectorize와 아울러 Cloudflare D1을 사용하여 단 몇 줄의 코드만으로 모든 기능을 갖춘 AI 앱을 구축할 수 있습니다.
This is a full persistent chat app powered by an LLM in 10 lines of code–deployed to @Cloudflare Workers, powered by @LangChainAI and @Cloudflare D1.
You can even pass in a unique sessionId and have completely user/session-specific conversations 🤯 https://t.co/le9vbMZ7Mc pic.twitter.com/jngG3Z7NQ6
— Kristian Freeman (@kristianf_) September 20, 2023
Cloudflare + LangChain + Nuxt 다중 소스 챗봇 템플릿 시작하기
LangChain의 Cloudflare 챗봇 템플릿(https://github.com/langchain-ai/langchain-cloudflare-nuxt-template)을 사용하여 시작할 수 있습니다
이 앱은 Cloudflare Workers AI의 다양한 부분이 어떻게 결합되고 검색 증강 생성(RAG)의 개념을 확장하여 여러 데이터 소스 간에 라우팅할 수 있는 대화형 검색 시스템을 구축하고 들어오는 질문에 따라 더 관련 있는 소스를 선택하는지 보여줍니다. 이 방법은 단일 데이터베이스만 사용하는 경우 발생할 수 있는 벡터 저장소의 유사성 검색으로 인해 주제에서 벗어난 문서를 가져오는 데 방해가 되는 일을 줄이는 데 도움이 됩니다.
기본 버전은 전적으로 Llama 2-7B 모델의 Cloudflare Workers AI 스택에서 실행됩니다. 기본 버전은 다음을 사용합니다.
20억~70억 개 Llama의 채팅 변형, Cloudflare Workers AI에서 실행
Cloudflare Workers AI 임베딩 모델
서로 다른 두 개의 Cloudflare Vectorize DB(더 추가할 수도 있음!)
호스팅용 Cloudflare Pages
오케스트레이션을 위한 LangChain.js
프런트엔드용 Nuxt + Vue
기본 데이터 소스 두 가지는 Cloudflare의 일부 기능을 자세히 설명하는 PDF와 OpenAI의 Lilian Weng이 자율 에이전트에 대해 이야기 하는 블로그 게시물입니다.
이 봇은 들어오는 질문을 Cloudflare나 AI에 관련된 것 또는 둘 다에 관련되지 않은 것으로 분류하고, 해당 데이터 소스를 활용하여 더 표적화된 결과를 얻습니다. 수집한 데이터의 콘텐츠, 사용된 모델, 모든 프롬프트 등 모든 것을 자유롭게 사용자 지정할 수 있습니다!
LangSmith 베타에 대한 액세스 권한이 있는 경우 앱에 추적 설정도 있어 앱의 각 단계를 쉽게 확인하고 디버깅할 수 있습니다.
여러분이 무엇을 구축해 나갈지 정말 기대됩니다
LangChain과 Cloudflare로 여러분이 무엇을 구축해 나갈지 정말 기대됩니다. Discord나 저희 커뮤니티 포럼에서 그 결과를 알려주세요.