구독해서 새 게시물에 대한 알림을 받으세요.

Workers AI 업데이트: 100여 개의 도시에서 Stable Diffusion, Code Llama + Workers AI

2023. 11. 23.

7분 읽기
Workers AI Update: Stable Diffusion, Code Llama + Workers AI in 100 cities

추수감사절은 미국의 명절이자 저희가 가장 좋아하는 명절 중 하나입니다. 감사할 일이 많기 때문이죠! 많은 사람들이 음식이나 할인 행사에 기대가 크지만, 개발자인 제게는 항상 새로운 빈둥거리며 새로운 기술을 가지고 소일하기 좋은 조용한 휴일이기도 합니다. 그런 의미에서, 이제 Cloudflare의 전 세계 네트워크에 걸쳐 100여 개의 도시에서 실행되는 Workers AI의 일부로 Stable DiffusionCode Llama를 사용할 수 있게 되었다는 소식을 알려드리게 되어 기쁩니다.

많은 AI 팬들이 알고 있듯이, Stable Diffusion은 텍스트 입력을 기반으로 이미지를 생성할 수 있는 획기적인 이미지 생성 모델입니다. Code Llama는 프로그래밍 코드 생성에 최적화된 강력한 언어 모델입니다.

자세한 내용을 알아보려면 계속 읽거나 개발자 문서로 이동하여 시작하세요!

Stable Diffusion으로 생성 - "추수감사절을 축하하는 주황색 구름 속 행복한 라마"

Stable Diffusion으로 이미지 생성

Stability AI는 지난 여름에 Stable Diffusion XL 1.0(SDXL)을 출시했습니다. 자세한 내용은여기에서 확인할 수 있지만, 여기에서는 몇 가지 멋진 기능에 대해 간략히 언급하겠습니다.

우선, "모델이 주는 특정한 '느낌'을 받지 않고도 뚜렷한 이미지를 연출할 수 있어 스타일에 대한 절대적인 자유를 보장한다"는 점이 특징입니다. 이는 개발자로서, 아니 아티스트라고 해야 할까, 빈 캔버스를 제공한다는 점에서 매우 유용합니다.

또한 "기본 1024x1024 해상도에서 이전 제품보다 더 나은 대비, 조도, 음영 등을 제공하며 생생하고 정확한 색상을 위해 특히 잘 조정되었습니다." 오늘날 카메라(또는 휴대폰 카메라)의 발전으로 인해 화질은 이제 선택이 아닌 필수 요소이며, 이러한 모델이 이를 따라잡고 있는 것은 반가운 일입니다.

Workers AI + SDXL(API를 통해)을 시작하는 것이 더 이상 쉬울 수 없습니다. 아래 예시에서 확인해 보세요.

curl -X POST \
"https://api.cloudflare.com/client/v4/accounts/{account-id}/ai/run/@cf/stabilityai/stable-diffusion-xl-base-1.0" \
-H "Authorization: Bearer {api-token}" \
-H "Content-Type:application/json" \
-d '{ "prompt": "A happy llama running through an orange cloud" }' \
-o 'happy-llama.png'

그리고 여기 행복한 라마가 있습니다.

Worker에서도 이 작업을 수행할 수 있습니다.

import { Ai } from '@cloudflare/ai';
export default {
  async fetch(request, env) {
    const ai = new Ai(env.AI);
    const response = await ai.run('@cf/stabilityai/stable-diffusion-xl-base-1.0', {
      prompt: 'A happy llama running through an orange cloud'
    });
    return new Response(response, {
      headers: {
          "content-type": "image/png",
      },
  });
  }
}

Code Llama로 코드 생성

아트 제작에 관심이 없다면 코딩을 통해 재미를 느낄 수도 있습니다. Meta에서 지난 여름에 출시한 Code Llama는 Llama 2를 기반으로 구축되었지만, 많은 인기 언어(Python, C++, Java, PHP, Typescript / Javascript, C#, Bash)의 코드를 이해하고 생성하도록 최적화되어 있습니다.

Code Llama는 직면한 어려운 문제에 대한 코드를 생성하는 데 사용하거나 코드를 이해하는 데 사용할 수 있으며, 기존의 알려지지 않은 코드베이스를 선택하는 경우에도 유용합니다.

다른 모든 모델과 마찬가지로 Workers AI로 코드를 생성하는 것은 정말 쉽습니다.

Worker에서:

import { Ai } from '@cloudflare/ai';

// Enable env.AI for your worker by adding the ai binding to your wrangler.toml file:
// [ai]
// binding = "AI"

export default {
  async fetch(request, env) {
    const ai = new Ai(env.AI);
    const response = await ai.run('@hf/thebloke/codellama-7b-instruct-awq', {
      prompt: 'In JavaScript, define a priority queue class. The constructor must take a function that is called on each object to determine its priority.'
    });
    return Response.json(response);
  }
}

curl 사용하기:

curl -X POST \
"https://api.cloudflare.com/client/v4/accounts/{account-id}/ai/run/@hf/thebloke/codellama-7b-instruct-awq" \

-H "Authorization: Bearer {api-token}" \-H "Content-Type: application/json" \
-d '{ "prompt": "In JavaScript, define a priority queue class. The constructor must take a function that is called on each object to determine its priority." }

python 사용하기:

#!/usr/bin/env python3

import json
import os
import requests

ACCOUNT_ID=os.environ["ACCOUNT_ID"]
API_TOKEN=os.environ["API_TOKEN"]
MODEL="@hf/thebloke/codellama-7b-instruct-awq"

prompt="""In JavaScript, define a priority queue class. The constructor must take a function that is called on each object to determine its priority."""
url = f"https://api.cloudflare.com/client/v4/accounts/{ACCOUNT_ID}/ai/run/{MODEL}"
headers = {
  "Authorization": f"Bearer {API_TOKEN}"
}
payload = json.dumps({
  "prompt": prompt
})

print(url)
r = requests.post(url, data=payload, headers=headers)

j = r.json()
if "result" in j and "response" in j["result"]:
   print(r.json()["result"]["response"])
else:
   print(json.dumps(j, indent=2))

Workers AI 추론, 이제 100개 도시에서 가능

지난 9월 Workers AI를 처음 출시했을 때는 7개 도시에서 추론을 실행하는 것으로 시작했지만, 저희는 연말까지 100개 도시에서, 2024년 말까지 거의 모든 곳에서 Workers AI 추론을 지원하겠다는 야심찬 목표를 세웠습니다. 여러 팀에서 열심히 일하고 있는 멋진 분들 덕분에 예정보다 앞당겨 100개 도시에서 Workers AI 추론을 지원하게 된 것을 자랑스럽게 생각합니다. 이는 개발자에게는 추론 작업이 사용자 가까이에서 실행될 가능성이 더 높아졌다는 의미이며, 향후 18개월 동안 계속해서 개선하겠습니다.

Mistral, 놓치신 분을 위해

마지막으로, 이번 주 초에 업데이트된 다른 소식을 놓치신 분들을 위해 크기에 비해 강력한 기능을 갖춘 강력한 언어 모델인 Mistral 7B도 출시했음을 알려드립니다. 여기에서 자세한 내용을 확인하거나 여기에서 빌드를 시작할 수 있습니다.

재미있는 무언가를 만들어 보세요

오늘은 더 많은 도시에서 실행되는 이미지(아트), 코드, Workers AI 추론에 대해 알려드렸습니다. 즐거운 시간을 보내시고 멋진 무언가를 만들어 보세요. 도움이 필요하거나 피드백을 제공하거나 구축 중인 내용을 공유하고 싶으시면 Developer Discord를 방문해 주시기 바랍니다!

추수감사절 즐겁게 보내세요!

또한 이제 막 AI를 시작하는 분들을 위해 임베딩, 모델, 벡터 데이터베이스 등의 기본 사항 이해부터 Workers AI의 LLM 시작하기 등 다양한 개발자 워크숍 시리즈를 제공할 예정입니다. 여기에서 등록하시기 바랍니다.

Cloudflare에서는 전체 기업 네트워크를 보호하고, 고객이 인터넷 규모의 애플리케이션을 효과적으로 구축하도록 지원하며, 웹 사이트와 인터넷 애플리케이션을 가속화하고, DDoS 공격을 막으며, 해커를 막고, Zero Trust로 향하는 고객의 여정을 지원합니다.

어떤 장치로든 1.1.1.1에 방문해 인터넷을 더 빠르고 안전하게 만들어 주는 Cloudflare의 무료 앱을 사용해 보세요.

더 나은 인터넷을 만들기 위한 Cloudflare의 사명을 자세히 알아보려면 여기에서 시작하세요. 새로운 커리어 경로를 찾고 있다면 채용 공고를 확인해 보세요.
Workers AI (KO)Cloudflare Workers (KO)한국어

X에서 팔로우하기

Phil Wittig|@pdwittig
Cloudflare|@cloudflare

관련 게시물

2024년 5월 22일 오후 1:00

AI Gateway는 누구나 이용 가능함: 생성형 AI 워크로드를 관리하고 확장하기 위한 통합 인터페이스

AI Gateway는 AI 앱의 속도, 안정성, 관찰 가능성을 제공하는 AI 운영 플랫폼입니다. 단 한 줄의 코드만으로 레이트 리미팅, 맞춤 캐싱, 실시간 로그, 여러 공급자에 대한 집계 분석 등 강력한 기능을 사용할 수 있습니다...

2024년 4월 02일 오후 1:01

Workers AI 레벨 업: 정식 출시 및 더 많은 새로운 기능 제공

오늘 Cloudflare의 추론 플랫폼인 Workers AI가 GA가 되고, LoRA를 사용하여 세밀하게 조정된 모델과 HuggingFace 원클릭 배포를 지원하는 등의 발표를 하게 되어 기쁩니다. 이제 Cloudflare Workers가 파이썬 프로그래밍 언어 등을 지원합니다...

2024년 4월 02일 오후 1:00

Workers AI에서 LoRA를 사용하여 세밀하게 조정된 모델 실행하기

Workers AI는 이제 LoRA를 사용하여 미세 조정된(fine-tuned) 모델을 지원합니다. 하지만 LoRA란 무엇이며 작동 원리는 무엇일까요? 이 글에서는 미세 조정, LoRA 및 일부 수학적 개념에 대해 자세히 살펴보고 모든 작동 원리에 대한 세부 사항을 공유해 드리겠습니다...

2024년 3월 14일 오후 12:30

Cloudflare AI 제품의 토큰 길이 부채널 공격 완화

Workers AI 및 AI Gateway 팀은 최근 공개 버그 바운티 프로그램을 통해 제출된 보고와 관련하여 Ben Gurion 대학교의 보안 연구진과 긴밀하게 협력했습니다. 이 과정을 통해 Cloudflare는 모든 LLM 공급자에게 영향을 미치는 취약점을 발견하고 완벽하게 패치를 적용했습니다. 그 이야기는 다음과 같습니다...