2024 年 2 月 6 日，我們宣佈將 8 個新模型新增到我們的目錄中，用於文字產生、分類和程式碼產生使用案例。今天，我們又帶來了十七個 (17!) 模型，專注於使用 Workers AI 實現新類型的工作和使用案例。我們的目錄現在已接近 40 個模型，因此我們還決定對開發人員文件進行修訂，讓使用者能夠輕鬆搜尋和發現新模型。
新模型如下所示，完整的 Workers AI 目錄請參見我們的新開發人員文件。
文字產生
@cf/deepseek-ai/deepseek-math-7b-instruct
@cf/openchat/openchat-3.5-0106
@cf/microsoft/phi-2
@cf/tinyllama/tinyllama-1.1b-chat-v1.0
@cf/thebloke/discolm-german-7b-v1-awq
@cf/qwen/qwen1.5-0.5b-chat
@cf/qwen/qwen1.5-1.8b-chat
@cf/qwen/qwen1.5-7b-chat-awq
@cf/qwen/qwen1.5-14b-chat-awq
@cf/tiiuae/falcon-7b-instruct
@cf/defog/sqlcoder-7b-2
總結
@cf/facebook/bart-large-cnn
文字轉影像
@cf/lykon/dreamshaper-8-lcm
@cf/runwayml/stable-diffusion-v1-5-inpainting
@cf/runwayml/stable-diffusion-v1-5-img2img
@cf/bytedance/stable-diffusion-xl-lightning
影像轉文字
@cf/unum/uform-gen2-qwen-500m
新的語言模型、微調和量化
今天的目錄更新包含了許多新的語言模型，開發人員可以根據自己的使用案例挑選出最好的 LLM。雖然大多數 LLM 都可以推廣到任何情況下，但選擇針對特定使用案例量身定制的模型有很多好處。我們很高興為您帶來一些新的大型語言模型 (LLM)、小型語言模型 (SLM) 和多語言支援，以及一些經過微調和量化的模型。
我們最新新增的 LLM 包括 falcon-7b-instruct，它特別令人興奮，因為它創新地使用了多查詢注意力來產生高精度回應。discolm_german_7b 和 qwen1.5 模型也提供了更好的語言支援，這些模型在多語言資料上進行訓練，不僅在英語方面，而且在德語 (discolm) 和中文 (qwen1.5) 方面也擁有令人印象深刻的 LLM 輸出。Qwen 模型的參數範圍從 0.5B 到 14B，在我們的測試中表現出尤其令人印象深刻的準確性。我們還發佈了一些新的 SLM，它們越來越受歡迎，因為它們能夠更快、更便宜地進行推斷，而不會犧牲準確性。對於 SLM，我們引入了小型但效能卓越的模型，例如 1.1B 參數版本的 Llama (tinyllama-1.1b-chat-v1.0) 和來自 Microsoft 的 1.3B 參數模型 (phi-2)。
隨著 AI 產業不斷加速發展，出色之人已經找到了改進和最佳化模型效能和準確性的方法。我們新增了一個微調模型 (openchat-3.5)，該模型實施條件強化學習微調 (C-RLFT)，這是一種透過使用易於收集的混合品質資料來實現開放原始碼語言模型開發的技術。
今天，我們非常高興能夠將所有這些新的文字產生模型引入我們的平台。開放原始碼社群在開發新的 AI 突破方面表現出色，我們感謝大家為訓練、微調和量化這些模型所做的貢獻。我們很高興能夠代管這些模型並讓所有人都能存取它們，以便開發人員能夠快速輕鬆地使用 AI 構建新應用程式。您可以在我們的開發人員文件中查看新模型及其 API 結構描述。
新的影像產生模型
我們正在新增新的 Stable Diffusion 管道和最佳化，以實現強大的新影像編輯和產生使用案例。我們已經新增對 Stable Diffusion XL Lightning 的支援，它只需兩個推斷步驟即可產生高品質影像。對於想要獲取文字提示並讓模型根據輸入產生影像的人來說，文字轉影像是一項非常受歡迎的工作，但 Stable Diffusion 實際上可以做更多的事情。隨著這個新的 Workers AI 版本的發佈，我們解鎖了新的管道，以便您可以使用 Stable Diffusion 嘗試不同的輸入模式和工作。
您現在可以在 Workers AI 上使用 Stable Diffusion 完成影像到影像和影像修復使用案例。影像到影像允許您將輸入影像轉換為不同的影像——例如，您可以要求 Stable Diffusion 產生肖像的卡通版本。影像修復允許使用者上傳影像並將該影像轉換為新影像——影像修復的範例包括「擴展」相片的背景或為黑白相片著色。
要使用影像修復功能，您需要輸入影像、遮罩和提示。影像是您想要修改的原始圖片，遮罩是突出顯示您想要修復之區域的單色螢幕，提示告訴模型在該空間中產生什麼。以下是執行影像修復的輸入和請求範本的範例。
新使用案例
import { Ai } from '@cloudflare/ai';
export default {
async fetch(request, env) {
const formData = await request.formData();
const prompt = formData.get("prompt")
const imageFile = formData.get("image")
const maskFile = formData.get("mask")
const imageArrayBuffer = await imageFile.arrayBuffer();
const maskArrayBuffer = await maskFile.arrayBuffer();
const ai = new Ai(env.AI);
const inputs = {
prompt,
image: [...new Uint8Array(imageArrayBuffer)],
mask: [...new Uint8Array(maskArrayBuffer)],
strength: 0.8, // Adjust the strength of the transformation
num_steps: 10, // Number of inference steps for the diffusion process
};
const response = await ai.run("@cf/runwayml/stable-diffusion-v1-5-inpainting", inputs);
return new Response(response, {
headers: {
"content-type": "image/png",
},
});
}
}我們還為 Workers AI 新增了新模型，可以執行各種專門的工作和使用案例，例如，專門用於解決數學問題 (deepseek-math-7b-instruct)、產生 SQL 程式碼 (sqlcoder-7b-2)、總結文字 (bart-large-cnn) 和自動新增影像描述 (uform-gen2-qwen-500m) 的 LLM。
我們希望向公眾發佈這些模型，以便您可以開始使用它們進行構建，但我們將在接下來的幾週內發佈更多示範和教程內容。請繼續關注我們的 X 帳戶和開發人員文件，瞭解有關如何使用這些新模型的更多資訊。
最佳化我們的模型目錄
AI 模型創新正在迅速發展，快速高效推斷的工具和技術也在迅速發展。我們很高興能夠整合新的工具來協助我們最佳化模型，以便為每個人提供最佳的推斷平台。通常，在最佳化 AI 推斷時，將模型序列化為 ONNX 等格式很有用，ONNX 是此使用案例最普遍適用的選項之一，具有廣泛的硬體和模型架構支援。ONNX 模型可以透過轉換為 TensorRT 引擎來進一步最佳化。這種格式專為 Nvidia GPU 設計，可以縮短推斷延遲並提高 LLM 的總輸送量。選擇正確的格式通常取決於特定模型架構和可用於推斷的硬體對格式的最佳支援。我們決定為新的 Stable Diffusion 管道同時利用 TensorRT 和 ONNX 格式，這些管道代表了一系列適用於特定工作的模型。
在我們的新開發人員文件中探索更多資訊
您可以在我們的新開發人員文件中探索所有這些新模型，瞭解有關各個模型、它們的提示範本以及上下文權杖限制等屬性的更多資訊。我們重新設計了模型頁面，以便開發人員能更輕鬆地探索新模型並學習如何使用它們。現在，您將在一個頁面上看到所有模型，以便於搜尋，工作類型位於右側。然後，您可以點擊進入各個模型頁面，查看有關如何使用這些模型的程式碼範例。
我們希望您嘗試這些新模型並在 Workers AI 上構建新的東西！我們即將推出更多更新，包括更多示範、教程和 Workers AI 定價。請在我們的 Discord 上告訴我們您正在開發的內容以及您希望看到的其他模型。