Durante la Developer Week de abril de 2024, anunciamos la disponibilidad general de Workers AI, y hoy nos complace hacer lo mismo con AI Gateway. Desde el lanzamiento de la versión beta durante la Semana aniversario en septiembre de 2023, hemos redireccionado mediante proxy más de 500 millones de solicitudes y ahora estamos preparados para que lo utilices en producción.
AI Gateway es una plataforma de operaciones de IA que ofrece una interfaz unificada para gestionar y escalar tus cargas de trabajo de IA generativa. Básicamente, actúa como un proxy entre tu servicio y tu(s) proveedor(es) de inferencia, independientemente de dónde se ejecute tu modelo. Con una sola línea de código, puedes acceder a un conjunto de funciones eficaces para mejorar el rendimiento, la seguridad, la fiabilidad y la observabilidad. Considéralo tu plano de control para tus operaciones de IA. Y esto es solo el principio. Tenemos una hoja de ruta repleta de funciones interesantes que añadiremos próximamente, lo que convierte a AI Gateway en una herramienta imprescindible para cualquier organización que quiera sacar el máximo partido a sus cargas de trabajo de IA.
¿Por qué añadir un proxy y por qué elegir Cloudflare?
La IA está progresando muy rápido, y parece que cada día hay un nuevo modelo, proveedor o marco. Este cambio acelerado está dificultando la capacidad de mantener el control, especialmente si utilizas más de un modelo o proveedor. Y ese es uno de los motores del lanzamiento de AI Gateway. Queremos ofrecerte un único plano de control coherente para todos tus modelos y herramientas, incluso si cambian mañana, o en el futuro.
Hemos hablado con muchos desarrolladores y organizaciones que desarrollan aplicaciones de IA, y una cosa está clara: buscan mayor observabilidad y control, y más herramientas en torno a sus operaciones de IA. Muchos de los proveedores de IA no pueden dar respuesta a estas demandas, ya que están más centrados en el desarrollo de modelos y menos en las funciones de la plataforma.
¿Por qué elegir Cloudflare para tu AI Gateway? Bueno, de alguna manera, parece lógico. Llevamos más de 10 años ayudando a mejorar Internet. Gestionamos una de las mayores redes globales, ayudamos a clientes de todo el mundo a mejorar el rendimiento, la fiabilidad y la seguridad, y casi el 20 % de todos los sitios web utilizan Cloudflare como proxy inverso. Con nuestra experiencia, parecía una progresión natural. Cambia una línea de código y podemos ayudarte con la observabilidad, la fiabilidad y el control de tu aplicación de IA, todo en un único plano de control para que puedas volver a desarrollar.
A continuación puedes ver ese cambio de código de una línea utilizando el SDK de OpenAI para JavaScript. Consulta nuestra documentación para otros proveedores, SDK e idiomas.
¿Qué funciones estás disponibles ya?
import OpenAI from 'openai';
const openai = new OpenAI({
apiKey: 'my api key', // defaults to process.env["OPENAI_API_KEY"]
baseURL: "https://gateway.ai.cloudflare.com/v1/{account_id}/{gateway_slug}/openai"
});Después de hablar con los clientes, estaba claro que necesitábamos centrarnos en algunas funciones básicas antes de pasar a algunas de las más avanzadas. Aunque estamos muy entusiasmados con lo que está por venir, estas son las principales funciones disponibles desde ya de forma general:
Análisis: agrega métricas de varios proveedores. Consulta los patrones de tráfico y el uso, incluido el número de solicitudes, los tokens y los costes con el tiempo.
Registros en tiempo real: obtén información sobre las solicitudes y los errores conforme vas desarrollando.
Almacenamiento en caché: activa reglas personalizadas de almacenamiento en caché y utiliza la caché de Cloudflare para las solicitudes repetidas en lugar de acceder a la API del proveedor del modelo original, lo que te ayuda a ahorrar costes y reducir la latencia.
Limitación de velocidad: controla cómo escala tu aplicación limitando el número de solicitudes que recibe para controlar los costes o evitar abusos.
Compatibilidad con tus proveedores favoritos: AI Gateway ahora es compatible de forma nativa con Workers AI y 10 de los proveedores más populares, incluidos Groq y Cohere desde mediados de mayo de 2024.
Punto final universal: en caso de errores, mejora la resiliencia definiendo solicitudes alternativas a otro modelo o proveedor de inferencia.
¿Qué será lo próximo?
curl https://gateway.ai.cloudflare.com/v1/{account_id}/{gateway_slug} -X POST \
--header 'Content-Type: application/json' \
--data '[
{
"provider": "workers-ai",
"endpoint": "@cf/meta/llama-2-7b-chat-int8",
"headers": {
"Authorization": "Bearer {cloudflare_token}",
"Content-Type": "application/json"
},
"query": {
"messages": [
{
"role": "system",
"content": "You are a friendly assistant"
},
{
"role": "user",
"content": "What is Cloudflare?"
}
]
}
},
{
"provider": "openai",
"endpoint": "chat/completions",
"headers": {
"Authorization": "Bearer {open_ai_token}",
"Content-Type": "application/json"
},
"query": {
"model": "gpt-3.5-turbo",
"stream": true,
"messages": [
{
"role": "user",
"content": "What is Cloudflare?"
}
]
}
}
]'Hemos recibido muchos comentarios de los desarrolladores, y tenemos muchos planes en perspectiva como registros persistentes y metadatos personalizados, funciones fundamentales que ayudarán a explotar la verdadera magia en el futuro.
Pero demos un paso a atrás por un momento y compartamos nuestra visión. En Cloudflare, creemos que nuestra plataforma es mucho más eficaz como un todo unificado que como un conjunto de elementos individuales. Esta mentalidad aplicada a nuestros productos de IA significa que deben ser fáciles de usar, combinar y ejecutar en armonía.
Imaginemos el siguiente recorrido. Inicialmente incorporas Workers AI para ejecutar la inferencia con los últimos modelos de código abierto. A continuación, activas AI Gateway para mejorar la visibilidad y el control, y empiezas a almacenar registros persistentes. Después, quieres empezar a ajustar tus resultados de inferencia, para aprovechar tus registros persistentes, nuestras herramientas de gestión de solicitudes y nuestra funcionalidad de evaluación integrada. Ahora estás tomando decisiones analíticas para mejorar tus resultados de inferencia. Con cada mejora basada en datos, quieres más. Así que implementas nuestra API de comentarios que ayuda a anotar entradas/salidas, básicamente a crear un conjunto de datos estructurados. En este punto, estás a un paso de realizar ajustes con un solo clic que se pueden implementar de forma instantánea en nuestra red global, y no acaba aquí. Conforme recopiles registros y comentarios, podrás volver a crear tus adaptadores para ofrecer los mejores resultados a tus usuarios finales.
En este momento, todo son aspiraciones, pero así es como prevemos el futuro de AI Gateway y de nuestra suite de IA en su conjunto. Deberías poder empezar con la configuración más básica y avanzar gradualmente hacia flujos de trabajo más avanzados, todo ello sin salir de la plataforma de IA de Cloudflare. Al final, puede que no sea exactamente como se ha descrito anteriormente, pero puedes estar seguro de que estamos comprometidos a proporcionar las mejores herramientas de operaciones de IA para ayudar a que Cloudflare sea el mejor lugar para la IA.
Cómo empezar
AI Gateway ya está disponible en todos los planes. Si aún no has utilizado AI Gateway, consulta nuestra documentación para desarrolladores y empieza ya mismo. Las funciones principales de AI Gateway disponibles se ofrecen de forma gratuita, y todo lo que necesitas es una cuenta de Cloudflare y una línea de código para empezar. En el futuro, habrá más funciones avanzadas de pago, como el registro persistente y la gestión de secretos. Si tienes alguna pregunta, ponte en contacto con nosotros en nuestro canal Discord.