Subscribe to receive notifications of new posts:

AI Gateway, interfaz unificada para gestionar y escalar tus cargas de trabajo de IA generativa, ya disponible de forma general

05/22/2024

5 min read
AI Gateway is generally available: a unified interface for managing and scaling your generative AI workloads.

Durante la Developer Week de abril de 2024, anunciamos la disponibilidad general de Workers AI, y hoy nos complace hacer lo mismo con AI Gateway. Desde el lanzamiento de la versión beta durante la Semana aniversario en septiembre de 2023, hemos redireccionado mediante proxy más de 500 millones de solicitudes y ahora estamos preparados para que lo utilices en producción.

AI Gateway es una plataforma de operaciones de IA que ofrece una interfaz unificada para gestionar y escalar tus cargas de trabajo de IA generativa. Básicamente, actúa como un proxy entre tu servicio y tu(s) proveedor(es) de inferencia, independientemente de dónde se ejecute tu modelo. Con una sola línea de código, puedes acceder a un conjunto de funciones eficaces para mejorar el rendimiento, la seguridad, la fiabilidad y la observabilidad. Considéralo tu plano de control para tus operaciones de IA. Y esto es solo el principio. Tenemos una hoja de ruta repleta de funciones interesantes que añadiremos próximamente, lo que convierte a AI Gateway en una herramienta imprescindible para cualquier organización que quiera sacar el máximo partido a sus cargas de trabajo de IA.

Diagrama de arquitectura que muestra la configuración de AI Gateway como proxy de reenvío

¿Por qué añadir un proxy y por qué elegir Cloudflare?

La IA está progresando muy rápido, y parece que cada día hay un nuevo modelo, proveedor o marco. Este cambio acelerado está dificultando la capacidad de mantener el control, especialmente si utilizas más de un modelo o proveedor. Y ese es uno de los motores del lanzamiento de AI Gateway. Queremos ofrecerte un único plano de control coherente para todos tus modelos y herramientas, incluso si cambian mañana, o en el futuro.

Hemos hablado con muchos desarrolladores y organizaciones que desarrollan aplicaciones de IA, y una cosa está clara: buscan mayor observabilidad y control, y más herramientas en torno a sus operaciones de IA. Muchos de los proveedores de IA no pueden dar respuesta a estas demandas, ya que están más centrados en el desarrollo de modelos y menos en las funciones de la plataforma.

¿Por qué elegir Cloudflare para tu AI Gateway? Bueno, de alguna manera, parece lógico. Llevamos más de 10 años ayudando a mejorar Internet. Gestionamos una de las mayores redes globales, ayudamos a clientes de todo el mundo a mejorar el rendimiento, la fiabilidad y la seguridad, y casi el 20 % de todos los sitios web utilizan Cloudflare como proxy inverso. Con nuestra experiencia, parecía una progresión natural. Cambia una línea de código y podemos ayudarte con la observabilidad, la fiabilidad y el control de tu aplicación de IA, todo en un único plano de control para que puedas volver a desarrollar.

A continuación puedes ver ese cambio de código de una línea utilizando el SDK de OpenAI para JavaScript. Consulta nuestra documentación para otros proveedores, SDK e idiomas.

import OpenAI from 'openai';

const openai = new OpenAI({
apiKey: 'my api key', // defaults to process.env["OPENAI_API_KEY"]
	baseURL: "https://gateway.ai.cloudflare.com/v1/{account_id}/{gateway_slug}/openai"
});

¿Qué funciones estás disponibles ya?

Después de hablar con los clientes, estaba claro que necesitábamos centrarnos en algunas funciones básicas antes de pasar a algunas de las más avanzadas. Aunque estamos muy entusiasmados con lo que está por venir, estas son las principales funciones disponibles desde ya de forma general:

Análisis: agrega métricas de varios proveedores. Consulta los patrones de tráfico y el uso, incluido el número de solicitudes, los tokens y los costes con el tiempo.

Pestaña de Análisis del panel de control de AI Gateway

Registros en tiempo real: obtén información sobre las solicitudes y los errores conforme vas desarrollando.

Registros en tiempo real de la ejecución de tres solicitudes a Cohere

Almacenamiento en caché: activa reglas personalizadas de almacenamiento en caché y utiliza la caché de Cloudflare para las solicitudes repetidas en lugar de acceder a la API del proveedor del modelo original, lo que te ayuda a ahorrar costes y reducir la latencia.

Configura reglas para el almacenamiento en caché de solicitudes

Limitación de velocidad: controla cómo escala tu aplicación limitando el número de solicitudes que recibe para controlar los costes o evitar abusos.

Configura reglas para limitar la velocidad del tráfico

Compatibilidad con tus proveedores favoritos: AI Gateway ahora es compatible de forma nativa con Workers AI y 10 de los proveedores más populares, incluidos Groq y Cohere desde mediados de mayo de 2024.

Registros en tiempo real de tres proveedores de LLM: Cohere, Groq y OpenAI

Punto final universal: en caso de errores, mejora la resiliencia definiendo solicitudes alternativas a otro modelo o proveedor de inferencia.

curl https://gateway.ai.cloudflare.com/v1/{account_id}/{gateway_slug} -X POST \
  --header 'Content-Type: application/json' \
  --data '[
  {
    "provider": "workers-ai",
    "endpoint": "@cf/meta/llama-2-7b-chat-int8",
    "headers": {
      "Authorization": "Bearer {cloudflare_token}",
      "Content-Type": "application/json"
    },
    "query": {
      "messages": [
        {
          "role": "system",
          "content": "You are a friendly assistant"
        },
        {
          "role": "user",
          "content": "What is Cloudflare?"
        }
      ]
    }
  },
  {
    "provider": "openai",
    "endpoint": "chat/completions",
    "headers": {
      "Authorization": "Bearer {open_ai_token}",
      "Content-Type": "application/json"
    },
    "query": {
      "model": "gpt-3.5-turbo",
      "stream": true,
      "messages": [
        {
          "role": "user",
          "content": "What is Cloudflare?"
        }
      ]
    }
  }
]'

¿Qué será lo próximo?

Hemos recibido muchos comentarios de los desarrolladores, y tenemos muchos planes en perspectiva como registros persistentes y metadatos personalizados, funciones fundamentales que ayudarán a explotar la verdadera magia en el futuro.

Pero demos un paso a atrás por un momento y compartamos nuestra visión. En Cloudflare, creemos que nuestra plataforma es mucho más eficaz como un todo unificado que como un conjunto de elementos individuales. Esta mentalidad aplicada a nuestros productos de IA significa que deben ser fáciles de usar, combinar y ejecutar en armonía.

Imaginemos el siguiente recorrido. Inicialmente incorporas Workers AI para ejecutar la inferencia con los últimos modelos de código abierto. A continuación, activas AI Gateway para mejorar la visibilidad y el control, y empiezas a almacenar registros persistentes. Después, quieres empezar a ajustar tus resultados de inferencia, para aprovechar tus registros persistentes, nuestras herramientas de gestión de solicitudes y nuestra funcionalidad de evaluación integrada. Ahora estás tomando decisiones analíticas para mejorar tus resultados de inferencia. Con cada mejora basada en datos, quieres más. Así que implementas nuestra API de comentarios que ayuda a anotar entradas/salidas, básicamente a crear un conjunto de datos estructurados. En este punto, estás a un paso de realizar ajustes con un solo clic que se pueden implementar de forma instantánea en nuestra red global, y no acaba aquí. Conforme recopiles registros y comentarios, podrás volver a crear tus adaptadores para ofrecer los mejores resultados a tus usuarios finales.

En este momento, todo son aspiraciones, pero así es como prevemos el futuro de AI Gateway y de nuestra suite de IA en su conjunto. Deberías poder empezar con la configuración más básica y avanzar gradualmente hacia flujos de trabajo más avanzados, todo ello sin salir de la plataforma de IA de Cloudflare. Al final, puede que no sea exactamente como se ha descrito anteriormente, pero puedes estar seguro de que estamos comprometidos a proporcionar las mejores herramientas de operaciones de IA para ayudar a que Cloudflare sea el mejor lugar para la IA.

Cómo empezar

AI Gateway ya está disponible en todos los planes. Si aún no has utilizado AI Gateway, consulta nuestra documentación para desarrolladores y empieza ya mismo. Las funciones principales de AI Gateway disponibles se ofrecen de forma gratuita, y todo lo que necesitas es una cuenta de Cloudflare y una línea de código para empezar. En el futuro, habrá más funciones avanzadas de pago, como el registro persistente y la gestión de secretos. Si tienes alguna pregunta, ponte en contacto con nosotros en nuestro canal Discord.

We protect entire corporate networks, help customers build Internet-scale applications efficiently, accelerate any website or Internet application, ward off DDoS attacks, keep hackers at bay, and can help you on your journey to Zero Trust.

Visit 1.1.1.1 from any device to get started with our free app that makes your Internet faster and safer.

To learn more about our mission to help build a better Internet, start here. If you're looking for a new career direction, check out our open positions.
Developer Platform (ES)Developers (ES)Open Source (ES)Workers AI (ES)AI Gateway (ES)AI (ES)Español

Follow on X

Kathy Liao|@kathyyliao
Michelle Chen|@_mchenco
Phil Wittig|@pdwittig
Cloudflare|@cloudflare

Related posts

April 05, 2024 1:01 PM

Disponibilidad general de la API Browser Rendering, implementación de Cloudflare Snippets, SWR y, por último, Workers for Platforms, que ya está al alcance de todos los usuarios

La API Browser Rendering ya está disponible para todos los clientes de pago de Workers y hemos mejorado la gestión de sesiones...

April 03, 2024 1:30 PM

R2 añade notificaciones de eventos, compatibilidad para migraciones desde Google Cloud Storage y un nivel de almacenamiento de acceso ocasional

Nos complace anunciar tres nuevas funciones de Cloudflare R2: notificaciones de eventos, compatibilidad para migraciones desde Google Cloud Storage y un nivel de almacenamiento de acceso ocasional...

April 02, 2024 1:01 PM

Optimización de Workers AI: disponibilidad general y nuevas funciones

Hoy nos complace anunciar una serie de novedades como la disponibilidad general de Workers AI, la plataforma de inferencia de Cloudflare, y la compatibilidad de modelos ajustados con los protocolos LoRA y las implementaciones en un solo clic desde HuggingFace. Cloudflare Workers ya es compatible con...

April 02, 2024 1:00 PM

Usamos Python en Workers con Pyodide y WebAssembly

Anunciamos la compatibilidad de Python con Cloudflare Workers, ahora en versión beta abierta. Hemos renovado nuestros sistemas para que sean compatibles con Python, desde el entorno de ejecución de Workers hasta la forma en que se implementa Workers en la red de Cloudflare...