Suscríbete para recibir notificaciones de nuevas publicaciones:

AI Gateway, interfaz unificada para gestionar y escalar tus cargas de trabajo de IA generativa, ya disponible de forma general

2024-05-22

5 min de lectura
Esta publicación también está disponible en English, 繁體中文, Français, Deutsch, 日本語, 한국어 y 简体中文.

Durante la Developer Week de abril de 2024, anunciamos la disponibilidad general de Workers AI, y hoy nos complace hacer lo mismo con AI Gateway. Desde el lanzamiento de la versión beta durante la Semana aniversario en septiembre de 2023, hemos redireccionado mediante proxy más de 500 millones de solicitudes y ahora estamos preparados para que lo utilices en producción.

AI Gateway is generally available: a unified interface for managing and scaling your generative AI workloads.

AI Gateway es una plataforma de operaciones de IA que ofrece una interfaz unificada para gestionar y escalar tus cargas de trabajo de IA generativa. Básicamente, actúa como un proxy entre tu servicio y tu(s) proveedor(es) de inferencia, independientemente de dónde se ejecute tu modelo. Con una sola línea de código, puedes acceder a un conjunto de funciones eficaces para mejorar el rendimiento, la seguridad, la fiabilidad y la observabilidad. Considéralo tu plano de control para tus operaciones de IA. Y esto es solo el principio. Tenemos una hoja de ruta repleta de funciones interesantes que añadiremos próximamente, lo que convierte a AI Gateway en una herramienta imprescindible para cualquier organización que quiera sacar el máximo partido a sus cargas de trabajo de IA.

¿Por qué añadir un proxy y por qué elegir Cloudflare?

architecture diagram illustrating the setup of AI Gateway as a forward proxy

La IA está progresando muy rápido, y parece que cada día hay un nuevo modelo, proveedor o marco. Este cambio acelerado está dificultando la capacidad de mantener el control, especialmente si utilizas más de un modelo o proveedor. Y ese es uno de los motores del lanzamiento de AI Gateway. Queremos ofrecerte un único plano de control coherente para todos tus modelos y herramientas, incluso si cambian mañana, o en el futuro.

Hemos hablado con muchos desarrolladores y organizaciones que desarrollan aplicaciones de IA, y una cosa está clara: buscan mayor observabilidad y control, y más herramientas en torno a sus operaciones de IA. Muchos de los proveedores de IA no pueden dar respuesta a estas demandas, ya que están más centrados en el desarrollo de modelos y menos en las funciones de la plataforma.

¿Por qué elegir Cloudflare para tu AI Gateway? Bueno, de alguna manera, parece lógico. Llevamos más de 10 años ayudando a mejorar Internet. Gestionamos una de las mayores redes globales, ayudamos a clientes de todo el mundo a mejorar el rendimiento, la fiabilidad y la seguridad, y casi el 20 % de todos los sitios web utilizan Cloudflare como proxy inverso. Con nuestra experiencia, parecía una progresión natural. Cambia una línea de código y podemos ayudarte con la observabilidad, la fiabilidad y el control de tu aplicación de IA, todo en un único plano de control para que puedas volver a desarrollar.

A continuación puedes ver ese cambio de código de una línea utilizando el SDK de OpenAI para JavaScript. Consulta nuestra documentación para otros proveedores, SDK e idiomas.

¿Qué funciones estás disponibles ya?

import OpenAI from 'openai';

const openai = new OpenAI({
apiKey: 'my api key', // defaults to process.env["OPENAI_API_KEY"]
	baseURL: "https://gateway.ai.cloudflare.com/v1/{account_id}/{gateway_slug}/openai"
});

Después de hablar con los clientes, estaba claro que necesitábamos centrarnos en algunas funciones básicas antes de pasar a algunas de las más avanzadas. Aunque estamos muy entusiasmados con lo que está por venir, estas son las principales funciones disponibles desde ya de forma general:

Análisis: agrega métricas de varios proveedores. Consulta los patrones de tráfico y el uso, incluido el número de solicitudes, los tokens y los costes con el tiempo.

Registros en tiempo real: obtén información sobre las solicitudes y los errores conforme vas desarrollando.

Almacenamiento en caché: activa reglas personalizadas de almacenamiento en caché y utiliza la caché de Cloudflare para las solicitudes repetidas en lugar de acceder a la API del proveedor del modelo original, lo que te ayuda a ahorrar costes y reducir la latencia.

Real-time logs from running three requests to Cohere

Limitación de velocidad: controla cómo escala tu aplicación limitando el número de solicitudes que recibe para controlar los costes o evitar abusos.

Set up rules for caching requests

Compatibilidad con tus proveedores favoritos: AI Gateway ahora es compatible de forma nativa con Workers AI y 10 de los proveedores más populares, incluidos Groq y Cohere desde mediados de mayo de 2024.

Set up rules for rate limiting traffic

Punto final universal: en caso de errores, mejora la resiliencia definiendo solicitudes alternativas a otro modelo o proveedor de inferencia.

Real time logs from three LLM providers - Cohere, Groq, and OpenAI

¿Qué será lo próximo?

curl https://gateway.ai.cloudflare.com/v1/{account_id}/{gateway_slug} -X POST \
  --header 'Content-Type: application/json' \
  --data '[
  {
    "provider": "workers-ai",
    "endpoint": "@cf/meta/llama-2-7b-chat-int8",
    "headers": {
      "Authorization": "Bearer {cloudflare_token}",
      "Content-Type": "application/json"
    },
    "query": {
      "messages": [
        {
          "role": "system",
          "content": "You are a friendly assistant"
        },
        {
          "role": "user",
          "content": "What is Cloudflare?"
        }
      ]
    }
  },
  {
    "provider": "openai",
    "endpoint": "chat/completions",
    "headers": {
      "Authorization": "Bearer {open_ai_token}",
      "Content-Type": "application/json"
    },
    "query": {
      "model": "gpt-3.5-turbo",
      "stream": true,
      "messages": [
        {
          "role": "user",
          "content": "What is Cloudflare?"
        }
      ]
    }
  }
]'

Hemos recibido muchos comentarios de los desarrolladores, y tenemos muchos planes en perspectiva como registros persistentes y metadatos personalizados, funciones fundamentales que ayudarán a explotar la verdadera magia en el futuro.

Pero demos un paso a atrás por un momento y compartamos nuestra visión. En Cloudflare, creemos que nuestra plataforma es mucho más eficaz como un todo unificado que como un conjunto de elementos individuales. Esta mentalidad aplicada a nuestros productos de IA significa que deben ser fáciles de usar, combinar y ejecutar en armonía.

Imaginemos el siguiente recorrido. Inicialmente incorporas Workers AI para ejecutar la inferencia con los últimos modelos de código abierto. A continuación, activas AI Gateway para mejorar la visibilidad y el control, y empiezas a almacenar registros persistentes. Después, quieres empezar a ajustar tus resultados de inferencia, para aprovechar tus registros persistentes, nuestras herramientas de gestión de solicitudes y nuestra funcionalidad de evaluación integrada. Ahora estás tomando decisiones analíticas para mejorar tus resultados de inferencia. Con cada mejora basada en datos, quieres más. Así que implementas nuestra API de comentarios que ayuda a anotar entradas/salidas, básicamente a crear un conjunto de datos estructurados. En este punto, estás a un paso de realizar ajustes con un solo clic que se pueden implementar de forma instantánea en nuestra red global, y no acaba aquí. Conforme recopiles registros y comentarios, podrás volver a crear tus adaptadores para ofrecer los mejores resultados a tus usuarios finales.

En este momento, todo son aspiraciones, pero así es como prevemos el futuro de AI Gateway y de nuestra suite de IA en su conjunto. Deberías poder empezar con la configuración más básica y avanzar gradualmente hacia flujos de trabajo más avanzados, todo ello sin salir de la plataforma de IA de Cloudflare. Al final, puede que no sea exactamente como se ha descrito anteriormente, pero puedes estar seguro de que estamos comprometidos a proporcionar las mejores herramientas de operaciones de IA para ayudar a que Cloudflare sea el mejor lugar para la IA.

Cómo empezar

AI Gateway ya está disponible en todos los planes. Si aún no has utilizado AI Gateway, consulta nuestra documentación para desarrolladores y empieza ya mismo. Las funciones principales de AI Gateway disponibles se ofrecen de forma gratuita, y todo lo que necesitas es una cuenta de Cloudflare y una línea de código para empezar. En el futuro, habrá más funciones avanzadas de pago, como el registro persistente y la gestión de secretos. Si tienes alguna pregunta, ponte en contacto con nosotros en nuestro canal Discord.

Protegemos redes corporativas completas, ayudamos a los clientes a desarrollar aplicaciones web de forma eficiente, aceleramos cualquier sitio o aplicación web, prevenimos contra los ataques DDoS, mantenemos a raya a los hackers, y podemos ayudarte en tu recorrido hacia la seguridad Zero Trust.

Visita 1.1.1.1 desde cualquier dispositivo para empezar a usar nuestra aplicación gratuita y beneficiarte de una navegación más rápida y segura.

Para saber más sobre nuestra misión para ayudar a mejorar Internet, empieza aquí. Si estás buscando un nuevo rumbo profesional, consulta nuestras ofertas de empleo.
Developer PlatformDesarrolladoresOpen SourceWorkers AIConnectivity CloudAI Gateway (ES)IA

Síguenos en X

Kathy Liao|@kathyyliao
Michelle Chen|@_mchenco
Phil Wittig|@pdwittig
Cloudflare|@cloudflare

Publicaciones relacionadas

31 de octubre de 2024, 13:00

Moving Baselime from AWS to Cloudflare: simpler architecture, improved performance, over 80% lower cloud costs

Post-acquisition, we migrated Baselime from AWS to the Cloudflare Developer Platform and in the process, we improved query times, simplified data ingestion, and now handle far more events, all while cutting costs. Here’s how we built a modern, high-performing observability platform on Cloudflare’s network....

24 de octubre de 2024, 13:05

Build durable applications on Cloudflare Workers: you write the Workflows, we take care of the rest

Cloudflare Workflows is now in open beta! Workflows allows you to build reliable, repeatable, long-lived multi-step applications that can automatically retry, persist state, and scale out. Read on to learn how Workflows works, how we built it on top of Durable Objects, and how you can deploy your first Workflows application....