AI Gateway: mejora de la observabilidad, la fiabilidad y la escalabilidad de las aplicaciones de IA

Hoy nos complace anunciar nuestra versión beta de AI Gateway, el portal para mejorar la observabilidad, la fiabilidad y la escalabilidad de tus aplicaciones de IA.

AI Gateway se encuentra entre tu aplicación y las API de IA a las que tu aplicación envía las solicitudes (como OpenAI), de manera que podemos almacenar en caché las respuestas, limitar y reintentar las solicitudes y proporcionar análisis para ayudarte a supervisar y realizar un seguimiento de su utilización. AI Gateway se ocupa de todo aquello que necesitan prácticamente la totalidad de las aplicaciones de IA, así que te permite ahorrar tiempo de ingeniería, por lo que puedes centrarte en el desarrollo.

Solo se requiere una línea de código para que los desarrolladores puedan empezar a utilizar AI Gateway de Cloudflare. Lo único que debes hacer es reemplazar la URL en tus llamadas API por tu punto final único de AI Gateway. Por ejemplo, con OpenAI, definirías tu baseURL como "https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/openai" en lugar de "https://api.openai.com/v1". Eso es todo. Puedes mantener tus tokens en tu entorno de código, y registraremos la solicitud mediante AI Gateway antes de permitir que pase hasta la API final con tu token.

Actualmente admitimos proveedores de modelos como OpenAI, Hugging Face y Replicate, y tenemos previsto añadir otros más adelante. Admitimos todos los distintos puntos finales de los proveedores y también la transmisión de respuestas, por lo que, una vez configurada la puerta de enlace, no hace falta ninguna configuración adicional para que todo funcione. El punto final dedicado a estos proveedores te permite conectar tus aplicaciones a AI Gateway modificando una única línea de código, sin tocar tu estructura original de la carga.

// configuring AI gateway with the dedicated OpenAI endpoint

const openai = new OpenAI({
  apiKey: env.OPENAI_API_KEY,
  baseURL: "https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/openai",
});

También disponemos de un punto final universal que puedes utilizar si deseas más flexibilidad con tus solicitudes. Con el punto final universal, tienes la capacidad de definir modelos de reserva y de gestionar los reintentos de las solicitudes. Por ejemplo, supongamos que se ha enviado una solicitud a OpenAI GPT-3, pero la API está caída. Con el punto final universal, podrías definir Hugging Face GPT-2 como tu modelo de reserva, y la puerta de enlace puede reenviar automáticamente esa solicitud a Hugging Face. Esto es realmente útil para mejorar la resiliencia de tu aplicación en casos donde observas errores inusuales, tu velocidad se ve limitada, o cuando una factura sube demasiado, y deseas diversificar a otros modelos. Con el punto final universal, lo único que tienes que hacer es modificar tu carga para especificar el proveedor y el punto final, de manera que podamos enrutar adecuadamente las solicitudes por ti. Consulta la solicitud de ejemplo a continuación y la documentación para obtener más información sobre el esquema de punto final universal.

# Using the Universal Endpoint to first try OpenAI, then Hugging Face

curl https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY  -X POST \
  --header 'Content-Type: application/json' \
  --data '[
  {
    "provider": "openai",
    "endpoint": "chat/completions",
    "headers": { 
      "Authorization": "Bearer $OPENAI_TOKEN",
      "Content-Type": "application/json"
    },
    "query": {
      "model": "gpt-3.5-turbo",
      "stream": true,
      "messages": [
        {
          "role": "user",
          "content": "What is Cloudflare?"
        }
      ]
    }
  },
  {
    "provider": "huggingface",
    "endpoint": "gpt2",
    "headers": { 
      "Authorization": "Bearer $HF_TOKEN",
      "Content-Type": "application/json"
    },
    "query": {
      "inputs": "What is Cloudflare?"
    }
  },
]'

Ahora que tu aplicación está conectada a Cloudflare, podemos ayudarte a recopilar datos de análisis y proporcionarte información y control sobre el tráfico que pasa a través de tus aplicaciones. Independientemente del modelo o la infraestructura que utilices en el backend, podemos ayudarte a registrar las solicitudes y a analizar datos como el número de solicitudes, el número de usuarios, el coste de la ejecución de la aplicación, la duración de las solicitudes, etc. Aunque se trata de análisis básicos que los proveedores de modelos deberían ofrecer, es sorprendentemente difícil obtener visibilidad sobre estas métricas con los proveedores de modelos habituales. AI Gateway va un paso más allá y te permite agregar los análisis de varios proveedores.

Uno de los puntos débiles que oímos a menudo es el elevado coste del desarrollo y de la ejecución de las aplicaciones de IA. Cada llamada API puede ser imprevisible y sus costes se pueden acumular rápidamente, lo que impide a los desarrolladores aprovechar todo el potencial de la escalabilidad de sus aplicaciones. Considerando el ritmo al que evoluciona el sector, no quieres ver limitada tu escalabilidad y quedarte rezagado. Y aquí es donde el almacenamiento en caché y la limitación de velocidad pueden ayudarte. Permitimos a los desarrolladores almacenar en caché sus llamadas API, de manera que las nuevas solicitudes se puedan atender desde nuestra caché en lugar de desde la API original, por lo que resulta más barato y rápido. Asimismo, la limitación de velocidad puede ayudar a controlar los costes regulando el número de solicitudes e impidiendo cualquier actividad sospechosa o un volumen excesivo de actividad. Los desarrolladores tienen total flexibilidad para definir reglas de almacenamiento en caché y de limitación de velocidad, por lo que las aplicaciones pueden evolucionar al ritmo que elijas.

AI Gateway combina perfectamente con nuestros nuevos productos Workers AI y Vectorize, por lo que puedes desarrollar aplicaciones integrales de IA en el ecosistema de Workers. Ya se trate de implementar aplicaciones con Workers, de ejecutar la inferencia de modelos en el perímetro con Workers AI, de almacenar inclusiones de vectores en Vectorize o de mejorar la visibilidad sobre tus aplicaciones con AI Gateway, la plataforma Workers es tu solución integral para hacer realidad tus aplicaciones de IA. Para saber cómo utilizar AI Gateway con Workers AI o los distintos proveedores, consulta la documentación.

Lanzamos la versión 1 de AI Gateway con algunas funciones básicas, pero tenemos previsto ampliar el producto para abordar también casos de uso más avanzados, como alertas de uso, protección contra jailbreak, enrutamiento dinámico de modelos con pruebas A/B y reglas avanzadas de almacenamiento en caché. Pero lo que realmente nos entusiasma son las otras maneras de aplicar AI Gateway…

En el futuro, queremos desarrollar AI Gateway para que sea un producto que ayude a las organizaciones a supervisar y observar cómo sus usuarios o empleados utilizan la IA. De esta forma, con un solo clic puedes hacer que todas las solicitudes de tu red enviadas a los proveedores (como OpenAI) pasen primero a través de Cloudflare. de manera que puedas registrar las solicitudes de los usuarios, aplicar políticas de acceso y activar la limitación de velocidad y estrategias de prevención de pérdida de datos (DLP). Un buen ejemplo: en el caso de que un empleado pegue accidentalmente una clave de API en ChatGPT, podemos haber configurado AI Gateway para ver la solicitud saliente y eliminar la clave de API o para bloquear la solicitud por completo, impidiendo así que nunca llegue a OpenAI o a cualquier otro proveedor. También podemos registrar las solicitudes sospechosas y emitir las alertas correspondientes, a fin de que las organizaciones puedan investigar de forma proactiva y controlar determinados tipos de actividad. AI Gateway se convierte en una herramienta realmente útil para aquellas organizaciones que podrían estar interesadas en la mejora de eficiencia que ofrece la IA, pero que son reticentes a confiar en ella cuando la privacidad de los datos y los potenciales errores de los usuarios son amenazas realmente críticas. Esperamos que AI Gateway pueda mitigar esta preocupación y facilitar la adopción de las herramientas de IA a las organizaciones.

Tanto si eres un desarrollador de aplicaciones como una empresa interesada en cómo los empleados utilizan la IA, esperamos que AI Gateway pueda ayudarte a desmitificar lo que sucede dentro y fuera de tus aplicaciones, porque una vez que entiendas cómo los usuarios utilizan la AI, podrás decidir cómo realmente quieres que la utilicen. Algunas de estas funciones aún están en fase de desarrollo, pero esperamos que muestren la eficiencia de AI Gateway y nuestra visión para el futuro.

En Cloudflare, la innovación forma parte de nuestro ADN (¡como puedes constatar por los anuncios con ocasión de nuestra Semana aniversario!) y el ritmo de innovación en el ámbito de la IA es absolutamente impresionante. Nos complace poder no solo ayudar a las personas a desarrollar y utilizar aplicaciones, sino también a acelerar realmente la adopción y el desarrollo de la IA con un mayor control y una mejor visibilidad. Estamos deseando que nos cuentes todo lo que vas a crear. Ve al panel de control de Cloudflare y prueba AI Gateway). ¡Dinos qué te parece!