Apache APISIX —uno de los API gateways open source más desplegados— ha lanzado la versión 3.18.0, y el hilo conductor es claro: el API gateway se está convirtiendo en un AI Gateway. La versión añade capacidades concretas para gobernar el tráfico de LLM, junto con mejores valores de seguridad por defecto y mejoras de L4 y observabilidad.
Lo más destacado del AI Gateway:
ai-cache— caché de respuestas LLM. Un nuevo plugin con tres capas: una L1 exacta sobre Redis, una L2 semántica opcional que embebe los prompts y compara por similitud coseno, y captura y reproducción completa de SSE para proveedores en streaming. Reduce latencia y coste en tokens para cargas repetitivas: asistentes de soporte, Q&A documental, traducción.- Enrutado semántico de modelos.
ai-proxy-multiincorpora un balanceadorsemanticque enruta cada prompt al modelo adecuado por significado —código a un modelo capaz, traducción a uno más barato, el resto a un fallback— sin necesidad de base de datos vectorial. - Integración con Lakera Guard. El nuevo plugin
ai-lakera-guarddetecta inyección de prompts, datos sensibles y violaciones de política en el gateway, con modos alerta y bloqueo y streaming con buffer para que los tokens marcados no lleguen al cliente. - Moderación de contenido AWS y Aliyun ampliada, ahora sobre respuestas en streaming y salida de herramientas: útil para cargas de Agentes y MCP.
- Métricas de IA en Prometheus más ricas: contadores de aciertos/fallos de caché, histogramas de latencia de embeddings, distribuciones de tokens de prompt/completion y latencia total frente a time-to-first-token.
La versión también endurece la seguridad por defecto (verificación TLS en LDAP y SLS logger, OIDC que falla en cerrado, límites de tamaño de cuerpo) y mejora el proxy L4 y el rate limiting compartido vía Redis. Ojo: 3.18.0 incluye cambios incompatibles — revisa las notas de migración antes de actualizar.
Por qué importa. Los equipos ya no quieren un stack aparte para gobernar la IA. APISIX 3.18 confirma la dirección: gobierna y asegura la IA igual que ya gobiernas tus APIs —caché, enrutado, límites, guardrails y observabilidad— en el gateway.
Cómo ayuda CloudAPPi. Diseñamos, desplegamos y operamos AI Gateways sobre APISIX y otras plataformas líderes. Desde estrategia de enrutado semántico y caché de LLM hasta guardrails contra inyección de prompts y observabilidad a nivel de token, nuestras prácticas de API Management, AI Gateway y APIOps ponen el gobierno delante de tus modelos, de forma segura y eficiente en coste.
¿Planeas un AI Gateway sobre APISIX? Contacta con CloudAPPi — vamos a simplificarlo.
