La irrupción de los modelos de lenguaje generativo (LLMs) ha obligado a los responsables de APIs e IA a replantear la forma en que gestionan la exposición, el consumo y la seguridad de estos servicios. La naturaleza de los LLMs introduce particularidades técnicas, como la limitación de tokens, la necesidad de moderación semántica y la ingeniería de prompts, que los API Managers tradicionales no estaban diseñados para cubrir. En este contexto, Kong y WSO2 han evolucionado sus plataformas para responder a las nuevas exigencias, aunque con enfoques y niveles de madurez distintos.
Kong Gateway: ecosistema de plugins para LLMs
Kong ha apostado por extender su gateway a través de un ecosistema de plugins especializados. Su AI Proxy permite estandarizar la interacción con múltiples proveedores (OpenAI, Anthropic, Azure OpenAI, Amazon Bedrock, Mistral, Hugging Face, entre otros), creando una capa de abstracción que reduce la dependencia tecnológica y permite cambiar de modelo sin impactar en los consumidores. Para entornos más complejos, la versión AI Proxy Advanced añade balanceo inteligente basado en latencia, coste o semántica de la petición, además de capacidades de fallback.
A nivel de control de consumo, AI Rate Limiting Advanced introduce cuotas basadas en tokens y costes, con cabeceras explícitas para informar al cliente de su estado de consumo. La moderación de contenido alcanza un nivel superior con AI Semantic Prompt Guard y la integración con Azure Content Safety, permitiendo bloquear prompts basados en similitud semántica. En términos de observabilidad, Kong expone métricas detalladas en Grafana y ofrece un logging unificado para todas las interacciones de IA. Finalmente, destaca la ingeniería de prompts mediante plantillas y decoradores, el AI Semantic Cache para optimizar respuestas repetitivas y los transformadores de peticiones y respuestas que habilitan mediación dinámica con IA.
Descubre nuestro ebook completo sobre gestión de APIs de LLMs en API Managers
WSO2 API Manager: integración inicial con LLMs
Por su parte, WSO2 ha introducido soporte para APIs de IA en la versión 4.4.0, aunque de manera más básica. Permite crear AI APIs a partir de proveedores como OpenAI, Azure OpenAI y Mistral, además de configurar vendors customizados. A diferencia de Kong, no aplica una estandarización universal sobre las peticiones, lo que implica una mayor carga de integración en cada caso.
El rate limiting se gestiona mediante AI Policies, que establecen cuotas por tokens y número de peticiones, alineándose con el modelo habitual de business plans de WSO2. En cuanto a observabilidad, el sistema captura información detallada del consumo de tokens y modelos, lo que facilita un análisis granular. Sin embargo, funcionalidades críticas como moderación de contenido, ingeniería de prompts, caché y mediación no están disponibles de forma nativa, dependiendo de mediadores customizados para suplir estas carencias.
Los dos líderes en gestión de APIs LLM
A continuación se muestra una tabla comparativa entre Kong Gateway y WSO2 API Manager respecto a las principales capacidades para gestionar APIs de LLMs
Conclusiones
La gestión de APIs de LLMs requiere ir más allá de los mecanismos tradicionales de gobierno de APIs. Mientras que Kong se posiciona como la opción más avanzada, con un ecosistema robusto que cubre estandarización, seguridad, moderación y optimización, WSO2 ofrece un punto de partida sólido, pero aún limitado en capacidades críticas que resultan imprescindibles para una explotación empresarial segura y escalable.
Para los responsables de APIs e IA en empresas, la decisión entre Kong y WSO2 dependerá del grado de madurez de sus casos de uso. Organizaciones que requieran gobernanza avanzada, multi-proveedor y capacidades semánticas deberían inclinarse hacia Kong, mientras que aquellas que busquen una integración más sencilla y progresiva pueden considerar WSO2, siempre que estén dispuestas a desarrollar extensiones customizadas para cubrir sus carencias.
Te ayudamos a dar el salto que necesitas
En CloudAPPi somos expertos en APIs e integración de IA en entornos empresariales, y acompañamos a organizaciones en todo el ciclo: desde la evaluación de casos de uso hasta la implementación de agentes basados en LLMs gobernados y seguros.
