Zesty automatiza el reparto de GPU para cargas de IA en Kubernetes

En la mayoría de las cargas de IA, un procesador gráfico, o GPU, sigue asignándose completo: una aplicación, un chip, independientemente de lo que el chip esté haciendo realmente. El anuncio parte de una cifra: el 66 % de las organizaciones que alojan modelos de IA generativa ejecuta toda o parte de su inferencia en Kubernetes, el sistema de código abierto que programa contenedores en un grupo de máquinas. La inferencia es la fase en la que un modelo entrenado responde a las peticiones, y la capacidad de GPU para ello es, según las palabras del anuncio, cara y a menudo escasa.

Los equipos han intentado compartir estos chips. El anuncio menciona el time-slicing, el Multi-Process Service (MPS) de NVIDIA y Multi-Instance GPU (MIG), que divide cada GPU en particiones fijas basadas en hardware. Su diagnóstico es que estas asignaciones no pueden seguir el ritmo de una demanda de IA que sube y baja. La memoria y el cómputo acaban inmovilizados, y los equipos compran más GPU aunque la capacidad existente siga sin usarse.

La reciente publicación de código abierto de Run:ai por parte de NVIDIA aporta el fraccionamiento de GPU a Kubernetes mediante un operador de fraccionamiento de GPU, que impone un límite de memoria a cada carga de trabajo y funciona con los planificadores de Kubernetes. Pero el fraccionamiento solo define cómo puede dividirse una GPU. No decide quién recibe qué, y el anuncio insiste en que eso requiere una capa de decisión independiente. Automated Fractional GPUs, de Zesty, cubre ese hueco: determina de forma continua qué cargas comparten cada GPU, cuántas pueden ejecutarse juntas con seguridad, cuánta memoria recibe cada una, qué modo de reparto le conviene y cuándo deben crecer o reducirse las asignaciones. Se apoya en la memoria y la utilización medidas, en el comportamiento observado a lo largo del tiempo y en los límites de latencia y de recursos que los equipos fijan de antemano, y todo cambio se mantiene dentro de esas políticas.

La capa se despliega como un agente ligero dentro del clúster, junto al operador de NVIDIA y al planificador de Kubernetes, y admite time-slicing y MPS. Ni la aplicación ni el modelo necesitan cambios, y la instalación no reinicia las cargas en ejecución. En una pila de GPU compatible, Zesty afirma que gestiona por sí misma la configuración de Kubernetes, sin ediciones manuales de los manifiestos.

Los equipos de plataforma que ya ejecutan inferencia en Kubernetes son los destinatarios de esta solución, y pueden usarla ya, puesto que el producto está disponible como parte de la plataforma de Zesty. Según el anuncio, la capa permite tener menos chips inactivos, ejecutar más cargas en el hardware que ya se posee, comprar menos capacidad de reserva para los picos y reducir los costes de infraestructura, protegiendo al mismo tiempo el rendimiento de las aplicaciones. El anuncio no cuantifica nada de ello. No ofrece ninguna mejora de utilización, ningún porcentaje de ahorro, ningún precio ni ningún cliente. Todo ello sigue siendo una afirmación del proveedor, y la prueba que queda abierta es la que un equipo puede hacer por sí mismo: medir la utilización en su propio clúster antes y después.