Zesty automatiza partilha de GPU para cargas de IA no Kubernetes

Na maioria das cargas de trabalho de IA, um processador gráfico, ou GPU, continua a ser atribuído inteiro: uma aplicação, um chip, independentemente do que o chip esteja efetivamente a fazer. O anúncio parte de um número: 66 % das organizações que alojam modelos de IA generativa executam parte ou a totalidade da sua inferência no Kubernetes, o sistema de código aberto que agenda contentores num conjunto de máquinas. A inferência é a fase em que um modelo treinado responde a pedidos, e a capacidade de GPU para essa fase é, nas palavras do anúncio, cara e muitas vezes limitada.

As equipas têm tentado partilhar estes chips. O anúncio refere o time-slicing, o Multi-Process Service (MPS) da NVIDIA e o Multi-Instance GPU (MIG), que divide cada GPU em partições fixas de base hardware. O seu diagnóstico é que essas alocações não conseguem acompanhar uma procura de IA que sobe e desce. A memória e a capacidade de cálculo acabam por ficar imobilizadas, e as equipas compram mais GPU mesmo quando a capacidade existente está por utilizar.

O recente lançamento em código aberto do Run:ai pela NVIDIA traz o fracionamento de GPU para o Kubernetes através de um GPU Fractioning Operator, que impõe um limite de memória a cada carga de trabalho e funciona com os agendadores do Kubernetes. Mas o fracionamento apenas define a forma como uma GPU pode ser dividida. Não decide quem recebe o quê, e o anúncio sublinha que isso exige uma camada de decisão separada. As Automated Fractional GPUs da Zesty preenchem essa lacuna: determinam continuamente que cargas de trabalho partilham cada GPU, quantas podem correr em conjunto em segurança, quanta memória recebe cada uma, qual o modo de partilha adequado e quando as alocações devem aumentar ou diminuir. Assentam na memória e na utilização medidas, no comportamento observado ao longo do tempo e nos limites de latência e de recursos definidos previamente pelas equipas, e cada alteração se mantém dentro dessas políticas.

A camada é instalada como um agente leve no interior do cluster, a par do operador da NVIDIA e do agendador do Kubernetes, e suporta time-slicing e MPS. Nada na aplicação ou no modelo precisa de ser alterado, e a instalação não reinicia as cargas de trabalho em execução. Numa pilha de GPU suportada, a Zesty afirma que gere ela própria a configuração do Kubernetes, sem edição manual de manifestos.

As equipas de plataforma que já executam inferência no Kubernetes são o público visado, e podem usar a solução já, uma vez que o produto está disponível como parte da plataforma Zesty. Segundo o anúncio, a camada permite ter menos chips ociosos, executar mais cargas de trabalho no hardware já adquirido, comprar menos capacidade de reserva para os picos e reduzir os custos de infraestrutura, protegendo ao mesmo tempo o desempenho das aplicações. O anúncio não quantifica nada disso. Não indica qualquer ganho de utilização, nenhuma percentagem de poupança, nenhum preço e nenhum cliente. Estas afirmações continuam a ser do fornecedor, e o teste que deixa em aberto é aquele que uma equipa pode realizar por si própria: medir a utilização no seu próprio cluster, antes e depois.