Container-Native AI/ML Pipeline: Kubernetes GPU Orchestration untuk Model Training

Mengelola Beban GPU di Kubernetes untuk Training & Inference

Dengan melesatnya adopsi model bahasa besar dan computer vision, tim engineer dihadapkan pada tantangan baru: biaya sewa komputasi GPU (seperti NVIDIA H100, A100, atau L4) yang sangat mahal. Menjalankan GPU secara idle adalah pemborosan besar.

Di sinilah Kubernetes GPU Orchestration dan pipeline container-native (seperti KubeFlow, Ray on K8s, dan vLLM) menjadi pondasi vital.

1. Alokasi GPU Fraksional Menggunakan NVIDIA Multi-Instance GPU (MIG)

Tidak semua workload membutuhkan 80GB VRAM penuh. Dengan teknologi MIG, satu GPU fisik NVIDIA A100 dapat dipecah menjadi beberapa instance independen:

# Pod Spec meminta fraksi GPU NVIDIA
apiVersion: v1
kind: Pod
metadata:
  name: embedding-worker
spec:
  containers:
  - name: inference-container
    image: my-registry/bge-m3-server:latest
    resources:
      limits:
        nvidia.com/mig-1g.10gb: 1 # Menggunakan 1 slice MIG 10GB

2. Autoscaling Cerdas dengan KEDA Berbasis Metrik Antrean

Alih-alih menunggu CPU/Memory naik, gunakan KEDA (Kubernetes Event-driven Autoscaling) untuk menambah pod inferensi berdasarkan panjang antrean Kafka atau Redis:

• Saat ada lonjakan 1.000 batch dokumen, KEDA segera meluncurkan pod worker baru.
• Saat antrean kosong, scale-down pod ke 0 untuk menghemat biaya sewa cloud.

Kesimpulan

Container-native ML pipeline memastikan utilisasi perangkat keras grafis berada pada titik optimal, memaksimalkan efisiensi biaya dan performa rilis model.