Vector Database Deep-Dive: HNSW Indexing vs IVFFlat pada Skala Jutaan Vektor

Mengapa Pencarian Vektor Memerlukan Algoritma Khusus (ANN)?

Mencari vektor 1536 dimensi yang paling mirip di antara 10 juta dokumen menggunakan perbandingan sekuensial (Exact KNN) membutuhkan kalkulasi dot-product ratusan miliar kali yang memakan waktu beberapa detik per request.

Untuk mencapai respon milidetik, kita menggunakan algoritma Approximate Nearest Neighbor (ANN).

1. IVFFlat (Inverted File Flat)

• Membagi ruang vektor ke dalam cluster-cluster menggunakan algoritma k-means.
• Kelebihan: Waktu pembuatan indeks cepat dan penggunaan memori RAM sangat hemat.
• Kekurangan: Tingkat akurasi (Recall) dapat menurun jika vektor berada di batas cluster.

2. HNSW (Hierarchical Navigable Small World)

• Membangun struktur grafik multi-layer mirip dengan skip-list, di mana layer atas melompat jarak jauh dan layer bawah menyusuri detail presisi.
• Kelebihan: Kecepatan query luar biasa cepat dengan tingkat akurasi recall di atas 98%.
• Kekurangan: Mengonsumsi memori RAM yang cukup besar untuk menyimpan tautan grafik pencarian.

Bagi aplikasi produksi dengan latensi sensitif, indeks HNSW pada pgvector adalah standar emas industri saat ini.