Basis data vektor dirancang untuk menyimpan, mengelola, dan mengindeks data vektor berdimensi tinggi dalam jumlah besar secara efisien.
Basis data vektor berkembang pesat dalam hal minat untuk menciptakan nilai tambah bagi kasus dan aplikasi kecerdasan buatan (AI) generatif. Menurut Gartner, pada tahun 2026, lebih dari 30 persen perusahaan akan mengadopsi basis data vektor untuk melandasi model fondasi mereka dengan data bisnis yang relevan.1
Tidak seperti basis data relasional tradisional dengan baris dan kolom, titik data dalam basis data vektor diwakili oleh vektor dengan jumlah dimensi yang tetap, dikelompokkan berdasarkan kemiripan. Desain ini memungkinkan kueri latensi rendah, menjadikannya ideal untuk aplikasi yang digerakkan oleh AI.
Gunakan kerangka kerja pemilihan model ini untuk memilih model yang paling tepat sambil menyeimbangkan kebutuhan kinerja Anda dengan biaya, risiko, dan kebutuhan penerapan.
Daftar untuk ebook di toko data AI
Sifat data telah mengalami transformasi mendalam. Ini tidak lagi terbatas pada informasi terstruktur yang mudah disimpan dalam database tradisional. Data tidak terstruktur tumbuh 30 hingga 60 persen dari tahun ke tahun, yang terdiri dari unggahan media sosial, gambar, video, klip audio, dan banyak lagi.2 Biasanya, jika Anda ingin memuat sumber data yang tidak terstruktur ke dalam basis data relasional tradisional untuk menyimpan, mengelola, dan mempersiapkan AI, prosesnya memakan banyak waktu dan jauh dari efisien, terutama jika menyangkut kasus penggunaan baru yang bersifat generatif seperti pencarian kemiripan. Basis data relasional sangat bagus untuk mengelola set data terstruktur dan semi-terstruktur dalam format tertentu, sementara basis data vektor paling cocok untuk set data tidak terstruktur melalui penyematan vektor berdimensi tinggi.
Masukkan vektor. Vektor adalah array angka yang dapat mewakili objek kompleks seperti kata-kata, gambar, video dan audio, yang dihasilkan oleh model pembelajaran mesin (ML). Data vektor dimensi tinggi sangat penting untuk pembelajaran mesin, pemrosesan bahasa alami (NLP) dan tugas AI lainnya. Beberapa contoh data vektor meliputi:
Teks: Pikirkan tentang terakhir kali Anda berinteraksi dengan chatbot. Bagaimana mereka memahami bahasa alami? Mereka mengandalkan vektor yang dapat mewakili kata, paragraf, dan seluruh dokumen, yang dikonversi melalui algoritme pembelajaran mesin.
Gambar: Piksel gambar dapat dijelaskan dengan data numerik dan digabungkan untuk membentuk vektor dimensi tinggi untuk gambar tersebut.
Ucapan/Audio: Seperti halnya gambar, gelombang suara juga dapat dipecah menjadi data numerik dan direpresentasikan sebagai vektor, sehingga memungkinkan aplikasi AI seperti pengenalan suara.
Volume set data tidak terstruktur yang dibutuhkan organisasi Anda untuk AI akan terus bertambah, jadi bagaimana Anda menangani jutaan vektor? Di sinilah penyematan vektor dan database vektor berperan. Vektor-vektor ini diwakili dalam ruang multi-dimensi kontinu yang dikenal sebagai penyematan, yang dihasilkan oleh model penyematan, yang dikhususkan untuk mengubah data vektor Anda menjadi penyematan. Database vektor berfungsi untuk menyimpan dan mengindeks output dari model embedding. Penyematan vektor adalah representasi numerik dari data, mengelompokkan kumpulan data berdasarkan makna semantik atau fitur serupa di hampir semua jenis data.
Misalnya saja kata “mobil” dan “kendaraan”. Keduanya mempunyai arti yang mirip walaupun ejaannya berbeda. Agar aplikasi AI dapat mengaktifkan penelusuran semantik yang efektif, representasi vektor “mobil” dan “kendaraan” harus menangkap kesamaan semantiknya. Dalam pembelajaran mesin, penyematan mewakili vektor berdimensi tinggi yang menyandikan informasi semantik ini. Penyematan vektor ini adalah tulang punggung rekomendasi, chatbot, dan aplikasi generatif seperti ChatGPT.
Grafik pengetahuan mewakili jaringan entitas seperti objek atau peristiwa dan menggambarkan hubungan di antara mereka. Basis data grafik adalah basis data yang sesuai dengan tujuan untuk menyimpan informasi grafik pengetahuan dan memvisualisasikannya sebagai struktur grafik. Basis data grafik dibangun di atas node dan edge yang merepresentasikan entitas yang diketahui dan hubungan kompleks di antara mereka, sementara basis data vektor dibangun di atas vektor berdimensi tinggi. Hasilnya, basis data grafik lebih disukai untuk memproses hubungan yang rumit antara titik data sementara basis data vektor lebih baik untuk menangani bentuk data yang berbeda seperti gambar atau video.
Data vektor perusahaan dapat dimasukkan ke dalam model embedding seperti watsonx.ai IBM model atau Hugging Face (tautan berada di luar ibm.com), yang khusus untuk mengubah data Anda menjadi penyematan dengan mengubah data vektor berdimensi tinggi yang kompleks menjadi bentuk numerik yang dapat dipahami komputer. Penyematan ini mewakili atribut data Anda yang digunakan dalam tugas AI seperti klasifikasi dan deteksi anomali.
Database vektor menyimpan output dari algoritma model embedding, penyematan vektor. Mereka juga menyimpan metadata masing-masing vektor, yang dapat ditanyakan menggunakan filter metadata. Dengan menelan dan menyimpan penyematan ini, basis data kemudian dapat memfasilitasi pengambilan cepat pencarian kemiripan, mencocokkan permintaan pengguna dengan penyematan vektor yang serupa.
Menyimpan data sebagai penyematan tidak cukup. Vektor perlu diindeks untuk mempercepat proses pencarian. Database vektor membuat indeks pada penyematan vektor untuk fungsi pencarian. Basis data vektor mengindeks vektor menggunakan algoritma pembelajaran mesin. Pengindeksan memetakan vektor ke struktur data baru yang memungkinkan pencarian kemiripan atau jarak yang lebih cepat, seperti pencarian tetangga terdekat di antara vektor.
Query vektor dapat dilakukan melalui perhitungan mengukur jarak antara vektor menggunakan algoritma, seperti pencarian tetangga terdekat. Pengukuran ini dapat didasarkan pada berbagai metrik kesamaan seperti kesamaan kosinus, yang digunakan oleh indeks tersebut untuk mengukur seberapa dekat atau jauh vektor-vektor tersebut. Saat pengguna mengkueri atau meminta model AI, penyematan dihitung menggunakan algoritme model penyematan yang sama. Database menghitung jarak dan melakukan perhitungan kesamaan antara vektor kueri dan vektor yang disimpan dalam indeks. Mereka mengembalikan vektor yang paling mirip atau tetangga terdekat sesuai dengan peringkat kesamaan. Perhitungan ini mendukung berbagai tugas pembelajaran mesin seperti sistem rekomendasi, pencarian semantik, pengenalan gambar, dan tugas pemrosesan bahasa alami lainnya.
Perusahaan semakin menyukai pendekatan retrieval augmented generation (RAG) dalam alur kerja AI generatif untuk waktu ke pasar yang lebih cepat, inferensi yang efisien, dan output yang andal, terutama dalam kasus penggunaan utama seperti layanan pelanggan dan SDM/bakat. RAG memastikan bahwa model tersebut terhubung dengan fakta terkini dan dapat diandalkan dan bahwa pengguna memiliki akses ke sumber model tersebut, sehingga klaimnya dapat diperiksa keakuratannya. RAG adalah inti dari kemampuan kami untuk menambatkan model bahasa besar dalam data tepercaya untuk mengurangi halusinasi model. Pendekatan ini bergantung pada pemanfaatan data vektor dimensi tinggi untuk memperkaya prompt dengan informasi yang relevan secara semantik untuk pembelajaran dalam konteks dengan model dasar. Ini membutuhkan penyimpanan dan pengambilan yang efektif selama tahap inferensi, yang menangani volume data tertinggi. Basis data vektor unggul dalam mengindeks, menyimpan, dan mengambil vektor berdimensi tinggi secara efisien, memberikan kecepatan, ketepatan, dan skala yang diperlukan untuk aplikasi seperti mesin rekomendasi dan chatbot.
Meskipun jelas bahwa fungsionalitas basis data vektor berkembang pesat dalam hal minat dan adopsi untuk meningkatkan aplikasi berbasis AI perusahaan, manfaat berikut ini juga menunjukkan nilai bisnis bagi para pengadopsi:
Kecepatan dan kinerja: Basis data vektor menggunakan berbagai teknik pengindeksan untuk memungkinkan pencarian yang lebih cepat. Pengindeksan vektor bersama dengan algoritme penghitungan jarak seperti pencarian tetangga terdekat, sangat membantu dalam mencari hasil yang relevan di jutaan bahkan miliaran titik data, dengan kinerja yang dioptimalkan.
Skalabilitas: Basis data vektor dapat menyimpan dan mengelola data tidak terstruktur dalam jumlah besar dengan menskalakan secara horizontal, mempertahankan kinerja seiring meningkatnya permintaan kueri dan volume data.
Biaya kepemilikan: Basis data vektor adalah alternatif yang berharga untuk melatih model fondasi dari awal atau menyempurnakannya. Ini mengurangi biaya dan kecepatan inferensi model pondasi.
Fleksibilitas: Apakah Anda memiliki gambar, video, atau data multi-dimensi lainnya, basis data vektor dibuat untuk menangani kerumitan. Dengan adanya berbagai kasus penggunaan mulai dari pencarian semantik hingga aplikasi AI percakapan, penggunaan basis data vektor dapat disesuaikan untuk memenuhi kebutuhan bisnis dan AI Anda.
Memori jangka panjang dari LLM: Organisasi dapat memulai dengan model tujuan umum seperti model seri Granite dari IBM watsonx.ai, model Llama-2 dari Meta, atau model Flan dari Google, dan kemudian menyediakan data mereka sendiri dalam basis data vektor untuk meningkatkan keluaran model dan aplikasi AI yang penting untuk pengambilan generasi yang ditingkatkan.
Komponen manajemen data: Basis data vektor juga biasanya menyediakan fitur bawaan untuk memperbarui dan memasukkan data baru yang tidak terstruktur dengan mudah.
Ada banyak pilihan dalam memilih kemampuan database vektor untuk memenuhi kebutuhan data dan AI organisasi Anda.
Ada beberapa alternatif untuk dipilih.
- Basis data vektor mandiri dan berpemilik seperti Pinecone
- Solusi sumber terbuka seperti weaviate atau milvus, yang menyediakan API RESTful bawaan dan dukungan untuk bahasa pemrograman Python dan Java
Platform dengan kemampuan database vektor terintegrasi, segera hadir di IBM watsonx.data
Ekstensi basis data/pencarian vektor seperti ekstensi pgvector sumber terbuka PostgreSQL, yang menyediakan kemampuan pencarian kemiripan vektor
Basis data vektor tidak boleh dianggap sebagai kemampuan yang berdiri sendiri, melainkan sebagai bagian dari data dan ekosistem AI yang lebih luas. Banyak yang menawarkan API, ekstensi asli atau dapat diintegrasikan dengan database Anda. Karena model ini dibuat untuk memanfaatkan data perusahaan Anda sendiri untuk meningkatkan model, Anda juga harus memiliki tata kelola dan keamanan data yang tepat untuk memastikan data yang Anda gunakan sebagai landasan LLM ini dapat dipercaya.
Di sinilah fondasi data tepercaya memainkan peran penting dalam AI, dan hal ini dimulai dengan data Anda dan bagaimana data tersebut disimpan, dikelola, dan diatur sebelum digunakan untuk AI. Inti dari ini adalah data lakehouse, yang terbuka, hybrid, dan diatur, seperti IBM watsonx.data, bagian dari platform data AI watsonx yang cocok dengan arsitektur struktur data. Sebagai contoh, IBM watsonx.data, dibuat untuk mengakses, membuat katalog, mengatur, dan mentransformasi semua data dan metadata terstruktur, semi-terstruktur, dan tidak terstruktur. Anda kemudian dapat memanfaatkan data yang diatur ini dan watsonx.data kemampuan database vektor terintegrasi (pratinjau teknologi Q4, 2023) untuk pembelajaran mesin dan kasus penggunaan AI generatif.
Menggunakan penyimpanan vektor dan indeks sangat cocok untuk aplikasi yang didasarkan pada fakta atau kueri berbasis fakta. Misalnya, bertanya tentang ketentuan hukum perusahaan tahun lalu atau mengekstrak informasi spesifik dari dokumen yang rumit. Kumpulan konteks pengambilan yang akan Anda dapatkan adalah konteks yang paling mirip secara semantik dengan kueri Anda melalui embedding distance. Namun, jika Anda ingin mendapatkan ringkasan topik, ini tidak cocok untuk indeks vektor. Dalam hal ini, Anda ingin LLM memeriksa semua konteks yang berbeda pada topik tersebut di dalam data Anda. Sebagai gantinya, Anda dapat menggunakan jenis indeks yang berbeda, seperti indeks daftar daripada indeks vektor, karena indeks vektor hanya akan mengambil data yang paling relevan.
Aplikasi database vektor sangat luas dan berkembang. Beberapa kasus penggunaan meliputi:
Pencarian semantik: Melakukan pencarian berdasarkan makna atau konteks kueri, sehingga memungkinkan hasil yang lebih tepat dan relevan. Karena tidak hanya kata tetapi juga frasa dapat direpresentasikan sebagai vektor, fungsionalitas pencarian vektor semantik memahami maksud pengguna lebih baik daripada kata kunci umum.
Pencarian dan aplikasi kemiripan: Temukan gambar, teks, audio, atau data video yang mirip dengan mudah, untuk pengambilan konten termasuk pengenalan gambar dan ucapan tingkat lanjut, pemrosesan bahasa alami, dan banyak lagi.
Mesin rekomendasi: Situs e-commerce, misalnya, dapat menggunakan basis data vektor dan vektor untuk merepresentasikan preferensi pelanggan dan atribut produk. Hal ini memungkinkan mereka untuk menyarankan item yang mirip dengan pembelian sebelumnya berdasarkan kemiripan vektor, meningkatkan pengalaman pengguna dan meningkatkan retensi.
AI Percakapan: Meningkatkan interaksi agen virtual dengan meningkatkan kemampuan menguraikan basis pengetahuan yang relevan secara efisien dan akurat untuk memberikan jawaban kontekstual waktu nyata atas pertanyaan pengguna, bersama dengan dokumen sumber dan nomor halaman untuk referensi.
Studio perusahaan generasi berikutnya bagi para pembangun AI untuk melatih, memvalidasi, menyesuaikan, dan menerapkan machine learning tradisional dan kemampuan AI generatif baru yang didukung oleh model dasar. Bangun sumber daya Q & A dari basis pengetahuan internal atau eksternal yang luas dengan bantuan tugas AI di watsonx.ai, seperti pengambilan Augmented Generation.
Kini tersedia—penyimpanan data yang sesuai tujuan, yang dibangun di atas arsitektur open data lakehouse untuk menskalakan beban kerja AI, untuk semua data Anda, di mana pun Menyimpan, menanyakan, dan mencari penyematan vektor di watsonx.data dengan kemampuan vektor terintegrasi (pratinjau teknologi yang direncanakan pada Q4 2023).
Penawaran database-as-a-service PostgreSQL kami memungkinkan tim menghabiskan lebih banyak waktu untuk membangun dengan ketersediaan tinggi, orkestrasi pencadangan, point-in-time-recovery (PITR), dan replika baca dengan mudah. PostgreSQL menawarkan pgvector, ekstensi vektor sumber terbuka yang akan dapat dikonfigurasi dengan ekstensi IBM Cloud PostgreSQL (segera hadir), menyediakan kemampuan pencarian kesamaan vektor.
Database-as-a-service Elasticsearch kami dilengkapi dengan mesin pencari teks lengkap, yang menjadikannya rumah yang sempurna untuk data teks Anda yang tidak terstruktur. Elasticsearch juga mendukung berbagai bentuk pencarian kes amaan semantik (tautan berada di luar ibm.com). Ini mendukung vektor padat (tautan berada di luar ibm.com) untuk pencarian tetangga terdekat yang tepat, tetapi juga menyediakan model AI bawaan untuk menghitung vektor jarang dan melakukan pencarian kesamaan tingkat lanjut (tautan berada di luar ibm.com).
Organisasi yang memanfaatkan model AI generatif dengan benar dapat melihat banyak sekali manfaat - mulai dari peningkatan efisiensi operasional dan pengambilan keputusan yang lebih baik hingga pembuatan konten pemasaran yang cepat.
IBM mengumumkan ketersediaan umum model pertama dalam watsonx Granite Model Series — kumpulan model AI generatif untuk memajukan penerapan AI generatif ke dalam aplikasi dan alur kerja bisnis.
RAG adalah kerangka kerja AI untuk mengambil fakta dari basis pengetahuan eksternal untuk mendasarkan LLM pada informasi yang paling akurat dan terkini serta memberikan wawasan kepada pengguna tentang proses generatif LLM.
Catatan kaki
1 Wawasan Inovasi Gartner: Basis Data Vektor (tautan berada di luar ibm.com), membutuhkan akun Gartner), Gartner
2 Peta Jalan Strategis Gartner 2022 untuk Penyimpanan (tautan berada di luar ibm.com), memerlukan akun Gartner), Gartner