Eine Vektordatenbank dient zum effizienten Speichern, Verwalten und Indizieren riesiger Mengen hochdimensionaler Vektordaten.
Das Interesse an Vektordatenbanken zur Schaffung von Mehrwert für den Anwendungsfall und die Anwendung generativer künstlicher Intelligenz (KI) wächst rasant. Laut Gartner werden bis 2026 mehr als 30 Prozent der Unternehmen Vektordatenbanken eingeführt haben, um ihre Foundation Models mit relevanten Geschäftsdaten zuuntermauern.1
Im Gegensatz zu herkömmlichen relationalen Datenbanken mit Zeilen und Spalten werden Datenpunkte in einer Vektordatenbank durch Vektoren mit einer festen Anzahl von Dimensionen dargestellt, die auf Grundlage ihrer Ähnlichkeit gruppiert sind. Dieses Design ermöglicht Abfragen mit geringer Latenz und eignet sich daher ideal für KI-gesteuerte Anwendungen.
Nutzen Sie dieses Framework zur Modellauswahl, um das am besten geeignete Modell auszuwählen und dabei Ihre Leistungsanforderungen mit den Kosten, Risiken und Bereitstellungsanforderungen in Einklang zu bringen.
Registrieren Sie sich für das E-Book zu KI-Datenspeichern
Die Natur der Daten hat einen tiefgreifenden Wandel erfahren. Sie sind nicht mehr länger darauf beschränkt, strukturierte Informationen problemlos in herkömmlichen Datenbanken zu speichern. Unstrukturierte Daten wachsen jährlich um 30 bis 60 Prozent und bestehen aus Social-Media-Posts, Bildern, Videos, Audioclips und mehr.2 Wenn Sie unstrukturierte Datenquellen in eine herkömmliche relationale Datenbank laden möchten, um sie zu speichern, zu verwalten und für die KI vorzubereiten, ist der Prozess in der Regel arbeitsintensiv und alles andere als effizient, insbesondere wenn es um neue generative Anwendungsfälle wie die Ähnlichkeitssuche geht. Relationale Datenbanken eignen sich hervorragend für die Verwaltung strukturierter und halbstrukturierter Datensätze in bestimmten Formaten, während Vektordatenbanken durch hochdimensionale Vektoreinbettungen am besten für unstrukturierte Datensätze geeignet sind.
Geben Sie Vektoren ein. Vektoren sind Zahlenfelder, die komplexe Objekte wie Wörter, Bilder, Videos und Audio darstellen können, die von einem Modell des maschinellen Lernens (ML) generiert werden. Hochdimensionale Vektordaten sind unerlässlich für maschinelles Lernen, Natürliche Sprachverarbeitung (NLP) und andere KI-Aufgaben. Einige Beispiele für Vektordaten sind:
Text: Denken Sie an das letzte Mal, als Sie mit einem Chatbot interagiert haben. Wie verstehen sie natürliche Sprache? Sie basieren auf Vektoren, die Wörter, Absätze und ganze Dokumente darstellen können und die mithilfe von Algorithmen für maschinelles Lernen konvertiert werden.
Bilder: Bildpixel können durch numerische Daten beschrieben und kombiniert werden, um einen hochdimensionalen Vektor für dieses Bild zu bilden.
Sprache/Audio: Wie Bilder können auch Schallwellen in numerische Daten zerlegt und als Vektoren dargestellt werden, was KI-Anwendungen wie die Spracherkennung ermöglicht.
Die Menge an unstrukturierten Datensätzen, die Ihr Unternehmen für KI benötigt, wird immer weiter zunehmen. Wie gehen Sie also mit Millionen von Vektoren um? Hier kommen Vektoreinbettungen und Vektordatenbanken ins Spiel. Diese Vektoren werden in einem kontinuierlichen, mehrdimensionalen Raum dargestellt, der als Einbettung bezeichnet wird. Sie werden durch Einbettungsmodelle generiert, die darauf spezialisiert sind, Ihre Vektordaten in eine Einbettung umzuwandeln. Vektordatenbanken dienen zum Speichern und Indizieren der Ausgabe eines Einbettungsmodells. Vektoreinbettungen sind eine numerische Darstellung von Daten, bei der Datensätze auf der Grundlage semantischer Bedeutung oder ähnlicher Merkmale über praktisch jeden Datentyp hinweg gruppiert werden.
Nehmen wir zum Beispiel die Wörter „Auto“ und „Fahrzeug“. Beide haben ähnliche Bedeutungen, obwohl sie unterschiedlich geschrieben werden. Damit eine KI-Anwendung eine effektive semantische Suche ermöglicht, müssen Vektordarstellungen von „Auto“ und „Fahrzeug“ ihre semantische Ähnlichkeit erfassen. Beim maschinellen Lernen stellen Einbettungen hochdimensionale Vektoren dar, die diese semantischen Informationen kodieren. Diese Vektoreinbettungen sind das Rückgrat von Empfehlungen, Chatbots und generativen Apps wie ChatGPT.
Wissensgraphen stellen ein Netzwerk von Entitäten wie Objekten oder Ereignissen dar und bilden die Beziehungen zwischen ihnen ab. Eine Graphdatenbank ist eine zweckmäßige Datenbank zum Speichern von Wissensgraphinformationen und deren Visualisierung als Graphstruktur. Diagrammdatenbanken basieren auf Knoten und Kanten, die die bekannten Entitäten und komplexen Beziehungen zwischen ihnen darstellen, während Vektordatenbanken auf hochdimensionalen Vektoren basieren. Daher werden Diagrammdatenbanken für die Verarbeitung komplexer Beziehungen zwischen Datenpunkten bevorzugt, während Vektordatenbanken besser für die Verarbeitung verschiedener Datenformen wie Bilder oder Videos geeignet sind.
Unternehmens-Vektordaten können in ein Einbettungsmodell wie watsonx.ai von IBM oder Hugging Face (Link befindet sich außerhalb von ibm.com) eingebettet werden, die darauf spezialisiert sind, Ihre Daten in eine Einbettung umzuwandeln, indem komplexe, hochdimensionale Vektordaten in numerische Formen umgewandelt werden, die Computer verstehen können. Diese Einbettungen stellen die Attribute Ihrer Daten dar, die für KI-Aufgaben wie Klassifizierung und Anomalieerkennung verwendet werden.
Vektordatenbanken speichern die Ausgabe eines Einbettungsmodellalgorithmus, der Vektoreinbettungen. Sie speichern auch die Metadaten jedes Vektors, die mithilfe von Metadatenfiltern abgefragt werden können. Durch die Aufnahme und Speicherung dieser Einbettungen kann die Datenbank dann das schnelle Abrufen einer Ähnlichkeitssuche erleichtern, indem sie die Eingabeaufforderung des Benutzers mit einer ähnlichen Vektoreinbettung abgleicht.
Das Speichern von Daten als Einbettungen reicht nicht aus. Die Vektoren müssen indexiert werden, um den Suchvorgang zu beschleunigen. Vektordatenbanken erstellen Indizes für Vektoreinbettungen für Suchfunktionen. Die Vektordatenbank indexiert Vektoren mithilfe eines maschinellen Lernalgorithmus. Bei der Indexierung werden Vektoren neuen Datenstrukturen zugeordnet, die schnellere Ähnlichkeits- oder Entfernungssuchen ermöglichen, z. B. die Suche nach dem nächsten Nachbarn zwischen Vektoren.
Das Abfragen von Vektoren kann über Berechnungen erfolgen, bei denen die Distanz zwischen Vektoren mithilfe von Algorithmen (z. B. der Suche nach dem nächsten Nachbarn) gemessen wird. Diese Messung kann auf verschiedenen Ähnlichkeitsmetriken basieren, wie z. B. der Kosinus-Ähnlichkeit, die von diesem Index verwendet wird, um zu messen, wie nah oder entfernt diese Vektoren sind. Wenn ein Benutzer ein KI-Modell abfragt oder auffordert, wird eine Einbettung mit demselben Einbettungsmodell-Algorithmus berechnet. Die Datenbank berechnet Distanzen und führt Ähnlichkeitsberechnungen zwischen Abfragevektoren und im Index gespeicherten Vektoren durch. Sie geben die ähnlichsten Vektoren oder nächsten Nachbarn entsprechend der Ähnlichkeitsrangfolge zurück. Diese Berechnungen unterstützen verschiedene Aufgaben des maschinellen Lernens wie Empfehlungssysteme, semantische Suche, Bilderkennung und andere Aufgaben der natürlichen Sprachverarbeitung.
Unternehmen bevorzugen zunehmend den RAG-Ansatz (Retrieval Augmented Generation) in generativen KI-Workflows, da er eine schnellere Markteinführung, effiziente Inferenz und zuverlässige Ergebnisse ermöglicht, insbesondere in wichtigen Anwendungsfällen wie Kundenbetreuung und HR/Talent. Die RAG stellt sicher, dass das Modell mit den aktuellsten und verlässlichsten Fakten verknüpft ist und dass die Nutzer Zugang zu den Quellen des Modells haben, so dass seine Aussagen auf ihre Richtigkeit überprüft werden können. RAG ist der Schlüssel zu unserer Fähigkeit, große Sprachmodelle in vertrauenswürdigen Daten zu verankern, um Modellhalluzinationen zu reduzieren. Dieser Approach basiert auf der Nutzung hochdimensionaler Vektordaten, um Eingabeaufforderungen mit semantisch relevanten Informationen für das kontextbezogene Lernen durch Foundation Models anzureichern. Sie erfordert eine effiziente Speicherung und Abfrage während der Inferenzphase, in der die größte Datenmenge verarbeitet wird. Vektordatenbanken eignen sich hervorragend für die effiziente Indizierung, Speicherung und Abfrage dieser hochdimensionalen Vektoren und bieten die Geschwindigkeit, Präzision und Skalierbarkeit, die für Anwendungen wie Empfehlungsmaschinen und Chatbots erforderlich sind.
Es ist zwar klar, dass das Interesse und die Akzeptanz der Vektordatenbankfunktionalität zur Verbesserung von KI-basierten Anwendungen in Unternehmen rasch zunehmen, doch die folgenden Vorteile haben auch den geschäftlichen Nutzen für die Anwender aufgezeigt:
Geschwindigkeit und Leistung: Vektordatenbanken nutzen verschiedene Indizierungstechniken, um eine schnellere Suche zu ermöglichen. Die Vektorindizierung zusammen mit Algorithmen zur Distanzberechnung, wie etwa der Suche nach dem nächsten Nachbarn, ist besonders hilfreich bei der Suche nach relevanten Ergebnissen in Millionen, wenn nicht Milliarden von Datenpunkten – und das bei optimierter Leistung.
Skalierbarkeit: Vektordatenbanken können riesige Mengen unstrukturierter Daten speichern und verwalten, indem sie horizontal skaliert werden, was die Leistung beibehält, wenn die Anforderungen an Abfragen und das Datenvolumen steigen.
Betriebskosten: Vektordatenbanken sind eine wertvolle Alternative zum Trainieren von Grundlagenmodellen von Grund auf oder zur Feinabstimmung. Dies reduziert die Kosten und die Geschwindigkeit der Inferenz von Foundation Models.
Flexibilität: Egal, ob Sie über Bilder, Videos oder andere multidimensionale Daten verfügen, Vektordatenbanken sind so konzipiert, dass sie der Komplexität gewachsen sind. Angesichts der vielfältigen Anwendungsfälle, die von der semantischen Suche bis hin zu dialogorientierten KI-Anwendungen reichen, kann die Verwendung von Vektordatenbanken an Ihre Geschäfts- und KI-Anforderungen angepasst werden.
Langzeitgedächtnis von LLMs: Unternehmen können mit Allzweckmodellen wie den Modellen der Granite-Reihe von IBM watsonx, Llama-2 von Meta oder den Flan-Modellen von Google beginnen und dann ihre eigenen Daten in einer Vektordatenbank bereitstellen, um die Output der Modelle zu verbessern und die KI-Anwendung für die erweiterte Abrufgenerierung entscheidend zu optimieren.
Komponenten des Datenmanagements: Vektor-Datenbanken bieten in der Regel auch integrierte Funktionen zum einfachen Aktualisieren und Einfügen neuer unstrukturierter Daten.
Es gibt eine Vielzahl von Optionen, wenn es darum geht, eine Vektordatenbankfunktion auszuwählen, die den Daten- und KI-Anforderungen Ihres Unternehmens entspricht.
Es stehen einige Alternativen zur Auswahl.
- Eigenständige, proprietäre Vektordatenbanken wie Pinecone
- Open-Source-Lösungen wie weaviate oder milvus, die integrierte RESTful-APIs und Unterstützung für die Programmiersprachen Python und Java bieten
Plattformen mit integrierten Vektordatenbankfunktionen, bald verfügbar bei IBM watsonx.data
Vektordatenbank-/Sucherweiterungen, wie z. B. die Open-Source-Erweiterung pgvector von PostgreSQL, die Suchfunktionen für Vektorähnlichkeiten bietet
Vektordatenbanken sollten nicht als eigenständige Funktionen betrachtet werden, sondern als Teil Ihres umfassenderen Daten- und KI-Ökosystems. Viele bieten APIs, native Erweiterungen oder können in Ihre Datenbanken integriert werden. Da sie darauf ausgelegt sind, Ihre eigenen Unternehmensdaten zur Verbesserung Ihrer Modelle zu nutzen, müssen Sie auch über eine entsprechende Data Governance und -sicherheit verfügen, um sicherzustellen, dass die Daten, auf denen diese LLMs basieren, vertrauenswürdig sind.
Hier spielt eine vertrauenswürdige Datengrundlage eine wichtige Rolle bei der KI, und das beginnt bei Ihren Daten und der Art und Weise, wie sie gespeichert, verwaltet und geregelt werden, bevor sie für die KI genutzt werden. Zentral dafür ist ein Data Lakehouse, das offen, hybrid und geregelt ist, wie z. B. IBM watsonx.data, Teil der watsonx AI-Datenplattform, die nahtlos in eine Daten-Fabric-Architektur passt. IBM watsonx.data wurde beispielsweise entwickelt, um auf alle Ihre strukturierten, halbstrukturierten und unstrukturierten Daten und Metadaten zuzugreifen, sie zu katalogisieren, zu verwalten und umzuwandeln. Anschließend können Sie diese verwalteten Daten und die integrierte Vektordatenbankfunktionen von watsonx.data (Tech Preview Q4, 2023) für maschinelles Lernen und generative KI-Anwendungsfälle.
Die Verwendung eines Vektorspeichers und -index eignet sich gut für Anwendungen, die auf Fakten oder faktenbasierten Abfragen basieren. Fragen Sie zum Beispiel nach den rechtlichen Bedingungen eines Unternehmens im letzten Jahr oder extrahieren Sie bestimmte Informationen aus komplexen Dokumenten. Der Satz von Abrufkontexten, den Sie erhalten würden, wäre derjenige, der Ihrer Abfrage durch die Einbettungsdistanz semantisch am ähnlichsten ist. Wenn Sie jedoch eine Zusammenfassung der Themen erhalten möchten, eignet sich dies nicht gut für einen Vektorindex. In diesem Fall möchten Sie, dass das LLM alle möglichen Kontexte zu diesem Thema in Ihren Daten durchgeht. Stattdessen können Sie eine andere Art von Index verwenden, z. B. einen Listenindex statt einen Vektorindex, da ein Vektorindex nur die relevantesten Daten abruft.
Die Anwendungsmöglichkeiten von Vektordatenbanken sind umfangreich und wachsen weiter. Zu den wichtigsten Anwendungsfällen gehören beispielsweise:
Semantische Suche: Führen Sie Suchvorgänge basierend auf der Bedeutung oder dem Kontext einer Abfrage durch, um präzisere und relevantere Ergebnisse zu erzielen. Da nicht nur Wörter, sondern auch Phrasen als Vektoren dargestellt werden können, versteht die semantische Vektorsuchfunktion die Benutzerabsicht besser als allgemeine Schlüsselwörter.
Ähnlichkeitssuche und -anwendungen: Finden Sie ganz einfach ähnliche Bilder, Texte, Audio- oder Videodaten für das Abrufen von Inhalten wie erweiterte Bild- und Spracherkennung, natürliche Sprachverarbeitung und vieles mehr.
Empfehlungsmaschinen: E-Commerce-Websites können beispielsweise Vektordatenbanken und Vektoren zur Darstellung von Kundenpräferenzen und Produktattributen verwenden. Auf diese Weise können sie auf der Grundlage der Vektorähnlichkeit Artikel vorschlagen, die früheren Käufen ähneln, was die Nutzererfahrung verbessert und die Kundenbindung erhöht.
Dialogorientierte KI: Verbesserung der Interaktion virtueller Agenten durch Erweiterung der Fähigkeit, relevante Wissensdatenbanken effizient und genau zu analysieren, um kontextbezogene Antworten auf Benutzeranfragen in Echtzeit sowie die Quelldokumente und Seitenzahlen als Referenz bereitzustellen.
Ein Unternehmensstudio der nächsten Generation für KI-Entwickler zum Erstellen, Trainieren, Prüfen, Optimieren und Bereitstellen sowohl traditioneller maschineller Lernfunktionen als auch neuer generativer KI-Funktionen, die auf Foundation Models basieren. Erstellen Sie eine Q&A-Ressource aus einer breiten internen oder externen Wissensdatenbank mit Hilfe von KI-Aufgaben in watsonx.ai, wie Retrieval Augmented Generation.
Ein zweckmäßiger Datenspeicher auf der Grundlage einer offenen Data Lakehouse-Architektur zur standortunabhängigen Skalierung von KI-Workloads für alle Ihre Daten. Speichern, Abfragen und Suchen von Vektoreinbetten in watsonx.data mit integrierten Vektorkapazitäten (geplante technische Vorschau Q4 2023).
Mit unserem PostgreSQL-Datenbank-as-a-Service-Angebot können Teams mehr Zeit mit Hochverfügbarkeit, Backup-Orchestrierung, Point-in-Time-Recovery (PITR) und einfacher Lesereplikation verbringen. PostgreSQL bietet pgvector, eine Open-Source-Vektorerweiterung, die mit IBM Cloud PostgreSQL-Erweiterungen (demnächst verfügbar) konfiguriert werden kann und Suchfunktionen für Vektorähnlichkeiten bietet.
Unsere Elasticsearch Database-as-a-Service verfügt über eine Volltextsuchmaschine, die sie zum perfekten Zuhause für Ihre unstrukturierten Textdaten macht. Elasticsearch unterstützt auch verschiedene Formen der semantischen (Link befindet sich außerhalb von ibm.com) Ähnlichkeitssuche. Es unterstützt dichte Vektoren (Link befindet sich außerhalb von ibm.com) für die exakte Suche nach dem nächsten Nachbarn, bietet aber auch integrierte KI-Modelle zum Berechnen von spärlichen Vektoren und zur Durchführung erweiterter Ähnlichkeitssuchen (Link befindet sich außerhalb von ibm.com).
Unternehmen, die generative KI-Modelle richtig einsetzen, können eine Vielzahl von Vorteilen verzeichnen – von einer höheren betrieblichen Effizienz und einer verbesserten Entscheidungsfindung bis hin zur schnellen Erstellung von Marketinginhalten.
IBM kündigt die allgemeine Verfügbarkeit der ersten Modelle der watsonx Granite Model Series an. Dabei handelt es sich um eine Sammlung generativer KI-Modelle, mit denen die Integration generativer KI in Geschäftsanwendungen und Workflows weiter vorangebracht wird.
RAG ist ein KI-Framework zum Abrufen von Fakten aus einer externen Wissensdatenbank, um LLMs die genauesten und aktuellsten Informationen zu liefern und Benutzern Einblicke in den generativen Prozess der LLMs zu geben.
Fußnoten
1 Gartner Innovation Insight: Vector Databases (Link führt zu Seite außerhalb ibm.com), erfordert Gartner-Konto), Gartner
2 Gartner 2022 Strategic Roadmap for Storage (Link führt zu Seite außerhalb ibm.com), erfordert Gartner-Konto), Gartner