Una base de datos vectorial está diseñada para almacenar, administrar e indexar cantidades masivas de datos vectoriales de alta dimensión de manera eficiente.
Las bases de datos vectoriales están creciendo rápidamente en interés por crear valor adicional para casos de uso y aplicaciones de inteligencia artificial (IA) generativa. Según Gartner, para 2026, más del 30 por ciento de las empresas habrán adoptado bases de datos vectoriales para fundamentar sus modelos fundacionales con datos comerciales relevantes.1
A diferencia de las bases de datos relacionales tradicionales con filas y columnas, los puntos de datos en una base de datos vectorial están representados por vectores con un número fijo de dimensiones, agrupados en función de la similitud. Este diseño permite consultas de baja latencia, lo que las hace ideales para aplicaciones impulsadas por IA.
Utilice este marco de selección de modelos para elegir el modelo más apropiado mientras equilibra sus requisitos de rendimiento con los costos, los riesgos y las necesidades de despliegue.
Regístrese para obtener el libro electrónico sobre almacenes de datos de IA
La naturaleza de los datos ha sufrido una profunda transformación. Ya no se limita a la información estructurada que se almacena fácilmente en las bases de datos tradicionales. Los datos no estructurados están creciendo entre un 30 y un 60 por ciento año tras año, e incluyen publicaciones en redes sociales, imágenes, videos, clips de audio y más.2 Por lo general, si desea cargar fuentes de datos no estructuradas en una base de datos relacional tradicional para almacenar, administrar y preparar la IA, el proceso requiere mucho trabajo y dista mucho de ser eficiente, especialmente cuando se trata de nuevos casos de uso generativos, como la búsqueda de similitudes. Las bases de datos relacionales son excelentes para administrar conjuntos de datos estructurados y semiestructurados en formatos específicos, mientras que las bases de datos vectoriales son más adecuadas para conjuntos de datos no estructurados a través de incrustaciones de vectores de alta dimensión.
Introduzca vectores. Los vectores son matrices de números que pueden representar objetos complejos como palabras, imágenes, videos y audio, generados por un modelo de aprendizaje automático (ML). Los datos vectoriales de alta dimensión son esenciales para el aprendizaje automático, el procesamiento de lenguaje natural (NLP) y otras tareas de IA. Algunos ejemplos de datos vectoriales incluyen:
Texto: Piense en la última vez que interactuó con un chatbot. ¿Cómo entienden el lenguaje natural? Se basan en vectores que pueden representar palabras, párrafos y documentos enteros, que se convierten mediante algoritmos de aprendizaje automático.
Imágenes: Los pixeles de una imagen pueden describirse mediante datos numéricos y combinarse para formar un vector de alta dimensión para esa imagen.
Voz/audio: al igual que las imágenes, las ondas de sonido también se pueden descomponer en datos numéricos y representar como vectores, lo que permite aplicaciones de IA como el reconocimiento de voz.
El volumen de conjuntos de datos no estructurados que su organización necesita para la IA seguirá creciendo, así que, ¿cómo maneja millones de vectores? Aquí es donde entran en juego las incrustaciones vectoriales y las bases de datos vectoriales. Estos vectores se representan en un espacio continuo y multidimensional conocido como incrustación, que se genera mediante modelos de incrustación, especializados para convertir sus datos vectoriales en una incrustación. Las bases de datos vectoriales sirven para almacenar e indexar la salida de un modelo de incrustación. Las incrustaciones vectoriales son una representación numérica de datos, agrupando conjuntos de datos basados en el significado semántico o características similares en prácticamente cualquier tipo de datos. .
Por ejemplo, tome las palabras "automóvil" y "vehículo". Ambos tienen significados similares, aunque se escriben de manera diferente. Para que una aplicación de IA permita una búsqueda semántica eficaz, las representaciones vectoriales de "automóvil" y "vehículo" deben capturar su similitud semántica. Cuando se trata de aprendizaje automático, las incorporaciones representan vectores de alta dimensión que codifican esta información semántica. Estas incrustaciones de vectores son la columna vertebral de las recomendaciones, los chatbots y las aplicaciones generativas como ChatGPT.
Los gráficos de conocimiento representan una red de entidades, como objetos o eventos, y representan la relación entre ellos. Una base de datos de gráficos es una base de datos adecuada para almacenar información de gráficos de conocimiento y visualizarla como una estructura de gráficos. Las bases de datos de gráficos se basan en nodos y bordes que representan las entidades conocidas y las relaciones complejas entre ellas, mientras que las bases de datos vectoriales se basan en vectores de alta dimensión. Como resultado, las bases de datos de gráficos son preferibles para procesar relaciones complejas entre puntos de datos, mientras que las bases de datos vectoriales son mejores para manejar diferentes formas de datos, como imágenes o videos.
Los datos vectoriales empresariales se pueden introducir en un modelo de integración como watsonx.ai de IBM o Hugging Face (enlace externo a ibm.com), que están especializados en convertir sus datos en una incrustación transformando datos vectoriales complejos y de alta dimensión en formas numéricas que las computadoras puedan entender. Estas incorporaciones representan los atributos de sus datos utilizados en tareas de IA, como la clasificación y la detección de anomalías.
Las bases de datos vectoriales almacenan la salida de un algoritmo de modelo de incrustación, las incrustaciones vectoriales. También almacenan los metadatos de cada vector, que se pueden consultar mediante filtros de metadatos. Al ingerir y almacenar estas incrustaciones, la base de datos puede facilitar la recuperación rápida de una búsqueda de similitud, haciendo coincidir el prompt del usuario con una incrustación vectorial similar.
Almacenar datos como incorporaciones no es suficiente. Los vectores deben indexarse para acelerar el proceso de búsqueda. Las bases de datos vectoriales crean índices en incorporaciones vectoriales para la funcionalidad de búsqueda. La base de datos de vectores indexa vectores mediante un algoritmo de aprendizaje automático. La indexación asigna vectores a nuevas estructuras de datos que permiten búsquedas más rápidas de similitud o distancia, como la búsqueda del vecino más cercano entre vectores.
La consulta de vectores se puede realizar mediante cálculos que miden la distancia entre vectores utilizando algoritmos, como la búsqueda del vecino más cercano. Esta medición puede basarse en diversas métricas de similitud como la similitud del cosido, utilizada por ese índice para medir qué tan cerca o distantes están esos vectores. Cuando un usuario consulta o solicita un modelo de IA, una incrustación se calcula utilizando el mismo algoritmo de modelo de incrustación. La base de datos calcula distancias y realiza cálculos de similitud entre vectores de consulta y vectores almacenados en el índice. Devuelven los vectores más similares o vecinos más cercanos según el ranking de similitud. Estos cálculos soportan diversas tareas de aprendizaje automático como sistemas de recomendación, búsqueda semántica, reconocimiento de imágenes y otras tareas de procesamiento del lenguaje natural.
Las empresas favorecen cada vez más el enfoque de generación aumentada de recuperación (RAG) en los flujos de trabajo de IA generativa por su tiempo de comercialización más rápido, inferencia eficiente y salida confiable, particularmente en casos de uso clave como atención al cliente y recursos humanos/talento. RAG garantiza que el modelo esté vinculado a los datos más actuales y confiables y que los usuarios tengan acceso a las fuentes del modelo, de modo que se pueda verificar la precisión de sus afirmaciones. RAG es fundamental para nuestra capacidad de anclar modelos de lenguaje de gran tamaño en datos confiables para reducir las alucinaciones del modelo. Este enfoque se basa en aprovechar datos vectoriales de alta dimensión para enriquecer las instrucciones con información semánticamente relevante para el aprendizaje en contexto mediante modelos fundacionales. Requiere almacenamiento y recuperación efectivos durante la etapa de inferencia, que maneja el mayor volumen de datos. Las bases de datos vectoriales se destacan por indexar, almacenar y recuperar de manera eficiente estos vectores de alta dimensión, proporcionando la velocidad, precisión y escala necesarias para aplicaciones como motores de recomendación y chatbots.
Si bien está claro que la funcionalidad de la base de datos vectorial está creciendo rápidamente en interés y adopción para mejorar las aplicaciones empresariales basadas en IA, los siguientes beneficios también han demostrado valor comercial para los adoptantes:
Velocidad y rendimiento: las bases de datos vectoriales utilizan diversas técnicas de indexación para permitir una búsqueda más rápida. La indexación vectorial junto con los algoritmos de cálculo de distancia, como la búsqueda del vecino más cercano, son particularmente útiles para buscar resultados relevantes en millones, si no miles de millones, de puntos de datos, con un rendimiento optimizado.
Escalabilidad: las bases de datos vectoriales pueden almacenar y administrar cantidades masivas de datos no estructurados al escalarse horizontalmente, manteniendo el rendimiento a medida que aumentan las demandas de consultas y los volúmenes de datos.
Costo de propiedad: las bases de datos vectoriales son una alternativa valiosa para entrenar modelos fundacionales desde cero o ajustarlos. Esto reduce el costo y la velocidad de la inferencia de modelos fundacionales.
Flexibilidad: ya sea que tenga imágenes, videos u otros datos multidimensionales, las bases de datos vectoriales están diseñadas para manejar la complejidad. Dados los múltiples casos de uso que van desde la búsqueda semántica hasta las aplicaciones de IA conversacional, el uso de bases de datos vectoriales se puede personalizar para cumplir con los requisitos de su negocio y de IA.
Memoria a largo plazo de los LLM: las organizaciones pueden comenzar con modelos de uso general, como los modelos de la serie Granite de IBM watsonx.ai , Llama-2 de Meta o los modelos Flan de Google, y luego proporcionar sus propios datos en una base de datos vectorial para mejorar la salida de los modelos. y aplicaciones de IA críticas para la generación aumentada de recuperación.
Componentes de gestión de datos: las bases de datos vectoriales también suelen proporcionar funciones integradas para actualizar e insertar fácilmente nuevos datos no estructurados.
Existe una amplia gama de opciones cuando se trata de elegir una capacidad de base de datos vectorial para satisfacer las necesidades de datos e IA de su organización.
Hay varias alternativas entre las que elegir.
- Bases de datos vectoriales independientes y patentadas, como Pinecone
- Soluciones de código abierto como weaviate o milvus, que proporcionan API RESTful integradas y soporte para lenguajes de programación Python y Java
Plataformas con capacidades de base de datos vectoriales integradas, próximamente en IBM watsonx.data
Base de datos vectorial/extensiones de búsqueda, como la extensión pgvector de código abierto de PostgreSQL, que proporciona capacidades de búsqueda de similitud vectorial
Las bases de datos vectoriales no deben considerarse capacidades independientes, sino más bien una parte de su ecosistema más amplio de datos e IA. Muchos ofrecen API, extensiones nativas o pueden integrarse con sus bases de datos. Dado que se crean para aprovechar los datos de su propia empresa con el fin de mejorar sus modelos, también debe contar con una gobernanza de datos y una seguridad adecuadas para garantizar que los datos con los que se basan estos LLM son confiables.
Aquí es donde una base de datos confiable desempeña un papel importante en la IA, y eso comienza con sus datos y cómo se almacenan, administran y gobiernan antes de usarse para la IA. Un elemento central de esto es un data lakehouse, uno que sea abierto, híbrido y gobernado, como IBM watsonx.data, parte de la plataforma de datos de IA de watsonx que se adapta perfectamente a una arquitectura de tejido de datos. Por ejemplo, IBM watsonx.data está diseñado para acceder, catalogar, gobernar y transformar todos sus datos y metadatos estructurados, semiestructurados y no estructurados. Luego puede aprovechar estos datos gobernados y watsonx.data Capacidades integradas de bases de datos vectoriales (vista previa técnica del cuarto trimestre de 2023) para casos de uso de aprendizaje automático e IA generativa.
El uso de un almacén vectorial y un índice es adecuado para aplicaciones basadas en hechos o consultas basadas en hechos. Por ejemplo, preguntar sobre los términos legales de una empresa el año pasado o extraer información específica de documentos complejos. El conjunto de contexto de recuperación que obtendría serían aquellos que son más similares semánticamente a su consulta a través de la distancia de incrustación. Sin embargo, si desea obtener un resumen de los temas, esto no se presta bien a un índice vectorial. En este caso, le gustaría que el LLM pasara por todos los diferentes contextos posibles sobre ese tema dentro de sus datos. En su lugar, puede utilizar un tipo diferente de índice, como un índice de lista en lugar de un índice vectorial, ya que un índice vectorial solo obtendría los datos más relevantes.
Las aplicaciones de las bases de datos vectoriales son amplias y están creciendo. Algunos casos casos de uso de claves incluyen:
Búsqueda semántica: Realice búsquedas basadas en el significado o contexto de una consulta, lo que permite obtener resultados más precisos y relevantes. Como no solo las palabras, sino también las frases se pueden representar como vectores, la funcionalidad de búsqueda de vectores semánticos comprende la intención del usuario mejor que las palabras clave generales.
Búsqueda y aplicaciones de similitud: encuentre imágenes, texto, datos de audio o video similares con facilidad, para la recuperación de contenido, incluido el reconocimiento avanzado de imágenes y voz, el procesamiento de lenguaje natural y más.
Motores de recomendación: Los sitios de comercio electrónico, por ejemplo, pueden utilizar bases de datos vectoriales y vectores para representar las preferencias del cliente y los atributos del producto. Esto les permite sugerir artículos similares a compras anteriores basándose en la similitud vectorial, mejorando la experiencia del usuario y aumentando la retención.
IA conversacional: mejora de las interacciones de los agentes virtuales mediante el aumento de la capacidad de analizar las bases de conocimientos pertinentes con eficacia y precisión para ofrecer respuestas contextuales en tiempo real a las consultas de los usuarios, junto con los documentos de origen y los números de página como referencia.
Un estudio empresarial de próxima generación para que los creadores de IA desarrollen, capaciten, validen, ajusten e implementen capacidades de aprendizaje automático tradicional con capacidades de aprendizaje automático tradicional y capacidades de la nueva IA generativa generativa generativa con la tecnología de los modelos fundacionales. Cree un recurso de preguntas y respuestas a partir de una amplia base de conocimientos interna o externa con la ayuda de tareas de IA en watsonx.ai, como la generación aumentada de recuperación.
Ahora disponible: un almacén de datos diseñado para su propósito construido sobre una arquitectura abierta de data lakehouse para escalar la carga de trabajo de IA, para todos sus datos, en cualquier lugar Almacene, consulte y busque incorporaciones de vectores en watsonx.data con capacidades de vectores integradas (vista previa tecnológica prevista para el cuarto trimestre de 2023).
Nuestra oferta de base de datos como servicio PostgreSQL permite a los equipos pasar más tiempo construyendo con alta disponibilidad, orquestación de backup, recuperación puntual (PITR) y leer réplicas con facilidad. PostgreSQL ofrece pgvector, una extensión vectorial de código abierto que se podrá configurar con extensiones IBM Cloud PostgreSQL (próximamente), proporcionando capacidades de búsqueda de similitud vectorial.
Nuestra base de datos como servicio Elasticsearch viene con un motor de búsqueda de texto completo, lo que la convierte en el hogar perfecto para sus datos de texto no estructurados. Elasticsearch también admite varias formas de búsqueda de similitud semántica (enlace externo a ibm.com). Admite vectores densos (enlace externo a ibm.com) para la búsqueda exacta del vecino más cercano, pero también proporciona modelos de IA integrados para calcular vectores dispersos y realizar búsquedas avanzadas de similitud (enlace externo a ibm.com).
Las organizaciones que utilizan modelos de IA generativa correctamente pueden ver una gran cantidad de beneficios, desde una mayor eficiencia operativa y una mejor toma de decisiones hasta la rápida creación de contenido de marketing.
IBM anuncia la disponibilidad general de los primeros modelos de la serie watsonx Granite, una recopilación de modelos de IA generativa para avanzar en la incorporación de IA generativa en aplicaciones comerciales y flujo de trabajo.
RAG es un marco de inteligencia artificial para recuperar datos de una base de conocimiento externa para fundamentar a los LLM en la información más precisa y actualizada y brindar a los usuarios información sobre el proceso generativo de los LLM.
Notas de pie de página
1 Gartner Innovation Insight: Vector Databases (enlace externo a ibm.com), requiere una cuenta de Gartner), Gartner
2 Gartner 2022 Strategic Roadmap for Storage (enlace externo a ibm.com), requiere una cuenta de Gartner), Gartner