Una base de datos vectorial está diseñada para almacenar, administrar e indexar cantidades masivas de datos vectoriales de alta dimensión de manera eficiente.
Las bases de datos vectoriales están despertando un rápido interés para crear valor adicional para los casos de uso y las aplicaciones de inteligencia artificial (IA) generativa. Según Gartner, para 2026, más del 30 por ciento de las empresas habrán adoptado bases de datos vectoriales para fundamentar sus modelos fundacionales con datos comerciales relevantes.1
A diferencia de las bases de datos relacionales tradicionales con filas y columnas, los puntos de datos de una base de datos vectorial están representados por vectores con un número fijo de dimensiones, agrupados en función de la similitud. Este diseño permite consultas de baja latencia, lo que las hace ideales para aplicaciones impulsadas por IA.
Utilice este marco de selección de modelos para elegir el más adecuado y equilibrar sus requisitos de rendimiento con el coste, los riesgos y las necesidades de implementación.
Regístrese para obtener el libro electrónico sobre almacenes de datos de IA
La naturaleza de los datos ha sufrido una profunda transformación. Ya no se limita a la información estructurada que se almacena fácilmente en las bases de datos tradicionales. Los datos no estructurados están creciendo del 30 al 60 por ciento año tras año, con publicaciones en redes sociales, imágenes, vídeos, clips de audio y mucho más.2 Por lo general, si desea cargar fuentes de datos no estructuradas en una base de datos relacional tradicional para almacenar, administrar y prepararse para la IA, el proceso requiere mucha mano de obra y está lejos de ser eficiente, especialmente cuando se trata de nuevos casos de uso generativos, como la búsqueda de similitudes. Las bases de datos relacionales son excelentes para administrar datasets estructurados y semiestructurados en formatos específicos, mientras que las bases de datos vectoriales son más adecuadas para datasets no estructurados a través de incrustaciones vectoriales de alta dimensión.
Introduzca vectores. Los vectores son matrices de números que pueden representar objetos complejos como palabras, imágenes, vídeos y audio, generados por un modelo de machine learning (ML). Los datos vectoriales de alta dimensión son esenciales para el machine learning, el procesamiento del lenguaje natural (PLN) y otras tareas de IA. Algunos ejemplos de datos vectoriales incluyen:
Texto: Piense en la última vez que interactuó con un chatbot. ¿Cómo entienden el lenguaje natural? Confían en vectores que pueden representar palabras, párrafos y documentos completos, que se convierten a través de algoritmos de machine learning.
Imágenes: Los píxeles de la imagen pueden describirse mediante datos numéricos y combinarse para formar un vector de alta dimensión para esa imagen.
Voz/Audio: Al igual que las imágenes, las ondas sonoras también pueden descomponerse en datos numéricos y representarse como vectores, lo que permite aplicaciones de IA como el reconocimiento de voz.
El volumen de conjuntos de datos no estructurados que su organización necesita para la IA no dejará de crecer, así que ¿cómo gestionar millones de vectores? Aquí es donde entran en juego las incrustaciones vectoriales y las bases de datos vectoriales. Estos vectores se representan en un espacio continuo y multidimensional conocido como incrustación, que se genera mediante modelos de incrustación, especializados para convertir sus datos vectoriales en una incrustación. Las bases de datos vectoriales sirven para almacenar e indexar el resultado de un modelo de incrustación. Las incrustaciones de vectores son una representación numérica de datos, que agrupan conjuntos de datos según su significado semántico o características similares en prácticamente cualquier tipo de datos.
Por ejemplo, tome las palabras "coche" y "vehículo". Ambos tienen significados similares a pesar de que se escriben de manera diferente. Para que una aplicación de IA permita una búsqueda semántica efectiva, las representaciones vectoriales de "coche" y "vehículo" deben capturar su similitud semántica. Cuando se trata de machine learning, las incrustaciones representan vectores de alta dimensión que codifican esta información semántica. Estas incrustaciones vectoriales son la columna vertebral de las recomendaciones, los chatbots y las aplicaciones generativas como ChatGPT.
Los gráficos de conocimiento representan una red de entidades como objetos o eventos y representan la relación entre ellos. Una base de datos gráfica es una base de datos adecuada para almacenar información de grafos de conocimiento y visualizarla como una estructura de grafos. Las bases de datos gráficas se basan en nodos y edges que representan las entidades conocidas y las relaciones complejas entre ellas, mientras que las bases de datos vectoriales se basan en vectores de alta dimensión. Como resultado, las bases de datos gráficas son preferibles para procesar relaciones complejas entre puntos de datos, mientras que las bases de datos vectoriales son mejores para manejar diferentes formas de datos, como imágenes o videos.
Los datos vectoriales empresariales se pueden introducir en un modelo de incrustación, como los modelos de watsonx.ai de IBM o Hugging Face (enlace externo a ibm.com), que están especializados para convertir sus datos en una incrustación transformando datos vectoriales complejos y de alta dimensión en formas numéricas que las computadoras pueden entender. Estas incrustaciones representan los atributos de los datos que se utilizan en tareas de IA, como la clasificación y la detección de anomalías.
Las bases de datos vectoriales almacenan el resultado de un algoritmo de modelo de incrustación, las incrustaciones vectoriales. También almacenan los metadatos de cada vector, que pueden consultarse mediante filtros de metadatos. Al incorporar y almacenar estas incrustaciones, la base de datos puede facilitar la recuperación rápida de una búsqueda de similitud, haciendo coincidir la petición del usuario con una incrustación vectorial similar.
Almacenar datos como incrustaciones no es suficiente. Los vectores deben indexarse para acelerar el proceso de búsqueda. Las bases de datos vectoriales crean índices en incrustaciones vectoriales para la funcionalidad de búsqueda. La base de datos vectorial indexa vectores utilizando un algoritmo de machine learning. La indexación asigna vectores a nuevas estructuras de datos que permiten búsquedas de similitud o distancia más rápidas, como la búsqueda del vecino más cercano entre vectores.
La consulta de vectores se puede realizar mediante cálculos que miden la distancia entre vectores mediante algoritmos, como la búsqueda del vecino más cercano. Esta medición puede basarse en varias métricas de similitud, como la similitud de cosenos, que utiliza ese índice para medir qué tan cerca o distantes están esos vectores. Cuando un usuario consulta o solicita un modelo de IA, se calcula una incrustación utilizando el mismo algoritmo de modelo de incrustación. La base de datos calcula distancias y realiza cálculos de similitud entre los vectores de consulta y los vectores almacenados en el índice. Devuelven los vectores más similares o los vecinos más cercanos según la clasificación de similitud. Estos cálculos admiten diversas tareas de machine learning, como sistemas de recomendación, búsqueda semántica, reconocimiento de imágenes y otras tareas de procesamiento del lenguaje natural.
Las empresas están favoreciendo cada vez más el enfoque de generación aumentada de recuperación (RAG) en los flujos de trabajo de IA generativa por su tiempo de comercialización más rápido, inferencia eficiente y resultados confiables, particularmente en casos de uso clave como la atención al cliente y RR. HH./Talento. RAG garantiza que el modelo esté vinculado a los hechos más actuales y fiables y que los usuarios tengan acceso a las fuentes del modelo, de modo que se pueda comprobar la exactitud de sus afirmaciones. RAG es fundamental para nuestra capacidad de anclar grandes modelos de lenguaje en datos confiables para reducir las alucinaciones de los modelos. Este enfoque se basa en aprovechar datos vectoriales de alta dimensión para enriquecer las selecciones dinámicas con información semánticamente relevante para el aprendizaje en contexto por modelos fundacionales. Requiere un almacenamiento y recuperación efectivos durante la etapa de inferencia, que maneja el mayor volumen de datos. Las bases de datos vectoriales se destacan por indexar, almacenar y recuperar de manera eficiente estos vectores de alta dimensión, lo que proporciona la velocidad, precisión y escala necesarias para aplicaciones como motores de recomendación y chatbots.
Aunque está claro que la funcionalidad de las bases de datos vectoriales está despertando un interés y una adopción cada vez mayores para mejorar las aplicaciones empresariales basadas en IA, las siguientes ventajas también han demostrado su valor empresarial para quienes las adoptan:
Velocidad y rendimiento: las bases de datos vectoriales utilizan varias técnicas de indexación para permitir una búsqueda más rápida. La indexación vectorial, junto con los algoritmos de cálculo de distancia, como la búsqueda del vecino más cercano, son particularmente útiles para buscar resultados relevantes en millones, si no miles de millones, de puntos de datos, con un rendimiento optimizado.
Escalabilidad: las bases de datos vectoriales pueden almacenar y gestionar cantidades masivas de datos no estructurados escalando horizontalmente, manteniendo el rendimiento a medida que aumentan las demandas de consulta y los volúmenes de datos.
Costo de propiedad: las bases de datos vectoriales son una alternativa valiosa para entrenar modelos fundacionales desde cero o ajustarlos. Esto reduce el coste y la velocidad de inferencia de los modelos fundacionales.
Flexibilidad: ya sea que tenga imágenes, videos u otros datos multidimensionales, las bases de datos vectoriales están diseñadas para manejar la complejidad. Dados los múltiples casos de uso que van desde la búsqueda semántica hasta las aplicaciones de IA conversacional, el uso de bases de datos vectoriales se puede personalizar para cumplir con los requisitos de su negocio y de IA.
Memoria a largo plazo de LLM: las organizaciones pueden comenzar con modelos de uso general como los modelos de la serie Granite de IBM IBM watsonx.ai, Llama-2 de Meta o los modelos Flan de Google, y luego proporcionar sus propios datos en una base de datos vectoriales para mejorar la salida de los modelos de IA y la generación crítica.
Componentes de gestión de datos: las bases de datos vectoriales también suelen proporcionar funciones integradas para actualizar e insertar fácilmente nuevos datos no estructurados.
Existe una amplia gama de opciones cuando se trata de elegir una capacidad de base de datos vectorial para satisfacer las necesidades de datos e IA de su organización.
Hay algunas alternativas para elegir.
- Bases de datos vectoriales independientes y patentadas, como Pinecone
- Soluciones de código abierto como weaviate o milvus, que proporcionan API RESTful integradas y soporte para los lenguajes de programación Python y Java
Plataformas con capacidades de base de datos vectoriales integradas, próximamente en IBM watsonx.data
Extensiones de búsqueda/bases de datos vectoriales, como la extensión de código abierto pgvector de PostgreSQL, que proporciona capacidades de búsqueda de similitudes vectoriales.
Las bases de datos vectoriales no deben considerarse como capacidades independientes, sino como parte de su ecosistema más amplio de datos e IA. Muchos ofrecen API, extensiones nativas o pueden integrarse con sus bases de datos. Dado que están diseñados para aprovechar los datos de su propia empresa para mejorar sus modelos, también debe contar con un gobierno y una seguridad de datos adecuados para garantizar que se pueda confiar en los datos con los que basa estos LLM.
Aquí es donde una base de datos confiable desempeña un papel importante en la IA, y eso comienza con sus datos y la forma en que se almacenan, administran y gobiernan antes de usarse para la IA. Central a esto es un lakehouse de datos, uno abierto, híbrido y gobernado, como IBM watsonx.data, parte de la plataforma de datos de IA de watsonx que encaja perfectamente en una arquitectura de estructura de datos. Por ejemplo, IBM watsonx.data está diseñado para acceder, catalogar, gobernar y transformar todos sus datos y metadatos estructurados, semiestructurados y no estructurados. Luego puede aprovechar estos datos gobernados y los de watsonx.data Capacidades integradas de bases de datos vectoriales (vista previa técnica del cuarto trimestre de 2023) para casos de uso de machine learning y IA generativa.
El uso de un almacén e índice vectoriales es adecuado para aplicaciones basadas en hechos o consultas basadas en hechos. Por ejemplo, preguntar sobre los términos legales de una empresa el año pasado o extraer información específica de documentos complejos. El conjunto de contexto de recuperación que obtendría sería el que sea más similar semánticamente a la consulta a través de la distancia de inserción. Sin embargo, si desea obtener un resumen de los temas, esto no se presta bien a un índice vectorial. En este caso, querrá que el LLM pase por todos los diferentes contextos posibles sobre ese tema dentro de sus datos. En su lugar, puede usar un tipo diferente de índice, como un índice de lista en lugar de un índice vectorial, ya que un índice vectorial solo capturaría los datos más relevantes.
Las aplicaciones de las bases de datos vectoriales son vastas y están creciendo. Algunos casos de uso de claves incluyen:
Búsqueda semántica: realice búsquedas basadas en el significado o contexto de una consulta, lo que permite obtener resultados más precisos y relevantes. Como no solo las palabras, sino también las frases se pueden representar como vectores, la funcionalidad de búsqueda de vectores semánticos comprende la intención del usuario mejor que las palabras clave generales.
Búsqueda y aplicaciones similares: encuentre imágenes, texto, datos de audio o video similares con facilidad, para la recuperación de contenido, incluido el reconocimiento avanzado de imágenes y voz, el procesamiento del lenguaje natural y más.
Motores de recomendación: los sitios de comercio electrónico, por ejemplo, pueden utilizar bases de datos vectoriales y vectores para representar las preferencias de los clientes y los atributos de los productos. Esto les permite sugerir artículos similares a compras anteriores en función de la similitud de vectores, lo que mejora la experiencia del usuario y aumenta la retención.
IA conversacional: mejorar las interacciones de los agentes virtuales aumentando la capacidad de analizar las bases de conocimientos relevantes de manera eficiente y precisa para proporcionar respuestas contextuales en tiempo real a las consultas de los usuarios, junto con los documentos fuente y números de página para referencia.
Un estudio empresarial de nueva generación que permite a los creadores de IA entrenar, validar, ajustar e implementar tanto el machine learning tradicional como las nuevas capacidades de IA generativa impulsadas por modelos fundacionales. Cree un recurso de preguntas y respuestas a partir de una amplia base de conocimientos interna o externa con la ayuda de tareas de IA en watsonx.ai, como la generación aumentada de recuperación.
Un almacén de datos adaptado construido sobre una arquitectura de lakehouse de datos abierta para escalar cargas de trabajo de IA, para todos sus datos, en cualquier lugar. Almacene, consulte y busque incrustaciones vectoriales en watsonx.data con capacidades vectoriales integradas (vista previa técnica planificada para el cuarto trimestre de 2023).
Nuestra oferta de base de datos como servicio de PostgreSQL permite a los equipos dedicar más tiempo a construir con alta disponibilidad, orquestación de copias de seguridad, recuperación puntual (PITR) y réplica de lectura con facilidad. PostgreSQL ofrece pgvector, una extensión vectorial de código abierto que se podrá configurar con extensiones de IBM Cloud PostgreSQL (próximamente), proporcionando capacidades de búsqueda de similitud vectorial.
Nuestra base de datos como servicio de Elasticsearch viene con un motor de búsqueda de texto completo, lo que la convierte en el hogar perfecto para sus datos de texto no estructurados. Elasticsearch también admite diversas formas de búsqueda de similitud semántica (enlace externo a ibm.com). Admite vectores densos (enlace externo a ibm.com) para la búsqueda exacta de vecinos más cercanos, pero también proporciona modelos de IA integrados para calcular vectores dispersos y realizar búsquedas avanzadas de similitud (enlace externo a ibm.com).
Las organizaciones que utilizan correctamente los modelos generativos de IA pueden obtener innumerables beneficios, desde una mayor eficiencia operativa y una mejor toma de decisiones hasta la rápida creación de contenidos de marketing.
IBM anuncia la disponibilidad general de los primeros modelos de la serie watsonx Granite, una colección de modelos de IA generativa para avanzar en la infusión de la IA generativa en aplicaciones y flujos de trabajo empresariales.
RAG es un marco de IA para recuperar hechos de una base de conocimientos externa con el fin de basar los LLM en la información más precisa y actualizada y ofrecer a los usuarios una visión del proceso generativo de los LLM.
Notas a pie de página
1 Gartner Innovation Insight: Vector Databases (enlace externo a ibm.com), requiere una cuenta de Gartner), Gartner
2 Hoja de ruta estratégica de Gartner 2022 para almacenamiento (enlace externo a ibm.com), requiere una cuenta de Gartner), Gartner