Una base de datos vectorial almacena datos como matrices de números, vectores, y busca en ellas mediante distancia matemática en lugar de comparación de texto. Cada contenido, ya sea oración, documento o imagen, se convierte en un vector que captura su significado. La base recupera resultados al encontrar vectores cercanos al vector de consulta en un espacio de alta dimensión.
Un embedding es una representación numérica de contenido. Un modelo de aprendizaje automático, normalmente basado en arquitectura Transformer, lee un texto y produce una lista de números, generalmente de varios cientos a más de mil valores. Estos números codifican significado: oraciones con temas similares producen números parecidos, y oraciones no relacionadas producen otros distintos. «Evaluación de rendimiento» y «conversación sobre desarrollo profesional» generan embeddings próximos; «evaluación de rendimiento» y «receta para la cena» quedan lejos.
Cada contenido se pasa por un modelo de embeddings antes de entrar en la base. El modelo lo lee y produce un vector de longitud fija. Dos oraciones que expresan lo mismo con palabras diferentes producen embeddings cercanos; dos sobre asuntos no relacionados producen otros lejanos. Este paso ocurre una vez por documento, durante la ingestión, y los embeddings se guardan con el contenido original.
Todo el proceso se parece a una bibliotecaria experta que lee un libro y lo coloca por tema en vez de ordenarlo solo por título. El modelo de embeddings lee buscando significado.
Guardar millones de embeddings es sencillo. Encontrar los más cercanos a una consulta en milisegundos requiere un índice. Las bases vectoriales usan algoritmos de vecino más cercano aproximado, ANN, como grafos HNSW, Hierarchical Navigable Small World, para organizar el espacio y agrupar vectores similares. Según la visión técnica de Weaviate, estas estructuras intercambian una pequeña cantidad de precisión por una gran ganancia de velocidad. Para la mayoría de aplicaciones, los resultados aproximados bastan y el beneficio de rendimiento es grande.
Qué se almacena
- Base tradicional: filas y columnas estructuradas o texto indexado por caracteres exactos.
- Base vectorial: embeddings numéricos que representan el significado de contenido no estructurado.
Cómo funciona la búsqueda
- Base tradicional: busca valores exactos o coincidentes por patrón, fila a fila o mediante un índice de palabras clave.
- Base vectorial: calcula distancia entre el embedding de consulta y los almacenados, y devuelve coincidencias aproximadas ordenadas.
Para qué está optimizada
- Base tradicional: consultas precisas, filtrado, transacciones y agregaciones sobre datos estructurados.
- Base vectorial: encontrar contenido conceptualmente relacionado con una consulta, incluso sin palabras compartidas.
Mejor encaje
- Base tradicional: datos estructurados con esquemas conocidos, donde se requieren respuestas exactas: registros de usuario, transacciones financieras e inventarios.
- Base vectorial: contenido no estructurado, documentos, notas, transcripciones de audio e imágenes, donde significado y contexto importan más que el texto exacto.
Bases de conocimientos con IA y herramientas de soporte. Las plataformas de atención al cliente incorporan documentación y tickets previos en una base vectorial. Al enviar un usuario una solicitud, el sistema recupera las secciones de documentación semánticamente más cercanas y las muestra al agente o directamente al usuario antes de que intervenga una persona.
Gestión de conocimiento personal. Quienes capturan notas, recortes web y documentos durante meses o años acumulan demasiado contenido para buscarlo fiablemente por palabra clave. Una capa de recuperación vectorial permite encontrar entradas que responden a una pregunta aunque la persona no recuerde qué escribió ni cuándo.