Baza wektorowa przechowuje dane jako tablice liczb zwane wektorami i przeszukuje je za pomocą odległości matematycznej, a nie porównywania tekstu. Każdy fragment treści – zdanie, dokument czy obraz – zostaje przekształcony w wektor oddający jego znaczenie. Baza zwraca wyniki, odnajdując wektory bliskie wektorowi zapytania w przestrzeni wielowymiarowej.
Embedding to liczbowa reprezentacja treści. Model uczenia maszynowego, zwykle oparty na architekturze transformerów, odczytuje fragment tekstu i zwraca listę liczb, najczęściej od kilkuset do ponad tysiąca wartości. Liczby kodują znaczenie: zdania o podobnych tematach dają podobne liczby, a zdania o niezwiązanych tematach – inne. Frazy „ocena okresowa” i „rozmowa o rozwoju kariery” tworzą embeddingi blisko siebie w przestrzeni wektorowej. „Ocena okresowa” i „przepis na dzisiejszą kolację” leżą daleko od siebie.
Każda przechowywana treść przechodzi przez model embeddingów przed wejściem do bazy. Model odczytuje treść i zwraca wektor o stałej długości. Dwa zdania przekazujące to samo innymi słowami tworzą bliskie embeddingi, a dwa zdania o niezwiązanych tematach – odległe. Ten krok odbywa się raz na dokument, przy pobieraniu, a embeddingi są zapisywane obok oryginalnej treści.
Cały proces przypomina pracę doświadczonego bibliotekarza, który czyta książkę i umieszcza ją w dziale według tematu, zamiast sortować tylko po tytule. Model embeddingów czyta dla znaczenia.
Przechowywanie milionów embeddingów jest proste. Odnalezienie najbliższych dla zapytania w milisekundach wymaga indeksu. Bazy wektorowe stosują algorytmy przybliżonych najbliższych sąsiadów, np. HNSW, aby organizować przestrzeń tak, by podobne wektory grupowały się blisko siebie. Według technicznego omówienia embeddingów Weaviate takie struktury indeksujące zamieniają niewielką utratę dokładności odzyskiwania na znaczny zysk prędkości. W większości praktycznych zastosowań wyniki przybliżone wystarczają, a korzyść wydajnościowa jest duża.
Co jest przechowywane
- Tradycyjna baza: ustrukturyzowane wiersze i kolumny lub tekst indeksowany dokładnymi znakami.
- Baza wektorowa: numeryczne embeddingi reprezentujące znaczenie nieustrukturyzowanej treści.
Jak działa wyszukiwanie
- Tradycyjna baza: szuka wartości dokładnych lub dopasowanych wzorcem, wiersz po wierszu albo przez indeks słów kluczowych.
- Baza wektorowa: oblicza odległość między embeddingiem zapytania a zapisanymi embeddingami i zwraca ranking przybliżonych dopasowań.
Do czego jest zoptymalizowana
- Tradycyjna baza: precyzyjne wyszukiwanie, filtrowanie, transakcje i agregacje danych ustrukturyzowanych.
- Baza wektorowa: znajdowanie treści powiązanej pojęciowo z zapytaniem, nawet bez wspólnych słów.
Najlepsze zastosowanie
- Tradycyjna baza: dane ustrukturyzowane o znanym schemacie, gdy potrzebne są dokładne odpowiedzi – rekordy użytkowników, transakcje finansowe, systemy magazynowe.
- Baza wektorowa: treści nieustrukturyzowane – dokumenty, notatki, transkrypcje audio i obrazy – gdzie znaczenie oraz kontekst są ważniejsze niż dokładny tekst.
Bazy wiedzy AI i narzędzia wsparcia. Platformy obsługi klienta osadzają dokumentację i wcześniejsze zgłoszenia wsparcia w bazie wektorowej. Gdy użytkownik przesyła prośbę, system odzyskuje semantycznie najbliższe sekcje dokumentacji i pokazuje je agentowi lub bezpośrednio użytkownikowi, zanim potrzebna będzie interwencja człowieka.
Osobiste zarządzanie wiedzą. Użytkownicy gromadzący przez miesiące lub lata notatki, wycinki z sieci i dokumenty uzyskują za dużo treści, by niezawodnie przeszukiwać je słowami kluczowymi. Warstwa odzyskiwania oparta na wektorach pozwala znaleźć wpisy odpowiadające na pytanie, nawet gdy użytkownik nie pamięta, co napisał ani kiedy.