MUVERA – nowy standard wyszukiwania wielowektorowego

Nowoczesne wyszukiwarki i systemy rekomendacyjne coraz częściej sięgają po modele semantyczne oparte na wektorach. Jednowektorowe reprezentacje umożliwiają szybkie porównania, ale mają ograniczoną precyzję. Z kolei podejścia wielowektorowe oferują znacznie większą trafność wyników, lecz są kosztowne obliczeniowo.

Przełomem w tej dziedzinie może być algorytm MUVERA, zaprezentowany na konferencji NeurIPS 2024 przez inżynierów Google, który pozwala zachować wysoką trafność wielowektorowych systemów przy wydajności zbliżonej do klasycznego wyszukiwania jednowektorowego.

Tradycyjne systemy informacji zwrotnej (IR) korzystają z tzw. jednowektorowych embeddingów, gdzie cały dokument reprezentowany jest przez jeden wektor. Podejście to umożliwia szybkie przeszukiwanie indeksów za pomocą MIPS (Maximum Inner Product Search). Jednak wraz z rozwojem modeli językowych zauważono, że znacznie trafniejsze wyniki można uzyskać, reprezentując dokumenty i zapytania jako zestawy wielu wektorów – po jednym na każde słowo lub token.

Metoda ta, znana z modelu ColBERT, określana jest jako multi-vector retrieval. Wprowadza ona większą głębię semantyczną, ale jednocześnie wymaga znacznie większej liczby operacji porównawczych i indeksowania – każda para zapytanie–dokument wymaga przeliczenia złożonej funkcji podobieństwa (Chamfer similarity), co istotnie zwiększa koszt czasowy i pamięciowy.

W odpowiedzi na to wyzwanie pojawiły się heurystyki jednowektorowe, m.in. w systemach takich jak ColBERTv2 i PLAID, które stosują wieloetapowe filtrowanie dokumentów z wykorzystaniem uproszczonych porównań jednowektorowych. Choć przyspieszają proces, ich skuteczność w znajdowaniu trafnych wyników jest ograniczona, a ich konstrukcja – złożona i trudna w konfiguracji.

Algorytm MUVERA (Multi-Vector Retrieval via Fixed Dimensional Encodings) upraszcza wyszukiwanie wielowektorowe przez konwersję całych zestawów wektorów do pojedynczego, stałowymiarowego wektora – tzw. FDE (Fixed Dimensional Encoding). W praktyce:

Każde zapytanie i dokument wielowektorowy przekształcane są w wektor FDE.
Porównania między zapytaniami a dokumentami przeprowadza się za pomocą standardowego MIPS.
Najtrafniejsze wyniki są ponownie oceniane dokładną funkcją Chamfer.

FDE tworzony jest przez losowe podziały przestrzeni wektorowej (np. metodą SimHash), a następnie agregację lokalnych centroidów. Transformacje te są data-oblivious – nie wymagają trenowania i dobrze znoszą zmiany rozkładów danych. MUVERA umożliwia znaczne ograniczenie liczby operacji przeszukiwania, zachowując zgodność z miarą Chamfer z gwarancją aproksymacji.

W eksperymentach na zbiorach danych BEIR (MS MARCO, HotpotQA, Quora, SciDocs i inne) MUVERA osiągnęła:

średnio 10% wyższy wskaźnik trafności (Recall@k) niż PLAID,
do 90% niższą latencję, czyli znacznie krótszy czas odpowiedzi systemu,
porównywalną trafność przy 2–5 razy mniejszej liczbie porównywanych kandydatów.

Co więcej, zastosowanie kompresji (PQ-256-8) umożliwia 32-krotne zmniejszenie rozmiaru FDE bez wyraźnej utraty jakości.

Tabela porównawcza: MUVERA vs PLAID

Cecha	MUVERA	PLAID
Recall@100 (MS MARCO)	0.90–0.95	0.90
Latencja	0.03–0.07 s	0.28–0.44 s
Liczba kandydatów	60–100	300–1000
Kompresja FDE	do 32×	brak

MUVERA rozwiązuje dotychczasowy kompromis między jakością a wydajnością. Może być stosowany w systemach, które wymagają niskiej latencji, a jednocześnie oczekują wysokiej precyzji dopasowań – np. w wyszukiwarkach, platformach reklamowych czy systemach rekomendacji.

Z punktu widzenia SEO i content marketingu oznacza to:

lepsze dopasowanie treści do intencji użytkownika – systemy oparte na FDE wykrywają podobieństwo nie tylko ogólne, ale też lokalne fragmenty treści odpowiadające różnym aspektom zapytania,
premiowanie treści bogatych informacyjnie – artykuły pokrywające wiele pytań w ramach jednego tematu mogą być skuteczniej indeksowane i wyświetlane,
lepsze wsparcie dla zapytań long-tail – nawet mało popularne lub rozbudowane pytania mogą być trafnie obsługiwane.

MUVERA to przykład nowej klasy algorytmów, które łączą rygor teoretyczny z praktyczną użytecznością. Jako pierwsza metoda tego typu oferuje gwarancje przybliżenia dla podobieństwa Chamfer, umożliwiając jednowektorowe przeszukiwanie w czasie istotnie krótszym niż brute-force.

Możliwe ograniczenia dotyczą dostrajania parametrów FDE w przypadku ekstremalnie krótkich zapytań lub nietypowych danych. Ponadto, choć system został przebadany na danych tekstowych, potencjalnie może być rozwijany także dla obrazów czy danych multimodalnych.

Wysoka skuteczność MUVERA bez konieczności ręcznego strojenia parametrów sprawia, że algorytm może być wdrażany w środowiskach produkcyjnych z niewielkim nakładem pracy inżynierskiej.

MUVERA oferuje nowe możliwości w dziedzinie wyszukiwania wielowektorowego. Dzięki transformacji danych do stałowymiarowych reprezentacji, możliwe staje się wykorzystanie precyzyjnych metod dopasowania bez utraty wydajności. Dla specjalistów SEO oznacza to rosnące znaczenie treści semantycznie bogatej, strukturalnej i wieloaspektowej. MUVERA wskazuje kierunek rozwoju technologii wyszukiwania – w stronę modeli szybkich, dokładnych i skalowalnych.

Informacje o publikacji źródłowej

Tytuł: MUVERA: Multi-Vector Retrieval via Fixed Dimensional Encodings
Autorzy: Laxman Dhulipala, Majid Hadian, Rajesh Jayaram, Jason Lee, Vahab Mirrokni
Konferencja: 38th Conference on Neural Information Processing Systems (NeurIPS 2024)
DOI: 10.48550/arXiv.2404.01904

Zapisz się na newsletter wypełniając pola poniżej. Będziesz na bieżąco ze wszystkimi wydarzeniami związanymi z Silesia SEM i informacjami o marketingu internetowym w sieci. Nie spamujemy.

Zostanie wysłany do Ciebie e-mail potwierdzający: przeczytaj zawarte w nim instrukcje, aby potwierdzić subskrypcję.

Autor
Ostatnie wpisy

Artur Strzelecki

Nauczyciel w Uniwersytet Ekonomiczny w Katowicach

Niezależny specjalista, który upowszechnia wiedzę o marketingu w wyszukiwarkach internetowych. Zazwyczaj uczy studentów, a w wolnych chwilach doradza jak odnaleźć własną ścieżkę w Google.