Narzędzia AI
turbovec: 16× mniejsze kody wektorowe bez trenowania codebooka
Zaktualizowano: Autor: Andrzej Niemiec9 min czytania
turbovec kompresuje kody wektorowe 16× bez trenowania codebooka. Jak działa TurboQuant, jaki jest recall przy 2 i 4 bitach i kiedy lepsze są FAISS lub HNSW.
Spis treści
- Czym jest turbovec i czym różni się od TurboQuant?
- Skąd bierze się 16-krotna kompresja wektorów?
- Czy turbovec naprawdę działa bez codebooka?
- Jak wypada jakość wyszukiwania przy 2 i 4 bitach?
- Jakie są ograniczenia turbovec w produkcji?
- Czy turbovec zastąpi FAISS, HNSW i ScaNN?
- Jak sprawdzić turbovec na własnym zbiorze?
- Najczęstsze pytania
- Źródła
Czym jest turbovec i czym różni się od TurboQuant?
turbovec to otwarty indeks wektorowy napisany w Ruście, udostępniany w Pythonie przez bindingi [1]. TurboQuant to praca badawcza Google Research przyjęta na ICLR 2026 [3], natomiast turbovec jest niezależną implementacją tego podejścia, a nie oficjalnym produktem Google [1]. Pakiet na PyPI ma wydanie 1.1.2 opublikowane 6 października 2026 r. [2]. Dokumentacja pokazuje instalację pip install turbovec oraz klasę TurboQuantIndex, a równolegle dostępny jest interfejs Rust [1][2]. Projekt jest opisywany jako narzędzie dla lokalnego RAG, nastawione na zużycie pamięci, prywatność i niskie opóźnienia [6]. Szersze tło narzędzi do pracy z kodem zbiera strona AI do programowania.
Skąd bierze się 16-krotna kompresja wektorów?
Mnożnik 16× wynika z przejścia z 32 bitów na 2 bity na wymiar, a nie z gwarantowanego rozmiaru całego indeksu [1][4]. Pojedynczy embedding o 1536 wymiarach zajmuje 6144 B w formacie float32 i 384 B jako 2-bitowe kody [1]. Redukcja dotyczy więc samych kodów wektorowych, bez norm, identyfikatorów, metadanych i narzutów struktury indeksu [1][4].
Publiczny przykład projektu podaje około 31 GB → 4 GB dla 10 mln wektorów [5]. Dla 50 mln wektorów o 1536 wymiarach samo surowe float32 to około 307 GB [1]. Każdą oszczędność trzeba więc liczyć od wymiaru, liczby wektorów i konfiguracji indeksu, a nie od samego mnożnika. Ten sam rachunek pamięci dotyczy każdego pipeline'u wektorowego, także tych opisanych w przeglądzie bibliotek Python do przetwarzania danych.
Czy turbovec naprawdę działa bez codebooka?
Turbovec nie trenuje codebooka na próbce danych, ale nie oznacza to braku jakiegokolwiek codebooka [1]. Algorytm korzysta z ustalonego matematycznie codebooka Lloyd–Max po rotacji wektora: repozytorium podaje 4 poziomy dla 2 bitów i 16 poziomów dla 4 bitów [1]. Poprawne określenie to data-oblivious, czyli bez treningu na danych, a nie bez codebooka [4].
W praktyce nie przygotowujesz osobnej próbki treningowej i nie powtarzasz tego kroku przy każdej zmianie korpusu [1]. Cena tego podejścia jest znana z teorii kwantyzacji: mniej bitów oznacza większy błąd aproksymacji odległości, dlatego jakość trzeba mierzyć na własnych danych, a nie zakładać ją z opisu biblioteki [4][5].
Jak wypada jakość wyszukiwania przy 2 i 4 bitach?
Jakość jest przybliżona. Dla benchmarkowanych embeddingów OpenAI repozytorium podaje recall@1 około 96–98% przy 4 bitach i 90–93% przy 2 bitach [5]. Wynik zależy od modelu embeddingów, wymiaru i korpusu, więc nie jest stałą właściwością biblioteki [5].
| Kryterium | 2 bity na wymiar | 4 bity na wymiar |
|---|---|---|
| Kompresja kodów względem float32 | 16× | 8× |
| Poziomy codebooka Lloyd–Max | 4 | 16 |
| recall@1 w benchmarku repozytorium | 90–93% | 96–98% |
| Typowy wybór | maksymalna oszczędność pamięci | wyższa jakość przy połowie oszczędności |
Tabela pokazuje kompromis, który trzeba podjąć świadomie. Cztery bity mają sens, gdy recall jest krytyczny dla produktu, a dwa bity wtedy, gdy indeks musi zmieścić się w ograniczonej pamięci i akceptujesz większy błąd wyszukiwania [5].
Jakie są ograniczenia turbovec w produkcji?
turbovec jest biblioteką in-process. Nie ma sieciowego API, replikacji, rozproszenia ani pełnego multi-tenancy [1]. Wyszukiwanie skanuje wektory, więc koszt rośnie liniowo i nie jest to indeks typu HNSW ani IVF [1]. Autorzy wprost wskazują, że dla setek milionów wektorów warstwą indeksowania powinny być HNSW lub IVF [1]. Biblioteka pasuje więc do jednego procesu i zbioru, który mieści się w pamięci, a nie do współdzielonej usługi wyszukiwania.
Wokół tematu pojawiają się doniesienia o testach dużych zbiorów produktowych. Publiczne materiały Allegro opisują aktywność zespołów AI i wyszukiwania [8][9], ale nie zawierają komunikatu o teście turbovec na 50 mln embeddingów produktów. Takiego wyniku nie potwierdzają też źródła samego projektu [5][8].
Czy turbovec zastąpi FAISS, HNSW i ScaNN?
Repozytorium raportuje wyniki względem FAISS na określonych maszynach i zbiorach: 4-bitowe wyszukiwanie jest 3,8–5,1× szybsze [1]. Publikowany przewodnik po turbovec mówi o przewadze 12–20% nad FAISS na ARM [7]. To benchmarki autorów projektu albo omówienia cudzych pomiarów, a nie uniwersalne przyspieszenie na dowolnym korpusie [1][7].
FAISS i HNSW pozostają warstwą indeksowania dla dużych, współdzielonych zbiorów, gdzie liczy się rozproszenie i utrzymanie jednej usługi dla wielu aplikacji [1]. turbovec rozwiązuje inny problem: zmniejsza pamięć potrzebną na kody wektorowe w jednym procesie. To uzupełnienie, a nie zamiennik całego stosu wyszukiwania.
Jak sprawdzić turbovec na własnym zbiorze?
Pomiar trzeba wykonać na własnym korpusie, najlepiej względem dokładnego wyszukiwania FP32 [5][4]. Minimalny zestaw kroków wygląda tak:
- Zbuduj indeks referencyjny na float32 i zmierz recall@k dla swoich zapytań.
- Powtórz pomiar dla turbovec przy 4 i 2 bitach, na tych samych parach zapytań i dokumentów [5].
- Zmierz opóźnienia p95 i p99, nie tylko średnią, oraz przepustowość przy docelowym obciążeniu [4].
- Sprawdź pamięć całego procesu, a nie sam rozmiar pliku z kodami [5].
- Dodaj filtrowanie metadanych i ewentualny reranking, bo one zmieniają końcową jakość wyników [4].
Dopiero taki zestaw liczb mówi, czy oszczędność pamięci nie kosztuje zbyt wiele jakości w konkretnym zastosowaniu [5][4].
Najczęstsze pytania
Czy turbovec to baza wektorowa?
Nie. turbovec jest biblioteką indeksu wektorowego działającą w procesie aplikacji [1]. Nie oferuje sieciowego API, replikacji, rozproszenia ani pełnego multi-tenancy [1]. Warstwę bazy lub usługi wyszukiwania trzeba zbudować osobno, a przy setkach milionów wektorów autorzy wskazują HNSW lub IVF [1].
Jakie poziomy kwantyzacji udostępnia turbovec?
Biblioteka opisuje 2 bity i 4 bity na wymiar, z codebookiem Lloyd–Max o 4 poziomach dla 2 bitów i 16 poziomach dla 4 bitów [1]. Dwa bity dają 16-krotną kompresję kodów, cztery bity osiem razy [1][4]. W benchmarku repozytorium recall@1 wynosi około 90–93% przy 2 bitach i 96–98% przy 4 bitach [5].
Ile miejsca zajmie mój indeks wektorowy?
To zależy od liczby wektorów, wymiaru i tego, co trzymasz poza kodami [1][4]. Embedding o 1536 wymiarach to 6144 B w float32 i 384 B jako 2-bitowe kody [1]. Publiczny przykład projektu podaje około 31 GB → 4 GB dla 10 mln wektorów [5]. Normy, identyfikatory i metadane dodają własny narzut.
Czy turbovec jest szybszy od FAISS?
W benchmarkach autorów projektu 4-bitowe wyszukiwanie jest 3,8–5,1× szybsze od FAISS na określonych maszynach i zbiorach [1]. Przewodnik po bibliotece podaje 12–20% przewagi na ARM [7]. Nie jest to uniwersalna gwarancja, bo wynik zależy od konfiguracji FAISS, sprzętu i rozmiaru danych [1][7].
Źródła
- GitHub - RyanCodrai/turbovec: A vector index built on TurboQuant, written in Rust with Python bindings (GitHub, 2026)
- turbovec · PyPI (PyPI, 2026)
- ICLR Poster TurboQuant: Online Vector Quantization with Near-optimal Distortion Rate (ICLR, 2026)
- Compress RAG Vector Codes 16x With Data-Oblivious Quantization (wavect.io, 2026)
- turbovec/README.md at main · RyanCodrai/turbovec (GitHub, 2026)
- What Is turbovec? A Rust Vector Index That Saves Memory for Local RAG (knightli.com, 2026)
- turbovec for RAG: A Practical Guide to Faster, Smaller Vector Search (Medium, 2026)
- Allegro AI Hub (Allegro, 2026)
- allegro Tech (Allegro, 2026)
Fanatyk nowych technologii i specjalista w zakresie sztucznej inteligencji.
Jak powstają teksty: Polityka AI · O redakcji