Narzędzia AI
TurboQuant od Google: ile naprawdę oszczędza kompresja KV cache
Zaktualizowano: Autor: Andrzej Niemiec7 min czytania
TurboQuant to metoda Google Research do kompresji KV cache modeli językowych. Wyjaśniamy, ile daje pamięci i szybkości, gdzie traci jakość i jak policzyć realne oszczędności.
Spis treści
- Czym jest TurboQuant i kto za nim stoi?
- Co TurboQuant kompresuje, a czego nie?
- Jak działa kwantyzacja bez treningu modelu?
- Ile pamięci i szybkości daje TurboQuant?
- Czy TurboQuant pogarsza jakość odpowiedzi?
- Który wariant wybrać? Porównanie poziomów kompresji
- Gdzie TurboQuant jest już dostępny?
- Kiedy kompresja KV cache nie jest dobrym wyborem?
- Jak policzyć, czy kompresja obniży koszty?
- Jak wygląda wdrożenie w praktyce?
- Najczęstsze pytania
- Źródła
Czym jest TurboQuant i kto za nim stoi?
TurboQuant to metoda kwantyzacji wektorów opracowana przez badaczy Google Research. Google ogłosiło ją 24 marca 2026 roku, a praca „TurboQuant: Online Vector Quantization with Near-optimal Distortion Rate” pojawiła się na arXiv w 2025 roku i była prezentowana na ICLR 2026 [1][2]. Współautorzy pochodzą z Google DeepMind, NYU i KAIST. To wynik badań, a nie komercyjny produkt z cennikiem i umową licencyjną [3].
Co TurboQuant kompresuje, a czego nie?
Kompresuje KV cache, czyli pamięć roboczą modelu transformerowego podczas generowania odpowiedzi [1]. Cache rośnie z długością kontekstu i liczbą równoległych sesji, bo każdy token dokłada nowe klucze i wartości. TurboQuant nie zmniejsza wag modelu ani nie obniża kosztu całej infrastruktury. Redukcja pamięci zmienia limit kontekstu i liczbę sesji, nie rachunek za serwer.
To rozróżnienie jest praktyczne. Zespół, który szuka oszczędności w plikach modelu, nie znajdzie jej tutaj. Zespół, który płaci za pamięć GPU potrzebną do obsługi długich rozmów i wielu użytkowników naraz, ma realny punkt zaczepienia. Podobna zmiana perspektywy pojawia się przy innych nowych mechanizmach wyszukiwania, o których piszemy w tekście o Google Search z AI.
Jak działa kwantyzacja bez treningu modelu?
Metoda stosuje losową rotację wektorów, a następnie kwantyzację do niskiej liczby bitów [2]. Do estymacji iloczynów skalarnych dodaje jednobitowy etap QJL. Działa online, bez treningu modelu i bez codebooka dopasowanego do zbioru danych. Oznacza to, że można ją zastosować do modelu już wytrenowanego, bez powtarzania procesu uczenia. Odróżnia ją to od kwantyzacji świadomej treningu, w której model uczy się pracy w niższej precyzji.
Ile pamięci i szybkości daje TurboQuant?
Google raportuje co najmniej sześciokrotnie mniejszy KV cache oraz do ośmiu razy szybsze liczenie attention logits dla wariantu 4-bitowego na GPU NVIDIA H100 w porównaniu z 32-bitowymi kluczami [1][4]. Oba wyniki pochodzą z konkretnych konfiguracji benchmarkowych. Przyspieszenie dotyczy etapu obliczeń attention, a nie przepustowości całej usługi. Redukcja pamięci nie jest równoznaczna z sześciokrotnie niższym rachunkiem w chmurze [3][4].
Czy TurboQuant pogarsza jakość odpowiedzi?
Jakość zależy od liczby bitów i zadania. Badania Google wskazywały brak mierzalnej degradacji przy około 3,5 bita w testowanych warunkach, między innymi na modelach Gemma i Mistral [1][2]. Niezależna analiza vLLM z 11 maja 2026 roku pokazała, że agresywne warianty powodują istotne spadki jakości, a praktyczny wariant 4-bitowy ma umiarkowany koszt dokładności [5]. Odpowiedź na pytanie z nagłówka wymaga więc wskazania modelu, bit-widthu i zadania.
Który wariant wybrać? Porównanie poziomów kompresji
Trzy poziomy różnią się nie tylko zużyciem pamięci, ale też miejscem dostępności i udokumentowanym kompromisem.
| Wariant | Redukcja pamięci | Kompromis jakości | Gdzie jest dostępny |
|---|---|---|---|
| Badawczy, około 3,5 bita | co najmniej 6× mniej KV cache w testach Google [1] | brak mierzalnej degradacji w testowanych warunkach [2] | opis badawczy, bez oficjalnej implementacji produkcyjnej [3] |
| 4-bitowy, praktyczny | mniejsza niż w wariancie badawczym | umiarkowany koszt dokładności w analizie vLLM [5] | serwery inferencji i bazy wektorowe |
| 2- i 1-bitowy | największa | wyraźne spadki jakości i kompromis recall–pamięć [5] | poziomy 4-, 2- i 1-bitowe w Qdrant 1.18 [6] |
Tabela pokazuje wymianę, a nie ranking. Wariant badawczy nie jest produktem, a wariant 1-bitowy nie jest domyślnym ustawieniem dla zastosowań wrażliwych na błędy.
Gdzie TurboQuant jest już dostępny?
Qdrant 1.18 dodał TurboQuant do wyszukiwania wektorowego 13 maja 2026 roku [6]. Metoda trafiła też do testów społeczności w llama.cpp i MLX Studio [7][8]. Google nie udostępniło oficjalnej implementacji produkcyjnej [3]. Dostępność zależy więc od konkretnej bazy wektorowej albo serwera inferencji, a nie od jednego pakietu do pobrania.
Skala ma znaczenie przy wyszukiwaniu. Jeden z opisów wariantu wektorowego podaje przykład kompresji 10 mln wektorów zajmujących 31 GB [9]. Dla porównania, w modelu językowym oszczędność dotyczy pamięci generowania odpowiedzi, a nie indeksu dokumentów.
Kiedy kompresja KV cache nie jest dobrym wyborem?
Największa korzyść pojawia się przy długich kontekstach i wielu równoległych sesjach, bo wtedy KV cache dominuje w zużyciu pamięci [1]. Przy krótkich rozmowach i małym obciążeniu zysk może być niewidoczny w rachunku. W zastosowaniach wymagających wysokiej precyzji agresywny bit-width jest ryzykiem, bo analiza vLLM wykazała spadki jakości przy takich ustawieniach [5]. Wybór poziomu kompresji jest decyzją o tolerancji błędu, nie tylko o koszcie.
Jak policzyć, czy kompresja obniży koszty?
Pomiar trzeba wykonać end-to-end, na własnym modelu i własnym ruchu. Minimalny zestaw danych to model i jego wariant, sprzęt, bit-width, liczba zapytań na sekundę, opóźnienie p95, recall lub accuracy oraz koszt przed wdrożeniem i po nim, w pełnym okresie pomiaru [5][3]. Redukcja pamięci może zwiększyć liczbę sesji albo pozwolić na dłuższy kontekst. Może też obniżyć przepustowość i podnieść opóźnienia, co zjada oszczędność. Sposób budowania takich pomiarów opisujemy w artykule o benchmarkach AI.
Jak wygląda wdrożenie w praktyce?
- Wskaż modele, w których KV cache jest realnym wąskim gardłem pamięci.
- Zmierz stan wyjściowy: pamięć, opóźnienie p95, jakość odpowiedzi.
- Wybierz bit-width i sprawdź, czy dany stos go obsługuje.
- Porównaj wynik na tym samym ruchu, z tą samą długością kontekstu.
- Utrzymaj możliwość powrotu do poprzedniego ustawienia.
Krok czwarty jest najczęściej pomijany. Bez niego nie wiadomo, czy oszczędność pamięci przełożyła się na koszt, czy tylko przesunęła wąskie gardło w inne miejsce.
Najczęstsze pytania
Czy TurboQuant jest darmowy?
Google nie opublikowało oficjalnej implementacji produkcyjnej, więc nie istnieje oficjalny cennik metody [3]. Dostępne są integracje open source, między innymi w Qdrant [6]. Warunki licencji zależą od projektu, który ją wdrożył, a nie od samego opisu badawczego.
Czy TurboQuant kompresuje wagi modelu?
Nie. Kompresuje KV cache, czyli pamięć roboczą podczas generowania odpowiedzi [1]. Wagi modelu pozostają bez zmian, a rozmiar pliku modelu się nie zmniejsza. Oszczędność pojawia się w pamięci potrzebnej na obsługę kontekstu i równoległych sesji.
Czy metoda działa na każdym modelu?
Badania Google obejmowały między innymi Gemma i Mistral [1]. Nie ma publicznego potwierdzenia, że każda architektura zachowuje się tak samo. Przed wdrożeniem trzeba zmierzyć jakość na własnym modelu i zadaniu, bo wynik zależy od wariantu i obciążenia [5].
Czy warto wybrać wariant 1-bitowy?
Wariant 1-bitowy daje największą redukcję pamięci, ale w analizie vLLM agresywne ustawienia powodowały istotne spadki jakości [5]. W Qdrant dostępne są poziomy 4-, 2- i 1-bitowe z różnymi kompromisami recall–pamięć [6]. Wybór zależy od tolerancji na błędy wyszukiwania w konkretnym zastosowaniu.
Czy TurboQuant przyspiesza całą usługę?
Nie w takim sensie, w jakim sugerują nagłówki. Ośmiokrotne przyspieszenie dotyczy liczenia attention logits w konkretnym benchmarku na H100 [1][4]. Przepustowość całej usługi zależy też od pozostałych etapów inferencji, sieci i kolejkowania zapytań.
Źródła
- TurboQuant: Redefining AI efficiency with extreme compression (Google Research, 2026)
- TurboQuant: Online Vector Quantization with Near-optimal Distortion Rate (arXiv, 2025)
- What Google's TurboQuant can and can't do for AI's spiraling cost (ZDNet, 2026)
- Google's TurboQuant cuts AI memory use without losing accuracy (Help Net Security, 2026)
- A First Comprehensive Study of TurboQuant: Accuracy and Performance (vLLM, 2026)
- TurboQuant in Qdrant (Qdrant, 2026)
- TurboQuant w benchmarkach Llama.cpp (Reddit r/LocalLLaMA, 2026)
- Implementacja TurboQuant w MLX Studio (Reddit r/LocalLLaMA, 2026)
- Google TurboVec: Compress 10M Vectors from 31GB (explainx, 2026)
Fanatyk nowych technologii i specjalista w zakresie sztucznej inteligencji.
Jak powstają teksty: Polityka AI · O redakcji