Przejdź do treści

Narzędzia AI

TurboQuant od Google: ile naprawdę oszczędza kompresja KV cache

Zaktualizowano: Autor: Andrzej Niemiec7 min czytania

TurboQuant to metoda Google Research do kompresji KV cache modeli językowych. Wyjaśniamy, ile daje pamięci i szybkości, gdzie traci jakość i jak policzyć realne oszczędności.

Spis treści
  1. Czym jest TurboQuant i kto za nim stoi?
  2. Co TurboQuant kompresuje, a czego nie?
  3. Jak działa kwantyzacja bez treningu modelu?
  4. Ile pamięci i szybkości daje TurboQuant?
  5. Czy TurboQuant pogarsza jakość odpowiedzi?
  6. Który wariant wybrać? Porównanie poziomów kompresji
  7. Gdzie TurboQuant jest już dostępny?
  8. Kiedy kompresja KV cache nie jest dobrym wyborem?
  9. Jak policzyć, czy kompresja obniży koszty?
  10. Jak wygląda wdrożenie w praktyce?
  11. Najczęstsze pytania
  12. Źródła

Czym jest TurboQuant i kto za nim stoi?

TurboQuant to metoda kwantyzacji wektorów opracowana przez badaczy Google Research. Google ogłosiło ją 24 marca 2026 roku, a praca „TurboQuant: Online Vector Quantization with Near-optimal Distortion Rate” pojawiła się na arXiv w 2025 roku i była prezentowana na ICLR 2026 [1][2]. Współautorzy pochodzą z Google DeepMind, NYU i KAIST. To wynik badań, a nie komercyjny produkt z cennikiem i umową licencyjną [3].

Co TurboQuant kompresuje, a czego nie?

Kompresuje KV cache, czyli pamięć roboczą modelu transformerowego podczas generowania odpowiedzi [1]. Cache rośnie z długością kontekstu i liczbą równoległych sesji, bo każdy token dokłada nowe klucze i wartości. TurboQuant nie zmniejsza wag modelu ani nie obniża kosztu całej infrastruktury. Redukcja pamięci zmienia limit kontekstu i liczbę sesji, nie rachunek za serwer.

To rozróżnienie jest praktyczne. Zespół, który szuka oszczędności w plikach modelu, nie znajdzie jej tutaj. Zespół, który płaci za pamięć GPU potrzebną do obsługi długich rozmów i wielu użytkowników naraz, ma realny punkt zaczepienia. Podobna zmiana perspektywy pojawia się przy innych nowych mechanizmach wyszukiwania, o których piszemy w tekście o Google Search z AI.

Jak działa kwantyzacja bez treningu modelu?

Metoda stosuje losową rotację wektorów, a następnie kwantyzację do niskiej liczby bitów [2]. Do estymacji iloczynów skalarnych dodaje jednobitowy etap QJL. Działa online, bez treningu modelu i bez codebooka dopasowanego do zbioru danych. Oznacza to, że można ją zastosować do modelu już wytrenowanego, bez powtarzania procesu uczenia. Odróżnia ją to od kwantyzacji świadomej treningu, w której model uczy się pracy w niższej precyzji.

Ile pamięci i szybkości daje TurboQuant?

Google raportuje co najmniej sześciokrotnie mniejszy KV cache oraz do ośmiu razy szybsze liczenie attention logits dla wariantu 4-bitowego na GPU NVIDIA H100 w porównaniu z 32-bitowymi kluczami [1][4]. Oba wyniki pochodzą z konkretnych konfiguracji benchmarkowych. Przyspieszenie dotyczy etapu obliczeń attention, a nie przepustowości całej usługi. Redukcja pamięci nie jest równoznaczna z sześciokrotnie niższym rachunkiem w chmurze [3][4].

Czy TurboQuant pogarsza jakość odpowiedzi?

Jakość zależy od liczby bitów i zadania. Badania Google wskazywały brak mierzalnej degradacji przy około 3,5 bita w testowanych warunkach, między innymi na modelach Gemma i Mistral [1][2]. Niezależna analiza vLLM z 11 maja 2026 roku pokazała, że agresywne warianty powodują istotne spadki jakości, a praktyczny wariant 4-bitowy ma umiarkowany koszt dokładności [5]. Odpowiedź na pytanie z nagłówka wymaga więc wskazania modelu, bit-widthu i zadania.

Który wariant wybrać? Porównanie poziomów kompresji

Trzy poziomy różnią się nie tylko zużyciem pamięci, ale też miejscem dostępności i udokumentowanym kompromisem.

WariantRedukcja pamięciKompromis jakościGdzie jest dostępny
Badawczy, około 3,5 bitaco najmniej 6× mniej KV cache w testach Google [1]brak mierzalnej degradacji w testowanych warunkach [2]opis badawczy, bez oficjalnej implementacji produkcyjnej [3]
4-bitowy, praktycznymniejsza niż w wariancie badawczymumiarkowany koszt dokładności w analizie vLLM [5]serwery inferencji i bazy wektorowe
2- i 1-bitowynajwiększawyraźne spadki jakości i kompromis recall–pamięć [5]poziomy 4-, 2- i 1-bitowe w Qdrant 1.18 [6]

Tabela pokazuje wymianę, a nie ranking. Wariant badawczy nie jest produktem, a wariant 1-bitowy nie jest domyślnym ustawieniem dla zastosowań wrażliwych na błędy.

Gdzie TurboQuant jest już dostępny?

Qdrant 1.18 dodał TurboQuant do wyszukiwania wektorowego 13 maja 2026 roku [6]. Metoda trafiła też do testów społeczności w llama.cpp i MLX Studio [7][8]. Google nie udostępniło oficjalnej implementacji produkcyjnej [3]. Dostępność zależy więc od konkretnej bazy wektorowej albo serwera inferencji, a nie od jednego pakietu do pobrania.

Skala ma znaczenie przy wyszukiwaniu. Jeden z opisów wariantu wektorowego podaje przykład kompresji 10 mln wektorów zajmujących 31 GB [9]. Dla porównania, w modelu językowym oszczędność dotyczy pamięci generowania odpowiedzi, a nie indeksu dokumentów.

Kiedy kompresja KV cache nie jest dobrym wyborem?

Największa korzyść pojawia się przy długich kontekstach i wielu równoległych sesjach, bo wtedy KV cache dominuje w zużyciu pamięci [1]. Przy krótkich rozmowach i małym obciążeniu zysk może być niewidoczny w rachunku. W zastosowaniach wymagających wysokiej precyzji agresywny bit-width jest ryzykiem, bo analiza vLLM wykazała spadki jakości przy takich ustawieniach [5]. Wybór poziomu kompresji jest decyzją o tolerancji błędu, nie tylko o koszcie.

Jak policzyć, czy kompresja obniży koszty?

Pomiar trzeba wykonać end-to-end, na własnym modelu i własnym ruchu. Minimalny zestaw danych to model i jego wariant, sprzęt, bit-width, liczba zapytań na sekundę, opóźnienie p95, recall lub accuracy oraz koszt przed wdrożeniem i po nim, w pełnym okresie pomiaru [5][3]. Redukcja pamięci może zwiększyć liczbę sesji albo pozwolić na dłuższy kontekst. Może też obniżyć przepustowość i podnieść opóźnienia, co zjada oszczędność. Sposób budowania takich pomiarów opisujemy w artykule o benchmarkach AI.

Jak wygląda wdrożenie w praktyce?

  1. Wskaż modele, w których KV cache jest realnym wąskim gardłem pamięci.
  2. Zmierz stan wyjściowy: pamięć, opóźnienie p95, jakość odpowiedzi.
  3. Wybierz bit-width i sprawdź, czy dany stos go obsługuje.
  4. Porównaj wynik na tym samym ruchu, z tą samą długością kontekstu.
  5. Utrzymaj możliwość powrotu do poprzedniego ustawienia.

Krok czwarty jest najczęściej pomijany. Bez niego nie wiadomo, czy oszczędność pamięci przełożyła się na koszt, czy tylko przesunęła wąskie gardło w inne miejsce.

Najczęstsze pytania

Czy TurboQuant jest darmowy?

Google nie opublikowało oficjalnej implementacji produkcyjnej, więc nie istnieje oficjalny cennik metody [3]. Dostępne są integracje open source, między innymi w Qdrant [6]. Warunki licencji zależą od projektu, który ją wdrożył, a nie od samego opisu badawczego.

Czy TurboQuant kompresuje wagi modelu?

Nie. Kompresuje KV cache, czyli pamięć roboczą podczas generowania odpowiedzi [1]. Wagi modelu pozostają bez zmian, a rozmiar pliku modelu się nie zmniejsza. Oszczędność pojawia się w pamięci potrzebnej na obsługę kontekstu i równoległych sesji.

Czy metoda działa na każdym modelu?

Badania Google obejmowały między innymi Gemma i Mistral [1]. Nie ma publicznego potwierdzenia, że każda architektura zachowuje się tak samo. Przed wdrożeniem trzeba zmierzyć jakość na własnym modelu i zadaniu, bo wynik zależy od wariantu i obciążenia [5].

Czy warto wybrać wariant 1-bitowy?

Wariant 1-bitowy daje największą redukcję pamięci, ale w analizie vLLM agresywne ustawienia powodowały istotne spadki jakości [5]. W Qdrant dostępne są poziomy 4-, 2- i 1-bitowe z różnymi kompromisami recall–pamięć [6]. Wybór zależy od tolerancji na błędy wyszukiwania w konkretnym zastosowaniu.

Czy TurboQuant przyspiesza całą usługę?

Nie w takim sensie, w jakim sugerują nagłówki. Ośmiokrotne przyspieszenie dotyczy liczenia attention logits w konkretnym benchmarku na H100 [1][4]. Przepustowość całej usługi zależy też od pozostałych etapów inferencji, sieci i kolejkowania zapytań.

Źródła

  1. TurboQuant: Redefining AI efficiency with extreme compression (Google Research, 2026)
  2. TurboQuant: Online Vector Quantization with Near-optimal Distortion Rate (arXiv, 2025)
  3. What Google's TurboQuant can and can't do for AI's spiraling cost (ZDNet, 2026)
  4. Google's TurboQuant cuts AI memory use without losing accuracy (Help Net Security, 2026)
  5. A First Comprehensive Study of TurboQuant: Accuracy and Performance (vLLM, 2026)
  6. TurboQuant in Qdrant (Qdrant, 2026)
  7. TurboQuant w benchmarkach Llama.cpp (Reddit r/LocalLLaMA, 2026)
  8. Implementacja TurboQuant w MLX Studio (Reddit r/LocalLLaMA, 2026)
  9. Google TurboVec: Compress 10M Vectors from 31GB (explainx, 2026)
AN
O autorze
Andrzej Niemiec

Fanatyk nowych technologii i specjalista w zakresie sztucznej inteligencji.

Jak powstają teksty: Polityka AI · O redakcji