Przejdź do treści

Praktyczne zastosowania

RAG nie jest srebrną kulą. Kiedy cache KV wygrywa z RAG

Zaktualizowano: Autor: Andrzej Niemiec6 min czytania

Trwały cache KV ma sens przy małych, stabilnych korpusach i powtarzalnych pytaniach. Wyjaśniamy, czym jest CAG, ile zajmuje pamięci i kiedy RAG pozostaje lepszy.

RAG nie jest srebrną kulą. Kiedy cache KV wygrywa z RAG
Spis treści
  1. Czym jest trwały cache KV w modelach językowych?
  2. Czym trwały cache KV różni się od RAG?
  3. Czym jest Cache-Augmented Generation?
  4. Jak wygląda wdrożenie bez bazy wektorowej?
  5. Ile pamięci zajmuje cache KV?
  6. Co się dzieje, gdy dokument się zmienia?
  7. Co mówią praktycy i co da się zweryfikować?
  8. Kiedy trwały cache KV wygrywa, a kiedy lepszy jest RAG?
  9. Najczęstsze pytania
  10. Źródła

Czym jest trwały cache KV w modelach językowych?

Cache KV to zapisany stan obliczeń, który model tworzy przy pierwszym przejściu przez prompt. Dla każdej warstwy atencji powstają tensory kluczy i wartości, a dopóki wspólny prefiks się nie zmienia, można je wykorzystać ponownie zamiast liczyć wszystko od nowa [1]. W wersji trwałej stan trafia na zewnętrzny magazyn i wraca przy kolejnym zapytaniu, więc dokument nie jest przetwarzany po raz drugi [3].

Opóźnienie w systemach opartych na wyszukiwaniu jest w dużej mierze problemem prefillingu, a nie samego wyszukiwania: to wstępne przetworzenie kontekstu odpowiada za znaczną część czasu odpowiedzi [2]. Cache KV adresuje właśnie ten etap.

Czym trwały cache KV różni się od RAG?

RAG przy każdym pytaniu wybiera materiał: dzieli dokumenty na chunki, liczy embeddingi, przeszukuje bazę wektorową i podaje modelowi dopasowane fragmenty [4]. Cache KV nie wybiera niczego w czasie zapytania. Model dostaje cały przygotowany kontekst, a praca wykonuje się raz, przy prefillingu [4].

W RAG dochodzą decyzje o wielkości chunków i nakładaniu się fragmentów, koszt embeddingów oraz utrzymanie indeksu przy każdej zmianie dokumentu [4]. Cache KV zamienia ten zestaw na model z długim kontekstem i magazyn stanu. To inny rozkład kosztów: z wyszukiwania na pamięć i obliczenia początkowe [3][4].

Czym jest Cache-Augmented Generation?

Cache-Augmented Generation, w skrócie CAG, to nazwa podejścia, w którym ograniczony korpus ładuje się do kontekstu, a gotowy stan pamięci obsługuje kolejne pytania. Praca Don’t Do RAG: When Cache-Augmented Generation is All You Need for Knowledge Tasks z 2024 roku opisuje taki tryb [5]. CAG i RAG odpowiadają na to samo pytanie — jak dać modelowi wiedzę spoza treningu — różnymi środkami.

CAG pasuje do stabilnych, zamkniętych zbiorów dokumentów i powtarzalnych pytań [5]. RAG zostaje właściwy dla korpusów dużych, dynamicznych i otwartych [4]. Nazwa jest nowsza niż sama technika: cache KV istnieje w implementacjach transformerów od dawna, a CAG opisuje sposób użycia go jako warstwy wiedzy [1][5].

Jak wygląda wdrożenie bez bazy wektorowej?

Przepływ ma cztery kroki. Cały dokument trafia do kontekstu modelu, bez dzielenia na chunki. Model wykonuje prefill, czyli jedno przejście przez cały tekst. Powstały stan KV zostaje zapisany poza sesją. Przy każdym pytaniu do zapisanego stanu dołącza się tylko nowe zapytanie [3].

W opisanej implementacji kontekst obejmował około 120 tys. tokenów, co autorzy szacują na 200–300 stron [3]. Wpis opublikowano 23 maja 2026 roku [3]. W tym układzie nie ma bazy wektorowej, modelu embeddingowego ani pipeline’u chunkowania — zostaje model z długim kontekstem i magazyn na stan [3].

Ile pamięci zajmuje cache KV?

Cache KV rośnie z liczbą tokenów, warstw i głów atencji. Tabela z pracy RAGCache podaje około 0,3125 MiB na token dla modelu Llama 2 70B, co przy długim kontekście daje dziesiątki gigabajtów [6]. Jeden dokument to jedno zajęcie pamięci; kilka dokumentów z osobnymi stanami mnoży ten koszt [6].

Niezależne prace mierzą też zyski wydajności, ale w innych scenariuszach niż opisane wdrożenie: RAGCache raportuje redukcję czasu do pierwszego tokenu 1,2–4× względem vLLM, a CacheBlend 2,2–3,3× względem pełnego przeliczenia kontekstu [6][7]. To wyniki zespołów badawczych, nie potwierdzenie deklaracji produkcyjnych z wpisu o InferX [3][7].

Co się dzieje, gdy dokument się zmienia?

Każda zmiana unieważnia zapisany stan. Nowa wersja dokumentu, inny model, inny tokenizer albo inny szablon promptu wymagają ponownego prefillingu [3][5]. Przy rzadkich aktualizacjach koszt jest jednorazowy i szybko się zwraca. Przy częstych zmianach ponowny prefill wraca przy każdej wersji dokumentu, a przewaga nad RAG maleje [5].

Brak retrievalu nie oznacza braku selekcji. Przy wielu dokumentach nadal trzeba wybrać, który stan KV wczytać do danego pytania; w praktyce selekcja przenosi się z poziomu chunków na poziom dokumentów lub gotowych cache’ów [4].

Co mówią praktycy i co da się zweryfikować?

Dyskusje wokół wpisu pokazują główny argument zwolenników: utrzymanie RAG w produkcji bywa stałym obciążeniem, bo ponowne liczenie embeddingów przy każdej zmianie danych wymaga pracy [8]. Wątek na r/LangChain zebrał 68 głosów i 67 komentarzy, a bliźniaczy na r/Rag 64 głosy i 50 komentarzy [8][10].

Autor wpisu jest współzałożycielem InferX, a InferX opisuje się jako dostawca infrastruktury do produkcyjnego wnioskowania modeli open-weight: Sovereign Endpoints, wdrożenia na własnych GPU, Kubernetesie lub w prywatnej chmurze oraz odtwarzanie ze snapshotów [3][9]. W dostępnych źródłach nie ma niezależnego benchmarku, repozytorium ani zestawu danych, które potwierdzałyby deklarację wdrożenia produkcyjnego [3]. Nie ma też kwot, procentów, okresu pomiaru ani kosztu bazowego RAG, więc twierdzeń o spadku kosztów nie da się zweryfikować [3].

Kiedy trwały cache KV wygrywa, a kiedy lepszy jest RAG?

KryteriumTrwały cache KV (CAG)RAG
Koszt początkowywyższy, cały dokument przechodzi przez model [3]niższy na start, rozłożony na embeddingi i indeks [4]
Koszt przy kolejnym pytaniuniski, jeśli prefiks się nie zmienia [1]wyszukiwanie i reranking przy każdym zapytaniu [4]
Aktualizacja treściunieważnia stan, wymaga ponownego prefillu [5]ponowne chunkowanie i reindeksacja zmienionej części [4]
Limit skaliograniczony kontekstem, w opisanej implementacji ok. 120 tys. tokenów [3]setki i tysiące dokumentów [4]
Pamięćduża, rośnie z długością kontekstu [6]magazyn wektorów, mniejsze obciążenie na zapytanie [4]
Kiedy wybieraćmały, stabilny korpus, wiele pytań [5]duże, zmienne i otwarte zbiory [5]

Poza tabelą zostaje praktyczna reguła: jeśli korpus mieści się w kontekście i zmienia się rzadko, cache KV upraszcza architekturę i skraca drogę do odpowiedzi [3][5]. Jeśli dokumentów są setki lub tysiące, a pytania dotyczą różnych ich części, RAG nadal jest sensownym wyborem [4].

Najczęstsze pytania

Czy cache KV zastąpi RAG?

Nie. Cache KV wygrywa przy małych, stabilnych korpusach i powtarzalnych pytaniach, gdzie cały materiał mieści się w kontekście [5]. Przy setkach dokumentów, częstych zmianach i pytaniach obejmujących całą bazę RAG pozostaje lepszy, bo wybiera materiał przy każdym zapytaniu [4]. To dwa różne rozkłady kosztów, a nie następca i poprzednik.

Ile tokenów obsłuży trwały cache KV?

Tyle, ile wynosi kontekst modelu. W opisanej implementacji było to około 120 tys. tokenów, szacowane przez autorów na 200–300 stron [3]. To limit konkretnego modelu i wdrożenia, nie technologii [3]. Dokument większy niż kontekst wymaga podziału albo innego podejścia.

Czy cache KV obniża koszty?

Nie ma na to potwierdzonych liczb. Koszt początkowy jest wyższy niż przy embeddingach, bo cały dokument przechodzi przez model, a opłacalność zależy od liczby kolejnych pytań, częstotliwości zmian, kosztu GPU i pamięci [3]. Przy wielu pytaniach do tego samego dokumentu rachunek może się zgadzać, przy rzadkich nie.

Kiedy wybrać RAG?

Gdy korpus jest duży, zmienny lub otwarty, a pytania dotyczą różnych jego części [4]. RAG pozwala aktualizować pojedyncze fragmenty bez przeliczania całości i obsługuje zbiory większe niż kontekst modelu [4]. Decyzję lepiej oprzeć na liczbie dokumentów, częstotliwości zmian i powtarzalności pytań niż na modzie.

Czy potrzebne jest własne GPU?

Nie od pierwszego testu, ale produkcja z dużym kontekstem zwykle na nim ląduje. Stan KV zajmuje dziesiątki gigabajtów przy długim kontekście i dużym modelu [6]. Wdrożenia InferX opisują pracę na własnych GPU lub w prywatnej chmurze [9]. Mniejszy model i krótszy kontekst obniżają ten koszt.

Źródła

  1. Cache strategies (Hugging Face)
  2. Why RAG Latency Is a Prefill Problem, Not a Retrieval Problem (Daily Dose of Data Science)
  3. We Replaced Our RAG Pipeline With Persistent KV Cache. Here's What We Found. (DEV Community, 2026)
  4. RAG Vs CAG: Can Cache Augmented Generation Replace Retrieval? (CustomGPT.ai)
  5. Don’t Do RAG: Cache is the future (Level Up Coding)
  6. RAGCache: Efficient Knowledge Caching for Retrieval-Augmented Generation (ACM)
  7. CacheBlend: Fast Large Language Model Serving for RAG with Cached Knowledge Fusion (ACM)
  8. We replaced our RAG pipeline with persistent KV cache. It works. Here’s what we found. (Reddit, r/LangChain)
  9. Inference Infrastructure for Production AI (InferX)
  10. We replaced our RAG pipeline with persistent KV cache. It works. Here’s what we found. (Reddit, r/Rag)
AN
O autorze
Andrzej Niemiec

Fanatyk nowych technologii i specjalista w zakresie sztucznej inteligencji.

Jak powstają teksty: Polityka AI · O redakcji