Tutoriale how-to
Prompt caching i optymalizacja kontekstu: jak OpenAI obniża koszty
Zaktualizowano: Autor: Andrzej Niemiec8 min czytania
Prompt caching daje 50% rabatu na tokeny wejściowe. Dowiedz się, jak strukturować prompty, wybierać modele i wdrożyć oszczędności w API OpenAI — praktyczne…
Spis treści
- Jak działa prompt caching w OpenAI?
- Ile można zaoszczędzić na API OpenAI w praktyce?
- Jakie modele wspierają prompt caching?
- Jak strukturować prompt, aby maksymalizować cache'owanie?
- Prompt caching vs. RAG: kiedy wybrać którą metodę?
- Jak wdrożyć prompt caching w 5 krokach?
- Czy optymalizacja kontekstu eliminuje błędy AI?
- Jakie są alternatywy dla prompt caching?
- Czy prompt caching jest dostępny w Polsce?
- Najczęstsze pytania
- Źródła
Jak działa prompt caching w OpenAI?
Prompt caching to funkcja OpenAI, która przechowuje fragmenty promptu na serwerach i pobiera je z rabatem 50% na tokeny wejściowe [1]. Funkcja jest dostępna dla modeli GPT-4o, GPT-4o mini, o1 i o1-mini [1]. Rabat dotyczy wyłącznie cache'owanych tokenów wejściowych — tokeny wyjściowe i nowe zapytania są rozliczane normalnie.
Największą szansę na oszczędność mają firmy, które wysyłają stabilny kontekst (instrukcje, schematy, dokumenty) na początku promptu, a następnie zmieniają tylko dane dynamiczne [1]. Przykład: jeśli co godzinę analizujesz nowy dokument, ale zawsze z tą samą instrukcją (512 tokenów), prompt caching zaoszczędzi 50% na tych 512 tokenach w każdym kolejnym zapytaniu.
Ile można zaoszczędzić na API OpenAI w praktyce?
Oszczędność zależy od trzech czynników: proporcji wejścia do wyjścia, liczby powtórzeń prefiksu i wybranego modelu [4]. Dla firm z wysokim udziałem powtarzalnego kontekstu rabat 50% na wejście może obniżyć całkowity rachunek o 15–30%, nie o 40% [4].
Przykład: firma przetwarza 1000 dokumentów dziennie, każdy z 2000 tokenów wejścia i 500 tokenów wyjścia. Instrukcja (512 tokenów) jest identyczna dla każdego dokumentu.
- Bez cache'owania: (2000 × 1000) + (500 × 1000) = 2,5 mln tokenów wejścia + 0,5 mln wyjścia = 3 mln tokenów dziennie.
- Z cache'owaniem: (512 × 0,5 + 1488 × 1) × 1000 + (500 × 1000) = 1,744 mln + 0,5 mln = 2,244 mln tokenów dziennie.
- Oszczędność: (3 – 2,244) / 3 = 25% całego rachunku [4].
Batch API może dodatkowo obniżyć koszty o 50%, ale jest przeznaczony dla zadań asynchronicznych z opóźnieniem do 24 godzin [4].
Jakie modele wspierają prompt caching?
Prompt caching jest dostępny dla:
- GPT-4o i GPT-4o mini [1]
- o1 i o1-mini [1]
- Starsze modele (GPT-4, GPT-3.5-turbo) nie obsługują tej funkcji [1]
GPT-4 (legacy) ma zaplanowane wyłączenie na 23 października 2026 [3]. Firmy, które jeszcze używają tego modelu do API, powinny migrować na GPT-4o lub o1 — zarówno ze względu na wsparcie cache'owania, jak i na dostępność nowych funkcji [3].
Jak strukturować prompt, aby maksymalizować cache'owanie?
Prompt caching działa na zasadzie prefiksu: tokeny muszą być identyczne w każdym zapytaniu, aby trafić do cache [1]. Oto struktura, która to zapewnia:
{
"system_instructions": "Jesteś asystentem do analizy dokumentów. Zawsze odpowiadaj w formacie JSON. Nie halucynuj danych.",
"schema": {
"type": "object",
"properties": {
"summary": {"type": "string"},
"entities": {"type": "array"},
"confidence": {"type": "number"}
}
},
"examples": [
{"input": "...", "output": "..."}
],
"user_query": "[TUTAJ ZMIENNE DANE]"
}
Sekcje system_instructions, schema i examples powinny być identyczne w każdym zapytaniu — trafią do cache. Sekcja user_query zmienia się — nie będzie cache'owana [1].
Prompt caching vs. RAG: kiedy wybrać którą metodę?
| Metoda | Koszt | Czas odpowiedzi | Najlepsze dla |
|---|---|---|---|
| Prompt caching | Niski (50% rabatu na prefiks) | Szybki (< 1 s) | Powtarzalny kontekst, instrukcje, schematy |
| RAG (Retrieval-Augmented Generation) | Średni (koszt wyszukiwania + API) | Średni (1–3 s) | Duże bazy wiedzy, dynamiczny kontekst |
| Batch API | Bardzo niski (50% rabatu) | Wolny (do 24 h) | Zadania asynchroniczne, duże wolumeny |
RAG jest lepszy, gdy kontekst zmienia się znacznie między zapytaniami (np. różne dokumenty z bazy). Prompt caching jest lepszy, gdy instrukcje i schemat są stałe [1].
Jak wdrożyć prompt caching w 5 krokach?
Krok 1: Sprawdź, czy Twój model go wspiera
Weryfikuj w dokumentacji OpenAI, czy używasz GPT-4o, GPT-4o mini, o1 lub o1-mini [1]. Jeśli używasz GPT-4 legacy, zaplanuj migrację przed 23 października 2026 [3].
Krok 2: Zidentyfikuj stabilny prefiks
Wypisz części promptu, które są identyczne w każdym zapytaniu:
- Instrukcje systemowe
- Schematy JSON
- Przykłady (few-shot)
- Dokumenty referencyjne
Krok 3: Umieść prefiks na początku
Prompt caching działa na zasadzie prefiksu — cache'uje tokeny od początku do pierwszej zmiany [1]. Umieść stabilny kontekst na początku, zmienne dane na końcu.
Krok 4: Testuj i mierz
Przeprowadź test A/B:
- Zapytanie 1 bez cache'owania: pełny koszt.
- Zapytanie 2–10 z cache'owaniem: 50% rabatu na prefiks.
Sprawdź, czy oszczędność uzasadnia złożoność implementacji.
Krok 5: Monitoruj trafienia cache
OpenAI zwraca w odpowiedzi liczbę cache'owanych tokenów (cache_read_input_tokens) [1]. Jeśli liczba jest niska, prefiks nie jest wystarczająco stabilny — przerestrukturyzuj prompt.
Czy optymalizacja kontekstu eliminuje błędy AI?
Nie. Skracanie lub porządkowanie kontekstu może poprawić precyzję odpowiedzi, ale nie gwarantuje uniknięcia halucynacji ani błędów logicznych [1]. Halucynacje wynikają z natury modeli językowych, nie z długości promptu.
Co może pomóc:
- Jasne instrukcje ("Odpowiadaj tylko na podstawie podanych danych")
- Few-shot examples (przykłady prawidłowych odpowiedzi)
- Strukturyzacja wyjścia (JSON, schema)
- Weryfikacja odpowiedzi (fact-checking, cross-reference)
Ale żaden z tych kroków nie gwarantuje 100% dokładności [1].
Jakie są alternatywy dla prompt caching?
Batch API
Batch API obniża koszt o 50%, ale wymagane jest czekanie do 24 godzin na wynik [4]. Idealne dla zadań nocnych, raportów dziennych, przetwarzania dużych zbiorów danych.
Wybór tańszego modelu
GPT-4o mini jest około 10× tańszy niż GPT-4o, a dla wielu zadań (klasyfikacja, streszczanie, tłumaczenie) daje porównywalne wyniki [4]. Testuj modele na swoim use case'ie.
Kompresja kontekstu
Usunięcie zbędnych informacji z promptu (powtórzeń, nieistotnych szczegółów) może zmniejszyć liczbę tokenów bez cache'owania [4]. Nie daje rabatu, ale zmniejsza całkowity koszt.
Czy prompt caching jest dostępny w Polsce?
Prompt caching jest dostępny dla wszystkich użytkowników API OpenAI, w tym z Polski [1]. Koszty są rozliczane w USD, a płatność odbywa się kartą kredytową lub poprzez rachunek (dla Enterprise) [4].
Uwaga: ceny w dokumentacji OpenAI są podane w USD; rzeczywista kwota w PLN zależy od kursu walutowego i VAT (23% w Polsce) [4].
Najczęstsze pytania
Ile tokenów musi mieć prefiks, aby cache'owanie było opłacalne?
Minimalnie 1024 tokeny [1]. Poniżej tej liczby oszczędność (50% rabatu) może być mniejsza niż koszty implementacji. Dla prefiksów poniżej 1024 tokenów rozważ Batch API.
Czy cache'owanie działa dla obrazów i plików?
Prompt caching wspiera tekst i obrazy (vision) [1]. Dla plików (PDF, DOCX) trzeba najpierw przekonwertować je na tekst lub obraz, a następnie umieścić w cache'owanym prefiksie.
Jak długo tokeny pozostają w cache?
Tokeny są przechowywane przez 5 minut od ostatniego użycia [1]. Jeśli zapytanie przyjdzie po 5 minutach, cache zostanie wyczyścony i trzeba będzie ponownie zapłacić pełną cenę za prefiks.
Czy prompt caching zmniejsza czas odpowiedzi?
Nie znacząco. Rabat dotyczy tylko kosztów, nie szybkości [1]. Czas odpowiedzi zależy od złożoności zadania i obciążenia serwerów OpenAI.
Czy mogę łączyć prompt caching z Batch API?
Tak. Batch API obsługuje cache'owanie — można uzyskać 50% rabatu na cache'owane tokeny wejściowe oraz dodatkowe 50% rabatu z Batch API na pozostałe tokeny [4].
Źródła
Fanatyk nowych technologii i specjalista w zakresie sztucznej inteligencji.
Jak powstają teksty: Polityka AI · O redakcji