Przejdź do treści

Narzędzia AI

Tokeny na sekundę: jak mierzy się szybkość odpowiedzi modelu AI

Zaktualizowano: Autor: Andrzej Niemiec10 min czytania

Tokeny na sekundę to tylko jedna z metryk. Wyjaśniamy TTFT, czas między tokenami i przepustowość systemową oraz skąd wzięło się 10 000 tokenów.

Spis treści
  1. Ile tokenów na sekundę wystarcza w czacie?
  2. Czym różni się czas do pierwszego tokena od tokenów na sekundę?
  3. Jakie metryki opisują szybkość odpowiedzi modelu?
  4. Skąd wzięła się liczba 10 000 tokenów na sekundę?
  5. Jak poprawić odczuwaną szybkość bez wymiany modelu?
  6. Kiedy prędkość generowania przestaje mieć znaczenie?
  7. Najczęstsze pytania
  8. Źródła

Ile tokenów na sekundę wystarcza w czacie?

Kilkadziesiąt tokenów na sekundę, czyli tempo szybsze niż czytanie, wystarcza do podstawowych rozmów z modelem. Użytkownicy społeczności LocalLLaMA piszą wprost, że do zwykłego czatu wystarcza prędkość „szybsza niż tempo czytania” [1]. O odczuwanej szybkości nie decyduje jednak sama liczba tokenów, ale też czas do pierwszego tokena i sposób prezentacji tekstu [2][3].

Model, który zaczyna pisać po dłuższej ciszy, wypada gorzej niż model wolniejszy, ale startujący od razu. Dlatego producenci opisują wydajność kilkoma metrykami jednocześnie, a nie jedną liczbą [2][3]. Ma to znaczenie także przy porównywaniu wyszukiwarek z odpowiedziami AI, gdzie liczy się czas całej odpowiedzi, a nie tylko tempo generowania — szerzej piszemy o tym w tekście o Google Search z AI.

Czym różni się czas do pierwszego tokena od tokenów na sekundę?

Czas do pierwszego tokena (TTFT) obejmuje sieć, kolejkę i przetwarzanie promptu, a tokeny na sekundę opisują już samo generowanie. NVIDIA rozdziela dodatkowo czas między tokenami (ITL, nazywany też TPOT) oraz przepustowość systemową [2][3].

TTFT zależy od długości promptu i obciążenia serwera, bo prompt musi zostać przetworzony, zanim pojawi się pierwszy znak odpowiedzi [2][3]. Tokeny na sekundę liczą się dopiero później i dotyczą wyłącznie fazy generowania. W praktyce oznacza to, że dwa modele o identycznym tempie pisania mogą dawać zupełnie różne wrażenie szybkości, jeśli jeden z nich dłużej czeka na wolną moc obliczeniową. Z tego powodu w dokumentacji benchmarków pojawiają się osobne definicje dla opóźnienia end-to-end i dla tempa generowania [2][3].

Jakie metryki opisują szybkość odpowiedzi modelu?

Cztery metryki wystarczają, by opisać większość przypadków: TTFT, czas między tokenami, tokeny na sekundę na użytkownika i przepustowość systemową [2][3]. Każda z nich odpowiada za inny fragment doświadczenia.

MetrykaCo mierzyKiedy decyduje o wrażeniu użytkownika
Czas do pierwszego tokena (TTFT)Sieć, kolejkę i przetwarzanie promptu przed pierwszym znakiem odpowiedzi [2][3]Zawsze, bo odpowiada za ciszę na początku rozmowy
Czas między tokenami (ITL/TPOT)Przerwę między kolejnymi tokenami w strumieniu [2][3]Przy dłuższych odpowiedziach, gdy widać tempo pisania
Tokeny na sekundę na użytkownikaTempo generowania w pojedynczym żądaniu [2]Przy jednej rozmowie prowadzonej na żywo
Przepustowość systemowaLiczbę tokenów obsłużonych w wielu równoległych żądaniach [2]Przy planowaniu kosztów i liczby jednoczesnych użytkowników

NVIDIA podkreśla, że przepustowość systemowa nie jest tym samym co szybkość odczuwana przez pojedynczego użytkownika. Przy większej liczbie równoległych żądań rośnie przepustowość całej infrastruktury, ale tempo przypadające na jedno żądanie może spadać [2]. Benchmark, który podaje jedną wysoką liczbę tokenów na sekundę, nie mówi więc, jak będzie pracował model w aplikacji z wieloma użytkownikami. Podobne rozróżnienia pojawiają się w tekstach o benchmarkach AI, gdzie decyduje dobór próby i warunków pomiaru, a nie jeden wynik.

Skąd wzięła się liczba 10 000 tokenów na sekundę?

Z wywiadu opublikowanego 19 stycznia 2026 roku w „My Company Polska” z Wojciechem Januszem z Dell Technologies. Rozmówca mówi o agentach AI komunikujących się między sobą i podaje cel rzędu 10 000 tokenów na sekundę dla takiej komunikacji maszynowej [5].

Nie jest to wynik konkretnego produktu ani standard dla czatu z klientem. W wywiadzie pojawia się przykład około dziesięciu agentów odpowiadających za finanse, logistykę i marketing, a rozmowa dotyczy przejścia od chatbotów do agentic AI, reasoning, tool calling i modeli uruchamianych lokalnie [5]. Tytuł materiału mówi o „10 tysiącach słów na sekundę”, a treść o tokenach — słowo i token nie są równoważne, szczególnie po polsku, gdzie jeden token to często fragment wyrazu, a nie całe słowo [5].

Liczba 10 tokenów na sekundę, czasem przypisywana wolnym chatbotom, nie ma w materiale źródłowym potwierdzenia. Nie wskazano też produktu, modelu ani konfiguracji, której wydajność ograniczałaby się do takiej wartości [5].

Jak poprawić odczuwaną szybkość bez wymiany modelu?

Najprostsze są streaming i skracanie odpowiedzi. OpenAI wskazuje streaming jako jedno z najskuteczniejszych rozwiązań ograniczających odczuwane oczekiwanie, bo częściowa odpowiedź pojawia się przed jej zakończeniem [4]. Ta sama dokumentacja podaje praktyczną regułę, że skrócenie liczby generowanych tokenów o 50 procent skraca opóźnienie mniej więcej o połowę [4].

Druga droga to mniejszy prompt: krótsze instrukcje i ograniczony kontekst zmniejszają liczbę tokenów do przetworzenia, co przekłada się zarówno na opóźnienie, jak i na koszt pracy z modelem [8]. Trzecia droga to infrastruktura. Dell promuje w 2026 roku podejście Deskside Agentic AI, czyli uruchamianie agentów na sprzęcie stojącym blisko użytkownika; według materiału Business Insidera takie wdrożenie obniża koszty tokenów nawet o 87 procent [6]. Wnioski z laboratorium NemoClaw na Dell Technologies World 2026 opisują to samo zjawisko od strony praktyki wdrożeń [7].

Wybór między chmurą a sprzętem lokalnym sprowadza się do trzech kryteriów:

KryteriumChmura APISprzęt lokalny
KosztOpłata za token, rośnie z ruchem [6]Wyższy koszt początkowy, stały później [6]
OpóźnienieZależy od sieci i kolejki [2][3]Krótsza droga, mniej zmiennych [7]
Kontrola danychDane przechodzą przez dostawcęDane zostają na miejscu [7]

Kiedy prędkość generowania przestaje mieć znaczenie?

Przy zadaniach wsadowych i długich dokumentach. Jeśli model ma przygotować raport albo przeanalizować zbiór danych, użytkownik i tak czeka na całość, a liczy się jakość i koszt, nie tempo pisania. W takich zadaniach sensowniej patrzeć na przepustowość systemową i cenę za token niż na TTFT [2].

To samo dotyczy łańcuchów, w których modele pracują jeden po drugim. Tempo pojedynczego wywołania jest wtedy mniej istotne niż łączny czas całego procesu i liczba prób, które trzeba powtórzyć. Widać to w pracy z narzędziami analitycznymi, opisanej w tekście o Codex w data science.

Najczęstsze pytania

Ile tokenów na sekundę potrzebuje chatbot?

Do podstawowej rozmowy wystarcza tempo szybsze niż czytanie, czyli kilkadziesiąt tokenów na sekundę [1]. Więcej znaczy zwykle czas do pierwszego tokena: odpowiedź, która zaczyna się natychmiast, jest odbierana jako szybsza niż dłuższa cisza przed równie szybkim generowaniem [2][3]. Przed wyborem modelu warto sprawdzić obie metryki, a nie tylko jedną liczbę z cennika.

Czy więcej tokenów na sekundę zawsze oznacza lepszy model?

Nie. Tempo generowania to jedna z metryk, obok TTFT, czasu między tokenami i przepustowości systemowej [2][3]. Wysoka wartość w benchmarku może opisywać przepustowość całej infrastruktury przy wielu równoległych żądaniach, a nie szybkość pojedynczej rozmowy [2]. O przydatności modelu decyduje też jakość odpowiedzi, której tempo pisania nie opisuje.

Dlaczego odpowiedź pojawia się dopiero po kilku sekundach?

Bo przed pierwszym tokenem model musi przyjąć prompt, ustawić się w kolejce i przetworzyć kontekst [2][3]. Ten czas rośnie wraz z długością wejścia i obciążeniem serwera. Pomaga streaming, który pokazuje częściową odpowiedź w trakcie generowania [4], oraz krótszy prompt i ograniczony kontekst [8].

Jak samodzielnie zmierzyć szybkość modelu?

Mierzy się osobno czas do pierwszego tokena i tempo generowania, najlepiej w kilku porach dnia, bo wyniki zależą od obciążenia infrastruktury [2][3]. Warto zapisać długość promptu i odpowiedzi, inaczej liczby nie da się porównać z innymi pomiarami. Przy wielu użytkownikach trzeba dodatkowo sprawdzić przepustowość systemową, a nie tylko tempo pojedynczego żądania [2].

Źródła

  1. Co uważacie za akceptowalną liczbę tokenów na sekundę? (Reddit, r/LocalLLaMA)
  2. Metrics (NVIDIA)
  3. LLM Inference Benchmarking: Fundamental Concepts (NVIDIA)
  4. Latency optimization (OpenAI)
  5. „Zapomnijcie o chatbotach. Przyszłość to maszyny rozmawiające z maszynami z prędkością 10 tysięcy słów na sekundę” (My Company Polska, 2026)
  6. Dell Deskside Agentic AI Cuts Token Costs by up to 87% (Business Insider)
  7. Lessons from the NemoClaw Lab at Dell Technologies World 2026 (Dell)
  8. Jak oszczędzać tokeny AI? 10 zasad dla ChatGPT, Claude i Gemini (iletokenow.pl)
AN
O autorze
Andrzej Niemiec

Fanatyk nowych technologii i specjalista w zakresie sztucznej inteligencji.

Jak powstają teksty: Polityka AI · O redakcji