Przejdź do treści

News & analizy

Nemotron-Labs-Diffusion: co naprawdę znaczy 6× tokenów na forward

Zaktualizowano: Autor: Andrzej Niemiec10 min czytania

Rodzina NVIDIA Nemotron-Labs-Diffusion trafiła na Hugging Face 19 maja 2026. Tłumaczymy, skąd 5,99× tokenów na forward i jak działają trzy tryby.

Spis treści
  1. Co to jest Nemotron-Labs-Diffusion?
  2. Co dokładnie znaczy „6× więcej tokenów na forward”?
  3. Jak działają trzy tryby dekodowania?
  4. Czym self-speculation różni się od klasycznego speculative decoding?
  5. Jakie warianty modelu są dostępne?
  6. Jak wypada w porównaniu z Qwen3-8B?
  7. Jakie ograniczenia ma ten wynik?
  8. Gdzie sprawdzi się w praktyce?
  9. Najczęstsze pytania
  10. Źródła

Co to jest Nemotron-Labs-Diffusion?

Nemotron-Labs-Diffusion to rodzina otwartych modeli językowych NVIDIA, które łączą trzy tryby dekodowania w jednym zestawie wag. NVIDIA udostępniła warianty 3B, 8B i 14B 19 maja 2026 roku [1]. Kolekcja na Hugging Face zawiera wersje base, instruct oraz vision-language, a wagi są dostępne na licencji dopuszczającej użycie komercyjne [2][3]. Preprint pracy, arXiv:2607.05722, ukazał się 7 lipca 2026 roku [4].

Co dokładnie znaczy „6× więcej tokenów na forward”?

Oficjalny raport podaje dla wariantu 8B około 5,99× więcej tokenów na forward niż Qwen3-8B przy porównywalnej jakości [5][4]. To metryka dekodowania: opisuje, ile tokenów model akceptuje w jednym kroku, a nie ile trwa cała odpowiedź. Wynik dotyczy konkretnego trybu, benchmarku i konfiguracji sprzętowej, więc nie jest gwarancją dla każdego promptu.

Tokens per forward (TPF) trzeba czytać razem z liczbą kroków, długością kontekstu i progiem ufności. Model nie tworzy całej odpowiedzi w jednym przejściu — wykonuje serię kroków, w której dyfuzja proponuje tokeny, a część autoregresyjna je weryfikuje [6]. Dlatego wzrost TPF nie skraca czasu odpowiedzi o dokładnie ten sam współczynnik. W praktyce liczy się iloczyn: ile tokenów przypada na krok i ile kroków trzeba wykonać.

Jak działają trzy tryby dekodowania?

Wszystkie tryby korzystają z tych samych wag, ale inaczej wybierają kolejne tokeny. Model trenowano wspólnym celem AR-dyfuzja i może przełączać tryb pracy w zależności od obciążenia [7].

  • Dekodowanie autoregresyjne (AR) generuje token po tokenie. Sprawdza się tam, gdzie liczy się przewidywalność i dokładne trzymanie się instrukcji.
  • Dyfuzja blokowa tworzy cały blok tekstu, a następnie poprawia go w kilku iteracjach. Ten tryb służy do zadań o wysokiej przepustowości, na przykład do generowania długich partii tekstu.
  • Self-speculation łączy oba podejścia: część dyfuzyjna przygotowuje propozycje, a część autoregresyjna je przyjmuje lub odrzuca [6].

NVIDIA raportuje około 4× wyższą przepustowość na benchmarku SPEED-Bench przy użyciu środowiska SGLang na GPU GB200 [8]. To osobny wynik od liczby 5,99× — dotyczy całego systemu inferencyjnego, a nie pojedynczego forwardu.

Czym self-speculation różni się od klasycznego speculative decoding?

Klasyczny speculative decoding wymaga osobnego, mniejszego modelu-draftu, który podpowiada kandydatów, a większy model ich weryfikuje. Nemotron-Labs-Diffusion rezygnuje z dodatkowego modelu: rolę draftu przejmuje tryb dyfuzyjny działający na tych samych wagach [9]. W jednym z opisów wynik wynosi 6,82 akceptowanych tokenów na krok, przy średnio 2,75 dla Eagle3 [9].

Brak osobnego draftu upraszcza wdrożenie i obniża zużycie pamięci, bo nie trzeba utrzymywać dwóch modeli. Nie usuwa jednak kosztu weryfikacji: każda propozycja musi zostać sprawdzona przez część autoregresyjną, więc realny zysk zależy od tego, jak często propozycje są trafne.

Jakie warianty modelu są dostępne?

Rodzina obejmuje trzy rozmiary i trzy warianty funkcjonalne. Wszystkie mają otwarte wagi i są dostępne na Hugging Face [1][2][3].

WariantRozmiarWersjeTypowe zastosowanie
Nemotron-Labs-Diffusion-3B3 mld parametrówbase, instructpraca na ograniczonych zasobach, krótkie zadania
Nemotron-Labs-Diffusion-8B8 mld parametrówbase, instruct, vision-languagegenerowanie treści, obsługa zapytań
Nemotron-Labs-Diffusion-14B14 mld parametrówbase, instructzadania wymagające większej pojemności modelu

Podział na wersje base i instruct odpowiada dwóm sposobom użycia. Wersja base nadaje się do dalszego dostrajania, a instruct do pracy z instrukcjami bez dodatkowego treningu. Wariant vision-language obsługuje zadania łączące tekst i obraz [2].

Jak wypada w porównaniu z Qwen3-8B?

Porównanie dotyczy wariantu 8B, bo to on pojawia się w raporcie obok Qwen3-8B [5][4]. Tabela zestawia cechy opisane w źródłach, a nie zmierzone czasy odpowiedzi.

KryteriumNemotron-Labs-Diffusion-8BQwen3-8B
Tokeny na forwardokoło 5,99× więcej w raportowanej konfiguracji [5][4]wartość odniesienia w tym samym teście
Tryby dekodowaniaAR, dyfuzja blokowa, self-speculation [6]dekodowanie autoregresyjne
Dostępne rozmiary3B, 8B, 14B [1]jeden rozmiar 8B
Licencja wagotwarte wagi, użycie komercyjne [9]zależna od wersji modelu

Ostatni wiersz wymaga ostrożności: warunki licencji Qwen3-8B zależą od wersji i nie są przedmiotem tego zestawienia. Porównanie nie mówi też nic o jakości odpowiedzi w konkretnym zadaniu — do tego potrzebny jest test na własnych danych.

Jakie ograniczenia ma ten wynik?

Liczba 5,99× nie jest uniwersalna. Zależy od trybu, samplera, progu ufności, długości odpowiedzi i optymalizacji kerneli [4][6]. Benchmarki mierzą przepustowość w kontrolowanych warunkach, a nie czas reakcji w aplikacji z siecią, kolejką i logiką biznesową.

Drugie ograniczenie to koszt weryfikacji. Im więcej tokenów model proponuje naraz, tym więcej pracy wykonuje część autoregresyjna. Przy zadaniach, w których trafność propozycji spada, zysk może się wyraźnie zmniejszyć [8].

Trzecia kwestia to ekosystem. Wsparcie dla rodziny dodano do Megatron Bridge 19 maja 2026 roku, a integracja z SGLang i innymi środowiskami była rozwijana etapami [10][11]. Media branżowe podsumowują wynik jako sześciokrotny wzrost liczby tokenów na forward, bez kwalifikacji co do konfiguracji [12]. Przed wdrożeniem warto sprawdzić, czy wybrane środowisko obsługuje wszystkie trzy tryby.

Gdzie sprawdzi się w praktyce?

Największy sens mają zadania o dużej liczbie podobnych promptów: generowanie opisów, streszczenia, klasyfikacja i odpowiedzi w czatach. Tam liczy się przepustowość, a nie pojedyncza odpowiedź. O wyborze między trybami decyduje charakter pracy, o czym piszemy szerzej w tekście o praktycznych zastosowaniach AI.

Modele tego typu warto zestawiać z narzędziami agentowymi, które wykonują wiele krótkich wywołań. Sposób planowania takich zadań opisujemy w artykule o Codexie w data science. Drugi kontekst to dobór modeli pod benchmarki — więcej na ten temat w tekście o benchmarkach AI.

Najczęstsze pytania

Czy Nemotron-Labs-Diffusion jest darmowy?

Wagi są dostępne na Hugging Face na licencji dopuszczającej użycie komercyjne [9]. To nie oznacza darmowej eksploatacji: za sprzęt lub wynajem GPU płaci się osobno, a koszt zależy od trybu pracy i wielkości modelu. Sam dostęp do wag nie zawiera też gwarancji wsparcia.

Czy 6× więcej tokenów oznacza 6× szybsze odpowiedzi?

Nie. Liczba 5,99× dotyczy tokenów na forward w raportowanej konfiguracji [5][4]. Czas odpowiedzi zależy także od liczby kroków, kosztu weryfikacji propozycji i opóźnień poza modelem. Dlatego nie skaluje się wprost wraz z TPF.

Na jakim sprzęcie uruchomić ten model?

Rodzina obejmuje warianty 3B, 8B i 14B [1], więc rozmiar można dopasować do dostępnej pamięci GPU. Konkretne wymagania zależą od precyzji obliczeń i środowiska inferencji, dlatego trzeba je sprawdzić w dokumentacji projektu. Wyniki z raportu powstały na GPU GB200 [8].

Jakie środowiska obsługują ten model?

Wsparcie dodano do Megatron Bridge, a integracja z SGLang była rozwijana etapami [10][11]. Lista środowisk się zmienia, więc przed wdrożeniem warto sprawdzić aktualny stan repozytorium projektu.

Źródła

  1. GitHub - NVlabs/Nemotron-Labs-Diffusion (GitHub, 2026)
  2. Nemotron-Labs-Diffusion - kolekcja NVIDIA (Hugging Face, 2026)
  3. nvidia/Nemotron-Labs-Diffusion-14B (Hugging Face, 2026)
  4. Nemotron-Labs-Diffusion: A Tri-Mode Language Model (arXiv, 2026)
  5. NVIDIA AI Releases Nemotron-Labs-Diffusion (MarkTechPost, 2026)
  6. Nemotron-Labs-Diffusion - pełny tekst pracy (arXiv HTML, 2026)
  7. Nemotron-Labs-Diffusion: A Tri-Mode Language Model (NVIDIA Research, 2026)
  8. Nemotron-Labs-Diffusion: raport techniczny (NVIDIA, 2026)
  9. NVIDIA's New LLM Decodes 6x More Tokens Without an Auxiliary Draft (TechTimes, 2026)
  10. Tracking: Nemotron Labs Diffusion upstreaming stack (GitHub, 2026)
  11. NVIDIA-NeMo/Megatron-Bridge (GitHub, 2026)
  12. NVIDIA's Nemotron-Labs-Diffusion Hits 6x Token Speed vs Qwen3-8B (AgentBreaking, 2026)
AN
O autorze
Andrzej Niemiec

Fanatyk nowych technologii i specjalista w zakresie sztucznej inteligencji.

Jak powstają teksty: Polityka AI · O redakcji