Gemma 4 MTP w llama.cpp: co daje multi-token prediction i jak zacząć

Czym jest Gemma 4 MTP w llama.cpp?

Gemma 4 MTP to tryb pracy modelu Gemma 4 z dodatkowym modelem-drafterem w llama.cpp. Skrót MTP oznacza multi-token prediction: mały model proponuje kilka kolejnych tokenów, a model główny weryfikuje je równolegle [1]. To mechanizm speculative decoding, a nie odrębny model ani fork. Integrację dodano w pull requeście #23398 [2], a do upstreamu trafiła 7 czerwca 2026 r. [3]

Wcześniejsze opisy w sieci nazywały MTP nowym modelem lub modyfikacją architektury. Źródła tego nie potwierdzają: Google wydał osobne draftery dla istniejących wariantów Gemma 4, a llama.cpp obsługuje je jako dodatkowy plik modelu [1][2].

Jak działa multi-token prediction?

Drafter generuje krótką sekwencję kandydatów, a model docelowy sprawdza je w jednym przebiegu i przyjmuje tokeny zgodne z własnym rozkładem prawdopodobieństwa. Odrzucone propozycje nie trafiają do odpowiedzi, więc treść ma być taka sama jak bez MTP — zmienia się czas generacji, nie wynik [1].

Skuteczność zależy od tego, jak często drafter przewidzi wybory modelu głównego. Przy trudnych zadaniach i nietypowych promptach odsetek trafień spada, a wraz z nim zysk [1]. Dlatego jedna liczba „do 3×” nie opisuje każdego przypadku.

Lokalna inferencja nie zastępuje hostowanych asystentów. Meta AI działa bezpłatnie w WhatsAppie, Instagramie i na meta.ai, a zakres funkcji zależy od rynku i konta [4]. MTP dotyczy wyłącznie modeli otwartych wag uruchamianych na własnym sprzęcie.

Kiedy wsparcie trafiło do llama.cpp?

Rodzina Gemma 4 zadebiutowała 31 marca 2026 r. [5], draftery MTP Google opublikował 16 kwietnia [1], a integracja z llama.cpp zaczęła działać w upstreamie 7 czerwca [2][3]. Wcześniej, 20 maja, obsługę opisywano jako work in progress dostępny wyłącznie na osobnej gałęzi [6].

Przez kilka tygodni brakowało w upstreamie obsługi architektury Gemma4AssistantForCausalLM, więc społeczność korzystała z forków i obejść [6]. Wydanie b9568 z 8 czerwca 2026 r. dodało asystentów dla wariantów E2B i E4B, poza obsługą 31B i 26B A4B z pierwotnego pull requestu [7][2].

Ile realnie przyspiesza Gemma 4 MTP?

Google deklaruje do 3× szybszą generację bez pogorszenia jakości [1]. Autorzy pull requestu raportują średnio ponad 2× dla modelu gęstego, ale nie zaobserwowali przyspieszenia dla modelu MoE w swoim środowisku [2]. Zgłaszano też przypadek, w którym po włączeniu zmian z #23398 liczba tokenów na sekundę spadła [8].

Pomiar ze społeczności na RTX 3090 pokazał wzrost z 22 do 42 tokenów na sekundę [9]. To jeden wynik na konkretnej kwantyzacji, nie reguła. Podobne doniesienia dotyczą Qwen: 46 tokenów na sekundę w wariancie q8 po włączeniu MTP [10]. Publikacje branżowe opisują zysk rzędu 2× okupiony fragmentem kontekstu [11].

Zysk jest warunkowy: zależy od modelu, backendu, sprzętu, rozmiaru batcha, kwantyzacji i odsetka przyjętych draftów [1][2]. Modele MoE mogą zyskać mniej niż gęste.

Które warianty Gemma 4 obsługują MTP?

Rodzina Gemma 4 liczy pięć rozmiarów: E2B, E4B, 12B Unified, 26B A4B i 31B. Wariant 12B Unified dołączono 3 czerwca 2026 r., już po premierze podstawowej rodziny [5]. Obejmuje modele gęste i MoE oraz multimodalność; funkcje audio dotyczą E2B, E4B i 12B [12].

Modele są udostępniane na licencji Apache 2.0 jako open-weight przez Google DeepMind. llama.cpp pozostaje niezależnym runtime’em społecznościowym, do którego dodano integrację [12].

Czego potrzebujesz, żeby uruchomić Gemma 4 MTP?

Potrzebujesz aktualnego builda llama.cpp — wydania b9568 lub nowszego — pliku GGUF modelu głównego oraz pliku GGUF draftera [7][2]. Typowa konfiguracja korzysta z opcji --spec-type draft-mtp i --spec-draft-model; nazwy flag warto sprawdzić w README dla konkretnej wersji, bo interfejs zmieniał się wraz z wydaniami [3].

Użytkownicy potwierdzają działanie z kwantyzowanym GGUF w wariancie QAT [13]. Na początku brakowało jednak zintegrowanego zestawu „model główny plus drafter” w jednym pliku, więc trzeba składać konfigurację z dwóch artefaktów [14].

Jeśli dopiero zaczynasz z lokalnymi modelami, prostszy start daje Ollama z Qwen3-Coder i OpenCode. MTP dodaje się później, gdy wydajność inference staje się wąskim gardłem.

Czy polskie zespoły mają tu szczególną przewagę?

Źródła potwierdzają korzyści dla lokalnych developerów ogólnie: niższy koszt inferencji na sprzęcie konsumenckim i brak zależności od API. Nie wykazują jednak przewagi specyficznej dla Polski, języka polskiego ani polskiego ekosystemu. Teza o wyjątkowej szansie dla polskich firm jest oceną redakcyjną, nie faktem ze źródeł.

Zamiast uogólniać pojedyncze wpisy z Reddita, warto zmierzyć własny przypadek: konkretny GPU, kwantyzację i zadanie. Porównanie podejść do modeli otwartych znajdziesz w tekście Cohere Command-A+ kontra Llama 3.1.

Najczęstsze pytania

Czy Gemma 4 MTP to nowy model?

Nie. MTP to para modeli: model docelowy i mały drafter, używana do speculative decoding. Google wydał draftery dla E2B, E4B, 26B A4B i 31B 16 kwietnia 2026 r. [1]. Sam model Gemma 4 istnieje od 31 marca 2026 r. [5]. llama.cpp dodaje obsługę tej pary, a nie nową architekturę.

Czy włączenie MTP pogarsza jakość odpowiedzi?

Mechanizm został zaprojektowany tak, aby treść pozostała taka sama: model docelowy weryfikuje propozycje drafters i odrzuca niezgodne tokeny [1]. Google deklaruje brak pogorszenia jakości przy zysku do 3× [1]. W praktyce warto sprawdzić wynik na własnym zadaniu, bo odsetek przyjętych draftów wpływa na szybkość, nie na poprawność.

Ile VRAM potrzebuje Gemma 4 z MTP?

Źródła w tym zestawie nie podają jednej tabeli wymagań pamięci dla pary model plus drafter. Zużycie zależy od wariantu, kwantyzacji i kontekstu, a drafter dokłada własny plik GGUF [2]. Przed zakupem sprzętu sprawdź kartę modelu dla wybranego rozmiaru i policz pamięć dla obu artefaktów.

Czy MTP działa z każdą wersją llama.cpp?

Nie. Potrzebny jest build z obsługą drafterów — wydanie b9568 z 8 czerwca 2026 r. lub nowsze [7]. Starsze wersje wymagały forków i obejść, a obsługa asystentów E2B i E4B pojawiła się dopiero w tym wydaniu [6][7]. Flagi konfiguracji również się zmieniały, więc sprawdzaj README dla swojej wersji [3].

Źródła

1. Accelerating Gemma 4: faster inference with multi-token prediction drafters (Google, 2026)
2. llama : add Gemma4 MTP by am17an — Pull Request #23398 (GitHub, 2026)
3. llama.cpp Gemma4 MTP support merged! (Reddit r/LocalLLaMA, 2026)
4. Meta AI: Your personal AI assistant (Meta, 2026)
5. Gemma releases (Google AI for Developers, 2026)
6. Support for Gemma 4 Assistant/Drafter models — Discussion #22735 (GitHub, 2026)
7. Release b9568 (GitHub, 2026)
8. Misc. bug: llama : add Gemma4 MTP (#23398) kills tokens/sec — Issue #24266 (GitHub, 2026)
9. Gemma 4 z MTP — lokalne modele AI dwa razy szybsze (Devstock Academy, 2026)
10. MTP support is being added to llama.cpp, at least for the Qwen models (Hacker News, 2026)
11. MTP w llama.cpp — lokalne LLM nawet 2x szybciej dzięki multi-token prediction (Devstock Academy, 2026)
12. Gemma 4 model card (Google AI for Developers, 2026)
13. llama.cpp now supports Gemma 4 MTP! (Reddit r/LocalLLM, 2026)
14. Gemma 4 MTP with LlamaCPP (Reddit r/LocalLLaMA, 2026)