Narzędzia AI
Qwen3.6-27B na 16 GB VRAM: co daje cofnięcie commita w llama.cpp
Zaktualizowano: Autor: Andrzej Niemiec7 min czytania
Spis treści
Czym jest Qwen3.6-27B?
Qwen3.6-27B to gęsty model 27 miliardów parametrów, opublikowany przez zespół Qwen należący do Alibaba Cloud 21–22 kwietnia 2026 r. [1][2] Wszystkie parametry są aktywne przy generowaniu, a model jest multimodalny i obsługuje obrazy oraz wideo [1]. Producent raportuje między innymi SWE-bench Verified 77,2 i SWE-bench Pro 53,5 [1]. Te wyniki pochodzą od producenta i wymagają opisu użytego scaffolda oraz niezależnej replikacji.
Jaki kontekst ma Qwen3.6-27B?
Oficjalna karta modelu podaje 262 144 tokeny kontekstu natywnie [3]. Rozszerzenie do około 1 010 000 tokenów wymaga YaRN, więc nie jest limitem samego modelu [3]. Liczba 110 tys. tokenów nie pochodzi ze specyfikacji Qwen — to rezultat jednego eksperymentu na karcie 16 GB [4].
Rozróżnienie ma praktyczne znaczenie. Model bez zmian obsługuje 262 144 tokeny, ale uruchomienie pełnego kontekstu na karcie 16 GB jest osobnym problemem pamięciowym, a nie właściwością modelu.
Ile waży Qwen3.6-27B po kwantyzacji do 4 bitów?
Oficjalny checkpoint BF16 ma około 55–56 GB [3]. Pliki IQ4_XS różnych autorów mieszczą się w przedziale 15,4–15,8 GB [5][6]. Rozmiar pliku nie odpowiada jednak zużyciu VRAM, bo dochodzi KV-cache, bufory llama.cpp i projektor wizji [7].
| Wariant | Rozmiar pliku | Zmierzony VRAM w eksperymencie | Zapas na KV-cache przy 16 GB | Oficjalne wydanie Qwen |
|---|---|---|---|---|
| BF16 | około 55–56 GB | nie mierzony na 16 GB | brak | tak |
| IQ4_XS (Unsloth, bartowski) | 15,4–15,8 GB | 15,1 GB w konfiguracji testowej | minimalny | nie |
| IQ4_XS po ponownej kwantyzacji warstw attn_qkv | 14,7 GB | 14,7 GB | około 1,3 GB | nie |
Wartość 15,1 GB dotyczy konkretnego pliku, typu KV-cache i ustawień llama.cpp, a nie uniwersalnego zapotrzebowania modelu [4]. Inne pliki IQ4_XS mają 15,4–15,8 GB, więc sam rozmiar wagi potrafi zjeść cały zapas karty [5][6].
Co zmienia commit 1dab5f5a44 w llama.cpp?
Commit 1dab5f5a44 promował warstwy attn_qkv do minimalnej kwantyzacji Q5_K [4]. Autor eksperymentu przywrócił dla tych warstw IQ4_XS i ponownie skwantyzował model, zmniejszając go z około 15,1 do 14,7 GB [4][8]. Nie jest to oficjalna rekomendacja ani Qwen, ani llama.cpp [4].
Oszczędność około 0,4 GB jest realna, ale wąska. Dotyczy jednego zestawu warstw i jednej konfiguracji, a nie ogólnego odchudzenia modelu. Na karcie 16 GB to różnica między brakiem miejsca na KV-cache a kilkoma setkami megabajtów zapasu.
Czy cofnięcie commita obniża jakość modelu?
Jedyny dostępny pomiar to około 0,05% różnicy PPL w teście autora modyfikacji [8]. To pojedynczy pomiar perplexity, a nie benchmark kodowania, rozumowania czy test regresji. Nie ma też niezależnej replikacji tego wyniku [8]. Nie ma podstaw, by twierdzić, że jakość nie spada w każdym zastosowaniu.
Jak uruchomić Qwen3.6-27B na karcie 16 GB?
Poprawna odpowiedź wymaga parametrów, bo bez nich liczba gigabajtów nic nie znaczy. Należy podać wersję llama.cpp, typ KV-cache, ctx-size, ustawienie flash-attn, liczbę warstw na GPU i informację, czy włączono multimodalność [7].
Eksperyment z 2 maja 2026 r. osiągnął 110 tys. tokenów kontekstu na 16 GB przy zmodyfikowanym pliku GGUF, cofniętej zmianie kwantyzacji attn_qkv i cache turbo3/turbo3 [4]. Drugi test, na laptopie z kartą A5000 16 GB, użył własnego pliku IQ4_XS i kontekstu 100 tys. tokenów [9]. Oba przypadki są eksperymentami jednostkowymi, nie powtarzalną instrukcją.
Praktyczne wnioski:
- Zejdź do 4 bitów. Bez kwantyzacji model nie mieści się na karcie 16 GB [3].
- Ustaw ctx-size pod realne zadanie, nie pod maksimum modelu. Dłuższy kontekst oznacza większy KV-cache [7].
- Włącz flash-attn i ogranicz liczbę warstw na GPU, gdy brakuje pamięci.
- Wyłącz projektor wizji, jeśli nie używasz obrazów.
Kiedy 16 GB to za mało?
Karta 24 GB jest opisywana jako realny punkt startowy dla modelu 27B [10]. Na 16 GB zostaje wąski margines, który zmieni każdy nowy sterownik, backend albo dłuższy kontekst. Reprodukowalne pomiary VRAM, oddzielone od rozmiaru pliku, są jedynym sposobem porównywania konfiguracji między sobą [11].
Jeśli wokół lokalnego modelu budujesz pipeline, zaplanuj go tak, by degradacja kontekstu nie zatrzymywała całego procesu. Praktyczne podejście do wdrożeń opisujemy w artykule o praktycznych zastosowaniach AI. O granicach benchmarków producenta piszemy w tekście o benchmarkach AI, a o kosztach pracy z modelami w tekście o Codexie w data science.
Najczęstsze pytania
Czy Qwen3.6-27B zmieści się na karcie 16 GB?
Zmieści się w wersji 4-bitowej, ale bez zapasu. Pliki IQ4_XS mają 15,4–15,8 GB, a do tego dochodzi KV-cache i bufory runtime [5][6][7]. Zmierzony wynik 15,1 GB dotyczy jednej konfiguracji z określonym cache i ustawieniami llama.cpp, nie standardowego pliku w każdych warunkach [4].
Ile kontekstu obsługuje Qwen3.6-27B?
Natywnie 262 144 tokeny. Rozszerzenie do około 1 010 000 tokenów wymaga YaRN [3]. Liczba 110 tys. tokenów, powtarzana w dyskusjach o kartach 16 GB, pochodzi z eksperymentu społecznościowego ze zmodyfikowanym GGUF, a nie z karty modelu [4].
Czy cofnięcie commita 1dab5f5a44 jest bezpieczne?
To zmiana eksperymentalna, nie oficjalna rekomendacja [4]. Jedyny pomiar jakości to około 0,05% różnicy PPL w jednym teście autora [8]. Przed wdrożeniem sprawdź model na własnych zadaniach i zapisz konfigurację, ponieważ wynik zależy od wersji llama.cpp oraz typu KV-cache.
Czy potrzebna jest kwantyzacja 4-bitowa?
Na karcie 16 GB tak. Checkpoint BF16 ma około 55–56 GB, więc nie mieści się w pamięci karty [3]. Kwantyzacja do 4 bitów zmniejsza plik do około 15–16 GB, ale nie usuwa kosztu KV-cache przy długim kontekście [5][6].
Źródła
- Qwen3.6-27B: Flagship-Level Coding in a 27B Dense Model (Qwen Team, 2026)
- Qwen (Hugging Face, 2026)
- Qwen/Qwen3.6-27B · Hugging Face (2026)
- r/LocalLLaMA: Qwen3.6-27B IQ4_XS FULL VRAM with 110k context (Reddit, 2026)
- Qwen3.6-27B-IQ4_XS.gguf · unsloth/Qwen3.6-27B-GGUF (Hugging Face, 2026)
- bartowski/Qwen_Qwen3.6-27B-GGUF (Hugging Face, 2026)
- batiai/Qwen3.6-27B-GGUF (Hugging Face, 2026)
- cHunter789/Qwen3.6-27B-i1-IQ4_XS-GGUF (Hugging Face, 2026)
- r/LocalLLaMA: Quant Qwen3.6-27B na 16GB VRAM z długością 100k context (Reddit, 2026)
- Qwen 3.6 lokalnie – dlaczego 27B to nowy punkt dojrzewania (devstockacademy.pl, 2026)
- Qwen3.6 Local VRAM Guide: Measuring 27B and 35B-A3B Quantizations (knightli.com, 2026)
Fanatyk nowych technologii i specjalista w zakresie sztucznej inteligencji.
Jak powstają teksty: Polityka AI · O redakcji