Przejdź do treści

Narzędzia AI

Qwen3.6-27B na 16 GB VRAM: co daje cofnięcie commita w llama.cpp

Zaktualizowano: Autor: Andrzej Niemiec7 min czytania

Qwen3.6-27B ma oficjalne wagi udostępnione przez Qwen, ale pliki GGUF, modyfikacje llama.cpp i testy na kartach 16 GB są dziełem społeczności [1][2]. Rozdzielenie tych warstw jest punktem wyjścia do każdej rozmowy o zużyciu pamięci VRAM.
Spis treści
  1. Czym jest Qwen3.6-27B?
  2. Jaki kontekst ma Qwen3.6-27B?
  3. Ile waży Qwen3.6-27B po kwantyzacji do 4 bitów?
  4. Co zmienia commit 1dab5f5a44 w llama.cpp?
  5. Czy cofnięcie commita obniża jakość modelu?
  6. Jak uruchomić Qwen3.6-27B na karcie 16 GB?
  7. Kiedy 16 GB to za mało?
  8. Najczęstsze pytania
  9. Źródła

Czym jest Qwen3.6-27B?

Qwen3.6-27B to gęsty model 27 miliardów parametrów, opublikowany przez zespół Qwen należący do Alibaba Cloud 21–22 kwietnia 2026 r. [1][2] Wszystkie parametry są aktywne przy generowaniu, a model jest multimodalny i obsługuje obrazy oraz wideo [1]. Producent raportuje między innymi SWE-bench Verified 77,2 i SWE-bench Pro 53,5 [1]. Te wyniki pochodzą od producenta i wymagają opisu użytego scaffolda oraz niezależnej replikacji.

Jaki kontekst ma Qwen3.6-27B?

Oficjalna karta modelu podaje 262 144 tokeny kontekstu natywnie [3]. Rozszerzenie do około 1 010 000 tokenów wymaga YaRN, więc nie jest limitem samego modelu [3]. Liczba 110 tys. tokenów nie pochodzi ze specyfikacji Qwen — to rezultat jednego eksperymentu na karcie 16 GB [4].

Rozróżnienie ma praktyczne znaczenie. Model bez zmian obsługuje 262 144 tokeny, ale uruchomienie pełnego kontekstu na karcie 16 GB jest osobnym problemem pamięciowym, a nie właściwością modelu.

Ile waży Qwen3.6-27B po kwantyzacji do 4 bitów?

Oficjalny checkpoint BF16 ma około 55–56 GB [3]. Pliki IQ4_XS różnych autorów mieszczą się w przedziale 15,4–15,8 GB [5][6]. Rozmiar pliku nie odpowiada jednak zużyciu VRAM, bo dochodzi KV-cache, bufory llama.cpp i projektor wizji [7].

WariantRozmiar plikuZmierzony VRAM w eksperymencieZapas na KV-cache przy 16 GBOficjalne wydanie Qwen
BF16około 55–56 GBnie mierzony na 16 GBbraktak
IQ4_XS (Unsloth, bartowski)15,4–15,8 GB15,1 GB w konfiguracji testowejminimalnynie
IQ4_XS po ponownej kwantyzacji warstw attn_qkv14,7 GB14,7 GBokoło 1,3 GBnie

Wartość 15,1 GB dotyczy konkretnego pliku, typu KV-cache i ustawień llama.cpp, a nie uniwersalnego zapotrzebowania modelu [4]. Inne pliki IQ4_XS mają 15,4–15,8 GB, więc sam rozmiar wagi potrafi zjeść cały zapas karty [5][6].

Co zmienia commit 1dab5f5a44 w llama.cpp?

Commit 1dab5f5a44 promował warstwy attn_qkv do minimalnej kwantyzacji Q5_K [4]. Autor eksperymentu przywrócił dla tych warstw IQ4_XS i ponownie skwantyzował model, zmniejszając go z około 15,1 do 14,7 GB [4][8]. Nie jest to oficjalna rekomendacja ani Qwen, ani llama.cpp [4].

Oszczędność około 0,4 GB jest realna, ale wąska. Dotyczy jednego zestawu warstw i jednej konfiguracji, a nie ogólnego odchudzenia modelu. Na karcie 16 GB to różnica między brakiem miejsca na KV-cache a kilkoma setkami megabajtów zapasu.

Czy cofnięcie commita obniża jakość modelu?

Jedyny dostępny pomiar to około 0,05% różnicy PPL w teście autora modyfikacji [8]. To pojedynczy pomiar perplexity, a nie benchmark kodowania, rozumowania czy test regresji. Nie ma też niezależnej replikacji tego wyniku [8]. Nie ma podstaw, by twierdzić, że jakość nie spada w każdym zastosowaniu.

Jak uruchomić Qwen3.6-27B na karcie 16 GB?

Poprawna odpowiedź wymaga parametrów, bo bez nich liczba gigabajtów nic nie znaczy. Należy podać wersję llama.cpp, typ KV-cache, ctx-size, ustawienie flash-attn, liczbę warstw na GPU i informację, czy włączono multimodalność [7].

Eksperyment z 2 maja 2026 r. osiągnął 110 tys. tokenów kontekstu na 16 GB przy zmodyfikowanym pliku GGUF, cofniętej zmianie kwantyzacji attn_qkv i cache turbo3/turbo3 [4]. Drugi test, na laptopie z kartą A5000 16 GB, użył własnego pliku IQ4_XS i kontekstu 100 tys. tokenów [9]. Oba przypadki są eksperymentami jednostkowymi, nie powtarzalną instrukcją.

Praktyczne wnioski:

  • Zejdź do 4 bitów. Bez kwantyzacji model nie mieści się na karcie 16 GB [3].
  • Ustaw ctx-size pod realne zadanie, nie pod maksimum modelu. Dłuższy kontekst oznacza większy KV-cache [7].
  • Włącz flash-attn i ogranicz liczbę warstw na GPU, gdy brakuje pamięci.
  • Wyłącz projektor wizji, jeśli nie używasz obrazów.

Kiedy 16 GB to za mało?

Karta 24 GB jest opisywana jako realny punkt startowy dla modelu 27B [10]. Na 16 GB zostaje wąski margines, który zmieni każdy nowy sterownik, backend albo dłuższy kontekst. Reprodukowalne pomiary VRAM, oddzielone od rozmiaru pliku, są jedynym sposobem porównywania konfiguracji między sobą [11].

Jeśli wokół lokalnego modelu budujesz pipeline, zaplanuj go tak, by degradacja kontekstu nie zatrzymywała całego procesu. Praktyczne podejście do wdrożeń opisujemy w artykule o praktycznych zastosowaniach AI. O granicach benchmarków producenta piszemy w tekście o benchmarkach AI, a o kosztach pracy z modelami w tekście o Codexie w data science.

Najczęstsze pytania

Czy Qwen3.6-27B zmieści się na karcie 16 GB?

Zmieści się w wersji 4-bitowej, ale bez zapasu. Pliki IQ4_XS mają 15,4–15,8 GB, a do tego dochodzi KV-cache i bufory runtime [5][6][7]. Zmierzony wynik 15,1 GB dotyczy jednej konfiguracji z określonym cache i ustawieniami llama.cpp, nie standardowego pliku w każdych warunkach [4].

Ile kontekstu obsługuje Qwen3.6-27B?

Natywnie 262 144 tokeny. Rozszerzenie do około 1 010 000 tokenów wymaga YaRN [3]. Liczba 110 tys. tokenów, powtarzana w dyskusjach o kartach 16 GB, pochodzi z eksperymentu społecznościowego ze zmodyfikowanym GGUF, a nie z karty modelu [4].

Czy cofnięcie commita 1dab5f5a44 jest bezpieczne?

To zmiana eksperymentalna, nie oficjalna rekomendacja [4]. Jedyny pomiar jakości to około 0,05% różnicy PPL w jednym teście autora [8]. Przed wdrożeniem sprawdź model na własnych zadaniach i zapisz konfigurację, ponieważ wynik zależy od wersji llama.cpp oraz typu KV-cache.

Czy potrzebna jest kwantyzacja 4-bitowa?

Na karcie 16 GB tak. Checkpoint BF16 ma około 55–56 GB, więc nie mieści się w pamięci karty [3]. Kwantyzacja do 4 bitów zmniejsza plik do około 15–16 GB, ale nie usuwa kosztu KV-cache przy długim kontekście [5][6].

Źródła

  1. Qwen3.6-27B: Flagship-Level Coding in a 27B Dense Model (Qwen Team, 2026)
  2. Qwen (Hugging Face, 2026)
  3. Qwen/Qwen3.6-27B · Hugging Face (2026)
  4. r/LocalLLaMA: Qwen3.6-27B IQ4_XS FULL VRAM with 110k context (Reddit, 2026)
  5. Qwen3.6-27B-IQ4_XS.gguf · unsloth/Qwen3.6-27B-GGUF (Hugging Face, 2026)
  6. bartowski/Qwen_Qwen3.6-27B-GGUF (Hugging Face, 2026)
  7. batiai/Qwen3.6-27B-GGUF (Hugging Face, 2026)
  8. cHunter789/Qwen3.6-27B-i1-IQ4_XS-GGUF (Hugging Face, 2026)
  9. r/LocalLLaMA: Quant Qwen3.6-27B na 16GB VRAM z długością 100k context (Reddit, 2026)
  10. Qwen 3.6 lokalnie – dlaczego 27B to nowy punkt dojrzewania (devstockacademy.pl, 2026)
  11. Qwen3.6 Local VRAM Guide: Measuring 27B and 35B-A3B Quantizations (knightli.com, 2026)
AN
O autorze
Andrzej Niemiec

Fanatyk nowych technologii i specjalista w zakresie sztucznej inteligencji.

Jak powstają teksty: Polityka AI · O redakcji