Narzędzia AI

MoE vs dense: co naprawdę oszczędza mixture-of-experts

Q: Jak wypada Mixtral 8x7B na karcie 24 GB?

Na jednej karcie RTX model zwykle wymaga przeniesienia części warstw do RAM. W opisywanych konfiguracjach użytkownicy offloadowali warstwy na procesor: przy Q_K_M, warstwach na GPU i kontekście K ra

MoE zmniejsza liczbę aktywnych parametrów, nie rozmiar modelu. Porównanie Mixtrala 8x7B i Llamy 3 8B pod kątem VRAM, offloadingu i wyboru architektury.

Andrzej Niemiec

18 sierpnia 2026 · 7 min czytania · 1599 słów

Reviewed by Andrzej Niemiec

Czy mixture-of-experts naprawdę oszczędza pamięć?

Nie w tym sensie, w jakim powtarza się to w dyskusjach. Router wybiera ekspertów dla każdego tokenu, więc spada liczba parametrów aktywnych, ale wagi wszystkich ekspertów muszą być dostępne przy inferencji [1]. Mixtral 8x7B ma 46,7 mld parametrów łącznie i około 12,9 mld aktywnych na token [1], a Llama 3 8B pozostaje modelem gęstym o 8 mld parametrów [2].

O tym, ile pamięci potrzebuje model, decyduje rozmiar pliku wag po kwantyzacji, nie liczba parametrów aktywnych. Dla Mixtrala 8x7B publiczne zestawienia podają około 26,4 GB przy Q4_K_M i około 32,2 GB przy Q5_K_M [4]. Obie wartości przekraczają 24 GB na RTX 4090 [3], jeszcze przed doliczeniem pamięci kontekstu. Mixtral 8x7B ukazał się w grudniu 2023 r. na licencji Apache 2.0 [5], a Llama 3 8B — 18 kwietnia 2024 r. [6].

Szerzej o doborze modeli do lokalnego sprzętu piszemy w hubie lokalne modele AI.

Jak wypada Mixtral 8x7B na karcie 24 GB?

Na jednej karcie RTX 4090 model zwykle wymaga przeniesienia części warstw do RAM. W opisywanych konfiguracjach użytkownicy offloadowali warstwy na procesor: przy Q4_K_M, 25 warstwach na GPU i kontekście 8K raportowano około 16 tokenów na sekundę [7]. Publiczne pomiary dla tej samej karty wahają się od około 10 do 25 tokenów na sekundę, zależnie od kwantyzacji, offloadingu i silnika inferencji [8][9].

Model gęsty ma prostszą sytuację. Llama 3 8B w BF16 wymaga około 16 GB na same wagi [10], a kwantyzacja 4-bitowa wyraźnie zmniejsza ten wymóg [2]. Na karcie 24 GB mieści się więc w całości, bez offloadingu, razem z pamięcią kontekstu.

MoE czy model gęsty: co naprawdę decyduje o wyborze?

Nie istnieje jedna odpowiedź dla wszystkich zadań. Decyduje budżet pamięci, akceptowalna przepustowość i czas, jaki zespół może poświęcić na konfigurację. Mixtral 8x7B może mieć większą pojemność parametrów, ale kosztem większego footprintu oraz offloadingu [9]. Eksperci obniżają obliczenia na token, nie eliminują kosztu przechowywania wszystkich wag [1][11].

Kryterium	MoE: Mixtral 8x7B	Gęsty: Llama 3 8B
Parametry	46,7 mld łącznie, około 12,9 mld aktywnych [1]	8 mld, aktywne przy każdym tokenie [2]
Wagi po kwantyzacji	około 26,4 GB (Q4_K_M), około 32,2 GB (Q5_K_M) [4]	około 16 GB w BF16, mniej po kwantyzacji [10]
Karta 24 GB	zwykle wymaga offloadingu [7]	mieści się w całości
Obliczenia na token	niższe dzięki aktywnym ekspertom [11]	wyższe, bo aktywne są wszystkie wagi [1]
Prostota uruchomienia	wyższa złożoność konfiguracji [9]	prostsza konfiguracja

Które modele lokalne warto sprawdzić w 2026 roku?

Wybór zależy od języka, zadania i dostępnej pamięci — jeden ranking nie rozstrzyga o niczym. W benchmarku LLMzSzŁ Bielik-11B-v2.1-Instruct wypadł najlepiej spośród modeli poniżej 15 mld parametrów, z 57,52 punktu dokładności; wynik dotyczy starszej wersji i konkretnego zestawu zadań [14].

Bielik-11B-v3.0-Instruct: 11 mld parametrów, SpeakLeash i ACK Cyfronet AGH, trenowany na 32 językach europejskich z naciskiem na polski, licencja Apache 2.0 [12]. Dostępny w Ollama jako bielik-11b-v3.0-instruct [13].
PLLuM-12B-chat-2512: model dla polskiej administracji, dialogu i RAG, Apache 2.0 dla wariantu 12B; rodzina obejmuje też 4B, 8B i 70B [15].
Qwen3 i Qwen3.5: modele gęste oraz MoE; Qwen3.5 łączy tekst i obraz [16].
Gemma 4: rozumowanie, agenci, kod i obraz [17].
gpt-oss 20B i 120B: tool calling, przeglądanie sieci i structured outputs [18].
DeepSeek-R1: matematyka i rozumowanie krokowe, warianty 8B i 14B [19].
Llama 4: Scout i Maverick, tekst oraz obraz [20].

Ranking modeli AI open source pokazuje, dlaczego pojedynczy wynik nie wystarcza do decyzji.

Jakie narzędzia uruchamiają modele lokalnie?

Ollama to lokalny runtime z serwerem HTTP i API zgodnym z OpenAI. Najnowsza stabilna wersja widoczna w październiku 2026 to v0.40.4, wydana 12 października 2026 [21]. Firma podawała w lipcu 2026 r. 8,9 mln deweloperów i finansowanie w wysokości 88 mln USD [22]. Domyślne API działa pod http://localhost:11434 [23]. Projekt obsługuje MLX na Apple Silicon [24] oraz structured outputs [25].

LM Studio to aplikacja desktopowa firmy Element Labs. Strona pobierania wskazuje v0.4.26 jako aktualną wersję [26]. MCP pojawił się w wersji 0.3.17 z 25 czerwca 2025 r. [27], a wersja 0.4.0 z 28 stycznia 2026 r. dodała serwer bez GUI llmster [28]. Program obsługuje RAG dla plików PDF, DOCX i TXT [29].

Cecha	Ollama	LM Studio
Forma	terminal, aplikacja, serwer API [23]	aplikacja desktopowa [26]
Rozszerzenia	structured outputs, MLX [24][25]	MCP, RAG, llmster [27][28][29]
Model rozliczeń	lokalnie bezpłatnie, płatne plany w chmurze [30]	lokalnie bezpłatnie, płatny plan Bionic+ [31]

Ile kosztuje lokalne uruchomienie modeli?

Lokalne modele są bezpłatne i bez limitu zapytań po stronie Ollama — płacisz za sprzęt, energię i dodatkowe aplikacje [30]. Plan Pro kosztuje 20 USD miesięcznie, około 87,38 zł, a Max 100 USD miesięcznie, około 436,89 zł (stan na październik 2026, ceny oficjalne) [30]. W LM Studio plan Bionic+ wyceniono na 20 USD miesięcznie, około 87,38 zł [31]. Kwoty w złotych są orientacyjne, bo dostawcy rozliczają się w dolarach.

Od czego zacząć wdrożenie lokalnego modelu?

Zacznij od zadania, a nie od modelu. LM Studio podaje jako zalecane co najmniej 16 GB RAM i 4 GB dedykowanego VRAM na Windows [32]. Ollama działa na CPU, wykorzystuje Metal na Apple, a na NVIDIA wymaga compute capability 5.0 lub nowszego [33].

Wybierz dwa modele do porównania: jeden gęsty, jeden MoE.
Uruchom oba na tym samym sprzęcie i przy tej samej kwantyzacji.
Zmierz jakość na własnym zestawie zadań, zużycie VRAM i liczbę tokenów na sekundę.
Oszacuj koszt utrzymania sprzętu i sprawdź, czy offloading nie psuje wymaganej przepustowości.
Dopiero potem decyduj o architekturze.

Smallcode pokazuje, jak wygląda praktyczne narzędzie do pracy z lokalnymi modelami.

Najczęstsze pytania

Czy MoE zużywa mniej VRAM niż model gęsty?

Nie wynika to z samej architektury. Wagi wszystkich ekspertów muszą być dostępne przy inferencji, więc Mixtral 8x7B potrzebuje około 26,4 GB przy Q4_K_M [4], więcej niż 8-miliardowy model gęsty [2]. MoE zmniejsza obliczenia na token, nie rozmiar modelu w pamięci [1].

Czy Mixtral 8x7B zmieści się na RTX 4090?

Nie w całości przy Q4_K_M bez offloadingu. Karta ma 24 GB VRAM [3], a sam plik wag to około 26,4 GB przed doliczeniem kontekstu [4]. W praktyce część warstw trafia do RAM, co obniża przepustowość do około 10–25 tokenów na sekundę [7][8].

Który lokalny model najlepiej radzi sobie z polskim?

Wśród modeli otwartych wymienia się Bielik v3 od SpeakLeash i ACK Cyfronet AGH, trenowany z naciskiem na polski [12], oraz PLLuM-12B-chat-2512 rozwijany dla polskiej administracji [15]. Bielik-11B-v2.1-Instruct osiągnął 57,52 punktu w benchmarku LLMzSzŁ, najlepiej wśród modeli poniżej 15 mld parametrów [14].

Czy lokalne modele są darmowe?

Oprogramowanie i inferencja lokalna nie mają opłat za zapytania — kosztem jest sprzęt, energia i ewentualne aplikacje [30]. Płatne plany dotyczą głównie modeli w chmurze i dodatkowych funkcji; Pro w Ollama kosztuje 20 USD miesięcznie (stan na październik 2026) [30].

Czy warto wybrać MoE zamiast modelu gęstego?

Warto, gdy liczy się pojemność parametrów i jest zapas pamięci na offloading. Na karcie 24 GB model gęsty jest prostszy w uruchomieniu [7][10]. Wybór zależy od zadania i akceptowalnej przepustowości, a nie od samej etykiety architektury [11].

Źródła

O autorze

Andrzej Niemiec

Fanatyk nowych technologii i specjalista w zakresie sztucznej inteligencji.

→ LinkedIn → www