Przejdź do treści

Narzędzia AI

Ile VRAM do lokalnych modeli AI? RTX 3090 i modele 27B w praktyce

Zaktualizowano: Autor: Andrzej Niemiec10 min czytania

Ile pamięci GPU naprawdę potrzeba do lokalnego LLM: kwantyzacja 27B, realna prędkość RTX 3090, różnice między Ollama i LM Studio oraz modele polskie.

Spis treści
  1. Ile VRAM potrzebuje lokalny model 27B?
  2. Jakie modele 27B nadają się na jedną kartę 24 GB?
  3. Ile tokenów na sekundę daje RTX 3090?
  4. Ollama czy LM Studio — co wybrać do lokalnego uruchamiania?
  5. Które modele dobrze radzą sobie z polskim?
  6. Co zmieniło się w lokalnych modelach w 2026 roku?
  7. Kiedy lokalny model wygrywa z chmurą?
  8. Najczęstsze pytania
  9. Źródła

Ile VRAM potrzebuje lokalny model 27B?

Dla gęstego modelu 27B punktem odniesienia jest 24 GB. Kwantyzacja Q4 zajmuje około 16,8 GB, Q5 około 19,5 GB, Q6 około 22,5 GB, a Q8 około 28,6 GB. Na karcie z 24 GB VRAM zmieszczą się więc Q4 i Q5, ale nie Q8 [1]. RTX 3090 ma 24 GB pamięci i trafiła na rynek w 2020 roku, dlatego bywa opisywana jako stara karta [2].

KwantyzacjaPamięć wagMieści się na 24 GB?Czego wymaga
Q4około 16,8 GBtak, z zapasemzostaje miejsce na KV cache, jakość nieco niższa [1]
Q5około 19,5 GBtakkompromis między jakością a pamięcią [1]
Q6około 22,5 GBgraniczniebardzo mało miejsca na długi kontekst [1]
Q8około 28,6 GBniekarta 32 GB lub dzielenie warstw między GPU i RAM [1]

Sam rozmiar wag nie wystarcza do planowania. Długi kontekst, KV cache, obsługa obrazu i bufor runtime zwiększają zużycie pamięci, więc model startujący na 24 GB przy krótkim promptcie może przestać mieścić się na GPU w dłuższej rozmowie [3]. Testy pokrewnego modelu 27B na RTX 3090 dają około 40,3 tokena na sekundę przy krótkim kontekście i około 34 tokenów na sekundę przy kontekście 64K [3].

Praktyczna kolejność decyzji jest zawsze taka sama: najpierw model i kwantyzacja, potem długość kontekstu, a na końcu runtime. Przegląd narzędzi i modeli znajdziesz w sekcji lokalne modele AI.

Jakie modele 27B nadają się na jedną kartę 24 GB?

Najbardziej znanym przykładem jest Qwen3.6-27B: gęsty, multimodalny model z 27 mld parametrów i otwartymi wagami, ogłoszony 21 kwietnia 2026 roku [4]. Opisy wydania wskazują licencję Apache 2.0 [5]. Model jest dostępny również przez zewnętrzne API, co pozwala porównać wersję lokalną z chmurową bez własnego sprzętu [6].

Na tej samej karcie mieszczą się mniejsze rodziny: Qwen3 w wariantach 4B, 8B, 14B i 30B, Gemma 4, gpt-oss 20B, destylowane warianty DeepSeek-R1 oraz Mistral Small [2]. Przy 24 GB VRAM granica nie przebiega więc wokół pytania „czy 27B”, ale wokół kwantyzacji i długości kontekstu.

Dla firm liczy się jeszcze jedna rzecz: model gęsty zachowuje się przewidywalnie przy stałej liczbie parametrów aktywnych w każdym tokenie, a modele MoE rozkładają obliczenia inaczej. Różnicę opisujemy w artykule MoE vs dense: kto wygrywa w lokalnych wdrożeniach AI. Ograniczenia benchmarków jako podstawy wyboru omawia tekst Ranking modeli AI open source: dlaczego benchmarki to za mało.

Ile tokenów na sekundę daje RTX 3090?

Nie ma jednej liczby, którą można podać bez warunków. Niezależny test pokrewnego modelu 27B na RTX 3090 raportuje szeroki zakres, około 20,9–36,4 tokena na sekundę, zależnie od kontekstu i konfiguracji [7]. Ten sam model przy krótkim prompcie osiąga około 40,3 tokena na sekundę, a przy 64K spada do około 34 [3].

Żeby wynik był porównywalny, trzeba podać osobno fazę prefill i decode, długość promptu, długość kontekstu, liczbę równoległych zapytań, backend i wersję kwantyzacji [3]. Sama wartość „tokeny na sekundę” opisuje jedną konfigurację, nie kartę.

W sieci krążą porównania obiecujące podwojenie przepustowości po włączeniu dodatkowej techniki przyspieszającej generowanie. Materiały techniczne nie potwierdzają uniwersalnego mnożnika: wzrost zależy od modelu, kwantyzacji, backendu i długości kontekstu, a część optymalizacji wymaga dodatkowego modelu pomocniczego [7][1]. Uczciwy opis brzmi więc: przyspieszenie jest możliwe, ale jego skala jest właściwością konfiguracji, nie konkretnej karty.

Ollama czy LM Studio — co wybrać do lokalnego uruchamiania?

Oba narzędzia są bezpłatne w wariancie lokalnym i różnią się głównie sposobem pracy. Ollama stawia na terminal oraz lokalne API pod http://localhost:11434 [8], LM Studio na aplikację desktopową z katalogiem modeli, czatem i obsługą dokumentów [9]. Płatne plany dotyczą modeli w chmurze, nie inferencji na własnym sprzęcie.

KryteriumOllamaLM Studio
Cena lokalna0 USD, bez limitu zapytań po stronie narzędzia [10]0 USD w planie Free [11]
SystemymacOS, Windows, Linux, kontenery Docker [8]macOS Apple Silicon M1–M4, Windows x64 lub ARM, Linux AppImage [12]
AkceleracjaMetal, NVIDIA compute capability 5.0+, ROCm, Vulkan [13]GGUF oraz MLX na Apple Silicon [9]
Model pracyCLI, serwer HTTP, API zgodne z OpenAI [8]GUI, czat offline, RAG, MCP [9]

Ceny płatnych planów są oficjalne i podane w USD: Ollama Pro kosztuje 20 USD miesięcznie [10], a LM Studio Bionic+ również 20 USD miesięcznie (stan na październik 2026) [11]. Oba plany dodają modele hostowane w chmurze, więc dla samej pracy lokalnej wystarcza wariant darmowy.

Wybór sprowadza się do stylu pracy. Zespoły, które chcą wystawić lokalny endpoint dla własnej aplikacji, szybciej uruchomią Ollamę. Osoby, które wolą przeglądać modele i rozmawiać z nimi w oknie, wybierają LM Studio.

Które modele dobrze radzą sobie z polskim?

Dla języka polskiego najczęściej wskazywane są dwie rodziny rodzime. Bielik-11B-v3.0-Instruct ma 11 mld parametrów, powstał w SpeakLeash i ACK Cyfronet AGH, obejmuje 32 języki europejskie z naciskiem na polski i jest udostępniony na licencji Apache 2.0 [14]. Model jest dostępny w bibliotece Ollama [15]. W benchmarku LLMzSzŁ Bielik-11B-v2.1-Instruct był najlepszym testowanym modelem poniżej 15B parametrów i uzyskał 57,52 punktu dokładności; wynik dotyczy starszej wersji i konkretnego zestawu zadań, więc nie jest uniwersalnym rankingiem [16].

Drugi kierunek to PLLuM. Wariant PLLuM-12B-chat-2512 ma licencję Apache 2.0, a rodzina obejmuje także 4B, 8B i 70B, dostrajane pod dialog, RAG i zadania administracyjne [17].

Przy wyborze warto patrzeć na kartę modelu, nie na nazwę rodziny. Licencja i zakres otwartości różnią się między wariantami, a część modeli nie ma wbudowanych mechanizmów moderacji [14].

Co zmieniło się w lokalnych modelach w 2026 roku?

Najważniejsze zmiany dotyczą narzędzi, nie samych wag. Ollama wydała wersję 0.40.4 12 października 2026 roku, dodając modele decyzyjne w terminalu, obsługę runnera MLX na Apple Silicon i poprawki speculative decoding na GPU NVIDIA [18]. LM Studio wskazuje 0.4.26 jako aktualną wersję dla Windows (stan na 15 października 2026) [19], a linię 0.4.0 z 28 stycznia 2026 roku opisało we własnym blogu, z bezgraficznym serwerem llmster, równoległymi zapytaniami i ciągłym batchowaniem [20].

Po stronie systemów doszło ogłoszenie z keynote Windows 7 października, gdzie zapowiedziano lokalne uruchamianie modeli DeepSeek V4 Flash i Nemotron w Windows oraz przeniesienie llama.cpp do Windows ML [21]. Dla użytkownika oznacza to krótszą drogę od instalacji do pierwszego promptu.

Lokalne modele przestały być ciekawostką dla entuzjastów i trafiają do codziennej pracy programistów: wystarczy aplikacja, lokalny serwer inferencji i model pobrany z Hugging Face, żeby pracować bez kluczy API i limitów tokenów [22]. Ta zmiana dotyczy jednak głównie małych i średnich modeli, nie każdego wariantu 27B.

Kiedy lokalny model wygrywa z chmurą?

Nigdy automatycznie. Porównanie wymaga okresu rozliczeniowego, dostawcy i typu GPU po stronie chmury oraz realnego czasu pracy, liczby tokenów, transferu i magazynu po stronie lokalnej [23]. Do kosztu lokalnego dochodzą prąd, chłodzenie, amortyzacja sprzętu, awarie i praca operacyjna, których nie widać w cenniku GPU.

Lokalny model wygrywa tam, gdzie liczy się prywatność i powtarzalność: dane nie opuszczają urządzenia, a koszt po zakupie sprzętu jest stały. Przegrywa tam, gdzie potrzebna jest duża przepustowość lub najnowszy model z chmury.

Przy planowaniu sprzętu warto zachować ostrożność. Druga karta nie zawsze przyspiesza to, co już działa, a przy używanej RTX 3090 trzeba sprawdzić stan pamięci i kulturę pracy [24]. Zestawienie wielu kart i serwerów według wskaźników inferencji i VRAM ułatwia porównanie platform przed zakupem albo wynajmem [25].

Najczęstsze pytania

Czy 24 GB VRAM wystarczy do modelu 27B?

Wystarczy w kwantyzacji Q4 lub Q5, gdzie same wagi zajmują około 16,8–19,5 GB [1]. Trzeba jednak zmieścić jeszcze KV cache rosnący z długością kontekstu. Przy kontekstach rzędu 64K zużycie pamięci rośnie, a prędkość spada z około 40 do około 34 tokenów na sekundę [3]. Bezpieczniej zaplanować krótszy kontekst niż liczyć na pełne 128K.

Czy opłaca się kupować używaną RTX 3090 do lokalnego LLM?

Karta ma 24 GB VRAM, czyli dokładnie tyle, ile potrzeba do modelu 27B w Q4 [2]. Decyzja zależy od ceny, stanu pamięci i poboru prądu, a nie od samej specyfikacji. Ta sama kwota wydana na wynajem GPU w chmurze daje dostęp do nowszych kart bez zobowiązań, więc porównanie trzeba oprzeć na własnym profilu użycia [23].

Czy LM Studio i Ollama obsługują te same modele?

W przeważającej części tak, bo oba korzystają z formatu GGUF i bibliotek modeli. LM Studio dodatkowo obsługuje MLX na Apple Silicon [9], a Ollama uruchamia modele także na CPU i w kontenerach Docker [8]. Różnice pojawiają się przy nietypowych architekturach i bardzo długich kontekstach, gdzie liczy się wersja backendu.

Czy model 27B pisze po polsku poprawnie?

Modele ogólne radzą sobie z polskim, ale modele trenowane pod ten język wypadają lepiej w zadaniach urzędowych i ekstrakcji. Bielik i PLLuM są dostępne na licencjach pozwalających na wdrożenia komercyjne w większości wariantów [14][17]. Wyniki benchmarku warto traktować jako wskazówkę dla konkretnej wersji modelu, nie jako trwałą przewagę [16].

Źródła

  1. Qwen 3.6 27B VRAM & Hardware Requirements — Dense 27B GPU Guide (2026) (WillItRunAI, 2026)
  2. NVIDIA RTX 3090 (24 GB VRAM): Which LLMs Can It Run? (CanItRun, 2026)
  3. We Tested Qwen3.8 27B: How Much GPU and VRAM Do You Really Need? (Hardware Corner, 2026)
  4. Qwen3.6-27B: Flagship-Level Coding in a 27B Dense Model (Qwen, 2026)
  5. How to Use Qwen3.6-27B: Complete Guide to Alibaba's New Open-Weight Coding Model (Tosea, 2026)
  6. Qwen3.6 27B - API Pricing & Benchmarks (OpenRouter, 2026)
  7. Qwen3.8-27B on RTX 3090: OpenCode Setup & Benchmarks (zjshen14, 2026)
  8. Quickstart - Ollama (Ollama, 2026)
  9. Get started with LM Studio (LM Studio, 2026)
  10. Ollama Pricing (Ollama, 2026)
  11. Bionic Pricing (LM Studio, 2026)
  12. System Requirements (LM Studio, 2026)
  13. Hardware support - Ollama (Ollama, 2026)
  14. speakleash/Bielik-11B-v3.0-Instruct (Hugging Face, 2026)
  15. SpeakLeash w bibliotece Ollama (Ollama, 2026)
  16. LLMzSzŁ: a comprehensive LLM benchmark for Polish (arXiv, 2025)
  17. CYFRAGOVPL/PLLuM-12B-chat-2512 (Hugging Face, 2026)
  18. Release v0.40.4 (GitHub, 2026)
  19. Download LM Studio - Mac, Linux, Windows (LM Studio, 2026)
  20. Introducing LM Studio 0.4.0 (LM Studio, 2026)
  21. Najlepsze lokalne LLM w 2026 roku, modele które naprawdę działają (Pasquale Pillitteri, 2026)
  22. Lokalne modele AI po raz pierwszy mają sens w codziennej pracy (Devstock Academy, 2026)
  23. Czy chmura się opłaca? Rachunek zysków i strat dla firm IT i poza IT (Cloud Network, 2026)
  24. Komputer do lokalnych modeli AI — ile VRAM naprawdę trzeba (Doktor Komputer, 2026)
  25. Porównanie benchmarków serwerów GPU i AI 2026 (MillionMiner, 2026)
AN
O autorze
Andrzej Niemiec

Fanatyk nowych technologii i specjalista w zakresie sztucznej inteligencji.

Jak powstają teksty: Polityka AI · O redakcji