Narzędzia AI
Gemma 4 na RTX 4090: ile naprawdę kosztuje godzina lokalnego AI
Zaktualizowano: Autor: Andrzej Niemiec11 min czytania
Godzina lokalnego AI na RTX 4090 nie ma jednej ceny. Sprawdzamy, który wariant Gemma 4 mieści się na 24 GB VRAM, jak policzyć koszt prądu i kiedy chmura wychodzi taniej.
Spis treści
- Czy Gemma 4 zmieści się na jednej karcie RTX 4090?
- Ile kosztuje godzina lokalnego AI? Cztery składniki, nie jedna stawka
- Dlaczego jedna liczba tokenów na sekundę bywa myląca?
- Kiedy lokalny model wygrywa z chmurą?
- Ile pamięci potrzebują modele lokalne?
- Jak zacząć bez budowania serwera?
- Najczęstsze pytania
- Źródła
Czy Gemma 4 zmieści się na jednej karcie RTX 4090?
Tak, ale nie w każdym wariancie. Gemma 4 to rodzina modeli Google DeepMind ogłoszona 2 kwietnia 2026 r. jako modele do rozumowania i zastosowań agentowych [1]. Obejmuje pięć rozmiarów: E2B, E4B, 12B, 26B A4B i 31B; większe warianty obsługują kontekst do 256 tys. tokenów, mniejsze do 128 tys. [2]. Wagi są publiczne na licencji Apache 2.0, choć precyzyjniej mówić o modelach open-weight: kod treningowy i dane treningowe nie są udostępnione [3]. Na jednej karcie RTX 4090, która ma 24 GB VRAM [4], najlepiej mieści się 26B A4B w kwantyzacji 4-bitowej, zajmujący około 15–16 GB [5].
Ten wariant jest modelem MoE. Ma około 25,2 mld parametrów łącznie, ale na jeden token aktywuje około 3,8 mld, co tłumaczy zarówno rozmiar, jak i wysoką przepustowość [5][2]. Wariant 31B jest większy i wymaga ograniczenia kontekstu albo przeniesienia części warstw do RAM, co od razu widać w liczbie tokenów na sekundę.
Kompletny przegląd runtime'ów, modeli i wymagań sprzętowych prowadzimy na stronie lokalne modele AI.
Ile kosztuje godzina lokalnego AI? Cztery składniki, nie jedna stawka
Nie ma jednej stawki godzinowej. Koszt to pobór całego komputera razy cena energii, plus amortyzacja sprzętu i koszty operacyjne. Samo pomnożenie szczytowych 450 W przez cenę kilowatogodziny opisuje wyłącznie teoretyczny koszt karty, nie koszt lokalnej usługi AI [6].
RTX 4090 ma deklarowany szczytowy pobór około 450 W [4]. Publicystyczne wyliczenie przekłada pracę ciągłą przy takim poborze na około 39 USD miesięcznie za sam prąd [6]. To dolna granica, bo nie obejmuje procesora, dysków, chłodzenia, sprawności zasilacza ani stawki z twojej umowy z dostawcą energii.
Policz cztery rzeczy:
- energia: pobór całego zestawu w kW × stawka za kWh z faktury,
- amortyzacja: cena zestawu podzielona przez planowany okres eksploatacji,
- ludzie: czas wdrożenia, aktualizacji i dyżuru,
- ryzyko: awarie, wymiana karty, backup i separacja danych.
Polskie widełki wdrożenia prywatnego AI to według jednego z opracowań 20–200 tys. zł na start i 800–3500 zł miesięcznie utrzymania [7]. To zakres rynkowy, nie wycena konkretnej konfiguracji.
| Kryterium | 26B A4B, 4 bit, RTX 4090 | 31B z offloadem, RTX 4090 | Gemma 4 w Ollama Cloud | Gemma 4 na Cloud Run |
|---|---|---|---|---|
| Pamięć | około 15–16 GB VRAM [5] | część warstw w RAM [5] | brak lokalnych wymagań | zarządzana przez usługę |
| Przepustowość | około 149–193 tokenów/s [5] | około 7,8 tokena/s [5] | zależna od planu | zależna od instancji |
| Model kosztu | sprzęt, prąd, praca | sprzęt, prąd, praca | 0,14 USD wejście i 0,40 USD wyjście za 1 mln tokenów [8] | płatność za użycie, skalowanie do zera [9] |
| Kontrola danych | pełna, lokalna | pełna, lokalna | dane u dostawcy | dane w chmurze Google [10] |
Dlaczego jedna liczba tokenów na sekundę bywa myląca?
Bo zależy od wariantu, kwantyzacji, backendu, długości kontekstu i obciążenia. Dla 26B A4B na RTX 4090 raportowano około 149–193 tokenów na sekundę, a dla 31B z offloadem około 7,8 tokena na sekundę [5]. Różnica między tymi dwoma wariantami jest większa niż różnica między kartami z sąsiednich półek cenowych.
Benchmark bez metodologii nie mówi nic o twoim przypadku. Znaczenie mają długość promptu, liczba równoległych zapytań, typ zadania i to, czy model realnie trzyma kontekst. Wyniki warto zestawiać w tym samym scenariuszu, o czym piszemy w artykule o tym, dlaczego benchmarki to za mało.
Kiedy lokalny model wygrywa z chmurą?
Wtedy, gdy porównujesz ten sam workload. Liczba zapytań, tokeny wejściowe i wyjściowe, batch, czas pracy, opóźnienie i jakość odpowiedzi muszą być identyczne po obu stronach. Bez tego każde zestawienie kosztów jest tylko ilustracją.
Wybór nie sprowadza się do „chmura albo lokalny RTX”. Google udostępnia Gemma 4 również w Cloud Run, z możliwością skalowania do zera, więc płacisz tylko wtedy, gdy usługa faktycznie pracuje [10][9]. Lokalna karta wygrywa przy stałym obciążeniu, wrażliwych danych i pracy bez limitów zapytań. Chmura wygrywa przy obciążeniu sporadycznym i wtedy, gdy nie chcesz utrzymywać sprzętu.
Architektura modelu też wpływa na rachunek. Modele MoE, takie jak 26B A4B, aktywują na token tylko część parametrów, co zmienia relację kosztu do jakości — szerzej opisujemy to w tekście MoE vs dense.
Ile pamięci potrzebują modele lokalne?
Orientacyjne widełki są proste, ale to wartości planistyczne, nie gwarancje. Model 7B–8B potrzebuje około 8 GB VRAM albo 16 GB RAM, wariant 12B–14B to 12–16 GB VRAM albo 24 GB RAM, a 27B–32B wymaga 24–32 GB VRAM lub pamięci zunifikowanej [2].
Oficjalny przykład Ollama: Gemma 4 E2B ma około 7,2 GB pobierania i zalecane około 8 GB VRAM lub pamięci zunifikowanej [11]. Przy braku VRAM część modelu trafia do RAM, ale odpowiedzi będą wolniejsze. Kwantyzacja 4-bitowa zwykle daje najlepszy kompromis między jakością a rozmiarem, a długi kontekst i równoległe zapytania zwiększają zapotrzebowanie na pamięć.
Po polsku warto sprawdzić także modele spoza rodziny Gemma 4. Bielik-11B-v3.0-Instruct to model SpeakLeash i ACK Cyfronet AGH, trenowany na 32 językach europejskich z naciskiem na polski, na licencji Apache 2.0 [12]. PLLuM-12B-chat-2512 powstał w rodzinie rozwijanej przez polskie instytucje badawcze i jest dostrajany pod dialog, RAG i zadania administracyjne [13]. Oba mieszczą się w widełkach 12–16 GB VRAM.
Jak zacząć bez budowania serwera?
Od gotowego runtime'u. LM Studio w wersji 0.4.26 oferuje graficzny katalog modeli z Hugging Face, czat offline i lokalny serwer API [14]. Ollama v0.40.4 wydano 12 października 2026 r. i wydanie zawiera poprawki wydajności Gemma 4 na kartach NVIDIA [15].
Lokalne modele działają bez opłat i bez limitu zapytań po stronie Ollama; płacisz za sprzęt i energię [8]. Plan Free nie wymaga logowania do modeli lokalnych, a płatne plany dotyczą modeli chmurowych.
Praktyczny start: pobierz wariant dopasowany do pamięci, uruchom go na jednej karcie i zmierz tokeny na sekundę na własnym promptcie, a nie na cudzym benchmarku. Dopiero ten pomiar zestawiony z rachunkiem za prąd daje odpowiedź, czy lokalny model jest dla ciebie tańszy.
Najczęstsze pytania
Czy RTX 4090 wystarczy do Gemma 4 31B?
Technicznie tak, praktycznie z kompromisem. Karta ma 24 GB VRAM, a wariant 31B wymaga ograniczenia kontekstu lub przeniesienia części warstw do RAM. W testach z offloadem przepustowość spadała do około 7,8 tokena na sekundę, więc do pracy interaktywnej lepszy jest 26B A4B w kwantyzacji 4-bitowej [5].
Czy Gemma 4 jest open source?
Nie w pełnym tego słowa znaczeniu. Wagi są publiczne na licencji Apache 2.0, ale kod treningowy i dane treningowe nie zostały udostępnione, dlatego precyzyjniejszym określeniem jest open-weight [3][2]. Dla większości wdrożeń licencja Apache 2.0 jest wystarczająca, ale warto sprawdzić ją w swojej organizacji.
Czy lokalny model jest tańszy od API?
Nie zawsze. Przy stałym, wysokim obciążeniu lokalny sprzęt zwykle wygrywa, bo koszt krańcowy to prąd. Przy obciążeniu sporadycznym płatność za tokeny bywa niższa niż amortyzacja karty i czas utrzymania [16]. Porównanie ma sens tylko dla tego samego wolumenu i tej samej jakości odpowiedzi.
Ile prądu zużywa lokalny model?
Tyle, ile cały komputer pod obciążeniem, nie tylko karta. RTX 4090 ma deklarowany szczytowy pobór około 450 W [4], a publicystyczne wyliczenie pracy ciągłej przy takim poborze to około 39 USD miesięcznie za prąd [6]. Do tego dochodzą procesor, dyski, chłodzenie i straty zasilacza.
Źródła
- Gemma 4 — Google DeepMind (Google DeepMind, 2026)
- Gemma 4 model card — Google AI for Developers (Google, 2026)
- Gemma 4: Byte for byte, the most capable open models (Google, 2026)
- Is the RTX 4090 Still Worth It for AI in 2026? Price and Performance (Runpod, 2026)
- Gemma 4 RTX 4090 Benchmark: Real Ollama Throughput Data (Markaicode, 2026)
- Local LLM Power Consumption 2026: RTX 4090 450W = $39/mo (PromptQuorum, 2026)
- Ile kosztuje prywatne AI? Cennik 2026 i serwer GPU (WebyJuice, 2026)
- Ollama Pricing (Ollama, 2026)
- Deploy Gemma 4 on Cloud Run: Pay Only When You Actually Use It (Google Developer Experts, 2026)
- Gemma 4 available on Google Cloud (Google Cloud Blog, 2026)
- Quickstart — Ollama (Ollama Docs, 2026)
- speakleash/Bielik-11B-v3.0-Instruct (SpeakLeash, Hugging Face, 2026)
- CYFRAGOVPL/PLLuM-12B-chat-2512 (CYFRAGOVPL, Hugging Face, 2026)
- Download LM Studio — Mac, Linux, Windows (LM Studio, 2026)
- Release v0.40.4 · ollama/ollama (GitHub, 2026)
- Lokalna AI vs API w chmurze: kompletna analiza kosztów 2026 (LLM Configurator, 2026)
Fanatyk nowych technologii i specjalista w zakresie sztucznej inteligencji.
Jak powstają teksty: Polityka AI · O redakcji