Tutoriale how-to
Lokalne modele AI w 2026: MLX, Ollama i LM Studio w praktyce
Zaktualizowano: Autor: Andrzej Niemiec8 min czytania
Lokalne modele AI na Macu i w firmie: co naprawdę potrafi MLX i mlx-lm, czym różnią się Ollama i LM Studio, ile potrzeba pamięci i ile to kosztuje w 2026 roku.
Spis treści
- Czy lokalny model na Macu zastąpi chmurę?
- Co zmieniło się w 2026 roku: MLX, Ollama i LM Studio
- Ollama czy LM Studio — co wybrać do lokalnych modeli?
- Które modele warto uruchomić lokalnie w 2026 roku?
- Ile pamięci potrzebuje lokalny model?
- Ile kosztuje lokalny model, a ile chmura?
- Jak dziś wygląda konwersja modelu z Transformers do MLX?
- Kiedy lokalny model nie ma sensu?
- Najczęstsze pytania
- Źródła
Czy lokalny model na Macu zastąpi chmurę?
W wybranych zastosowaniach tak, w całym zakresie nie. Dokumentacja Transformers opisuje ładowanie modeli MLX bezpośrednio z Hugging Face Hub przez mlx_lm.load, ale wyłącznie dla architektur objętych wsparciem, więc obsługa konkretnego checkpointu jest warunkowa, a nie domyślna [1]. Ta sama dokumentacja wymienia lokalny serwer zgodny z API OpenAI, co pozwala podstawić model lokalny tam, gdzie aplikacja oczekuje chmury, bez gwarancji identycznej jakości, długości kontekstu i skalowania [1]. Pakiet mlx-lm służy do uruchamiania, kwantyzacji i dostrajania modeli językowych na Apple Silicon [4].
Decyzja sprowadza się do trzech warunków: zadanie mieści się w możliwościach modelu, pamięć komputera wystarcza na wagi i kontekst, licencja pozwala na planowane użycie. Katalog narzędzi i modeli rozwijamy na stronie lokalne modele AI.
16 kwietnia 2026 roku Hugging Face opisał projekt Transformers-to-MLX. To Skill, który pomaga portować architektury modeli z Transformers do MLX, analizuje kod, pisze implementację w MLX i uruchamia testy [2]. Publiczna karta projektu prowadzi do repozytorium ze skillem [3]. Jest to narzędzie deweloperskie, nie nowy model ani produkt komercyjny zastępujący API [2][3].
Co zmieniło się w 2026 roku: MLX, Ollama i LM Studio
Trzy zmiany: MLX stał się dojrzałym frameworkiem Apple, Ollama dodała runner MLX oraz funkcje agentowe, a LM Studio rozbudowało lokalny serwer o MCP i równoległe zapytania. Każda dotyczy innego etapu pracy: frameworka, runtime'u i aplikacji desktopowej.
MLX to otwarty framework tablicowy rozwijany przez Apple Machine Learning Research, przeznaczony przede wszystkim dla Apple Silicon i dostępny na licencji MIT [4]. Sesje WWDC25 pokazują praktyczną pracę z modelami językowymi na układach Apple z użyciem tego frameworka [5]. MLX korzysta ze wspólnej pamięci układu, co ogranicza kopiowanie danych między CPU i GPU, ale pojemność tej pamięci nadal wyznacza praktyczny rozmiar modelu [4].
Ollama w wersji v0.40.4 ukazała się 12 października 2026 roku [6]. Wcześniej producent dodał runner MLX na Apple Silicon w wersji preview [7], structured outputs wymuszające odpowiedź zgodną ze schematem JSON [8], tool calling [9] oraz silnik dla modeli multimodalnych, ogłoszony 15 maja 2025 roku [10]. W lipcu 2026 roku firma podawała 8,9 mln deweloperów i finansowanie w wysokości 88 mln USD [11].
LM Studio w wersji 0.4.26 widnieje na stronie pobierania dla Windows 15 października 2026 roku, ale strona nie podaje daty wydania tej wersji [12]. Obsługa MCP pojawiła się w wersji 0.3.17 z 25 czerwca 2025 roku [13], a linia 0.4.0 z 28 stycznia 2026 roku wniosła równoległe zapytania i ciągłe batchowanie [14]. Obok aplikacji działają narzędzia lms oraz bezgraficzny serwer llmster [15].
O tym, dlaczego rankingi modeli bywają mylące, piszemy w tekście o benchmarkach modeli open source.
Ollama czy LM Studio — co wybrać do lokalnych modeli?
Ollama wygrywa w automatyzacji i pracy z terminala, LM Studio w pracy z dokumentami oraz w konfiguracji przez interfejs graficzny. Oba udostępniają lokalny serwer API i obsługują format GGUF, różnią się jednak zakresem funkcji wbudowanych i sposobem zarządzania modelami.
| Kryterium | Ollama | LM Studio |
|---|---|---|
| Interfejs | terminal oraz aplikacja desktopowa; lokalne API domyślnie pod http://localhost:11434 [16] | aplikacja graficzna z katalogiem modeli i pobieraniem z Hugging Face [18] |
| Formaty i akceleracja | GGUF; runner MLX na Apple Silicon w wersji preview [7] | GGUF oraz MLX na Apple Silicon [18] |
| Praca z dokumentami | nie jest opisana w materiałach producenta | RAG dla plików .pdf, .docx i .txt [19] |
| Narzędzia zewnętrzne | tool calling w modelach [9] | MCP od wersji 0.3.17 [13] |
| Cena wejścia | lokalne modele bezpłatne, logowanie niewymagane [20] | plan Free za 0 USD [21] |
Ollama działa na macOS, Windows i Linux, także w kontenerach Docker, a lokalne API domyślnie odpowiada pod http://localhost:11434 [16]. LM Studio pobiera modele z katalogu połączonego z Hugging Face i pozwala uruchomić czat bez dostępu do sieci po pobraniu wag [18].
Które modele warto uruchomić lokalnie w 2026 roku?
Nie ma jednego najlepszego modelu, bo wybór zależy od języka, zadania, pamięci i licencji. Poniższa tabela zbiera rodziny najczęściej wskazywane w bibliotekach obu narzędzi oraz polskie modele, dla których dostępne są karty modeli i raporty techniczne.
| Model | Typowe warianty lokalne | Zastosowanie i uwagi |
|---|---|---|
| Qwen3 | 4B, 8B, 14B, 30B i większe; warianty gęste i MoE | wielojęzyczność, kod, rozumowanie, agenci [27] |
| Gemma 4 | rozmiary zależne od sprzętu | zadania ogólne, kod, praca z obrazem [28] |
| gpt-oss | 20B, 120B | rozumowanie, agenci, structured output; większy wariant wymaga dużej pamięci [29] |
| DeepSeek-R1 | 8B, 14B i większe destylacje | matematyka i rozumowanie krokowe; wagi R1 są na licencji MIT, a destylacje dziedziczą warunki modelu bazowego [30] |
| Llama 4 | Scout, Maverick | tekst i obraz; duże warianty są wymagające sprzętowo [31] |
| Bielik v3 | 1,5B, 4,5B, 11B | polski, ekstrakcja, klasyfikacja; SpeakLeash i ACK Cyfronet AGH, 32 języki europejskie, Apache 2.0, brak wbudowanej moderacji [32] |
| PLLuM 2512 | 4B, 8B, 12B, 70B | polska administracja, dokumenty, RAG; wariant 12B chat na Apache 2.0, warianty Llama pod licencją Llama [34] |
Bielik v3 jest dostępny w bibliotece Ollama, między innymi jako bielik-11b-v3.0-instruct, a strona SpeakLeash zawiera także warianty 1,5B i 4,5B [33]. W benchmarku LLMzSzŁ, dotyczącym języka polskiego, Bielik-11B-v2.1-Instruct uzyskał 57,52 punktu i był najlepszym testowanym modelem poniżej 15B parametrów, ale wynik dotyczy starszej wersji i jednego zestawu zadań, więc nie stanowi uniwersalnego rankingu [35].
Ile pamięci potrzebuje lokalny model?
Widełki zależą od liczby parametrów i kwantyzacji. Poniższe wartości są planistyczne, nie gwarantowane: dotyczą typowych modeli po kwantyzacji, a nie konkretnego checkpointu.
| Model po kwantyzacji | Sensowny punkt startowy |
|---|---|
| 2B–4B | 8–16 GB RAM lub wspólnej pamięci |
| 7B–8B | około 8 GB VRAM albo 16 GB RAM |
| 12B–14B | 12–16 GB VRAM albo 24 GB RAM |
| 27B–32B | 24–32 GB VRAM lub RAM |
| 70B | około 40–48 GB pamięci dla Q4 |
Oficjalne wymagania LM Studio podają macOS 14 lub nowszy, układy Apple Silicon M1–M4 i zalecane co najmniej 16 GB RAM; Intel Mac nie jest obecnie wspierany [36]. Ollama działa na CPU, korzysta z Metal na Apple, wymaga compute capability 5.0+ dla NVIDIA i wsparcia ROCm dla AMD, a Docker z akceleracją GPU działa na Linuksie oraz Windows/WSL2, natomiast Docker Desktop na macOS nie udostępnia GPU kontenerom [37].
Kwantyzacja 4-bitowa zmniejsza zużycie pamięci, może jednak obniżyć jakość, dlatego LM Studio zaleca 4 bity lub więcej, jeśli sprzęt na to pozwala [38]. Długi kontekst zużywa dodatkową pamięć, a równoległe zapytania zwiększają zapotrzebowanie w przybliżeniu proporcjonalnie do liczby sekwencji i długości kontekstu [17]. Szybki dysk SSD jest praktycznie konieczny dla dużych modeli, a GPU poprawia szybkość, nie jakość odpowiedzi.
Ile kosztuje lokalny model, a ile chmura?
Lokalne modele w Ollama są bezpłatne i bez limitu zapytań po stronie producenta: płaci się za sprzęt, energię i ewentualne aplikacje dodatkowe, a logowanie nie jest wymagane [20]. Płatne plany dotyczą modeli hostowanych w chmurze i zaczynają się od 20 USD miesięcznie [20].
| Plan | Cena | Zakres |
|---|---|---|
| Ollama Free | 0 USD | lokalne modele, ograniczony zestaw modeli cloud, 1 równoległe zapytanie [20] |
| Ollama Pro | 20 USD/mies. lub 200 USD/rok | 60 USD kredytów miesięcznie, 3 równoległe zapytania [20] |
| LM Studio Free | 0 USD | lokalne modele, llama.cpp, MLX, ograniczone wyszukiwanie [21] |
| LM Studio Bionic+ | 20 USD/mies. | modele open-weight hostowane w USA, wyszukiwanie i ekstrakcja stron [21] |
Kredyty w planach Ollama resetują się co miesiąc i nie przechodzą na kolejny okres [20]. Kurs przyjęty w zestawieniu to 1 EUR = 4,3689 PLN z 15 października 2026 roku, a dostawcy rozliczają się głównie w USD, więc bank lub operator karty może zastosować własny kurs i doliczyć VAT [22].
Po stronie chmury ceny katalogowe modeli OpenAI kształtowały się różnie: GPT-4 kosztował 30 USD za milion tokenów wejściowych i 60 USD za milion wyjściowych, GPT-4o 2,50 i 10 USD, a GPT-4.1 odpowiednio 2 i 8 USD [23][24][25]. Limity stawek, takie jak liczba żądań i tokenów na minutę oraz limity wydatków organizacji, są osobnym mechanizmem i nie zmieniają ceny jednostkowej [26].
Jak dziś wygląda konwersja modelu z Transformers do MLX?
Nie jest to bezwarunkowa konwersja dowolnego modelu jedną komendą. Skill Transformers-to-MLX analizuje architekturę, generuje kod implementacji i uruchamia testy, a jego instalację można rozpocząć pojedynczą komendą uv run .../install_skill.py [2]. Konwersję i kwantyzację obsługiwanego checkpointu wykonuje polecenie mlx_lm.convert --hf-path ... --mlx-path ... -q [39].
W praktyce kolejność jest taka: sprawdzenie, czy architektura jest wspierana [1], pobranie wag z Hub, konwersja do formatu MLX i uruchomienie testów wygenerowanych przez Skill [2]. Dla obsługiwanych architektur mlx_lm.load potrafi wczytać safetensors prosto z Hubu, bez ręcznej konwersji plików [1]. Repozytorium mlx-lm zawiera narzędzia do generowania tekstu, kwantyzacji i dostrajania [4].
O wpływie sprzętu na szybkość wnioskowania pisaliśmy w artykule o inferencji LLM na AMD Strix Halo.
Kiedy lokalny model nie ma sensu?
Nie ma sensu wtedy, gdy architektura modelu nie jest objęta wsparciem, gdy wagi nie mieszczą się w pamięci albo gdy licencja blokuje planowane użycie. Wsparcie jest warunkowe i zależy od konkretnego checkpointu, a nie od samej nazwy rodziny [1].
Trzy ograniczenia wracają najczęściej. Pamięć wspólna wyznacza praktyczny rozmiar modelu, więc bardzo duże warianty wymagają stacji roboczej, a nie laptopa [4]. Licencja bywa złożona: warianty Llama w rodzinie PLLuM podlegają licencji Llama, mimo że pozostałe warianty są na Apache 2.0 [34], a destylacje DeepSeek-R1 dziedziczą warunki modelu bazowego [30]. Dostępność funkcji też nie jest równa: lokalny serwer zgodny z API OpenAI nie zapewnia automatycznie tej samej jakości, kontekstu i skalowania co usługa chmurowa [1].
Najczęstsze pytania
Czy lokalny model na Macu potrzebuje internetu?
Internet jest potrzebny głównie do pobrania aplikacji i wag modelu, po ich zapisaniu na dysku czat działa offline. LM Studio oferuje czat offline oraz pobieranie modeli z katalogu połączonego z Hugging Face [18]. Ollama przechowuje modele lokalnie i udostępnia je przez lokalne API pod http://localhost:11434, a logowanie nie jest wymagane do modeli lokalnych [16][20].
Ile RAM wystarczy do modelu 7B–8B?
Dla modeli 7B–8B sensownym punktem startowym jest około 8 GB VRAM albo 16 GB pamięci wspólnej. LM Studio zaleca co najmniej 16 GB RAM na Macach z Apple Silicon [36]. Wartości rosną wraz z długością kontekstu i liczbą równoległych zapytań, bo pamięć trzeba rozdzielić między sekwencje [17]. Kwantyzacja 4-bitowa zmniejsza plik, ale może obniżyć jakość odpowiedzi [38].
Czy Bielik działa w Ollama?
Tak. Bielik v3 jest dostępny w bibliotece Ollama między innymi jako bielik-11b-v3.0-instruct, a strona SpeakLeash zawiera też warianty 1,5B i 4,5B [33]. Model ma 11 mld parametrów, powstał w SpeakLeash i ACK Cyfronet AGH, obejmuje 32 języki europejskie z naciskiem na polski i jest wydany na licencji Apache 2.0 według karty modelu [32]. Karta zastrzega brak wbudowanych mechanizmów moderacji.
Czy lokalne modele są bezpłatne?
Lokalne modele w Ollama są bezpłatne i bez limitu zapytań po stronie producenta, a opłaty dotyczą wyłącznie modeli hostowanych w chmurze [20]. LM Studio udostępnia plan Free za 0 USD z lokalnymi modelami, llama.cpp i MLX [21]. Realny koszt to sprzęt, energia i czas na konfigurację oraz utrzymanie środowiska.
Czy Mac z procesorem Intel uruchomi MLX?
Nie według oficjalnych wymagań LM Studio: wspierane są układy Apple Silicon M1–M4 z macOS 14 lub nowszym, a Intel Mac nie jest obecnie obsługiwany [36]. MLX jest frameworkiem projektowanym pod Apple Silicon, a mlx-lm obsługuje uruchamianie, kwantyzację i dostrajanie modeli na tych układach [4]. Na innych platformach pozostają narzędzia oparte na GGUF.
Źródła
- MLX (Hugging Face Transformers docs)
- The PR you would have opened yourself (Hugging Face Blog, 2026)
- huggingface/transformers-to-mlx (decision.ai)
- GitHub — ml-explore/mlx-lm
- Explore large language models on Apple silicon with MLX — WWDC25 (Apple Developer)
- Release v0.40.4 (ollama/ollama, GitHub)
- Ollama is now powered by MLX on Apple Silicon in preview (Ollama Blog)
- Structured outputs (Ollama Blog)
- Tool support (Ollama Blog)
- Ollama's new engine for multimodal models (Ollama Blog)
- Ollama: all aboard open models (Ollama Blog)
- Download LM Studio — Mac, Linux, Windows (LM Studio)
- MCP in LM Studio (LM Studio Blog)
- Introducing LM Studio 0.4.0 (LM Studio Blog)
- LM Studio, llmster, and lms (LM Studio docs)
- Quickstart (Ollama docs)
- FAQ (Ollama docs)
- Get started with LM Studio (LM Studio docs)
- Chat with Documents (LM Studio docs)
- Ollama Pricing (Ollama)
- Bionic Pricing (LM Studio)
- EUR to PLN Exchange Rate: 1 EUR = 4.3689 PLN (Pluang)
- OpenAI API Pricing Structure for Various Models (st-hakky)
- OpenAI API Pricing — All Models 2026 (lmmarketcap)
- GPT 4.1 API Pricing 2026 (pricepertoken)
- ChatGPT API Pricing 2026: Token Costs & Rate Limits (intuitionlabs)
- qwen3 (Ollama library)
- gemma4 (Ollama library)
- OpenAI gpt-oss (Ollama Blog)
- deepseek-r1:8b (Ollama library)
- llama4 (Ollama library)
- speakleash/Bielik-11B-v3.0-Instruct (Hugging Face)
- SpeakLeash (Ollama library)
- CYFRAGOVPL/PLLuM-12B-chat-2512 (Hugging Face)
- LLMzSzŁ: a comprehensive LLM benchmark for Polish (arXiv)
- System Requirements (LM Studio docs)
- Hardware support (Ollama docs)
- Download an LLM (LM Studio docs)
- MLX LM — Qwen (Qwen documentation)
Fanatyk nowych technologii i specjalista w zakresie sztucznej inteligencji.
Jak powstają teksty: Polityka AI · O redakcji