Narzędzia AI
Małe modele językowe: ile wystarcza w 2026 i kiedy 1,1 mld ma sens
Zaktualizowano: Autor: Andrzej Niemiec8 min czytania
Spis treści
- Ile parametrów ma TinyLlama i skąd wzięło się 2,7 mld?
- Jakie zadania naprawdę udźwignie model z 1,1 mld parametrami?
- Co pokazał test na dokumentach ubezpieczeniowych?
- Kiedy mały model wygrywa z dużym, a kiedy przegrywa?
- Jak policzyć, czy mały model faktycznie oszczędza?
- Jak zacząć wdrożenie małego modelu w firmie?
- Najczęstsze pytania
- Źródła
Ile parametrów ma TinyLlama i skąd wzięło się 2,7 mld?
TinyLlama ma 1,1 mld parametrów. Projekt opisuje ją jako otwarty model trenowany na około 3 bln tokenów [1]. Wartość 2,7 mld pochodzi z pomylenia z Microsoft Phi-2, który realnie ma 2,7 mld parametrów [2]. Model korzysta z architektury i tokenizera Llama 2, dzięki czemu działa z narzędziami przygotowanymi dla tej rodziny [3].
Trening rozpoczął się 1 września 2023 r. [1]. Za projektem stoją badacze związani z Singapore University of Technology and Design [3]. Praca opisuje trening przez około 90 dni na 16 kartach A100-40G [3]. Dane obejmowały SlimPajama i StarCoderData w proporcji około 7:3, język naturalny do kodu [1]. Nowsza seria 1.1 była trenowana na 2 bln tokenów [4].
Model udostępniono na licencji Apache 2.0, a kod, checkpointy i dokumentacja są publiczne [1]. Wersja 4-bitowa zajmuje według projektu około 637 MB, więc uruchomienie na komputerze bez dedykowanej karty graficznej jest realne [1]. Kontekst modelu to około 2048 tokenów [5]. Ta wartość wystarcza dla notatki lub pojedynczej strony, ale nie dla całej umowy z załącznikami.
Jakie zadania naprawdę udźwignie model z 1,1 mld parametrami?
Mały model językowy (SLM) to podzbiór modeli językowych, który realizuje konkretne zadania przy mniejszych zasobach niż modele duże [6]. Sprawdza się w klasyfikacji, prostej ekstrakcji pól, streszczaniu krótkich tekstów i odpowiedziach na powtarzalne pytania. Do zadań wymagających szerokiej wiedzy ogólnej i długiego kontekstu lepiej nadają się większe modele [7].
| Kryterium | Mały model (TinyLlama 1,1 mld) | Duży model ogólny |
|---|---|---|
| Parametry | 1,1 mld [1] | znaczenie więcej zależy od modelu |
| Kontekst | około 2048 tokenów [5] | zwykle dłuższy, bez wspólnej wartości w źródłach |
| Ślad pamięciowy | około 637 MB w wersji 4-bitowej [1] | wymaga serwera albo zewnętrznego API |
| Lokalizacja danych | własna infrastruktura | zwykle serwery dostawcy API |
| Licencja | Apache 2.0 [1] | zależna od dostawcy |
Zastosowania biznesowe małych modeli opisuje przegląd TTMS: wsparcie obsługi klienta, porządkowanie treści i analiza dokumentów [8]. Rok 2025 przyniósł wyraźny zwrot ku mniejszym modelom, bo firmy szukają tańszych wdrożeń [9]. Deklaracja producenta o rozmiarze nie mówi jednak nic o jakości w konkretnym zadaniu.
Co pokazał test na dokumentach ubezpieczeniowych?
W kwietniu 2025 r. opublikowano niezależny test TinyLlamy na 11 dokumentach ubezpieczeniowych. Model poprawnie wyodrębnił wszystkie wymagane pola tylko z 2 z 11 plików, a autorzy opisali jakość wyników jako słabą i podatną na halucynacje. Wniosek dla firm planujących ekstrakcję danych jest prosty: rozmiar modelu nie zastępuje walidacji na własnym zbiorze.
W obiegu krążą opisy testów na tysiącach polis i oszczędności rzędu 70 proc. Źródła ich nie potwierdzają — brak metodologii, wartości bazowej, opisu sprzętu i okresu porównania. Benchmarki takie jak HellaSwag, ARC, BoolQ, PIQA, MMLU i HumanEval mierzą inne umiejętności i nie dowodzą skuteczności w polskich dokumentach [3] [4].
Kiedy mały model wygrywa z dużym, a kiedy przegrywa?
Mały model wygrywa wtedy, gdy zadanie jest wąskie i powtarzalne, a dane nie mogą opuścić firmy. Przegrywa, gdy potrzebny jest długi kontekst, szeroka wiedza ogólna albo rozumowanie wymagające generalizacji. Granica przebiega przy charakterze zadania, nie przy liczbie parametrów.
Kontekst około 2048 tokenów [5] oznacza, że model obejmuje kilka stron tekstu. Przy dłuższych materiałach dokument trzeba dzielić na fragmenty i scalać wyniki, a każdy taki podział zwiększa ryzyko błędu i utraty informacji. W wąskim zadaniu, po dostrojeniu na własnych etykietach, model potrafi dawać powtarzalne wyniki — sposoby oceny modeli opisujemy w tekście o benchmarkach AI.
Jak policzyć, czy mały model faktycznie oszczędza?
Oszczędność da się policzyć tylko przez audytowalne porównanie kosztu inferencji modelu lokalnego z kosztem modelu referencyjnego przy identycznym obciążeniu. Trzeba uwzględnić sprzęt, zużycie energii, jakość wyników, koszt integracji i obsługę błędów. Bez tych danych deklaracja oszczędności jest marketingiem, nie pomiarem.
Model lokalny znosi opłatę za token, ale dodaje koszt sprzętu i utrzymania. W badaniu Forrester Research 55 proc. organizacji w Stanach Zjednoczonych prowadziło pilotaże generatywnej AI [10], co pokazuje skalę eksperymentów, ale nie mówi nic o ich wyniku. Wdrożenie bywa krótsze, niż zakłada plan — opisujemy to w tekście o Codexie w data science.
Jak zacząć wdrożenie małego modelu w firmie?
Zaczynamy od jednego zadania i kontrolnego zbioru dokumentów, na którym da się zmierzyć dokładność. Dopiero potem wybieramy model i sposób uruchomienia — lokalnie, przez Ollama lub z wykorzystaniem narzędzi dla rodziny Llama [3] [5].
- Zdefiniuj zadanie i miarę jakości, np. odsetek poprawnie wyodrębnionych pól.
- Sprawdź, czy dokumenty mieszczą się w kontekście około 2048 tokenów [5]. Jeśli nie, zaplanuj dzielenie tekstu.
- Uruchom model na próbce 20–50 własnych dokumentów i porównaj wynik z obecnym procesem.
- Policz koszt błędów: ręczną korektę, obsługę wyjątków i czas pracy ludzi.
- Skaluj dopiero wtedy, gdy dokładność jest powtarzalna na kolejnej próbce.
Dostrojenie wymaga etykietowanych danych, a ich przygotowanie bywa droższe niż sama inferencja. Sposób działania wyszukiwarek i modeli w produktach opisujemy też w tekście o Google Search z AI.
Najczęstsze pytania
Czy TinyLlama ma 2,7 mld parametrów?
Nie. TinyLlama ma 1,1 mld parametrów [1]. Wartość 2,7 mld należy do Microsoft Phi-2 [2]. Pomylenie obu modeli jest częste w artykułach, które nie sprawdzają karty modelu, i prowadzi do błędnych wniosków o wymaganiach sprzętowych.
Ile tokenów kontekstu ma TinyLlama?
Około 2048 tokenów [5]. To kilka stron tekstu. Przy dłuższych dokumentach konieczne jest dzielenie na fragmenty i scalanie wyników, co zwiększa ryzyko utraty informacji i błędów w ekstrakcji.
Czy mały model wystarczy do analizy polskich dokumentów?
Nie ma ogólnej odpowiedzi. W niezależnym teście na 11 dokumentach ubezpieczeniowych TinyLlama poprawnie wyodrębniła wszystkie pola z 2 plików, a autorzy opisali wyniki jako słabe. Każde wdrożenie wymaga walidacji na własnym zbiorze i porównania z obecnym procesem.
Czy mały model zastąpi duży model w firmie?
Nie w każdym zadaniu. Mały model przejmuje wąskie, powtarzalne prace, a duży pozostaje potrzebny tam, gdzie liczy się szeroka wiedza i długi kontekst [7]. Decyzja zależy od zadania, nie od mody.
Ile miejsca zajmuje model na dysku?
Wersja 4-bitowa TinyLlamy zajmuje według projektu około 637 MB [1]. To wartość pozwalająca uruchomić model na zwykłym komputerze, ale nie zastępuje pomiaru wydajności na docelowym sprzęcie.
Źródła
- TinyLlama — repozytorium projektu (GitHub, 2023)
- Examples of LLM Model Sizes (apxml, 2025)
- TinyLlama: An Open-Source Small Language Model (arXiv, 2024)
- TinyLlama_v1.1 — karta modelu (Hugging Face, 2024)
- tinyllama:1.1b (Ollama, 2024)
- Co to są małe modele językowe (SLM)? (Microsoft Azure)
- Pojęcia — małe i duże modele językowe (Microsoft Learn)
- Małe modele językowe: przykłady zastosowania w biznesie (TTMS)
- Small Language Models vs Large Language Models (techwebsite.pl, 2025)
- Małe modele językowe. 2025 rokiem SLM-ów? (Computerworld.pl)
Fanatyk nowych technologii i specjalista w zakresie sztucznej inteligencji.
Jak powstają teksty: Polityka AI · O redakcji