News & analizy
Czy mniejszy zbiór danych poprawia zapamiętywanie faktów?
Zaktualizowano: Autor: Andrzej Niemiec6 min czytania
Kontrolowana selekcja danych zwiększa liczbę faktów zapamiętanych przez model. Wyjaśniamy wyniki badań z 2026 roku, rolę częstości faktów i wymagania lokalnych modeli.
Spis treści
- Czy mniejszy zbiór danych poprawia zapamiętywanie faktów?
- Co pokazało badanie z kwietnia 2026 roku?
- Jak częstość występowania faktów wpływa na pamięć modelu?
- Czym selekcja danych różni się od deduplikacji i filtrowania jakości?
- Czy zapamiętanie faktu oznacza, że model odpowiada prawdziwie?
- Które modele lokalne sprawdzić pod polskie dane?
- Ile pamięci potrzebuje lokalny model?
- Czy lokalne modele są darmowe?
- Jak sprawdzić selekcję danych we własnym projekcie?
- Najczęstsze pytania
- Źródła
Czy mniejszy zbiór danych poprawia zapamiętywanie faktów?
Tak, jeśli mniejszy zbiór powstaje w wyniku kontrolowanej selekcji, a nie mechanicznego wycięcia części korpusu. Badanie z kwietnia 2026 roku pokazało, że odpowiednio dobrany podzbiór danych zwiększa liczbę faktów zapamiętanych przez model [1]. W lokalnym wdrożeniu decyduje rozkład informacji w danych, nie ich objętość. Szerszy obraz narzędzi i modeli do uruchomienia na własnym sprzęcie zbiera hub lokalne modele AI.
Co pokazało badanie z kwietnia 2026 roku?
Praca Ye, Feldmana i Talwara, opublikowana 9–10 kwietnia 2026 roku, badała zapamiętywanie faktów o encjach na danych z Wikipedii [1][2]. Model GPT-2 Small o 110 mln parametrów, trenowany na wyselekcjonowanym zbiorze, zapamiętywał 1,3 raza więcej faktów encji i dorównywał modelowi 1,3 mld parametrów trenowanym na pełnym zbiorze [2]. Wynik dotyczy jednego modelu i jednego zestawu danych.
Selekcja w tym eksperymencie nie polegała na losowym usunięciu części tekstu. Chodziło o ograniczenie liczby faktów do pojemności modelu i wyrównanie częstości ich występowania. Autorzy wskazują, że nadmiar informacji względem pojemności obniża dokładność faktograficzną [1]. To wyjaśnia, dlaczego prosty test „mniej danych” nie musi dać poprawy. Różne podejścia do lokalnych wdrożeń, w tym modele gęste i MoE, opisuje artykuł MoE vs dense.
Jak częstość występowania faktów wpływa na pamięć modelu?
Bardzo częste fakty zużywają pojemność modelu szybciej niż rzadkie, bo występują w wielu dokumentach. Spłaszczanie rozkładu częstości pozwala dojść do granicy dokładności przy mniejszym korpusie [1]. Korzyść zależy od tego, czy dane są już oczyszczone i zduplikowane.
Powtórzenia działają w obie strony. Praca o ponownym użyciu danych opisuje okno zapamiętywania: wysokiej jakości dane użyte po raz kolejny początkowo pomagają, a zbyt wczesne lub nadmierne powtarzanie zwiększa ryzyko overfittingu [3]. Harmonogram powtórzeń jest więc częścią projektu danych, a nie dodatkiem do niego.
Czym selekcja danych różni się od deduplikacji i filtrowania jakości?
Deduplikacja usuwa identyczne lub bliskie kopie dokumentów, filtrowanie jakości odrzuca teksty o niskiej wartości, a selekcja pod pojemność porządkuje fakty według liczby i częstości. Techniki działają na różnych poziomach danych i nie zastępują się nawzajem [1][4].
| Kryterium | Deduplikacja | Filtrowanie jakości | Selekcja pod pojemność |
|---|---|---|---|
| Cel | usunięcie powtórzeń | odrzucenie tekstów niskiej jakości | dopasowanie liczby faktów do pojemności modelu |
| Metoda | hashowanie i porównywanie fragmentów | klasyfikatory i heurystyki | analiza częstości faktów i entropii |
| Wpływ na zapamiętywanie faktów | ogranicza odtwarzanie tekstu verbatim [4] | poprawia spójność odpowiedzi | zwiększa liczbę zapamiętanych faktów [1] |
| Główne ograniczenie | nie usuwa pamięci mozaikowej [5] | może usuwać rzadkie, poprawne informacje | wymaga zdefiniowania, co jest faktem |
Dane po deduplikacji wciąż mogą prowadzić do odtwarzania treści. Badanie „The mosaic memory of large language models” z 29 stycznia 2026 roku pokazuje, że modele składają zapamiętany tekst z podobnych, częściowo zmienionych fragmentów, a nie tylko z identycznych kopii [5]. Deduplikacja zmniejsza ryzyko, ale go nie usuwa.
Czy zapamiętanie faktu oznacza, że model odpowiada prawdziwie?
Nie. Zapamiętanie faktu w parametrach nie gwarantuje poprawnego przywołania, aktualności ani odporności na zmianę kontekstu. Badania rozróżniają zapamiętywanie faktów od niepożądanego odtwarzania fragmentów danych treningowych [4]. Model może nauczyć się relacji typu osoba–data bez wiernego przechowywania całych dokumentów.
To rozróżnienie ma znaczenie przy ocenie modelu. Wysoki wynik w teście faktów nie mówi nic o zachowaniu po zmianie kontekstu lub po dostrojeniu. Osobny artykuł o rankingu modeli open source pokazuje, gdzie kończy się wartość pojedynczego benchmarku.
Które modele lokalne sprawdzić pod polskie dane?
Dla polskiego tekstu sensownym punktem startu są modele trenowane z naciskiem na polski: Bielik v3 w wariantach 1.5B, 4.5B i 11B oraz PLLuM 2512 w rozmiarach 4B, 8B, 12B i 70B [6][7]. Dla zadań wielojęzycznych i agentowych dochodzą Qwen3.5 i Gemma 4 [8][9].
Bielik-11B-v3.0-Instruct ma 11 mld parametrów, powstał w SpeakLeash i ACK Cyfronet AGH, obejmuje 32 języki europejskie i jest udostępniany na licencji Apache 2.0 [6][10]. Karta modelu wymienia brak wbudowanych mechanizmów moderacji, więc treści fałszywe lub tendencyjne są możliwe. Model jest dostępny w Ollama jako bielik-11b-v3.0-instruct, obok mniejszych wariantów 1.5B i 4.5B [11].
PLLuM-12B-chat-2512 należy do linii utworzonej w grudniu 2025 roku, obsługuje polski z dodatkowym angielskim i jest dostępny na licencji Apache 2.0 [7]. Rodzina obejmuje 4B, 8B, 12B i 70B, a model dostrajano pod dialog, RAG i zadania administracyjne. Korpus PLLuM liczył około 28 mld tokenów w wersji komercyjnej i około 150 mld w niekomercyjnej, a tuning instrukcyjny objął około 40 tys. par lub dialogów [12][13].
W benchmarku LLMzSzŁ Bielik-11B-v2.1-Instruct uzyskał 57,52 punktu i był najlepszym testowanym modelem poniżej 15 mld parametrów [14]. Wynik dotyczy starszej wersji i konkretnego zestawu zadań, więc nie jest uniwersalnym rankingiem.
Ile pamięci potrzebuje lokalny model?
Dla modeli 2B–4B wystarczy 8–16 GB pamięci, dla 7B–8B około 8 GB VRAM lub 16 GB RAM, a dla 12B–14B od 12 do 16 GB VRAM albo 24 GB RAM. Model 70B po kwantyzacji Q4 potrzebuje około 40–48 GB pamięci, więcej przy długim kontekście [9][15].
| Model po kwantyzacji | Sensowny punkt startowy |
|---|---|
| 2B–4B | 8–16 GB RAM lub pamięci wspólnej |
| 7B–8B | około 8 GB VRAM albo 16 GB RAM |
| 12B–14B | 12–16 GB VRAM albo 24 GB RAM |
| 27B–32B | 24–32 GB VRAM lub RAM |
| 70B | około 40–48 GB pamięci dla Q4 |
Oficjalny przykład Ollama: Gemma 4 E2B ma około 7,2 GB pobierania i zalecane około 8 GB VRAM lub pamięci zunifikowanej [9]. Gdy VRAM brakuje, część modelu trafia do RAM i odpowiedzi zwalniają. Ollama działa też na CPU, korzysta z Metal na komputerach Apple, wymaga compute capability 5.0+ na kartach NVIDIA i wspiera ROCm na AMD [16]. LM Studio na macOS wymaga Apple Silicon M1–M4 i systemu macOS 14 lub nowszego, a na Windows procesora x64 z AVX2 lub ARM Snapdragon X Elite [15].
Czy lokalne modele są darmowe?
Modele lokalne w Ollama są bezpłatne i bez limitu zapytań po stronie Ollama. Koszt to sprzęt, energia i opcjonalne aplikacje [17][18]. Logowanie nie jest wymagane do modeli lokalnych [18].
Płatne plany dotyczą modeli w chmurze. Stan na październik 2026, ceny oficjalne w USD: Free 0 USD, Pro 20 USD miesięcznie lub 200 USD rocznie, Max 100 USD miesięcznie, Team 500 USD miesięcznie, Enterprise indywidualnie [17]. Kredyty odnawiają się co miesiąc i nie przechodzą na kolejny okres. LM Studio w wersji darmowej obejmuje lokalne modele, llama.cpp, MLX i lokalną transkrypcję głosu, a Bionic+ kosztuje 20 USD miesięcznie i Pro 100 USD miesięcznie [19]. Aktualna wersja LM Studio dla Windows to 0.4.26, widoczna 15 października 2026 roku [20].
Jak sprawdzić selekcję danych we własnym projekcie?
Polecamy zacząć od małego, powtarzalnego testu. Zbierz listę faktów o encjach z odpowiedziami, podziel dane na wariant pełny i wyselekcjonowany, a potem porównaj oba modele na tych samych pytaniach. Do pomiaru przydają się wymuszone odpowiedzi w schemacie JSON, które Ollama obsługuje przez structured outputs, także dla modeli wizyjnych [21]. Osobny przewodnik po narzędziach do lokalnych modeli opisuje smallcode.
Trzy zasady ograniczają ryzyko błędu. Po pierwsze, porównuj modele o tej samej liczbie parametrów i tej samej kwantyzacji. Po drugie, sprawdzaj ogólną wydajność, nie tylko pytania faktograficzne. Po trzecie, zapisuj wersję danych i konfigurację treningu, bo bez tego wyniku nie da się powtórzyć. Jako punkt wyjścia wybierz model 7B–8B w kwantyzacji Q4 i zestaw około stu faktów ze znaną odpowiedzią.
Najczęstsze pytania
Czy wystarczy usunąć 30% danych, aby model zapamiętał więcej?
Nie. Liczba nie jest regułą. Badanie z 2026 roku dotyczyło selekcji faktów względem pojemności modelu i wyrównania częstości, a nie stałego progu procentowego [1]. Ten sam procent usuniętych danych da różne efekty zależnie od tego, ile faktów zawiera korpus i jak bardzo jest zduplikowany.
Czy mniejszy model może dorównać większemu?
W eksperymencie GPT-2 Small o 110 mln parametrów po selekcji danych dorównał modelowi 1,3 mld parametrów trenowanemu na pełnym zbiorze [2]. To wynik dla jednego zadania i jednego zestawu danych. Nie oznacza, że każdy mały model zastąpi większy w rozmowie, kodzie czy rozumowaniu.
Czy powtarzanie danych poprawia zapamiętywanie?
Krótko i w odpowiednim momencie może pomóc. Praca o ponownym użyciu danych opisuje okno, w którym powtórki działają, oraz wzrost ryzyka overfittingu przy zbyt wczesnym lub nadmiernym powtarzaniu [3]. Decyduje harmonogram, a nie sama obecność powtórzeń.
Czy lokalny model jest bezpieczny dla danych firmowych?
Model uruchomiony lokalnie może pozostawić prompt i dokument na urządzeniu, a internet jest potrzebny głównie do pobrania aplikacji i wag [15]. To nie zwalnia z konfiguracji: logi aplikacji, kopie zapasowe i dostęp do lokalnego serwera API nadal trzeba zabezpieczyć. Zakres zależy od wdrożenia, nie od samego faktu uruchomienia lokalnie.
Źródła
- Cram Less to Fit More: Training Data Pruning Improves Memorization of Facts (arXiv, 2026)
- Cram Less to Fit More: Training Data Pruning Improves Memorization of Facts (Papers with Code, 2026)
- Train Smarter, Not Longer: Memorization-Guided Data Reuse for Efficient LLM Training (arXiv, 2026)
- Undesirable Memorization in Large Language Models: A Survey (arXiv, 2024)
- The mosaic memory of large language models (Nature, 2026)
- speakleash/Bielik-11B-v3.0-Instruct (Hugging Face, 2025)
- CYFRAGOVPL/PLLuM-12B-chat-2512 (Hugging Face, 2025)
- qwen3.5 (Ollama)
- gemma4 (Ollama)
- Bielik v3 Small: Technical Report (arXiv, 2025)
- SpeakLeash (Ollama)
- 'Polish hat' for any language model was created as part of PLLuM (Science in Poland, 2026)
- PLLuM - Polish Large Language Model (pllum.org.pl)
- LLMzSzŁ: a comprehensive LLM benchmark for Polish (arXiv, 2025)
- System Requirements (LM Studio)
- Hardware support (Ollama)
- Ollama Pricing (Ollama)
- Quickstart (Ollama)
- Bionic Pricing (LM Studio)
- Download LM Studio - Mac, Linux, Windows (LM Studio)
- Structured outputs (Ollama Blog)
Fanatyk nowych technologii i specjalista w zakresie sztucznej inteligencji.
Jak powstają teksty: Polityka AI · O redakcji