Przejdź do treści

News & analizy

Czy mniejszy zbiór danych poprawia zapamiętywanie faktów?

Zaktualizowano: Autor: Andrzej Niemiec6 min czytania

Kontrolowana selekcja danych zwiększa liczbę faktów zapamiętanych przez model. Wyjaśniamy wyniki badań z 2026 roku, rolę częstości faktów i wymagania lokalnych modeli.

Spis treści
  1. Czy mniejszy zbiór danych poprawia zapamiętywanie faktów?
  2. Co pokazało badanie z kwietnia 2026 roku?
  3. Jak częstość występowania faktów wpływa na pamięć modelu?
  4. Czym selekcja danych różni się od deduplikacji i filtrowania jakości?
  5. Czy zapamiętanie faktu oznacza, że model odpowiada prawdziwie?
  6. Które modele lokalne sprawdzić pod polskie dane?
  7. Ile pamięci potrzebuje lokalny model?
  8. Czy lokalne modele są darmowe?
  9. Jak sprawdzić selekcję danych we własnym projekcie?
  10. Najczęstsze pytania
  11. Źródła

Czy mniejszy zbiór danych poprawia zapamiętywanie faktów?

Tak, jeśli mniejszy zbiór powstaje w wyniku kontrolowanej selekcji, a nie mechanicznego wycięcia części korpusu. Badanie z kwietnia 2026 roku pokazało, że odpowiednio dobrany podzbiór danych zwiększa liczbę faktów zapamiętanych przez model [1]. W lokalnym wdrożeniu decyduje rozkład informacji w danych, nie ich objętość. Szerszy obraz narzędzi i modeli do uruchomienia na własnym sprzęcie zbiera hub lokalne modele AI.

Co pokazało badanie z kwietnia 2026 roku?

Praca Ye, Feldmana i Talwara, opublikowana 9–10 kwietnia 2026 roku, badała zapamiętywanie faktów o encjach na danych z Wikipedii [1][2]. Model GPT-2 Small o 110 mln parametrów, trenowany na wyselekcjonowanym zbiorze, zapamiętywał 1,3 raza więcej faktów encji i dorównywał modelowi 1,3 mld parametrów trenowanym na pełnym zbiorze [2]. Wynik dotyczy jednego modelu i jednego zestawu danych.

Selekcja w tym eksperymencie nie polegała na losowym usunięciu części tekstu. Chodziło o ograniczenie liczby faktów do pojemności modelu i wyrównanie częstości ich występowania. Autorzy wskazują, że nadmiar informacji względem pojemności obniża dokładność faktograficzną [1]. To wyjaśnia, dlaczego prosty test „mniej danych” nie musi dać poprawy. Różne podejścia do lokalnych wdrożeń, w tym modele gęste i MoE, opisuje artykuł MoE vs dense.

Jak częstość występowania faktów wpływa na pamięć modelu?

Bardzo częste fakty zużywają pojemność modelu szybciej niż rzadkie, bo występują w wielu dokumentach. Spłaszczanie rozkładu częstości pozwala dojść do granicy dokładności przy mniejszym korpusie [1]. Korzyść zależy od tego, czy dane są już oczyszczone i zduplikowane.

Powtórzenia działają w obie strony. Praca o ponownym użyciu danych opisuje okno zapamiętywania: wysokiej jakości dane użyte po raz kolejny początkowo pomagają, a zbyt wczesne lub nadmierne powtarzanie zwiększa ryzyko overfittingu [3]. Harmonogram powtórzeń jest więc częścią projektu danych, a nie dodatkiem do niego.

Czym selekcja danych różni się od deduplikacji i filtrowania jakości?

Deduplikacja usuwa identyczne lub bliskie kopie dokumentów, filtrowanie jakości odrzuca teksty o niskiej wartości, a selekcja pod pojemność porządkuje fakty według liczby i częstości. Techniki działają na różnych poziomach danych i nie zastępują się nawzajem [1][4].

KryteriumDeduplikacjaFiltrowanie jakościSelekcja pod pojemność
Celusunięcie powtórzeńodrzucenie tekstów niskiej jakościdopasowanie liczby faktów do pojemności modelu
Metodahashowanie i porównywanie fragmentówklasyfikatory i heurystykianaliza częstości faktów i entropii
Wpływ na zapamiętywanie faktówogranicza odtwarzanie tekstu verbatim [4]poprawia spójność odpowiedzizwiększa liczbę zapamiętanych faktów [1]
Główne ograniczenienie usuwa pamięci mozaikowej [5]może usuwać rzadkie, poprawne informacjewymaga zdefiniowania, co jest faktem

Dane po deduplikacji wciąż mogą prowadzić do odtwarzania treści. Badanie „The mosaic memory of large language models” z 29 stycznia 2026 roku pokazuje, że modele składają zapamiętany tekst z podobnych, częściowo zmienionych fragmentów, a nie tylko z identycznych kopii [5]. Deduplikacja zmniejsza ryzyko, ale go nie usuwa.

Czy zapamiętanie faktu oznacza, że model odpowiada prawdziwie?

Nie. Zapamiętanie faktu w parametrach nie gwarantuje poprawnego przywołania, aktualności ani odporności na zmianę kontekstu. Badania rozróżniają zapamiętywanie faktów od niepożądanego odtwarzania fragmentów danych treningowych [4]. Model może nauczyć się relacji typu osoba–data bez wiernego przechowywania całych dokumentów.

To rozróżnienie ma znaczenie przy ocenie modelu. Wysoki wynik w teście faktów nie mówi nic o zachowaniu po zmianie kontekstu lub po dostrojeniu. Osobny artykuł o rankingu modeli open source pokazuje, gdzie kończy się wartość pojedynczego benchmarku.

Które modele lokalne sprawdzić pod polskie dane?

Dla polskiego tekstu sensownym punktem startu są modele trenowane z naciskiem na polski: Bielik v3 w wariantach 1.5B, 4.5B i 11B oraz PLLuM 2512 w rozmiarach 4B, 8B, 12B i 70B [6][7]. Dla zadań wielojęzycznych i agentowych dochodzą Qwen3.5 i Gemma 4 [8][9].

Bielik-11B-v3.0-Instruct ma 11 mld parametrów, powstał w SpeakLeash i ACK Cyfronet AGH, obejmuje 32 języki europejskie i jest udostępniany na licencji Apache 2.0 [6][10]. Karta modelu wymienia brak wbudowanych mechanizmów moderacji, więc treści fałszywe lub tendencyjne są możliwe. Model jest dostępny w Ollama jako bielik-11b-v3.0-instruct, obok mniejszych wariantów 1.5B i 4.5B [11].

PLLuM-12B-chat-2512 należy do linii utworzonej w grudniu 2025 roku, obsługuje polski z dodatkowym angielskim i jest dostępny na licencji Apache 2.0 [7]. Rodzina obejmuje 4B, 8B, 12B i 70B, a model dostrajano pod dialog, RAG i zadania administracyjne. Korpus PLLuM liczył około 28 mld tokenów w wersji komercyjnej i około 150 mld w niekomercyjnej, a tuning instrukcyjny objął około 40 tys. par lub dialogów [12][13].

W benchmarku LLMzSzŁ Bielik-11B-v2.1-Instruct uzyskał 57,52 punktu i był najlepszym testowanym modelem poniżej 15 mld parametrów [14]. Wynik dotyczy starszej wersji i konkretnego zestawu zadań, więc nie jest uniwersalnym rankingiem.

Ile pamięci potrzebuje lokalny model?

Dla modeli 2B–4B wystarczy 8–16 GB pamięci, dla 7B–8B około 8 GB VRAM lub 16 GB RAM, a dla 12B–14B od 12 do 16 GB VRAM albo 24 GB RAM. Model 70B po kwantyzacji Q4 potrzebuje około 40–48 GB pamięci, więcej przy długim kontekście [9][15].

Model po kwantyzacjiSensowny punkt startowy
2B–4B8–16 GB RAM lub pamięci wspólnej
7B–8Bokoło 8 GB VRAM albo 16 GB RAM
12B–14B12–16 GB VRAM albo 24 GB RAM
27B–32B24–32 GB VRAM lub RAM
70Bokoło 40–48 GB pamięci dla Q4

Oficjalny przykład Ollama: Gemma 4 E2B ma około 7,2 GB pobierania i zalecane około 8 GB VRAM lub pamięci zunifikowanej [9]. Gdy VRAM brakuje, część modelu trafia do RAM i odpowiedzi zwalniają. Ollama działa też na CPU, korzysta z Metal na komputerach Apple, wymaga compute capability 5.0+ na kartach NVIDIA i wspiera ROCm na AMD [16]. LM Studio na macOS wymaga Apple Silicon M1–M4 i systemu macOS 14 lub nowszego, a na Windows procesora x64 z AVX2 lub ARM Snapdragon X Elite [15].

Czy lokalne modele są darmowe?

Modele lokalne w Ollama są bezpłatne i bez limitu zapytań po stronie Ollama. Koszt to sprzęt, energia i opcjonalne aplikacje [17][18]. Logowanie nie jest wymagane do modeli lokalnych [18].

Płatne plany dotyczą modeli w chmurze. Stan na październik 2026, ceny oficjalne w USD: Free 0 USD, Pro 20 USD miesięcznie lub 200 USD rocznie, Max 100 USD miesięcznie, Team 500 USD miesięcznie, Enterprise indywidualnie [17]. Kredyty odnawiają się co miesiąc i nie przechodzą na kolejny okres. LM Studio w wersji darmowej obejmuje lokalne modele, llama.cpp, MLX i lokalną transkrypcję głosu, a Bionic+ kosztuje 20 USD miesięcznie i Pro 100 USD miesięcznie [19]. Aktualna wersja LM Studio dla Windows to 0.4.26, widoczna 15 października 2026 roku [20].

Jak sprawdzić selekcję danych we własnym projekcie?

Polecamy zacząć od małego, powtarzalnego testu. Zbierz listę faktów o encjach z odpowiedziami, podziel dane na wariant pełny i wyselekcjonowany, a potem porównaj oba modele na tych samych pytaniach. Do pomiaru przydają się wymuszone odpowiedzi w schemacie JSON, które Ollama obsługuje przez structured outputs, także dla modeli wizyjnych [21]. Osobny przewodnik po narzędziach do lokalnych modeli opisuje smallcode.

Trzy zasady ograniczają ryzyko błędu. Po pierwsze, porównuj modele o tej samej liczbie parametrów i tej samej kwantyzacji. Po drugie, sprawdzaj ogólną wydajność, nie tylko pytania faktograficzne. Po trzecie, zapisuj wersję danych i konfigurację treningu, bo bez tego wyniku nie da się powtórzyć. Jako punkt wyjścia wybierz model 7B–8B w kwantyzacji Q4 i zestaw około stu faktów ze znaną odpowiedzią.

Najczęstsze pytania

Czy wystarczy usunąć 30% danych, aby model zapamiętał więcej?

Nie. Liczba nie jest regułą. Badanie z 2026 roku dotyczyło selekcji faktów względem pojemności modelu i wyrównania częstości, a nie stałego progu procentowego [1]. Ten sam procent usuniętych danych da różne efekty zależnie od tego, ile faktów zawiera korpus i jak bardzo jest zduplikowany.

Czy mniejszy model może dorównać większemu?

W eksperymencie GPT-2 Small o 110 mln parametrów po selekcji danych dorównał modelowi 1,3 mld parametrów trenowanemu na pełnym zbiorze [2]. To wynik dla jednego zadania i jednego zestawu danych. Nie oznacza, że każdy mały model zastąpi większy w rozmowie, kodzie czy rozumowaniu.

Czy powtarzanie danych poprawia zapamiętywanie?

Krótko i w odpowiednim momencie może pomóc. Praca o ponownym użyciu danych opisuje okno, w którym powtórki działają, oraz wzrost ryzyka overfittingu przy zbyt wczesnym lub nadmiernym powtarzaniu [3]. Decyduje harmonogram, a nie sama obecność powtórzeń.

Czy lokalny model jest bezpieczny dla danych firmowych?

Model uruchomiony lokalnie może pozostawić prompt i dokument na urządzeniu, a internet jest potrzebny głównie do pobrania aplikacji i wag [15]. To nie zwalnia z konfiguracji: logi aplikacji, kopie zapasowe i dostęp do lokalnego serwera API nadal trzeba zabezpieczyć. Zakres zależy od wdrożenia, nie od samego faktu uruchomienia lokalnie.

Źródła

  1. Cram Less to Fit More: Training Data Pruning Improves Memorization of Facts (arXiv, 2026)
  2. Cram Less to Fit More: Training Data Pruning Improves Memorization of Facts (Papers with Code, 2026)
  3. Train Smarter, Not Longer: Memorization-Guided Data Reuse for Efficient LLM Training (arXiv, 2026)
  4. Undesirable Memorization in Large Language Models: A Survey (arXiv, 2024)
  5. The mosaic memory of large language models (Nature, 2026)
  6. speakleash/Bielik-11B-v3.0-Instruct (Hugging Face, 2025)
  7. CYFRAGOVPL/PLLuM-12B-chat-2512 (Hugging Face, 2025)
  8. qwen3.5 (Ollama)
  9. gemma4 (Ollama)
  10. Bielik v3 Small: Technical Report (arXiv, 2025)
  11. SpeakLeash (Ollama)
  12. 'Polish hat' for any language model was created as part of PLLuM (Science in Poland, 2026)
  13. PLLuM - Polish Large Language Model (pllum.org.pl)
  14. LLMzSzŁ: a comprehensive LLM benchmark for Polish (arXiv, 2025)
  15. System Requirements (LM Studio)
  16. Hardware support (Ollama)
  17. Ollama Pricing (Ollama)
  18. Quickstart (Ollama)
  19. Bionic Pricing (LM Studio)
  20. Download LM Studio - Mac, Linux, Windows (LM Studio)
  21. Structured outputs (Ollama Blog)
AN
O autorze
Andrzej Niemiec

Fanatyk nowych technologii i specjalista w zakresie sztucznej inteligencji.

Jak powstają teksty: Polityka AI · O redakcji