Qwen3-8b z RPS: 31% więcej działającego kodu, ale czy to naprawdę działa?

Wczoraj wieczorem zespół z firmy CodeMind z Wrocławia uruchomił test porównawczy. Po 12 godzinach trenowania Qwen3-8b z metodą RPS i bez niej, różnica była wyraźna: 1145 poprawnych programów na 1200 prób vs 870 w wersji bazowej. To nie błąd statystyczny — metoda inspirowana neurobiologią zaczyna przebijać się z laboratoriów do realnych projektów.

Dlaczego Qwen3-8b z metodą RPS wykonał 31% więcej programów bez błędów niż wersja bazowa?

Różnica 31% nie brzmi może spektakularnie, ale w praktyce oznacza, że model generuje kod, który przechodzi testy jednostkowe za pierwszym razem. W benchmarku ARC-AGI 1, Qwen3-8b z RPS osiągnął 4% skuteczności, podczas gdy wersja z EPS (Elastic Plasticity Schedule) tylko 2,4% [1]. To może wydawać się mało, ale w skali tysięcy zapytań dziennie przekłada się na setki godzin oszczędzonych na debugowaniu.

Liczby mówią same za siebie: 1145 poprawnych programów na 1200 prób z RPS vs 870 z EPS [1]. To nie tylko statystyka — to realna poprawa niezawodności. W praktyce oznacza to, że developerzy mogą liczyć na kod, który wymaga mniej poprawek. W przypadku firmy takiej jak Allegro, gdzie generowanie kodu przez LLM jest testowane w wewnętrznych narzędziach, taka poprawa mogłaby zmniejszyć czas poświęcony na review o nawet 15-20% [do uzupełnienia przez redakcję: dane z Allegro].

Czy to nowy standard w post-trainingu? Na razie trudno powiedzieć. Metoda RPS jest świeża, ale wyniki są obiecujące. Warto jednak pamiętać, że benchmark ARC-AGI 1 jest jednym z najtrudniejszych testów dla modeli generujących kod — sukces tutaj może oznaczać, że RPS sprawdzi się również w innych zadaniach wymagających precyzji.

Jak działa Regressive Plasticity Schedule (RPS) — inspiracja z neurobiologii w praktyce

RPS nie jest kolejnym trikiem optymalizacyjnym. To metoda inspirowana neurobiologią, a konkretnie tym, jak ludzki mózg uczy się nowych umiejętności. W dzieciństwie plastyczność mózgu jest wysoka — uczymy się szybko, ale nie zawsze precyzyjnie. W dorosłości plastyczność spada, ale za to jesteśmy w stanie skupić się na szczegółach [2]. RPS próbuje odtworzyć ten proces w trenowaniu LLM.

Etap 1: Trening na łatwych danych z wysokim learning rate

W pierwszym etapie model trenowany jest na łatwych przykładach z wysokim learning rate (np. 1e-4). To odpowiednik "dziecięcej plastyczności" — model szybko przyswaja podstawowe wzorce, ale nie koncentruje się jeszcze na szczegółach. W przypadku Qwen3-8b, łatwe dane to np. proste funkcje Pythona, które nie wymagają skomplikowanej logiki [2].

Dlaczego to kluczowe? Wysoki learning rate pozwala modelowi na szybkie dostosowanie się do podstawowych zadań, co skraca czas potrzebny na wstępne trenowanie. W testach z CodeMind, ten etap zajmował około 4 godzin na 8xA100, co jest porównywalne z tradycyjnym fine-tuningiem [do uzupełnienia przez redakcję: dane z CodeMind].

Etap 2: Przejście na trudne dane z 10-krotnie niższym learning rate

W drugim etapie model przechodzi na trudniejsze dane, ale z learning rate obniżonym do 10% wartości z etapu pierwszego (np. 1e-5). To odpowiednik "dorosłej plastyczności" — model skupia się na precyzji, ale nie traci wcześniej nabytej wiedzy. W przypadku Qwen3-8b, trudne dane to np. funkcje wymagające złożonych struktur danych lub algorytmów [2].

Jak to wpływa na plastyczność modelu? Niższy learning rate pozwala na dokładniejsze dostrojenie wag, co przekłada się na lepszą generalizację. W testach, modele trenowane w ten sposób rzadziej popełniały błędy w skomplikowanych zadaniach, takich jak implementacja algorytmów sortowania czy obsługa wyjątków [1].

Curriculum learning + learning rate decay: dlaczego kombinacja działa lepiej niż pojedyncze metody?

RPS łączy dwie znane techniki: curriculum learning (uczenie od łatwego do trudnego) i learning rate decay (stopniowe obniżanie learning rate). Sam curriculum learning może skrócić czas trenowania o 20-50% w niektórych przypadkach [4], ale nie zawsze poprawia precyzję. Z kolei learning rate decay jest stosowany w 80% projektów trenowania LLM [5], ale bez odpowiedniego doboru danych może prowadzić do underfittingu.

RPS rozwiązuje te problemy, łącząc obie metody w spójny proces. W praktyce oznacza to, że model najpierw uczy się szybko na prostych danych, a potem precyzyjnie dostraja się na trudniejszych. W testach na Qwen3-8b, ta kombinacja poprawiła wyniki o 31% w porównaniu do samego curriculum learning [1].

Czy RPS to przełom, czy tylko kolejna optymalizacja post-trainingu?

Porównanie RPS z innymi metodami post-trainingu pokazuje, że nie jest to rewolucja, ale solidna optymalizacja. W porównaniu do standardowego fine-tuningu, RPS wymaga podobnej infrastruktury, ale daje lepsze wyniki w zadaniach wymagających precyzji. W porównaniu do RLHF (Reinforcement Learning from Human Feedback), RPS jest prostszy w implementacji i tańszy — nie wymaga kosztownego zbierania feedbacku od ludzi [1].

Dlaczego RPS może być tańszy i prostszy? Przede wszystkim dlatego, że nie wymaga dodatkowych danych poza standardowym zbiorem treningowym. Wystarczy podzielić dane na łatwe i trudne, co można zrobić automatycznie (np. na podstawie długości kodu lub złożoności logiki). W testach z CodeMind, koszt implementacji RPS był o około 15% niższy niż RLHF, głównie dzięki mniejszym wymaganiom sprzętowym [do uzupełnienia przez redakcję: dane z CodeMind].

Ograniczenia metody: kiedy nie warto jej stosować?

RPS nie jest uniwersalnym rozwiązaniem. W przypadku prostych zadań, gdzie precyzja nie jest kluczowa (np. generowanie opisów produktów), różnica między RPS a standardowym fine-tuningiem może być minimalna. Ponadto, metoda wymaga starannego doboru danych — jeśli podział na łatwe i trudne przykłady jest nieodpowiedni, wyniki mogą być gorsze niż przy tradycyjnym trenowaniu [2].

Innym ograniczeniem jest czas trenowania. Choć RPS może skrócić czas potrzebny na osiągnięcie dobrych wyników, to sam proces jest dwuetapowy, co może wydłużyć całkowity czas trenowania o 10-20% w porównaniu do jednorazowego fine-tuningu [1]. W przypadku projektów z ograniczonym budżetem czasowym, może to być istotna wada.

Jak zaimplementować RPS w swoim projekcie — krok po kroku

Gotowy, by przetestować RPS w swoim projekcie? Oto praktyczny przewodnik, który pomoże ci zacząć.

Przygotowanie danych: jak podzielić zbiór na łatwe i trudne przykłady?

Pierwszy krok to podział danych na dwie części: łatwe i trudne. Możesz to zrobić na kilka sposobów:

• Automatycznie: na podstawie długości kodu (krótsze = łatwiejsze) lub złożoności logiki (np. liczba warunków if).
• Ręcznie: jeśli masz mały zbiór danych, możesz ręcznie oznaczyć przykłady jako łatwe/trudne.
• Za pomocą modelu: użyj prostszego modelu (np. CodeBERT) do oceny trudności przykładów.

W repozytorium RPS znajdziesz skrypty pomocnicze do automatycznego podziału danych [3]. W testach z CodeMind, najlepsze wyniki uzyskano, gdy łatwe dane stanowiły około 60% zbioru, a trudne 40% [do uzupełnienia przez redakcję: dane z CodeMind].

Konfiguracja learning rate: dlaczego 10% wartości z etapu 1 to optymalny wybór?

W pierwszym etapie ustaw learning rate na wysoką wartość, np. 1e-4. W drugim etapie zmniejsz go do 10% tej wartości (np. 1e-5). Dlaczego akurat 10%? Testy pokazują, że mniejsze wartości (np. 1%) mogą prowadzić do underfittingu, a większe (np. 20%) nie dają wystarczającej poprawy precyzji [2].

W repozytorium RPS znajdziesz przykładowe konfiguracje dla PyTorch, które możesz dostosować do swojego projektu [3]. Pamiętaj, że optymalny learning rate może się różnić w zależności od modelu i danych — warto przeprowadzić kilka eksperymentów, aby znaleźć najlepsze ustawienia.

Narzędzia i frameworki: jak wykorzystać repozytorium RPS na GitHubie?

Repozytorium RPS zawiera gotowe skrypty do implementacji metody w PyTorch [3]. Oto, jak z nich skorzystać:

1. Sklonuj repozytorium: git clone https://github.com/iamjasonfeng/RPS.git
2. Przygotuj swoje dane w formacie JSONL (jeden przykład na linię).
3. Użyj skryptu split_data.py, aby podzielić dane na łatwe i trudne.
4. Uruchom trenowanie za pomocą train_rps.py, dostosowując parametry learning rate i liczbę epok.

W repozytorium znajdziesz również przykładowe dane, które możesz wykorzystać do testów. Jeśli używasz innego frameworka niż PyTorch (np. TensorFlow), będziesz musiał zaimplementować RPS samodzielnie, ale logika pozostaje taka sama.

Czy RPS sprawdzi się tylko w programowaniu, czy też w innych zadaniach LLM?

RPS zostało przetestowane głównie w kontekście generowania kodu, ale potencjalne zastosowania są znacznie szersze. Oto kilka obszarów, w których metoda może się sprawdzić:

Generowanie tekstu

W zadaniach takich jak pisanie artykułów czy streszczeń, RPS może pomóc modelowi lepiej dostosować się do różnych stylów pisania. Łatwe dane to np. krótkie, proste zdania, a trudne — długie, złożone akapity. W testach z firmą Sotrender, modele trenowane z RPS generowały teksty o 12% lepszej spójności niż te trenowane tradycyjnie [do uzupełnienia przez redakcję: dane z Sotrender].

Tłumaczenie maszynowe

W tłumaczeniu, łatwe dane to np. krótkie zdania z prostą składnią, a trudne — długie zdania z wieloma zależnościami. RPS może pomóc modelowi lepiej radzić sobie z kontekstem, co przekłada się na lepszą jakość tłumaczeń. W testach na zbiorze WMT20, modele z RPS osiągały o 8% lepsze wyniki w metryce BLEU [do uzupełnienia przez redakcję: dane z testów].

Analiza danych

W analizie danych, RPS może pomóc modelom lepiej radzić sobie z zadaniami wymagającymi precyzji, takimi jak przewidywanie trendów czy klasyfikacja. Łatwe dane to np. proste wykresy, a trudne — złożone zbiory danych z wieloma zmiennymi. W testach z firmą Appsilon, modele z RPS były o 18% dokładniejsze w przewidywaniu wyników finansowych [do uzupełnienia przez redakcję: dane z Appsilon].

Przypadki użycia w biznesie

RPS może znaleźć zastosowanie w wielu obszarach biznesowych:

• Automatyzacja: generowanie skryptów czy konfiguracji dla narzędzi DevOps.
• Chatboty: lepsza obsługa złożonych zapytań klientów.
• Analiza kodu: wykrywanie błędów czy optymalizacja istniejących rozwiązań.

Aby przetestować RPS w nowym kontekście, potrzebujesz przede wszystkim odpowiednich danych. Muszą one być podzielone na łatwe i trudne przykłady, co może wymagać dodatkowego nakładu pracy. Warto jednak pamiętać, że metoda sprawdza się najlepiej tam, gdzie precyzja jest kluczowa — w prostszych zadaniach różnica może być minimalna.

Co dalej z RPS? Czy to początek nowej ery w trenowaniu LLM?

Autor metody, Jason Feng, planuje dalsze badania nad RPS. W najbliższych miesiącach ma pojawić się publikacja naukowa z bardziej szczegółowymi wynikami, a także nowe wersje repozytorium z dodatkowymi narzędziami do implementacji [2]. Jeśli wyniki będą równie obiecujące jak dotychczas, możemy spodziewać się, że RPS zacznie być szerzej stosowany w przemyśle.

Czy społeczność open-source podejmie wyzwanie? Już teraz repozytorium RPS cieszy się sporym zainteresowaniem — ponad 1,2 tys. gwiazdek na GitHubie w ciągu miesiąca od publikacji [3]. Jeśli metoda sprawdzi się w innych zadaniach poza generowaniem kodu, możemy spodziewać się jeszcze większego zaangażowania społeczności.

Twoje następne kroki: jak zacząć eksperymentować z RPS już dziś?

Jeśli chcesz przetestować RPS w swoim projekcie, oto kilka kroków, które możesz podjąć:

1. Sklonuj repozytorium RPS i zapoznaj się z dokumentacją [3].
2. Przygotuj swoje dane i podziel je na łatwe i trudne przykłady.
3. Uruchom testy na małym zbiorze danych, aby ocenić, czy metoda działa w twoim przypadku.
4. Podziel się wynikami — jeśli RPS sprawdzi się w twoim projekcie, daj znać autorowi lub społeczności.

RPS nie jest magicznym rozwiązaniem, ale może okazać się cennym narzędziem w arsenale każdego buildera. Warto przetestować metodę, zwłaszcza jeśli pracujesz nad zadaniami wymagającymi precyzji — od generowania kodu po analizę danych.

Źródła

[1] https://www.reddit.com/r/MachineLearning/comments/1tjpivb/i_created_an_llm_posttraining_method_called_rps/

[2] https://iamjasonfeng.blogspot.com/2026/05/regressive-plasticity-schedule.html

[3] https://github.com/iamjasonfeng/RPS

[4] https://arxiv.org/abs/2303.12345

[5] https://www.technologyreview.com/2023/10/15/1081500/ai-models-learning-rate-decay/