News & analizy
RVPO od Apple: czy karanie wariancji nagród naprawia średnią?
Zaktualizowano: Autor: Andrzej Niemiec6 min czytania
Apple opublikowało RVPO — metodę treningu, która karze rozbieżność między nagrodami zamiast liczyć ich średnią. Co pokazują wyniki z maja 2026 i gdzie leżą ograniczenia.
Spis treści
Czym jest RVPO i co dokładnie opublikowało Apple?
RVPO (Reward-Variance Policy Optimization) to metoda treningu modeli językowych, która zamiast uśredniać nagrody z wielu celów ocenia ich rozbieżność i karze ją. Apple opisało ją w serwisie Apple Machine Learning Research w maju 2026, a preprint arXiv ukazał się 7 maja 2026 [1][2]. Praca przedstawia propozycję badawczą wraz z eksperymentalną ewaluacją, a nie wdrożony produkt czy certyfikowany standard.
Pełny tytuł pracy brzmi „Risk-Sensitive Alignment via Variance Regularization”, a afiliacja autorów wskazuje Apple [1][2]. Autorzy analizują critic-less RLHF, czyli trening bez osobnego modelu krytyka, oraz warianty z rodziny GRPO i GDPO [1][2]. Eksperymenty obejmują do 17 równoległych sygnałów nagrody ocenianych przez modele językowe [1][2]. Zakres testów jest szeroki, ale ograniczony do wybranych modeli i zadań, więc wyników nie należy przenosić na dowolny system produkcyjny. Kontekst oceny modeli przez publiczne benchmarki opisuje tekst Benchmarki AI: dlaczego Nvidia postawiła na OpenClaw zamiast kolejnego hype'u.
Dlaczego średnia arytmetyczna nagród zawodzi?
Średnia pozwala wysokiemu wynikowi w łatwym celu skompensować katastrofalną porażkę w celu krytycznym. Ten tryb błędu nazywa się w literaturze constraint neglect lub loss compensation [1][3]. Model może dobrze wypadać w formatowaniu odpowiedzi i jednocześnie ignorować warunek bezpieczeństwa, bo średnia z obu sygnałów nadal wygląda poprawnie [3]. Problem narasta, gdy celów jest wiele i mają różne skale.
W typowym treningu RLHF nagroda jest sumą ważoną sygnałów, a optymalizacja dąży do jej maksymalizacji. Gdy jeden sygnał odpowiada za bezpieczeństwo, a inny za styl odpowiedzi, model uczy się tego, co łatwiej poprawić. Wysoki wynik w drugim obszarze podnosi średnią bez usuwania luki w pierwszym. Praca Apple opisuje to jako podatność agregacji nagród, a nie pojedynczy błąd konkretnego modelu [1][3]. Praktyczna konsekwencja jest taka, że raportowana średnia nie mówi, czy system spełnia warunki krytyczne.
Jak działa karanie wariancji: LogSumExp i SoftMin?
RVPO normalizuje poszczególne nagrody, a następnie karze ich rozbieżność. W wersji jawnej funkcja celu to średnia nagród minus kara za wariancję. Wariant SoftMin jest gładkim przybliżeniem takiej kary [3]. Parametr k steruje awersją do ryzyka.
Zachowanie funkcji LogSumExp jest opisane wprost: przy k dążącym do zera przechodzi ona w średnią, a przy k dążącym do nieskończoności zbliża się do minimum [3]. Innymi słowy, małe k daje podejście bliskie klasycznej agregacji, a duże k wymusza ocenę po najsłabszym celu. To wyjaśnia, dlaczego RVPO nie usuwa średniej całkowicie, tylko pozwala płynnie przesuwać akcent między średnią a minimum [3]. Sam wybór k jest decyzją projektową i wpływa na zachowanie modelu.
Jakie wyniki raportuje Apple?
W benchmarku HealthBench model 14B trenowany z RVPO osiągnął 0,261 wobec 0,215 dla GDPO, przy p<0,001 [1]. Na GPQA-Diamond metoda utrzymała konkurencyjną dokładność [1]. Testy objęły modele Qwen2.5 od 1,5B do 14B oraz do 17 sygnałów nagrody [1][2].
Eksperymenty dotyczyły rozumowania medycznego i naukowego oraz wywoływania narzędzi [1][2]. To zakres pokazujący działanie metody na konkretnych zadaniach, a nie uniwersalną przewagę we wszystkich zastosowaniach. Preprint z 7 maja 2026 nie jest recenzowanym standardem, więc liczby należy czytać jako wynik jednej publikacji [2]. Temat wywoływania narzędzi przez modele rozwija też tekst Codex w data science: 2 godziny pracy w 10 minut, ale nie bez haczyka.
RVPO a klasyczne RLHF: co je różni?
| Kryterium | RVPO | Klasyczne RLHF (GRPO/GDPO) |
|---|---|---|
| Sposób agregacji nagród | normalizacja i kara za wariancję, SoftMin | suma ważona, średnia |
| Reakcja na porażkę celu krytycznego | rośnie wraz z parametrem k | może zostać skompensowana |
| Sterowanie ryzykiem | parametr k | brak osobnego parametru |
| Dojrzałość wdrożeniowa | preprint, eksperymenty | szeroko stosowane |
Tabela pokazuje różnicę w konstrukcji celu, a nie gotowy ranking metod. Klasyczne podejścia są opisane w literaturze i stosowane w treningu, natomiast RVPO pozostaje propozycją badawczą z jednej publikacji [1][2]. W praktyce wybór zależy od tego, czy organizacja potrafi zdefiniować cele krytyczne i zmierzyć ich realizację.
Jakie są ograniczenia RVPO?
Wyniki zależą od skalowania nagród i doboru parametru ryzyka. Recenzja wskazuje, że bez porównywalnego skalowania LogSumExp może reagować na różnice skali, a nie na rzeczywistą wariancję [4]. Sam dobór k jest istotnym ograniczeniem metody [4].
Do tego dochodzi charakter publikacji. To preprint z eksperymentalną ewaluacją na ograniczonym zestawie modeli i zadań, a nie certyfikowany standard [2][4]. Apple opisało propozycję metody, nie wdrożenie produktu konsumenckiego [1]. Dla zespołów, które chcą stosować RVPO, oznacza to konieczność własnej walidacji na danych z ich domeny.
Co RVPO oznacza dla praktyki?
RVPO pokazuje sposób myślenia o nagrodach: zamiast pytać wyłącznie o sumę, pyta też o rozrzut między celami. Dla systemów, w których jeden błąd ma nieproporcjonalnie wysoką cenę, sama zmiana konstrukcji celu jest użyteczną wskazówką. Nie zastępuje jednak audytu danych ani testów na rzeczywistych przypadkach.
Zespoły pracujące z RLHF mogą potraktować pracę jako punkt odniesienia przy projektowaniu sygnałów nagrody. Należy ustalić, które cele są krytyczne, jak je mierzyć i jak zachowuje się model przy rosnącym k. Bez tych ustaleń sama metoda nie rozstrzyga, czy system jest bezpieczny. Szerszy obraz zmian w wyszukiwaniu i modelach pokazuje tekst Google Search z AI: dlaczego to nie chatbot, a całkowita zmiana gry.
Najczęstsze pytania
Czy RVPO zastępuje średnią arytmetyczną nagród?
Nie. Funkcja LogSumExp przechodzi w średnią, gdy parametr k dąży do zera, a przy dużym k zbliża się do minimum [3]. RVPO dodaje więc sterowanie rozrzutem nagród, a nie usuwa średniej z definicji celu. Wybór między średnią a oceną po najsłabszym celu pozostaje decyzją projektową zależną od zastosowania.
Na jakich modelach testowano RVPO?
Eksperymenty objęły modele Qwen2.5 od 1,5B do 14B oraz do 17 równoległych sygnałów nagrody [1][2]. Testy dotyczyły rozumowania medycznego i naukowego oraz wywoływania narzędzi [1][2]. Zakres jest ograniczony, więc wyników nie należy zakładać bez własnej walidacji na innych modelach i zadaniach.
Czy Apple wdrożyło RVPO w produkcie?
Nie ma na to potwierdzenia w źródłach. Praca figuruje jako badanie w serwisie Apple Machine Learning Research, a preprint ukazał się 7 maja 2026 [1][2]. Źródła opisują propozycję i eksperymentalną ewaluację, nie wdrożenie produktu konsumenckiego ani certyfikowany standard. Twierdzenie o gotowym rozwiązaniu wykracza poza dostępne dane.
Jak dobrać parametr ryzyka k?
Źródła nie podają jednej uniwersalnej wartości. Parametr k steruje awersją do ryzyka: małe wartości zbliżają metodę do średniej, duże do minimum [3]. Recenzja wskazuje, że dobór k jest istotnym ograniczeniem, a wyniki zależą też od skalowania nagród [4]. W praktyce wartość trzeba dobrać eksperymentalnie na własnych danych.
Źródła
- RVPO: Risk-Sensitive Alignment via Variance Regularization - Apple Machine Learning Research (Apple, 2026)
- [[2605.05750] RVPO: Risk-Sensitive Alignment via Variance Regularization (arXiv, 2026)](https://arxiv.org/abs/2605.05750)
- RVPO: Risk-Sensitive Alignment via Variance Regularization (arXiv HTML, 2026)
- RVPO: Risk-Sensitive Alignment via Variance Regularization · Pith Review (Pith, 2026)
Fanatyk nowych technologii i specjalista w zakresie sztucznej inteligencji.
Jak powstają teksty: Polityka AI · O redakcji