Przejdź do treści

News & analizy

RVPO od Apple: czy karanie wariancji nagród naprawia średnią?

Zaktualizowano: Autor: Andrzej Niemiec6 min czytania

Apple opublikowało RVPO — metodę treningu, która karze rozbieżność między nagrodami zamiast liczyć ich średnią. Co pokazują wyniki z maja 2026 i gdzie leżą ograniczenia.

RVPO od Apple: czy karanie wariancji nagród naprawia średnią?
Spis treści
  1. Czym jest RVPO i co dokładnie opublikowało Apple?
  2. Dlaczego średnia arytmetyczna nagród zawodzi?
  3. Jak działa karanie wariancji: LogSumExp i SoftMin?
  4. Jakie wyniki raportuje Apple?
  5. RVPO a klasyczne RLHF: co je różni?
  6. Jakie są ograniczenia RVPO?
  7. Co RVPO oznacza dla praktyki?
  8. Najczęstsze pytania
  9. Źródła

Czym jest RVPO i co dokładnie opublikowało Apple?

RVPO (Reward-Variance Policy Optimization) to metoda treningu modeli językowych, która zamiast uśredniać nagrody z wielu celów ocenia ich rozbieżność i karze ją. Apple opisało ją w serwisie Apple Machine Learning Research w maju 2026, a preprint arXiv ukazał się 7 maja 2026 [1][2]. Praca przedstawia propozycję badawczą wraz z eksperymentalną ewaluacją, a nie wdrożony produkt czy certyfikowany standard.

Pełny tytuł pracy brzmi „Risk-Sensitive Alignment via Variance Regularization”, a afiliacja autorów wskazuje Apple [1][2]. Autorzy analizują critic-less RLHF, czyli trening bez osobnego modelu krytyka, oraz warianty z rodziny GRPO i GDPO [1][2]. Eksperymenty obejmują do 17 równoległych sygnałów nagrody ocenianych przez modele językowe [1][2]. Zakres testów jest szeroki, ale ograniczony do wybranych modeli i zadań, więc wyników nie należy przenosić na dowolny system produkcyjny. Kontekst oceny modeli przez publiczne benchmarki opisuje tekst Benchmarki AI: dlaczego Nvidia postawiła na OpenClaw zamiast kolejnego hype'u.

Dlaczego średnia arytmetyczna nagród zawodzi?

Średnia pozwala wysokiemu wynikowi w łatwym celu skompensować katastrofalną porażkę w celu krytycznym. Ten tryb błędu nazywa się w literaturze constraint neglect lub loss compensation [1][3]. Model może dobrze wypadać w formatowaniu odpowiedzi i jednocześnie ignorować warunek bezpieczeństwa, bo średnia z obu sygnałów nadal wygląda poprawnie [3]. Problem narasta, gdy celów jest wiele i mają różne skale.

W typowym treningu RLHF nagroda jest sumą ważoną sygnałów, a optymalizacja dąży do jej maksymalizacji. Gdy jeden sygnał odpowiada za bezpieczeństwo, a inny za styl odpowiedzi, model uczy się tego, co łatwiej poprawić. Wysoki wynik w drugim obszarze podnosi średnią bez usuwania luki w pierwszym. Praca Apple opisuje to jako podatność agregacji nagród, a nie pojedynczy błąd konkretnego modelu [1][3]. Praktyczna konsekwencja jest taka, że raportowana średnia nie mówi, czy system spełnia warunki krytyczne.

Jak działa karanie wariancji: LogSumExp i SoftMin?

RVPO normalizuje poszczególne nagrody, a następnie karze ich rozbieżność. W wersji jawnej funkcja celu to średnia nagród minus kara za wariancję. Wariant SoftMin jest gładkim przybliżeniem takiej kary [3]. Parametr k steruje awersją do ryzyka.

Zachowanie funkcji LogSumExp jest opisane wprost: przy k dążącym do zera przechodzi ona w średnią, a przy k dążącym do nieskończoności zbliża się do minimum [3]. Innymi słowy, małe k daje podejście bliskie klasycznej agregacji, a duże k wymusza ocenę po najsłabszym celu. To wyjaśnia, dlaczego RVPO nie usuwa średniej całkowicie, tylko pozwala płynnie przesuwać akcent między średnią a minimum [3]. Sam wybór k jest decyzją projektową i wpływa na zachowanie modelu.

Jakie wyniki raportuje Apple?

W benchmarku HealthBench model 14B trenowany z RVPO osiągnął 0,261 wobec 0,215 dla GDPO, przy p<0,001 [1]. Na GPQA-Diamond metoda utrzymała konkurencyjną dokładność [1]. Testy objęły modele Qwen2.5 od 1,5B do 14B oraz do 17 sygnałów nagrody [1][2].

Eksperymenty dotyczyły rozumowania medycznego i naukowego oraz wywoływania narzędzi [1][2]. To zakres pokazujący działanie metody na konkretnych zadaniach, a nie uniwersalną przewagę we wszystkich zastosowaniach. Preprint z 7 maja 2026 nie jest recenzowanym standardem, więc liczby należy czytać jako wynik jednej publikacji [2]. Temat wywoływania narzędzi przez modele rozwija też tekst Codex w data science: 2 godziny pracy w 10 minut, ale nie bez haczyka.

RVPO a klasyczne RLHF: co je różni?

KryteriumRVPOKlasyczne RLHF (GRPO/GDPO)
Sposób agregacji nagródnormalizacja i kara za wariancję, SoftMinsuma ważona, średnia
Reakcja na porażkę celu krytycznegorośnie wraz z parametrem kmoże zostać skompensowana
Sterowanie ryzykiemparametr kbrak osobnego parametru
Dojrzałość wdrożeniowapreprint, eksperymentyszeroko stosowane

Tabela pokazuje różnicę w konstrukcji celu, a nie gotowy ranking metod. Klasyczne podejścia są opisane w literaturze i stosowane w treningu, natomiast RVPO pozostaje propozycją badawczą z jednej publikacji [1][2]. W praktyce wybór zależy od tego, czy organizacja potrafi zdefiniować cele krytyczne i zmierzyć ich realizację.

Jakie są ograniczenia RVPO?

Wyniki zależą od skalowania nagród i doboru parametru ryzyka. Recenzja wskazuje, że bez porównywalnego skalowania LogSumExp może reagować na różnice skali, a nie na rzeczywistą wariancję [4]. Sam dobór k jest istotnym ograniczeniem metody [4].

Do tego dochodzi charakter publikacji. To preprint z eksperymentalną ewaluacją na ograniczonym zestawie modeli i zadań, a nie certyfikowany standard [2][4]. Apple opisało propozycję metody, nie wdrożenie produktu konsumenckiego [1]. Dla zespołów, które chcą stosować RVPO, oznacza to konieczność własnej walidacji na danych z ich domeny.

Co RVPO oznacza dla praktyki?

RVPO pokazuje sposób myślenia o nagrodach: zamiast pytać wyłącznie o sumę, pyta też o rozrzut między celami. Dla systemów, w których jeden błąd ma nieproporcjonalnie wysoką cenę, sama zmiana konstrukcji celu jest użyteczną wskazówką. Nie zastępuje jednak audytu danych ani testów na rzeczywistych przypadkach.

Zespoły pracujące z RLHF mogą potraktować pracę jako punkt odniesienia przy projektowaniu sygnałów nagrody. Należy ustalić, które cele są krytyczne, jak je mierzyć i jak zachowuje się model przy rosnącym k. Bez tych ustaleń sama metoda nie rozstrzyga, czy system jest bezpieczny. Szerszy obraz zmian w wyszukiwaniu i modelach pokazuje tekst Google Search z AI: dlaczego to nie chatbot, a całkowita zmiana gry.

Najczęstsze pytania

Czy RVPO zastępuje średnią arytmetyczną nagród?

Nie. Funkcja LogSumExp przechodzi w średnią, gdy parametr k dąży do zera, a przy dużym k zbliża się do minimum [3]. RVPO dodaje więc sterowanie rozrzutem nagród, a nie usuwa średniej z definicji celu. Wybór między średnią a oceną po najsłabszym celu pozostaje decyzją projektową zależną od zastosowania.

Na jakich modelach testowano RVPO?

Eksperymenty objęły modele Qwen2.5 od 1,5B do 14B oraz do 17 równoległych sygnałów nagrody [1][2]. Testy dotyczyły rozumowania medycznego i naukowego oraz wywoływania narzędzi [1][2]. Zakres jest ograniczony, więc wyników nie należy zakładać bez własnej walidacji na innych modelach i zadaniach.

Czy Apple wdrożyło RVPO w produkcie?

Nie ma na to potwierdzenia w źródłach. Praca figuruje jako badanie w serwisie Apple Machine Learning Research, a preprint ukazał się 7 maja 2026 [1][2]. Źródła opisują propozycję i eksperymentalną ewaluację, nie wdrożenie produktu konsumenckiego ani certyfikowany standard. Twierdzenie o gotowym rozwiązaniu wykracza poza dostępne dane.

Jak dobrać parametr ryzyka k?

Źródła nie podają jednej uniwersalnej wartości. Parametr k steruje awersją do ryzyka: małe wartości zbliżają metodę do średniej, duże do minimum [3]. Recenzja wskazuje, że dobór k jest istotnym ograniczeniem, a wyniki zależą też od skalowania nagród [4]. W praktyce wartość trzeba dobrać eksperymentalnie na własnych danych.

Źródła

  1. RVPO: Risk-Sensitive Alignment via Variance Regularization - Apple Machine Learning Research (Apple, 2026)
  2. [[2605.05750] RVPO: Risk-Sensitive Alignment via Variance Regularization (arXiv, 2026)](https://arxiv.org/abs/2605.05750)
  3. RVPO: Risk-Sensitive Alignment via Variance Regularization (arXiv HTML, 2026)
  4. RVPO: Risk-Sensitive Alignment via Variance Regularization · Pith Review (Pith, 2026)
AN
O autorze
Andrzej Niemiec

Fanatyk nowych technologii i specjalista w zakresie sztucznej inteligencji.

Jak powstają teksty: Polityka AI · O redakcji