News & analizy
RLCR od MIT: do 90% niższy błąd kalibracji — co to naprawdę znaczy
Zaktualizowano: Autor: Andrzej Niemiec6 min czytania
Metoda RLCR z MIT CSAIL uczy modele podawać pewność razem z odpowiedzią. Wyjaśniamy, co realnie znaczy „do 90% niższy błąd kalibracji” i czego to badanie nie dowodzi.
Spis treści
Co dokładnie ogłosiło MIT CSAIL?
MIT CSAIL opisało 22 kwietnia 2026 roku metodę RLCR, czyli Reinforcement Learning with Calibration Rewards [1]. Model uczy się w niej podawać odpowiedź razem z oceną własnej pewności, a nagroda zależy od tego, czy ta ocena odpowiada realnym szansom na błąd. Praca „Beyond Binary Rewards: Training LMs to Reason About Their Uncertainty” ukazała się najpierw jako preprint w 2025 roku, a następnie jako publikacja konferencyjna ICLR 2026 [3][7].
Autorami są Mehul Damani, Isha Puri, Stewart Slocum, Idan Shenfeld, Leshem Choshen, Yoon Kim i Jacob Andreas z MIT CSAIL [2][4]. Nie stoi za tym firma komercyjna ani wdrożony produkt. Zespół udostępnił publicznie kod i modele badawcze [5].
Problem, który opisuje ta praca, zna każdy, kto pracuje z modelami językowymi. Deklarowana pewność rzadko pokrywa się z trafnością, a model może być bardzo pewny siebie i jednocześnie często się mylić [1]. Kalibracja mierzy zgodność między pewnością a rzeczywistym wynikiem, a RLCR przenosi jej poprawianie do etapu treningu, zamiast zostawiać je zabiegom wykonywanym po treningu [3].
Jak działa RLCR i czym różni się od klasycznego uczenia ze wzmocnieniem?
RLCR łączy dwie nagrody: za poprawną odpowiedź i za kalibrację ocenianą wynikiem Briera. Wynik Briera porównuje deklarowaną pewność z rzeczywistym trafieniem, więc karze zarówno pewne błędy, jak i nieuzasadnioną niepewność [3][6]. Klasyczne uczenie ze wzmocnieniem nagradza przede wszystkim wynik odpowiedzi, a nie jej kalibrację [3].
Mechanizm jest prosty w opisie. Model generuje odpowiedź oraz ocenę własnej pewności w tym samym przebiegu, a funkcja nagrody łączy poprawność z jakością tej oceny [6]. Zespół opisuje to jako trening, w którym model uczy się rozumować o własnej niepewności, a nie tylko deklarować ją po fakcie [3]. Strona projektu zbiera kod, modele i materiały dodatkowe [9].
Różnica wychodzi w porównaniach. W eksperymentach MIT zwykłe uczenie ze wzmocnieniem poprawiało czasem dokładność, ale pogarszało kalibrację i zwiększało nadmierną pewność siebie. RLCR miał poprawiać oba wymiary jednocześnie [6]. To nie jest kosmetyka: model, który częściej trafia, ale przy tym częściej jest pewny bez pokrycia, jest w zastosowaniach decyzyjnych mniej użyteczny niż model uczciwie oznaczający niepewność. Kontekst tych porównań, czyli sposób oceniania modeli na benchmarkach, opisujemy w tekście o tym, dlaczego Nvidia postawiła na OpenClaw zamiast kolejnego hype'u.
Co realnie znaczy „do 90% niższy błąd kalibracji”?
To wynik maksymalny z wybranych porównań na benchmarkach, a nie 90 proc. mniej pomyłek. MIT raportuje do 90 proc. redukcji błędu kalibracji przy podobnej dokładności [1][8]. Nie oznacza to mniej halucynacji, błędnych diagnoz ani błędów prawnych, bo takich pomiarów w źródłach nie ma [7].
Eksperymenty obejmowały zadania odpowiadania na pytania oraz matematykę: HotPotQA, CommonsenseQA, GPQA, SimpleQA i GSM8K. Badano także dane spoza zbioru treningowego [3][6]. Zakres jest więc szeroki, ale cały czas mówimy o zadaniach testowych, a nie o decyzjach podejmowanych na ich podstawie.
| Kryterium | Klasyczne uczenie ze wzmocnieniem | RLCR |
|---|---|---|
| Co nagradza funkcja celu | poprawność odpowiedzi | poprawność odpowiedzi i kalibrację pewności |
| Wpływ na dokładność | czasem wzrost, zależnie od zadania [6] | utrzymana lub podobna [1][6] |
| Wpływ na kalibrację | pogorszenie i nadmierna pewność [6] | poprawa względem zwykłego RL i metod post-hoc [6] |
| Dane spoza rozkładu treningowego | brak gwarancji [6] | niekalibracja nadal istotna [6] |
Tabela nie obejmuje jednej rzeczy, którą trzeba dopowiedzieć. Autorzy sami wskazują, że po zastosowaniu RLCR kalibracja w domenach spoza treningu pozostawała niedoskonała, a model nadal może przypisywać wysoką pewność odpowiedziom sprzecznym [6]. To ograniczenie jest częścią wyniku, a nie przypisem do niego.
Czy RLCR wystarczy w medycynie i prawie?
Nie ma na to dowodów. Medycyna, prawo i finanse pojawiają się w pracy jako potencjalne obszary zastosowań, a nie jako miejsca walidacji [1][3]. Testy dotyczyły głównie zadań odpowiadania na pytania i matematyki, nie realnych decyzji klinicznych ani sądowych [3].
Praktyczna wartość jest inna i bardziej ograniczona. Kalibrowany model pozwala sensowniej ustawić próg, poniżej którego wynik trafia do człowieka [6]. W medycynie taki próg mógłby oznaczać dodatkowy przegląd, w prawie weryfikację źródła, w finansach eskalację do analityka. To nadal decyzja projektowa, a nie właściwość modelu.
Dlatego RLCR należy traktować jak jeden element większego zestawu. W zastosowaniach o wysokiej stawce sensowna jest kombinacja czterech rzeczy: modelu kalibrowanego, wyszukiwania opartego na źródłach, zewnętrznej weryfikacji twierdzeń i człowieka, który przegląda odpowiedzi poniżej progu pewności. Polecamy zacząć od ostatniego elementu, bo jest najtańszy i działa niezależnie od tego, jak dobry jest model.
Jak sprawdzić kalibrację własnego modelu?
Punkt wyjścia nie wymaga nowej metody treningowej. Wystarczy zbiór zadań ze znanymi odpowiedziami i pomiar pewności, którą model sam deklaruje. Dla każdej odpowiedzi zapisujemy deklarowaną pewność i to, czy odpowiedź była poprawna, a następnie liczymy wynik Briera [3].
Interpretacja jest prosta. Model dobrze skalibrowany deklaruje 80 proc. pewności i ma rację w około 80 proc. przypadków. Model, który deklaruje 80 proc. zarówno przy odpowiedziach poprawnych, jak i błędnych, ma problem z rozróżnianiem, a nie z trafnością.
Drugi krok to podział na domeny. Kalibracja wypracowana na matematyce nie przenosi się automatycznie na inne zadania, a próg pewności trzeba wyznaczyć dla konkretnego zastosowania [6]. Wyniki zależały od zadania, a dane spoza rozkładu treningowego wypadały gorzej [6]. Tryb pracy z modelem bez pełnej kontroli nad wynikiem opisujemy też w tekście o Codeksie w data science.
Trzeci krok to decyzja, co się dzieje poniżej progu. Bez tego pomiar nie zmienia procesu. Kalibracja jest użyteczna wtedy, gdy prowadzi do konkretnego działania: dodatkowego przeglądu, odrzucenia odpowiedzi albo pytania do drugiego modelu.
Najczęstsze pytania
Czy RLCR eliminuje halucynacje?
Nie. Metoda poprawia zgodność między deklarowaną pewnością a trafnością, a nie prawdziwość odpowiedzi [6]. Model nadal może generować treści niezgodne z faktami, ale częściej powinien sygnalizować, że nie jest pewny. To zmienia sposób obsługi błędu, a nie sam błąd.
Czy RLCR jest już dostępne w produktach?
Źródła nie opisują gotowego produktu ani wdrożenia w medycynie czy prawie [4]. Dostępne są kod i modele badawcze w publicznym repozytorium [5]. Praca ukazała się jako publikacja konferencyjna ICLR 2026 [7], a nie jako zapowiedź komercyjnego wdrożenia.
Jakie modele i dane wykorzystano w eksperymentach?
Testy obejmowały zadania odpowiadania na pytania i matematyczne, między innymi HotPotQA, CommonsenseQA, GPQA, SimpleQA oraz GSM8K [3][6]. Badano także zachowanie na danych spoza zbioru treningowego. To zestaw benchmarków, a nie symulacja pracy lekarza, prawnika czy analityka.
Czy próg pewności da się ustawić raz na zawsze?
Nie. Próg zależy od zadania, domeny i kosztu błędu, a kalibracja poza rozkładem treningowym pozostaje niedoskonała [6]. W praktyce trzeba go sprawdzać przy zmianie modelu, danych albo zastosowania. Jeden próg dla wszystkich zastosowań nie ma uzasadnienia w wynikach.
Źródła
- Teaching AI models to say 'I'm not sure' (MIT News, 2026)
- Teaching AI models to say 'I'm not sure' (MIT Schwarzman College of Computing, 2026)
- Beyond Binary Rewards: Training LMs to Reason about Their Uncertainty (arXiv, 2025)
- Teaching AI models to say 'I'm not sure' (MIT CSAIL, 2026)
- damanimehul/RLCR — oficjalne repozytorium kodu i modeli (GitHub, 2026)
- Beyond Binary Rewards: Training LMs to Reason About Their Uncertainty (arXiv PDF, 2025)
- Beyond Binary Rewards: Training LMs to Reason About Their Uncertainty (ICLR 2026)
- Teaching AI models to say 'I'm not sure' in cases of calibration errors (TechXplore, 2026)
- Beyond Binary Rewards: RL for Calibrated LMs (rl-calibration.github.io, 2026)
Fanatyk nowych technologii i specjalista w zakresie sztucznej inteligencji.
Jak powstają teksty: Polityka AI · O redakcji