Tutoriale how-to
Ile zmiennych powinien mieć model scoringowy, żeby przetrwał rok
Zaktualizowano: Autor: Andrzej Niemiec11 min czytania
Model scoringowy nie rozpada się po roku dzięki walidacji poza próbą, monitoringowi driftu i kalibracji, a nie liczbie zmiennych. Sprawdź, ile cech ma sens.
Spis treści
- Czym jest model scoringowy i jakie dane wykorzystuje?
- Dlaczego model scoringowy traci jakość po wdrożeniu?
- Czym różni się AUC od kalibracji?
- Jak walidować model, żeby przetrwał rok?
- Ile zmiennych ma typowy model scoringowy?
- Co mówią regulatorzy o złożoności modeli?
- Jakie narzędzia wspierają budowę i utrzymanie modelu?
- Najczęstsze pytania
- Źródła
Czym jest model scoringowy i jakie dane wykorzystuje?
Model scoringowy to model decyzyjny, który na podstawie danych o kliencie przypisuje mu ocenę ryzyka. Banki stosują scoring aplikacyjny i behawioralny. Model może korzystać z danych z wniosku, historii spłat, rachunku, BIK oraz zobowiązań [6].
Polskie banki stosują scoring od lat. Opracowanie akademickie wskazuje historycznie PKO BP, Pekao i Citibank jako prekursorów, nie opisuje jednak parametrów konkretnego wdrożenia z 2022 r. w żadnym z tych banków [7]. Publiczne źródła nie zawierają potwierdzenia dla takiego zdarzenia.
Scoring aplikacyjny ocenia klienta, który dopiero ubiega się o produkt. Scoring behawioralny korzysta z zachowania istniejącego klienta: historii spłat, sald i transakcji [6]. Oba typy czerpią z innych danych, więc mają też inną podatność na zmiany rynku.
Dlaczego model scoringowy traci jakość po wdrożeniu?
Najczęstszą przyczyną jest drift: zmieniają się klienci, gospodarka oraz związek między cechami a defaultem. Model wymaga wtedy monitoringu, rekalibracji albo przebudowy [5]. Sam spadek wskaźnika nie dowodzi błędu algorytmu — może wynikać ze zmiany populacji.
Drift populacji oznacza, że inaczej rozkładają się cechy klientów. Drift konceptu oznacza, że zmienia się relacja między tymi cechami a prawdopodobieństwem defaultu [5]. Rozdzielenie obu zjawisk jest potrzebne, bo pierwsze często wystarcza poprawić rekalibracją, a drugie zwykle wymaga przebudowy modelu.
Walidacja powinna być prowadzona poza próbą i w segmentach: na kolejnych kohortach oraz według produktu, regionu i kanału [4]. Jeden wynik AUC z próby testowej nie wystarcza do oceny trwałości modelu [4].
Czym różni się AUC od kalibracji?
AUC jest polem pod krzywą ROC i mierzy zdolność modelu do rozdzielania klientów dobrych i złych. Gini wynosi 2 × AUC − 1, więc dla AUC 0,82 Gini ma 0,64, a dla AUC 0,71 — 0,42 [8].
AUC nie mierzy kalibracji. Model może poprawnie szeregować klientów, a jednocześnie źle szacować prawdopodobieństwo defaultu. Ocena jakości powinna obejmować kalibrację, na przykład Brier score i reliability curves [9].
Praktyczny wniosek jest taki, że wysoka dyskryminacja nie zastępuje sprawdzenia, czy prognozowane prawdopodobieństwa zgadzają się z rzeczywistą częstością zdarzeń [9]. Dwa modele o podobnym AUC mogą dawać bardzo różne decyzje cenowe i limitowe.
Jak walidować model, żeby przetrwał rok?
Walidacja powinna porównywać model na danych późniejszych niż te, na których go zbudowano, i robić to w podziale na segmenty biznesowe [4]. Poniższa tabela zestawia dwa podejścia.
| Kryterium | Walidacja na próbie testowej | Walidacja out-of-time i segmentowa |
|---|---|---|
| Horyzont czasowy | jeden punkt w czasie | kolejne kohorty klientów [4] |
| Zakres | jeden zbiorczy wynik AUC | produkt, region i kanał [4] |
| Wykrywanie driftu | ograniczone | porównanie kolejnych kohort [5] |
| Kalibracja | zwykle pomijana | Brier score i reliability curves [9] |
Polecamy zacząć od walidacji out-of-time na co najmniej kilku kolejnych kohortach, a wynik zbiorczy traktować jako uzupełnienie, nie jako podstawę decyzji [4].
Ile zmiennych ma typowy model scoringowy?
Liczba zmiennych zależy od celu, danych, portfela, stabilności, interpretowalności i wymogów nadzorczych. Źródła nie ustalają uniwersalnej granicy 10 ani 50 zmiennych. Materiał branżowy z 2010 r. opisuje kartę scoringową jako zwykle około 8–10 cech [1]. Inne polskie opracowania mówią o kilku–kilkunastu parametrach albo maksymalnie około 20 zmiennych [2][3].
Liczba 52 pojawia się w materiale StatSoft, ale oznacza 52 neurony wejściowe w przykładowej sieci MLP z 48 kategoriami zmiennych jakościowych, a nie 52 zmienne w modelu wdrożonym przez bank [10]. To przykład budowy sieci, nie opis wdrożenia produkcyjnego.
Z tego powodu pytanie „10 czy 50” jest skrótem myślowym. Właściwe pytanie brzmi, ile cech da się uzasadnić ekonomicznie, utrzymać w monitoringu i wyjaśnić w decyzji kredytowej [9][11].
Co mówią regulatorzy o złożoności modeli?
Europejski Bank Centralny w przewodniku do modeli wewnętrznych z 28 lipca 2025 r. wskazuje, że duża liczba czynników zwiększa wymagania dotyczące uzasadnienia ekonomicznego, dokumentacji i walidacji [11]. Zaleca unikanie niepotrzebnych predyktorów i nadmiernej złożoności [11].
W biuletynie z 20 listopada 2025 r. ECB podał, że banki używają AI między innymi w scoringu, ale muszą wzmacniać wyjaśnialność, monitoring i zarządzanie modelami [12]. Badane banki nie dopuszczały do samouczenia modeli po wdrożeniu i stosowały nadzór człowieka przy decyzjach wysokiego ryzyka [12].
Dla zespołu analitycznego oznacza to, że każda dodatkowa zmienna musi mieć właściciela, uzasadnienie i miejsce w procesie walidacji [11][12]. Złożoność jest więc kosztem organizacyjnym, nie tylko technicznym.
Jakie narzędzia wspierają budowę i utrzymanie modelu?
Na rynku dostępne są szkolenia i opracowania opisujące kolejne etapy: budowę, monitoring, walidację i wdrożenie modeli scoringowych [13][14]. Wybór biblioteki jest drugorzędny wobec procesu, bo bez walidacji poza próbą i monitoringu driftu żadne narzędzie nie utrzyma modelu w formie [4][5].
Polecamy zacząć od celu decyzyjnego i listy danych dostępnych w czasie rzeczywistym. Cechy, których nie da się odtworzyć w momencie decyzji, nie powinny wchodzić do modelu, nawet gdy poprawiają wynik na danych historycznych [9].
Szerszy kontekst wdrażania modeli w organizacji opisuje artykuł Praktyczne zastosowania AI: od pilotażu do produkcji. Ograniczenia pracy z modelami na danych pokazuje też materiał Codex w data science: 2 godziny pracy w 10 minut.
Najczęstsze pytania
Ile zmiennych powinien mieć model scoringowy?
Nie ma jednej liczby. Materiały branżowe opisują karty z około 8–10 cechami [1], a inne opracowania dopuszczają kilka–kilkanaście parametrów, maksymalnie około 20 zmiennych [2][3]. ECB zaleca unikanie niepotrzebnych predyktorów [11]. Liczbę cech wyznacza cel, dostępność danych i wymogi walidacyjne, a nie sztywny limit.
Czy AUC wystarcza do oceny modelu?
Nie. AUC mierzy dyskryminację, a Gini wynosi 2 × AUC − 1 [8]. Wskaźnik nie pokazuje kalibracji, czyli zgodności prognoz z rzeczywistą częstością defaultu [9]. Dlatego ocena powinna obejmować Brier score, reliability curves oraz wyniki w kolejnych kohortach i segmentach [4][9].
Co to jest drift i jak go wykryć?
Drift populacji oznacza zmianę rozkładu cech klientów, drift konceptu — zmianę relacji między cechami a defaultem [5]. Wykrywa się go, porównując wyniki na kolejnych kohortach oraz w segmentach produktu, regionu i kanału [4]. Po stwierdzeniu driftu model wymaga rekalibracji albo przebudowy [5].
Czy bank może pozwolić modelowi uczyć się samodzielnie po wdrożeniu?
Według biuletynu ECB z 20 listopada 2025 r. badane banki nie dopuszczały do samouczenia modeli po wdrożeniu [12]. Stosowały nadzór człowieka przy decyzjach wysokiego ryzyka i wzmacniały wyjaśnialność oraz monitoring [12]. Samouczenie komplikuje walidację i uzasadnienie decyzji, dlatego wymaga odrębnego procesu kontroli.
Źródła
- Raport specjalny: Narzędzia IT w zarządzaniu ryzykiem (Bank, 2010)
- Czym są modele scoringowe i dlaczego warto z nich korzystać? (Deep Technology)
- Co to jest scoring bankowy? Ekspert kredytowy wyjaśnia (Kredyt Wrocław)
- Machine Learning Credit Risk Modeling: A Practical Guide (DexLab Analytics)
- Credit Scoring with Drift Adaptation Using Local Regions of Competence (Springer, 2022)
- Jak zbudowany jest scoring kredytowy? (Bankowe ABC, 2020)
- 167 Przemysław Wysiński, Międzynarodowe stosunki gospodarcze (Uniwersytet Gdański)
- Ocena jakości bankowych modeli scoringowych (Błażej Kochański)
- Understanding the performance of machine learning models to predict credit default (EBA, 2020)
- Modele scoringu kredytowego (StatSoft Polska)
- ECB guide to internal models (Europejski Bank Centralny, 2025)
- AI's impact on banking: use cases for credit scoring and fraud detection (ECB, 2025)
- Modele scoringowe — tworzenie i optymalizacja modeli scoringowych (4Business Expert)
- Budowa, monitoring, walidacja i wdrożenie modeli scoringowych (AMA Institute)
Fanatyk nowych technologii i specjalista w zakresie sztucznej inteligencji.
Jak powstają teksty: Polityka AI · O redakcji