Przejdź do treści

Tutoriale how-to

Ile zmiennych powinien mieć model scoringowy, żeby przetrwał rok

Zaktualizowano: Autor: Andrzej Niemiec11 min czytania

Model scoringowy nie rozpada się po roku dzięki walidacji poza próbą, monitoringowi driftu i kalibracji, a nie liczbie zmiennych. Sprawdź, ile cech ma sens.

Ile zmiennych powinien mieć model scoringowy, żeby przetrwał rok
Spis treści
  1. Czym jest model scoringowy i jakie dane wykorzystuje?
  2. Dlaczego model scoringowy traci jakość po wdrożeniu?
  3. Czym różni się AUC od kalibracji?
  4. Jak walidować model, żeby przetrwał rok?
  5. Ile zmiennych ma typowy model scoringowy?
  6. Co mówią regulatorzy o złożoności modeli?
  7. Jakie narzędzia wspierają budowę i utrzymanie modelu?
  8. Najczęstsze pytania
  9. Źródła

Czym jest model scoringowy i jakie dane wykorzystuje?

Model scoringowy to model decyzyjny, który na podstawie danych o kliencie przypisuje mu ocenę ryzyka. Banki stosują scoring aplikacyjny i behawioralny. Model może korzystać z danych z wniosku, historii spłat, rachunku, BIK oraz zobowiązań [6].

Polskie banki stosują scoring od lat. Opracowanie akademickie wskazuje historycznie PKO BP, Pekao i Citibank jako prekursorów, nie opisuje jednak parametrów konkretnego wdrożenia z 2022 r. w żadnym z tych banków [7]. Publiczne źródła nie zawierają potwierdzenia dla takiego zdarzenia.

Scoring aplikacyjny ocenia klienta, który dopiero ubiega się o produkt. Scoring behawioralny korzysta z zachowania istniejącego klienta: historii spłat, sald i transakcji [6]. Oba typy czerpią z innych danych, więc mają też inną podatność na zmiany rynku.

Dlaczego model scoringowy traci jakość po wdrożeniu?

Najczęstszą przyczyną jest drift: zmieniają się klienci, gospodarka oraz związek między cechami a defaultem. Model wymaga wtedy monitoringu, rekalibracji albo przebudowy [5]. Sam spadek wskaźnika nie dowodzi błędu algorytmu — może wynikać ze zmiany populacji.

Drift populacji oznacza, że inaczej rozkładają się cechy klientów. Drift konceptu oznacza, że zmienia się relacja między tymi cechami a prawdopodobieństwem defaultu [5]. Rozdzielenie obu zjawisk jest potrzebne, bo pierwsze często wystarcza poprawić rekalibracją, a drugie zwykle wymaga przebudowy modelu.

Walidacja powinna być prowadzona poza próbą i w segmentach: na kolejnych kohortach oraz według produktu, regionu i kanału [4]. Jeden wynik AUC z próby testowej nie wystarcza do oceny trwałości modelu [4].

Czym różni się AUC od kalibracji?

AUC jest polem pod krzywą ROC i mierzy zdolność modelu do rozdzielania klientów dobrych i złych. Gini wynosi 2 × AUC − 1, więc dla AUC 0,82 Gini ma 0,64, a dla AUC 0,71 — 0,42 [8].

AUC nie mierzy kalibracji. Model może poprawnie szeregować klientów, a jednocześnie źle szacować prawdopodobieństwo defaultu. Ocena jakości powinna obejmować kalibrację, na przykład Brier score i reliability curves [9].

Praktyczny wniosek jest taki, że wysoka dyskryminacja nie zastępuje sprawdzenia, czy prognozowane prawdopodobieństwa zgadzają się z rzeczywistą częstością zdarzeń [9]. Dwa modele o podobnym AUC mogą dawać bardzo różne decyzje cenowe i limitowe.

Jak walidować model, żeby przetrwał rok?

Walidacja powinna porównywać model na danych późniejszych niż te, na których go zbudowano, i robić to w podziale na segmenty biznesowe [4]. Poniższa tabela zestawia dwa podejścia.

KryteriumWalidacja na próbie testowejWalidacja out-of-time i segmentowa
Horyzont czasowyjeden punkt w czasiekolejne kohorty klientów [4]
Zakresjeden zbiorczy wynik AUCprodukt, region i kanał [4]
Wykrywanie driftuograniczoneporównanie kolejnych kohort [5]
Kalibracjazwykle pomijanaBrier score i reliability curves [9]

Polecamy zacząć od walidacji out-of-time na co najmniej kilku kolejnych kohortach, a wynik zbiorczy traktować jako uzupełnienie, nie jako podstawę decyzji [4].

Ile zmiennych ma typowy model scoringowy?

Liczba zmiennych zależy od celu, danych, portfela, stabilności, interpretowalności i wymogów nadzorczych. Źródła nie ustalają uniwersalnej granicy 10 ani 50 zmiennych. Materiał branżowy z 2010 r. opisuje kartę scoringową jako zwykle około 8–10 cech [1]. Inne polskie opracowania mówią o kilku–kilkunastu parametrach albo maksymalnie około 20 zmiennych [2][3].

Liczba 52 pojawia się w materiale StatSoft, ale oznacza 52 neurony wejściowe w przykładowej sieci MLP z 48 kategoriami zmiennych jakościowych, a nie 52 zmienne w modelu wdrożonym przez bank [10]. To przykład budowy sieci, nie opis wdrożenia produkcyjnego.

Z tego powodu pytanie „10 czy 50” jest skrótem myślowym. Właściwe pytanie brzmi, ile cech da się uzasadnić ekonomicznie, utrzymać w monitoringu i wyjaśnić w decyzji kredytowej [9][11].

Co mówią regulatorzy o złożoności modeli?

Europejski Bank Centralny w przewodniku do modeli wewnętrznych z 28 lipca 2025 r. wskazuje, że duża liczba czynników zwiększa wymagania dotyczące uzasadnienia ekonomicznego, dokumentacji i walidacji [11]. Zaleca unikanie niepotrzebnych predyktorów i nadmiernej złożoności [11].

W biuletynie z 20 listopada 2025 r. ECB podał, że banki używają AI między innymi w scoringu, ale muszą wzmacniać wyjaśnialność, monitoring i zarządzanie modelami [12]. Badane banki nie dopuszczały do samouczenia modeli po wdrożeniu i stosowały nadzór człowieka przy decyzjach wysokiego ryzyka [12].

Dla zespołu analitycznego oznacza to, że każda dodatkowa zmienna musi mieć właściciela, uzasadnienie i miejsce w procesie walidacji [11][12]. Złożoność jest więc kosztem organizacyjnym, nie tylko technicznym.

Jakie narzędzia wspierają budowę i utrzymanie modelu?

Na rynku dostępne są szkolenia i opracowania opisujące kolejne etapy: budowę, monitoring, walidację i wdrożenie modeli scoringowych [13][14]. Wybór biblioteki jest drugorzędny wobec procesu, bo bez walidacji poza próbą i monitoringu driftu żadne narzędzie nie utrzyma modelu w formie [4][5].

Polecamy zacząć od celu decyzyjnego i listy danych dostępnych w czasie rzeczywistym. Cechy, których nie da się odtworzyć w momencie decyzji, nie powinny wchodzić do modelu, nawet gdy poprawiają wynik na danych historycznych [9].

Szerszy kontekst wdrażania modeli w organizacji opisuje artykuł Praktyczne zastosowania AI: od pilotażu do produkcji. Ograniczenia pracy z modelami na danych pokazuje też materiał Codex w data science: 2 godziny pracy w 10 minut.

Najczęstsze pytania

Ile zmiennych powinien mieć model scoringowy?

Nie ma jednej liczby. Materiały branżowe opisują karty z około 8–10 cechami [1], a inne opracowania dopuszczają kilka–kilkanaście parametrów, maksymalnie około 20 zmiennych [2][3]. ECB zaleca unikanie niepotrzebnych predyktorów [11]. Liczbę cech wyznacza cel, dostępność danych i wymogi walidacyjne, a nie sztywny limit.

Czy AUC wystarcza do oceny modelu?

Nie. AUC mierzy dyskryminację, a Gini wynosi 2 × AUC − 1 [8]. Wskaźnik nie pokazuje kalibracji, czyli zgodności prognoz z rzeczywistą częstością defaultu [9]. Dlatego ocena powinna obejmować Brier score, reliability curves oraz wyniki w kolejnych kohortach i segmentach [4][9].

Co to jest drift i jak go wykryć?

Drift populacji oznacza zmianę rozkładu cech klientów, drift konceptu — zmianę relacji między cechami a defaultem [5]. Wykrywa się go, porównując wyniki na kolejnych kohortach oraz w segmentach produktu, regionu i kanału [4]. Po stwierdzeniu driftu model wymaga rekalibracji albo przebudowy [5].

Czy bank może pozwolić modelowi uczyć się samodzielnie po wdrożeniu?

Według biuletynu ECB z 20 listopada 2025 r. badane banki nie dopuszczały do samouczenia modeli po wdrożeniu [12]. Stosowały nadzór człowieka przy decyzjach wysokiego ryzyka i wzmacniały wyjaśnialność oraz monitoring [12]. Samouczenie komplikuje walidację i uzasadnienie decyzji, dlatego wymaga odrębnego procesu kontroli.

Źródła

  1. Raport specjalny: Narzędzia IT w zarządzaniu ryzykiem (Bank, 2010)
  2. Czym są modele scoringowe i dlaczego warto z nich korzystać? (Deep Technology)
  3. Co to jest scoring bankowy? Ekspert kredytowy wyjaśnia (Kredyt Wrocław)
  4. Machine Learning Credit Risk Modeling: A Practical Guide (DexLab Analytics)
  5. Credit Scoring with Drift Adaptation Using Local Regions of Competence (Springer, 2022)
  6. Jak zbudowany jest scoring kredytowy? (Bankowe ABC, 2020)
  7. 167 Przemysław Wysiński, Międzynarodowe stosunki gospodarcze (Uniwersytet Gdański)
  8. Ocena jakości bankowych modeli scoringowych (Błażej Kochański)
  9. Understanding the performance of machine learning models to predict credit default (EBA, 2020)
  10. Modele scoringu kredytowego (StatSoft Polska)
  11. ECB guide to internal models (Europejski Bank Centralny, 2025)
  12. AI's impact on banking: use cases for credit scoring and fraud detection (ECB, 2025)
  13. Modele scoringowe — tworzenie i optymalizacja modeli scoringowych (4Business Expert)
  14. Budowa, monitoring, walidacja i wdrożenie modeli scoringowych (AMA Institute)
AN
O autorze
Andrzej Niemiec

Fanatyk nowych technologii i specjalista w zakresie sztucznej inteligencji.

Jak powstają teksty: Polityka AI · O redakcji