Praktyczne zastosowania
Pięć błędów, przez które test A/B daje fałszywy wynik
Zaktualizowano: Autor: Andrzej Niemiec8 min czytania
Test A/B nie kłamie sam z siebie — fałszywy wynik bierze się z planu próby, peeking, zepsutej randomizacji i mylenia istotności z wartością biznesową. Jak to sprawdzić.
Spis treści
- Czym właściwie jest test A/B i kiedy daje wiarygodny wynik?
- Dlaczego wynik testu A/B bywa fałszywy, nawet gdy wskaźnik jest zielony?
- Jakie błędy w planowaniu próby psują eksperyment?
- Czym jest peeking i dlaczego psuje statystykę?
- Jak wykryć Sample Ratio Mismatch?
- Jak wielokrotne metryki i warianty zawyżają szansę na fałszywego zwycięzcę?
- Jak odróżnić istotność statystyczną od wartości biznesowej?
- Co zrobić z sezonowością i zmianami w otoczeniu?
- Co sprawdzić przed wdrożeniem zwycięzcy?
- Najczęstsze pytania
- Źródła
Czym właściwie jest test A/B i kiedy daje wiarygodny wynik?
Test A/B jest eksperymentem kontrolowanym. Uczestnicy trafiają losowo do wersji A lub B, a wynik ocenia się względem metryki i celu ustalonych przed startem [1]. Bez losowego przypisania i bez z góry określonego kryterium porównanie dwóch wariantów jest tylko zestawieniem liczb z dashboardu.
Klasyczny test ma dwa warianty: kontrolę i wersję testową. Układ A/B/n obejmuje trzy lub więcej wersji, a każde dodatkowe porównanie zwiększa wymagania dotyczące próby i ryzyko wyniku przypadkowego [2]. Więcej wariantów nie jest darmowe.
Dlaczego wynik testu A/B bywa fałszywy, nawet gdy wskaźnik jest zielony?
Katalogi typowych usterek eksperymentów obejmują błędy wdrożenia, filtrowanie danych i niewłaściwe wnioskowanie [3][4]. Istotność statystyczna opisuje tylko jedno: jak rzadko wynik tej wielkości pojawiłby się przy braku rzeczywistej różnicy. Nie mówi, czy randomizacja działała, czy tracking nie gubił zdarzeń ani czy porównanie nie było jednym z wielu [5].
Platformy eksperymentalne pokazują poziom istotności i często wyróżniają lidera wariantu. Zielony wskaźnik nie jest jednak samodzielnym dowodem skuteczności — przy założeniu braku różnicy taki wynik jest po prostu stosunkowo rzadki [5].
Jakie błędy w planowaniu próby psują eksperyment?
Wielkość próby wynika z czterech wartości ustalonych przed startem: bazowej konwersji, minimalnego wykrywalnego efektu (MDE), poziomu alfa i mocy testu [6]. Mniejszy efekt wymaga większej liczby obserwacji, więc MDE wybrane bez rachunku przesądza, że test nie osiągnie potrzebnej precyzji [6][7].
Poziom alfa i moc nie są ozdobnikiem raportu. Przy ustalonym progu wynik poniżej niego oznacza brak podstaw do decyzji, a nie potwierdzenie braku różnicy. Odwrotna interpretacja prowadzi do wdrożeń opartych na szumie [7].
Nie ma reprezentatywnych danych o tym, ile polskich firm prowadzi testy A/B. GUS raportował 2 875 994 aktywne przedsiębiorstwa w III kwartale 2025 r., ale nie publikuje statystyk praktyk eksperymentalnych [8]. Ocena dotyczy więc pojedynczego eksperymentu, nie całej populacji firm.
Czym jest peeking i dlaczego psuje statystykę?
Podglądanie wyników i zatrzymanie testu po pierwszym pozytywnym sygnale zwiększa ryzyko fałszywego zwycięstwa. Każde sprawdzenie to kolejna okazja, by trafić na przypadkową fluktuację i uznać ją za efekt [9]. Klasyczny test ma ustalony horyzont; przy wielokrotnym sprawdzaniu potrzebna jest metoda sekwencyjna albo odpowiednia korekta [9].
Horyzont ustala się przed startem i dochowuje niezależnie od tego, jak obiecująco wygląda raport w połowie. Inaczej decyzję podejmuje ten moment, w którym wynik był najładniejszy.
Jak wykryć Sample Ratio Mismatch?
Sample Ratio Mismatch (SRM) występuje, gdy faktyczny podział ruchu odbiega od planowanego. Jeśli plan zakładał 50/50, a raport pokazuje 60/40, to sygnał ostrzegawczy [10]. Zanim spojrzysz na konwersję, sprawdź randomizację, filtrowanie danych, tracking i błędy wdrożenia [4][10].
SRM unieważnia eksperyment niezależnie od tego, jak przekonujący jest wynik. To pierwsza rzecz do sprawdzenia, nie ostatnia.
Jak wielokrotne metryki i warianty zawyżają szansę na fałszywego zwycięzcę?
Każda dodatkowa metryka, segment i wariant to kolejne porównanie. Przy wielu porównaniach rośnie szansa, że coś wyjdzie istotne przypadkiem, dlatego stosuje się korekty [11][12]. Wybór metody zależy od tego, czy kontrolujesz wszystkie porównania naraz, czy tylko ich część.
| Metoda | Co kontroluje | Koszt dla mocy testu | Kiedy stosować |
|---|---|---|---|
| Bonferroni | Rodzinny współczynnik błędu (FWER) | Największy spadek mocy przy wielu porównaniach | Mała liczba porównań, wysoka cena fałszywego trafienia |
| Holm | FWER, z mniejszą stratą mocy niż Bonferroni | Umiarkowany | Kilka do kilkunastu porównań o różnej wadze |
| FDR (Benjamini–Hochberg) | Odsetek fałszywych odkryć | Najmniejszy przy szerokim przeglądzie | Wiele metryk lub segmentów, decyzje odkrywcze |
Korekta nie zastępuje planu. Jeśli porównujesz dziesięć metryk, wynik istotny na jednej z nich wymaga sprawdzenia, czy przetrwał korektę [12].
Jak odróżnić istotność statystyczną od wartości biznesowej?
Istotność nie jest równoznaczna z zyskiem. Artykuł decyzyjny powinien podawać wielkość efektu, przedział ufności, koszt wdrożenia oraz metryki ochronne: przychód, zwroty, błędy, opóźnienie i retencję [6]. Wariant, który podnosi klikalność i jednocześnie pogarsza retencję, nie jest zwycięzcą.
Ta sama zasada obowiązuje przy ocenie modeli językowych, gdzie pojedynczy wynik nie rozstrzyga o wdrożeniu — pokazuje to choćby zestawienie w tekście Benchmarki AI.
Co zrobić z sezonowością i zmianami w otoczeniu?
Wynik zależy od dni tygodnia, kampanii, świąt, awarii i zmian produktu [13]. Testowany wariant nie powinien być modyfikowany w trakcie eksperymentu, bo zmienia się wtedy przedmiot pomiaru [13]. Jeśli w trakcie testu zmienia się otoczenie, trzeba to odnotować i powtórzyć pomiar w spokojniejszym okresie.
Zmiany w otoczeniu nie omijają kanałów ruchu. Aktualizacje wyszukiwarek, opisane choćby w materiale Google Search z AI, przesuwają rozkład wejść między źródłami i potrafią przewrócić porównanie zrobione tydzień wcześniej.
Co sprawdzić przed wdrożeniem zwycięzcy?
- Randomizacja i SRM. Podział ruchu zgodny z planem, bez odchyleń [10].
- Plan próby. Bazowa konwersja, MDE, poziom alfa i moc ustalone przed startem [6].
- Horyzont testu. Z góry określony czas, bez zatrzymania na pierwszym sygnale [9].
- Tracking i filtrowanie. Dane z narzędzia zgodne z innymi źródłami analitycznymi [3][4].
- Metryki biznesowe. Wielkość efektu, przedział ufności, koszt wdrożenia i metryki ochronne [6].
Kiedy wynik uprawnia do decyzji? Gdy przechodzi wszystkie pięć punktów. W przeciwnym razie lepszy jest brak decyzji niż wdrożenie oparte na zepsutym pomiarze.
Najczęstsze pytania
Czy test A/B musi trwać określoną liczbę dni?
Czas trwania wynika z planowanej próby i z cyklu, w którym mierzysz wynik. Najważniejsze jest ustalenie horyzontu przed startem i jego dochowanie; wcześniejsze zatrzymanie po pozytywnym sygnale wymaga metody sekwencyjnej lub korekty [9]. Sam kalendarz nie zastąpi rachunku próby [6].
Co zrobić, gdy wynik jest na granicy istotności?
Przy wyniku na granicy progu nie ma podstaw do pewnej decyzji. Sprawdź, czy plan próby został dotrzymany, czy nie wystąpił SRM i czy metryka nie jest jedną z wielu porównywanych [10][11]. Jeśli wątpliwości zostają, powtórz eksperyment z większą próbą albo zostań przy obecnej wersji.
Czy można zatrzymać test wcześniej, gdy różnica jest duża?
Duża różnica widoczna wcześnie jest często fluktuacją, a nie efektem. Zatrzymanie testu na jej podstawie zawyża ryzyko fałszywego zwycięstwa [9]. Wcześniejsze zakończenie jest dopuszczalne, gdy od początku przewidziano metodę sekwencyjną albo korektę dla wielokrotnych sprawdzeń [9][12].
Czy A/B/n wymaga większej próby niż klasyczny A/B?
Tak. Większa liczba wariantów oznacza więcej porównań i zwykle wyższe wymagania dotyczące próby [2]. Dochodzi problem wielokrotnych porównań, więc plan musi przewidywać korektę albo ograniczenie liczby testowanych hipotez [11].
Czy wzrost konwersji wystarczy, by uznać wariant za zwycięzcę?
Nie. Konwersja jest metryką zastępczą i nie mówi, co dzieje się z przychodem, zwrotami, błędami czy retencją [6]. Decyzja wymaga wielkości efektu, przedziału ufności i kosztu wdrożenia. Bywa, że szybszy wzrost konwersji pogarsza metryki ochronne.
Źródła
- What is A/B testing? With examples (Optimizely)
- A/B/n testing (Optimizely)
- Where Experimentation goes wrong (GrowthBook Documentation)
- Top 8 common experimentation mistakes and how to fix them (Statsig)
- A/B Testing: Sample Size, Significance, and Common Pitfalls (Woobox)
- How to calculate sample size? (Optimizely)
- Understanding statistical tests of significance in A/B testing (Statsig)
- Ile aktywnych firm jest w Polsce? GUS podał dane za III kwartał (PAP)
- Principled Peeking in A/B Testing (UBC Stat 301)
- Sample ratio mismatch (AB Tasty)
- Correct me if I'm wrong: Navigating multiple comparison corrections in A/B Testing (Statsig)
- The more the merrier? The problem of multiple comparisons in A/B Testing (Statsig)
- 5 popularnych błędów w testach A/B, przez które nie wzrośnie Ci konwersja (damianrams.pl)
- A/B Testing for ML Models: Best Practices (Statsig)
Fanatyk nowych technologii i specjalista w zakresie sztucznej inteligencji.
Jak powstają teksty: Polityka AI · O redakcji