Przejdź do treści

Praktyczne zastosowania

Pięć błędów, przez które test A/B daje fałszywy wynik

Zaktualizowano: Autor: Andrzej Niemiec8 min czytania

Test A/B nie kłamie sam z siebie — fałszywy wynik bierze się z planu próby, peeking, zepsutej randomizacji i mylenia istotności z wartością biznesową. Jak to sprawdzić.

Pięć błędów, przez które test A/B daje fałszywy wynik
Spis treści
  1. Czym właściwie jest test A/B i kiedy daje wiarygodny wynik?
  2. Dlaczego wynik testu A/B bywa fałszywy, nawet gdy wskaźnik jest zielony?
  3. Jakie błędy w planowaniu próby psują eksperyment?
  4. Czym jest peeking i dlaczego psuje statystykę?
  5. Jak wykryć Sample Ratio Mismatch?
  6. Jak wielokrotne metryki i warianty zawyżają szansę na fałszywego zwycięzcę?
  7. Jak odróżnić istotność statystyczną od wartości biznesowej?
  8. Co zrobić z sezonowością i zmianami w otoczeniu?
  9. Co sprawdzić przed wdrożeniem zwycięzcy?
  10. Najczęstsze pytania
  11. Źródła

Czym właściwie jest test A/B i kiedy daje wiarygodny wynik?

Test A/B jest eksperymentem kontrolowanym. Uczestnicy trafiają losowo do wersji A lub B, a wynik ocenia się względem metryki i celu ustalonych przed startem [1]. Bez losowego przypisania i bez z góry określonego kryterium porównanie dwóch wariantów jest tylko zestawieniem liczb z dashboardu.

Klasyczny test ma dwa warianty: kontrolę i wersję testową. Układ A/B/n obejmuje trzy lub więcej wersji, a każde dodatkowe porównanie zwiększa wymagania dotyczące próby i ryzyko wyniku przypadkowego [2]. Więcej wariantów nie jest darmowe.

Dlaczego wynik testu A/B bywa fałszywy, nawet gdy wskaźnik jest zielony?

Katalogi typowych usterek eksperymentów obejmują błędy wdrożenia, filtrowanie danych i niewłaściwe wnioskowanie [3][4]. Istotność statystyczna opisuje tylko jedno: jak rzadko wynik tej wielkości pojawiłby się przy braku rzeczywistej różnicy. Nie mówi, czy randomizacja działała, czy tracking nie gubił zdarzeń ani czy porównanie nie było jednym z wielu [5].

Platformy eksperymentalne pokazują poziom istotności i często wyróżniają lidera wariantu. Zielony wskaźnik nie jest jednak samodzielnym dowodem skuteczności — przy założeniu braku różnicy taki wynik jest po prostu stosunkowo rzadki [5].

Jakie błędy w planowaniu próby psują eksperyment?

Wielkość próby wynika z czterech wartości ustalonych przed startem: bazowej konwersji, minimalnego wykrywalnego efektu (MDE), poziomu alfa i mocy testu [6]. Mniejszy efekt wymaga większej liczby obserwacji, więc MDE wybrane bez rachunku przesądza, że test nie osiągnie potrzebnej precyzji [6][7].

Poziom alfa i moc nie są ozdobnikiem raportu. Przy ustalonym progu wynik poniżej niego oznacza brak podstaw do decyzji, a nie potwierdzenie braku różnicy. Odwrotna interpretacja prowadzi do wdrożeń opartych na szumie [7].

Nie ma reprezentatywnych danych o tym, ile polskich firm prowadzi testy A/B. GUS raportował 2 875 994 aktywne przedsiębiorstwa w III kwartale 2025 r., ale nie publikuje statystyk praktyk eksperymentalnych [8]. Ocena dotyczy więc pojedynczego eksperymentu, nie całej populacji firm.

Czym jest peeking i dlaczego psuje statystykę?

Podglądanie wyników i zatrzymanie testu po pierwszym pozytywnym sygnale zwiększa ryzyko fałszywego zwycięstwa. Każde sprawdzenie to kolejna okazja, by trafić na przypadkową fluktuację i uznać ją za efekt [9]. Klasyczny test ma ustalony horyzont; przy wielokrotnym sprawdzaniu potrzebna jest metoda sekwencyjna albo odpowiednia korekta [9].

Horyzont ustala się przed startem i dochowuje niezależnie od tego, jak obiecująco wygląda raport w połowie. Inaczej decyzję podejmuje ten moment, w którym wynik był najładniejszy.

Jak wykryć Sample Ratio Mismatch?

Sample Ratio Mismatch (SRM) występuje, gdy faktyczny podział ruchu odbiega od planowanego. Jeśli plan zakładał 50/50, a raport pokazuje 60/40, to sygnał ostrzegawczy [10]. Zanim spojrzysz na konwersję, sprawdź randomizację, filtrowanie danych, tracking i błędy wdrożenia [4][10].

SRM unieważnia eksperyment niezależnie od tego, jak przekonujący jest wynik. To pierwsza rzecz do sprawdzenia, nie ostatnia.

Jak wielokrotne metryki i warianty zawyżają szansę na fałszywego zwycięzcę?

Każda dodatkowa metryka, segment i wariant to kolejne porównanie. Przy wielu porównaniach rośnie szansa, że coś wyjdzie istotne przypadkiem, dlatego stosuje się korekty [11][12]. Wybór metody zależy od tego, czy kontrolujesz wszystkie porównania naraz, czy tylko ich część.

MetodaCo kontrolujeKoszt dla mocy testuKiedy stosować
BonferroniRodzinny współczynnik błędu (FWER)Największy spadek mocy przy wielu porównaniachMała liczba porównań, wysoka cena fałszywego trafienia
HolmFWER, z mniejszą stratą mocy niż BonferroniUmiarkowanyKilka do kilkunastu porównań o różnej wadze
FDR (Benjamini–Hochberg)Odsetek fałszywych odkryćNajmniejszy przy szerokim przeglądzieWiele metryk lub segmentów, decyzje odkrywcze

Korekta nie zastępuje planu. Jeśli porównujesz dziesięć metryk, wynik istotny na jednej z nich wymaga sprawdzenia, czy przetrwał korektę [12].

Jak odróżnić istotność statystyczną od wartości biznesowej?

Istotność nie jest równoznaczna z zyskiem. Artykuł decyzyjny powinien podawać wielkość efektu, przedział ufności, koszt wdrożenia oraz metryki ochronne: przychód, zwroty, błędy, opóźnienie i retencję [6]. Wariant, który podnosi klikalność i jednocześnie pogarsza retencję, nie jest zwycięzcą.

Ta sama zasada obowiązuje przy ocenie modeli językowych, gdzie pojedynczy wynik nie rozstrzyga o wdrożeniu — pokazuje to choćby zestawienie w tekście Benchmarki AI.

Co zrobić z sezonowością i zmianami w otoczeniu?

Wynik zależy od dni tygodnia, kampanii, świąt, awarii i zmian produktu [13]. Testowany wariant nie powinien być modyfikowany w trakcie eksperymentu, bo zmienia się wtedy przedmiot pomiaru [13]. Jeśli w trakcie testu zmienia się otoczenie, trzeba to odnotować i powtórzyć pomiar w spokojniejszym okresie.

Zmiany w otoczeniu nie omijają kanałów ruchu. Aktualizacje wyszukiwarek, opisane choćby w materiale Google Search z AI, przesuwają rozkład wejść między źródłami i potrafią przewrócić porównanie zrobione tydzień wcześniej.

Co sprawdzić przed wdrożeniem zwycięzcy?

  1. Randomizacja i SRM. Podział ruchu zgodny z planem, bez odchyleń [10].
  2. Plan próby. Bazowa konwersja, MDE, poziom alfa i moc ustalone przed startem [6].
  3. Horyzont testu. Z góry określony czas, bez zatrzymania na pierwszym sygnale [9].
  4. Tracking i filtrowanie. Dane z narzędzia zgodne z innymi źródłami analitycznymi [3][4].
  5. Metryki biznesowe. Wielkość efektu, przedział ufności, koszt wdrożenia i metryki ochronne [6].

Kiedy wynik uprawnia do decyzji? Gdy przechodzi wszystkie pięć punktów. W przeciwnym razie lepszy jest brak decyzji niż wdrożenie oparte na zepsutym pomiarze.

Najczęstsze pytania

Czy test A/B musi trwać określoną liczbę dni?

Czas trwania wynika z planowanej próby i z cyklu, w którym mierzysz wynik. Najważniejsze jest ustalenie horyzontu przed startem i jego dochowanie; wcześniejsze zatrzymanie po pozytywnym sygnale wymaga metody sekwencyjnej lub korekty [9]. Sam kalendarz nie zastąpi rachunku próby [6].

Co zrobić, gdy wynik jest na granicy istotności?

Przy wyniku na granicy progu nie ma podstaw do pewnej decyzji. Sprawdź, czy plan próby został dotrzymany, czy nie wystąpił SRM i czy metryka nie jest jedną z wielu porównywanych [10][11]. Jeśli wątpliwości zostają, powtórz eksperyment z większą próbą albo zostań przy obecnej wersji.

Czy można zatrzymać test wcześniej, gdy różnica jest duża?

Duża różnica widoczna wcześnie jest często fluktuacją, a nie efektem. Zatrzymanie testu na jej podstawie zawyża ryzyko fałszywego zwycięstwa [9]. Wcześniejsze zakończenie jest dopuszczalne, gdy od początku przewidziano metodę sekwencyjną albo korektę dla wielokrotnych sprawdzeń [9][12].

Czy A/B/n wymaga większej próby niż klasyczny A/B?

Tak. Większa liczba wariantów oznacza więcej porównań i zwykle wyższe wymagania dotyczące próby [2]. Dochodzi problem wielokrotnych porównań, więc plan musi przewidywać korektę albo ograniczenie liczby testowanych hipotez [11].

Czy wzrost konwersji wystarczy, by uznać wariant za zwycięzcę?

Nie. Konwersja jest metryką zastępczą i nie mówi, co dzieje się z przychodem, zwrotami, błędami czy retencją [6]. Decyzja wymaga wielkości efektu, przedziału ufności i kosztu wdrożenia. Bywa, że szybszy wzrost konwersji pogarsza metryki ochronne.

Źródła

  1. What is A/B testing? With examples (Optimizely)
  2. A/B/n testing (Optimizely)
  3. Where Experimentation goes wrong (GrowthBook Documentation)
  4. Top 8 common experimentation mistakes and how to fix them (Statsig)
  5. A/B Testing: Sample Size, Significance, and Common Pitfalls (Woobox)
  6. How to calculate sample size? (Optimizely)
  7. Understanding statistical tests of significance in A/B testing (Statsig)
  8. Ile aktywnych firm jest w Polsce? GUS podał dane za III kwartał (PAP)
  9. Principled Peeking in A/B Testing (UBC Stat 301)
  10. Sample ratio mismatch (AB Tasty)
  11. Correct me if I'm wrong: Navigating multiple comparison corrections in A/B Testing (Statsig)
  12. The more the merrier? The problem of multiple comparisons in A/B Testing (Statsig)
  13. 5 popularnych błędów w testach A/B, przez które nie wzrośnie Ci konwersja (damianrams.pl)
  14. A/B Testing for ML Models: Best Practices (Statsig)
AN
O autorze
Andrzej Niemiec

Fanatyk nowych technologii i specjalista w zakresie sztucznej inteligencji.

Jak powstają teksty: Polityka AI · O redakcji

Analiza i dane

Trend rynkowy

Trend rynkowy

Trend rynkowy