Przejdź do treści

Praktyczne zastosowania

Chaos engineering w AI: jak Netflix testuje odporność systemów

Zaktualizowano: Autor: Andrzej Niemiec8 min czytania

Netflix nie psuje modeli AI. Chaos engineering w jego wydaniu testuje infrastrukturę i odtwarzanie: Chaos Monkey, Chaos Kong i to, co faktycznie wiadomo o awariach.

Chaos engineering w AI: jak Netflix testuje odporność systemów
Spis treści
  1. Czym jest chaos engineering i jak zaczął go stosować Netflix?
  2. Czy Netflix celowo uszkadza swoje modele AI?
  3. Jak wygląda eksperyment chaos engineering w praktyce?
  4. Co wiadomo o systemie rekomendacji Netflixa?
  5. Gdzie uczenie maszynowe faktycznie działa w Netflixie?
  6. Jakie awarie Netflixa z 2023 roku są potwierdzone?
  7. Co to oznacza dla zespołów, które budują systemy AI?
  8. Najczęstsze pytania
  9. Źródła

Czym jest chaos engineering i jak zaczął go stosować Netflix?

Chaos engineering to dyscyplina eksperymentowania na systemie, której celem jest zbudowanie zaufania do jego odporności w warunkach produkcyjnych [1]. Netflix spopularyzował ją narzędziem Chaos Monkey, które losowo kończyło działanie instancji serwerowych na produkcji [3]. Późniejsze narzędzia testowały opóźnienia, błędy usług i awarie całych regionów chmury [4].

Metoda zakłada, że system w końcu zawiedzie. Zespół wywołuje awarię sam, w znanym momencie i w ograniczonym zakresie, zamiast czekać na przypadkową. Test funkcjonalny sprawdza, czy funkcja działa zgodnie z dokumentacją. Eksperyment sprawdza, jak system zachowuje się wtedy, gdy dokumentacja przestaje obowiązywać.

Każdy eksperyment ma hipotezę, grupę kontrolną i mierzalny stan stabilny [1]. Zasięg błędu, czyli blast radius, jest ograniczony do wybranej części systemu [2]. Netflix obserwował między innymi SPS, liczbę rozpoczętych odtworzeń na sekundę, oraz wskaźniki błędów i opóźnień [6]. Podobne pytanie o sens mierzenia systemu w warunkach skrajnych pojawia się w naszym tekście o benchmarkach AI.

Czy Netflix celowo uszkadza swoje modele AI?

Nie. Udokumentowane eksperymenty dotyczą infrastruktury i usług: wyłączania instancji, opóźnień, błędów wywołań między usługami i awarii regionu [1][4]. Nie znaleziono źródła, które opisywałoby celowe psucie modelu rekomendacyjnego [2][4].

Krytyczność usług była w Netflixie zróżnicowana. Odtwarzanie wideo traktowano jako usługę krytyczną, a rekomendacje jako usługę niższego poziomu, która w razie problemu może zwrócić sensowne wyniki domyślne [7]. To wyjaśnia, dlaczego wysiłek weryfikacyjny szedł w stronę odtwarzania, a nie trafności podpowiedzi.

W sieci krąży opis awarii rekomendacji z lipca 2023 r., w której użytkownicy mieli dostawać dokumenty kulinarne zamiast thrillerów. Zestawienia premier z tego miesiąca potwierdzają obecność programów kulinarnych w katalogu, ale nie awarię rekomendacji [8][9][10]. Źródła nie potwierdzają też czterogodzinnego czasu trwania takiego zdarzenia.

Jak wygląda eksperyment chaos engineering w praktyce?

Eksperyment zaczyna się od hipotezy o stanie stabilnym, potem następuje ograniczony w czasie test na produkcji i porównanie zachowania z grupą kontrolną [1][5]. Zespół zapisuje metryki przed, w trakcie i po, a wynik jest podstawą decyzji o naprawie albo o zwiększeniu zasięgu kolejnego testu [6].

KryteriumTest funkcjonalnyEksperyment chaos engineering
Celzgodność z dokumentacjązachowanie przy awarii [1]
Środowiskozwykle testoweprodukcja z ograniczonym zasięgiem [2]
Sygnał sukcesubrak błędówutrzymany stan stabilny, np. SPS [6]
Ryzykoniskierealne, wymaga hipotezy i limitu [3]

Narzędzia różnią się poziomem, na którym działają. Chaos Monkey kończył działanie instancji, Chaos Kong symulował awarię całego regionu [4]. W systemach uczących się dochodzi trzeci poziom: jakość danych wejściowych i zachowanie modelu przy ich braku. Publicznie opisane narzędzia adresują głównie dwa pierwsze poziomy [2].

Co wiadomo o systemie rekomendacji Netflixa?

Rekomendacje Netflixa nie są jednym modelem. To zbiór algorytmów obsługujących różne zastosowania, między innymi sekcje Top Picks, podobieństwo tytułów i podpowiedzi w stylu „Because You Watched” [14]. Część sygnałów jest personalizowana, część opiera się na popularności.

Wartość biznesową tej warstwy Netflix szacował w publikacji z 2015 r. Personalizacja i rekomendacje miały ograniczać rezygnacje z subskrypcji o wartość przekraczającą 1 mld USD rocznie [15][16]. To estymacja autorów związanych z firmą, nie audytowana pozycja w sprawozdaniu finansowym [15][14]. Kwota ta dotyczy wartości rekomendacji, a nie oszczędności z chaos engineering.

Historia konkursu pokazuje granicę między laboratorium a produkcją. Netflix Prize wystartował w 2006 r., a nagrodę 1 mln USD przyznano w 2009 r. zespołowi BellKor’s Pragmatic Chaos [15][17]. Zwycięskiego zestawu nie wdrożono w całości, bo dodatkowa poprawa nie uzasadniała kosztu inżynieryjnego [15].

Gdzie uczenie maszynowe faktycznie działa w Netflixie?

Osobnym, dobrze udokumentowanym przykładem jest Auto Remediation w platformie danych, opisany w marcu 2024 r. [18]. System przewidywał powodzenie i koszt ponownego uruchomienia zadań Spark. Automatycznie naprawiał około 56% błędów konfiguracji pamięci i obniżał koszty tych zadań o około 50% [18].

To zastosowanie operacyjne: model podejmuje decyzję o restartach, a nie o tym, co widzi użytkownik. Różnica jest istotna, bo pokazuje realne miejsce uczenia maszynowego w infrastrukturze. Netflix potwierdził także użycie generatywnej AI w 300 projektach w ciągu pół roku [19]. Ten wątek rozwijamy w tekście o Codexie w data science.

Jakie awarie Netflixa z 2023 roku są potwierdzone?

Dwie awarie z 2023 r. mają szeroką dokumentację i żadna nie dotyczy rekomendacji. 16 kwietnia 2023 r. przerwano transmisję na żywo programu „Love Is Blind”, a użytkownicy zgłaszali problemy z dostępem [20].

Druga awaria miała miejsce 11 grudnia 2023 r. Problemy zaczęły się około 17:00 czasu wschodniego, a dostęp w dużej mierze wrócił około 20:00, czyli po około trzech godzinach [11][12]. Dotyczyła dostępu i odtwarzania na części urządzeń, w tym telewizorów podłączonych do internetu [13].

Co to oznacza dla zespołów, które budują systemy AI?

Polecamy zacząć od mapy krytyczności. Zespół wypisuje funkcje, których awaria zatrzymuje produkt, i osobno te, które mogą działać na wynikach domyślnych [7]. Rekomendacje trafiają do drugiej grupy, płatności i odtwarzanie do pierwszej.

Drugi krok to jedna metryka stanu stabilnego i jeden limit zasyngalizowanego błędu na eksperyment [5]. W systemach z modelem trzeba dodać trzecią metrykę: jakość wyników na stałym zestawie wejść, bo spadek jakości nie zawsze daje błąd w logach [2].

Trzeci krok to kultura. Eksperyment z awarią bywa odbierany jako sabotaż, dopóki zespół nie zobaczy wyniku w postaci skróconego czasu naprawy [7]. Zacząć warto od małego zakresu i pory o najniższym ruchu.

Najczęstsze pytania

Czy Netflix psuje swoje modele AI, żeby je testować?

Nie ma źródła, które potwierdzałoby celowe uszkadzanie modelu rekomendacyjnego. Eksperymenty opisane przez Netflixa dotyczą infrastruktury: instancji, opóźnień, błędów usług i regionów chmury [1][4]. System rekomendacji jest zbiorem algorytmów, ale nie był celem publicznie opisanych testów chaosu [14].

Czym różni się Chaos Monkey od Chaos Kong?

Chaos Monkey losowo kończył działanie instancji serwerowych na produkcji [3]. Chaos Kong poszedł dalej i symulował awarię całego regionu chmury, żeby sprawdzić procedurę przełączenia ruchu [4]. Oba narzędzia działają na infrastrukturze, nie na jakości rekomendacji.

Czy chaos engineering obniża koszty infrastruktury?

Nie ma potwierdzenia, że sam chaos engineering dał Netflixowi oszczędności rzędu milionów dolarów. Kwota 1 mld USD dotyczy wartości rekomendacji dla ograniczenia rezygnacji [15][16]. Osobny projekt Auto Remediation obniżył koszty wybranych zadań Spark o około 50% [18].

Czy awaria z grudnia 2023 dotyczyła rekomendacji?

Nie. Awaria z 11 grudnia 2023 r. dotyczyła dostępu i odtwarzania na części urządzeń i trwała około trzech godzin [11][12][13]. Nie ma związku z systemem podpowiedzi ani z chaos engineering.

Źródła

  1. Chaos Engineering (arXiv, 2017)
  2. Chaos engineering (Wikipedia, b.d.)
  3. Chaos Monkey – czyli dlaczego Netflix sam sabotuje swoje serwery (Przemysław Sobolewski, b.d.)
  4. Chaos Engineering Upgraded. Chaos Kong is the most destructive (Netflix Tech Blog, 2017)
  5. Automating chaos experiments in production (The Morning Paper, 2019)
  6. Chaos Engineering (InfoQ, b.d.)
  7. Chaos Engineering: it sounds scary, but intentionally harming systems can find bigger bugs (IEEE Computer Society, b.d.)
  8. New to Netflix in July 2023 (Cinelinx, 2023)
  9. Everything coming to Netflix in July 2023 (Digital Trends, 2023)
  10. New on Netflix July 2023: Titanic, The Witcher, The Dragon Prince, more (Polygon, 2023)
  11. Netflix is back, after an outage knocked many people offline for a few hours (The Verge, 2023)
  12. Netflix back up for most U.S. users as technical issues causing outage resolved (Reuters, 2023)
  13. Netflix Down? Users Report Network Issues With Connected TV Devices (Variety, 2023)
  14. Case Study: Netflix (New America, b.d.)
  15. Netflix’s Prize Algorithm Stayed on the Shelf, and the $1 Billion Savings Is Self-Reported (Stratrix, b.d.)
  16. Running on Netflix: How Machine Learning is Fueling Your Netflix Binge-Watching Problem (Harvard RCTOM, b.d.)
  17. Netflix Recommender System — A Big Data Case Study (Medium, b.d.)
  18. Evolving from Rule-based Classifier: Machine Learning Powered Auto Remediation in Netflix Data Platform (Netflix Tech Blog, 2024)
  19. Netflix wykorzystuje AI do tworzenia masowych scen — już 300 projektów w pół roku (gagadget, 2026)
  20. Netflix back up after outage during Love is Blind livestream (Reuters, 2023)
AN
O autorze
Andrzej Niemiec

Fanatyk nowych technologii i specjalista w zakresie sztucznej inteligencji.

Jak powstają teksty: Polityka AI · O redakcji