Przejdź do treści

Tutoriale how-to

Pandas bez pętli: co naprawdę przyspiesza przetwarzanie danych

Zaktualizowano: Autor: Andrzej Niemiec6 min czytania

Wektoryzacja, NumPy i Numba w pandas: które operacje przyspieszają, jak mierzyć zysk i dlaczego zapis „300%” bywa mylący.

Pandas bez pętli: co naprawdę przyspiesza przetwarzanie danych
Spis treści
  1. Czy da się przyspieszyć Pandas bez pisania pętli?
  2. Jakie operacje w Pandas naprawdę przyspiesza wektoryzacja?
  3. Jak method chaining i pipe() zmieniają sposób pisania kodu?
  4. Kiedy apply() i pętla for są nadal właściwym wyborem?
  5. Jak mierzyć przyspieszenie, żeby nie wpaść w pułapkę procentów?
  6. Co wiadomo o Meble.pl, a czego źródła nie potwierdzają?
  7. Najczęstsze pytania
  8. Źródła

Czy da się przyspieszyć Pandas bez pisania pętli?

Tak, w większości typowych transformacji. Filtrowanie, warunki, grupowanie i łączenie tabel mają odpowiedniki wektorowe, które wykonują pracę w skompilowanym kodzie zamiast w interpreterze Pythona. Dokumentacja pandas zaleca operacje wektorowe, przejście na tablice NumPy oraz silnik Numba jako trzy główne ścieżki przyspieszania [1]. Pętla pozostaje potrzebna tam, gdzie logika zależy od stanu poprzedniego wiersza albo wymaga efektów ubocznych, na przykład zapisu do pliku czy wywołania API.

Warto rozdzielić dwa pytania: czy da się usunąć pętlę oraz czy usunięcie pętli cokolwiek przyspieszy. W małych zbiorach różnica będzie niezauważalna, a koszt czytelności realny. W większych często jedna operacja odpowiada za większość czasu. Zanim zaczniesz przepisywać kod, zmierz, gdzie faktycznie ucieka czas. Praktyczne wdrożenia takich optymalizacji w projektach produkcyjnych opisuje też tekst o przejściu od pilotażu do produkcji.

Jakie operacje w Pandas naprawdę przyspiesza wektoryzacja?

Wektoryzacja nie jest jedną techniką, tylko rodziną rozwiązań. Dokumentacja pandas rozdziela operacje na całych kolumnach, przejście na tablice NumPy i kompilację funkcji przez Numba [1]. Każda z tych ścieżek ma inne ograniczenia: pierwsza działa w ramach istniejącego DataFrame, druga wymaga zmiany typu danych, trzecia wiąże się z czasem kompilacji.

Skalę różnic najlepiej pokazują konkretne przykłady z dokumentacji. Obliczenie wykonane przez DataFrame.apply(axis=1) trwało 111 ms, a po przeniesieniu logiki na tablice NumPy skróciło się do 887 µs, czyli niemal dziesięciokrotnie w tym jednym teście [1]. W innym przykładzie skompilowana operacja rolling z użyciem Numba zajęła 188 ms, podczas gdy przykładowy silnik Cython potrzebował 3,92 s [1]. To nie są uniwersalne stałe, tylko pomiary z określonymi danymi i konfiguracją.

Niezależne zestawienia idą znacznie dalej. Exxact zbiera przykłady przekraczające 300×, a w części warunków 460× i więcej [2], natomiast Tryolabs opisuje przypadki rzędu 360× względem pętli [3]. Rozbieżność między tymi liczbami nie jest błędem: wynika z różnych zbiorów, różnych operacji i różnych metod pomiaru. Dlatego zapowiedź „przyspieszenie o 300%” bez podania danych wejściowych i czasów przed/po jest bardziej hasłem niż wynikiem.

Jak method chaining i pipe() zmieniają sposób pisania kodu?

Method chaining to zapis kolejnych transformacji jako jednego łańcucha wywołań, bez zmiennych tymczasowych. pipe() idzie o krok dalej: zamiast metod wywołujesz nazwane funkcje, które przyjmują i zwracają DataFrame. Żadna z tych technik nie jest sama w sobie optymalizacją wydajności — porządkują kod i ułatwiają testowanie poszczególnych kroków.

KryteriumMethod chainingpipe() z nazwanymi funkcjamiPętla for / iterrows()
Czytelnośćwysoka przy krótkich łańcuchachwysoka, bo kroki mają nazwyniska przy wielu warunkach
Wydajnośćzależy od operacji, nie od zapisuzależy od operacji, nie od zapisuzwykle najniższa, iteruje po wierszach
Debugowanietrudniejsze w długich łańcuchachłatwiejsze, można przerwać w każdym krokułatwe, ale kosztem szybkości
Testowaniewymaga testów całego łańcuchafunkcje testuje się osobnologika zwykle sprzężona z danymi
Kiedy stosowaćkrótkie transformacjewieloetapowe pipeline'ylogika zależna od stanu lub efekty uboczne

Długa lista metod w jednym łańcuchu bywa trudna w debugowaniu. Praktyczna granica to kilka operacji; powyżej lepiej wydzielić nazwane funkcje albo rozbić pipeline na etapy z zapisem pośrednim.

Kiedy apply() i pętla for są nadal właściwym wyborem?

apply(axis=1) nie jest równoważne wektoryzacji. Wywołuje funkcję Pythona dla każdego wiersza, więc narzut interpretera zostaje, a dokumentacja pandas odradza tę ścieżkę, gdy istnieje odpowiednik kolumnowy [1]. To samo dotyczy np.vectorize: wygodny zapis nie oznacza, że obliczenia odbywają się w C — różnicę wydajności między apply i np.vectorize opisuje dyskusja na Stack Overflow [4].

Pętla bywa jednak jedynym rozsądnym rozwiązaniem. Sięgnij po nią, gdy krok zależy od wyniku poprzedniego wiersza, gdy wywołujesz zewnętrzne API z limitem zapytań albo gdy musisz przerwać obliczenia po błędzie. W takich przypadkach wąskim gardłem jest wejście-wyjście, a nie sam interpreter.

Jak mierzyć przyspieszenie, żeby nie wpaść w pułapkę procentów?

Najpierw ustal punkt odniesienia: ten sam zbiór danych, ta sama operacja, ten sam sprzęt. W Jupyterze wystarczy %timeit na pojedynczej operacji, a w skrypcie time.perf_counter z powtórzeniami. Dopiero potem porównuj warianty — najlepiej na identycznych danych i z wyłączonym cache.

Druga pułapka to jednostki. Wzrost szybkości o 300% oznacza, że ten sam proces trwa cztery razy krócej. Zapis „300× szybciej” oznacza, że wynik jest trzysta razy szybszy. To dwa różne rzędy wielkości i mieszanie ich w jednym zdaniu prowadzi do wniosków, których dane nie potwierdzają.

Trzecia pułapka to rozmiar danych. Optymalizacja, która daje duży zysk na milionie wierszy, na tysiącu może być wolniejsza od prostego rozwiązania z powodu narzutu. Dlatego wynik warto podawać razem z rozmiarem zbioru i czasami przed/po. Sposób oceny takich porównań opisuje też tekst o benchmarkach AI i tym, czemu jeden wynik nie wystarcza.

Co wiadomo o Meble.pl, a czego źródła nie potwierdzają?

MEBLE.PL S.A. prowadzi sklep internetowy z meblami, akcesoriami i materiałami drewnopochodnymi, a na oficjalnej stronie opisuje także automatyzację produkcji i konfiguratory online [5]. Spółka jest wpisana do KRS 3 października 2012 r. pod numerem 0000435035, z siedzibą w Rzeszowie przy ul. Langiewicza 33 [6].

W sieci krążą opisy wdrożeń przypisywanych tej firmie, z konkretnymi czasami pracy i procentami oszczędności. Dostępne źródła ich nie potwierdzają: nie ma publicznego benchmarku, opisu danych, kodu ani metodologii pomiaru. Publiczne profile różnią się też co do historii i liczby pracowników, więc takich danych nie należy podawać bez wskazania rejestru i daty. Historia korporacyjna firmy obejmuje postępowanie restrukturyzacyjne zakończone w 2021 r. stwierdzeniem wykonania układu [6] — to istotny kontekst, jeśli ktoś opisuje spółkę jako studium przypadku.

Najczęstsze pytania

Czy warto przepisywać cały kod z pętli na wektoryzację?

Nie od razu. Zacznij od pomiaru i przepisz tylko te fragmenty, które odpowiadają za większość czasu. W typowym pipeline'ie to kilka operacji: filtrowanie, mapowanie warunków, grupowanie i łączenie tabel. Reszta może zostać w czytelnej postaci, jeśli nie jest wąskim gardłem.

Czy pipe() jest szybszy od method chaining?

Sam zapis nie zmienia wydajności — liczy się operacja, która wykonuje pracę. pipe() pomaga w utrzymaniu i testowaniu, bo kroki mają nazwy i można je sprawdzać osobno. Wybór między tymi technikami to decyzja o strukturze kodu, nie o szybkości.

Dlaczego iterrows() jest wolniejsze od operacji kolumnowych?

iterrows() tworzy obiekt Series dla każdego wiersza i wywołuje kod Pythona w pętli. Operacje kolumnowe wykonują obliczenia na całych tablicach w skompilowanym kodzie. Dokumentacja pandas pokazuje, że różnica w konkretnych testach sięga rzędu wielkości [1].

Czy Numba zawsze przyspiesza Pandas?

Nie. Numba wymaga funkcji, które da się skompilować, i ponosi koszt kompilacji przy pierwszym wywołaniu. Zysk pojawia się przy dużych danych i powtarzalnych obliczeniach. W przykładzie z dokumentacji skompilowana operacja rolling zajęła 188 ms wobec 3,92 s w silniku Cython [1], ale to wynik jednego przypadku.

Ile można realnie zyskać na optymalizacji Pandas?

To zależy od danych i operacji. Źródła podają zarówno niemal dziesięciokrotny zysk w pojedynczym teście [1], jak i przypadki rzędu setek razy [2][3]. Bez czasów przed/po i opisu zbioru każda taka liczba jest tylko orientacyjna.

Źródła

  1. Enhancing performance — pandas 3.0.6 documentation (pandas)
  2. How to Speed Up Python Pandas by over 300x (Exxact)
  3. Top 5 tips to make your pandas code absurdly fast (Tryolabs, 2023)
  4. Performance of Pandas apply vs np.vectorize (Stack Overflow)
  5. O Meble.pl S.A. (meble.pl)
  6. MEBLE.PL (Rejestr.io)
AN
O autorze
Andrzej Niemiec

Fanatyk nowych technologii i specjalista w zakresie sztucznej inteligencji.

Jak powstają teksty: Polityka AI · O redakcji