Tutoriale how-to
Pandas bez pętli: co naprawdę przyspiesza przetwarzanie danych
Zaktualizowano: Autor: Andrzej Niemiec6 min czytania
Wektoryzacja, NumPy i Numba w pandas: które operacje przyspieszają, jak mierzyć zysk i dlaczego zapis „300%” bywa mylący.
Spis treści
- Czy da się przyspieszyć Pandas bez pisania pętli?
- Jakie operacje w Pandas naprawdę przyspiesza wektoryzacja?
- Jak method chaining i pipe() zmieniają sposób pisania kodu?
- Kiedy apply() i pętla for są nadal właściwym wyborem?
- Jak mierzyć przyspieszenie, żeby nie wpaść w pułapkę procentów?
- Co wiadomo o Meble.pl, a czego źródła nie potwierdzają?
- Najczęstsze pytania
- Źródła
Czy da się przyspieszyć Pandas bez pisania pętli?
Tak, w większości typowych transformacji. Filtrowanie, warunki, grupowanie i łączenie tabel mają odpowiedniki wektorowe, które wykonują pracę w skompilowanym kodzie zamiast w interpreterze Pythona. Dokumentacja pandas zaleca operacje wektorowe, przejście na tablice NumPy oraz silnik Numba jako trzy główne ścieżki przyspieszania [1]. Pętla pozostaje potrzebna tam, gdzie logika zależy od stanu poprzedniego wiersza albo wymaga efektów ubocznych, na przykład zapisu do pliku czy wywołania API.
Warto rozdzielić dwa pytania: czy da się usunąć pętlę oraz czy usunięcie pętli cokolwiek przyspieszy. W małych zbiorach różnica będzie niezauważalna, a koszt czytelności realny. W większych często jedna operacja odpowiada za większość czasu. Zanim zaczniesz przepisywać kod, zmierz, gdzie faktycznie ucieka czas. Praktyczne wdrożenia takich optymalizacji w projektach produkcyjnych opisuje też tekst o przejściu od pilotażu do produkcji.
Jakie operacje w Pandas naprawdę przyspiesza wektoryzacja?
Wektoryzacja nie jest jedną techniką, tylko rodziną rozwiązań. Dokumentacja pandas rozdziela operacje na całych kolumnach, przejście na tablice NumPy i kompilację funkcji przez Numba [1]. Każda z tych ścieżek ma inne ograniczenia: pierwsza działa w ramach istniejącego DataFrame, druga wymaga zmiany typu danych, trzecia wiąże się z czasem kompilacji.
Skalę różnic najlepiej pokazują konkretne przykłady z dokumentacji. Obliczenie wykonane przez DataFrame.apply(axis=1) trwało 111 ms, a po przeniesieniu logiki na tablice NumPy skróciło się do 887 µs, czyli niemal dziesięciokrotnie w tym jednym teście [1]. W innym przykładzie skompilowana operacja rolling z użyciem Numba zajęła 188 ms, podczas gdy przykładowy silnik Cython potrzebował 3,92 s [1]. To nie są uniwersalne stałe, tylko pomiary z określonymi danymi i konfiguracją.
Niezależne zestawienia idą znacznie dalej. Exxact zbiera przykłady przekraczające 300×, a w części warunków 460× i więcej [2], natomiast Tryolabs opisuje przypadki rzędu 360× względem pętli [3]. Rozbieżność między tymi liczbami nie jest błędem: wynika z różnych zbiorów, różnych operacji i różnych metod pomiaru. Dlatego zapowiedź „przyspieszenie o 300%” bez podania danych wejściowych i czasów przed/po jest bardziej hasłem niż wynikiem.
Jak method chaining i pipe() zmieniają sposób pisania kodu?
Method chaining to zapis kolejnych transformacji jako jednego łańcucha wywołań, bez zmiennych tymczasowych. pipe() idzie o krok dalej: zamiast metod wywołujesz nazwane funkcje, które przyjmują i zwracają DataFrame. Żadna z tych technik nie jest sama w sobie optymalizacją wydajności — porządkują kod i ułatwiają testowanie poszczególnych kroków.
| Kryterium | Method chaining | pipe() z nazwanymi funkcjami | Pętla for / iterrows() |
|---|---|---|---|
| Czytelność | wysoka przy krótkich łańcuchach | wysoka, bo kroki mają nazwy | niska przy wielu warunkach |
| Wydajność | zależy od operacji, nie od zapisu | zależy od operacji, nie od zapisu | zwykle najniższa, iteruje po wierszach |
| Debugowanie | trudniejsze w długich łańcuchach | łatwiejsze, można przerwać w każdym kroku | łatwe, ale kosztem szybkości |
| Testowanie | wymaga testów całego łańcucha | funkcje testuje się osobno | logika zwykle sprzężona z danymi |
| Kiedy stosować | krótkie transformacje | wieloetapowe pipeline'y | logika zależna od stanu lub efekty uboczne |
Długa lista metod w jednym łańcuchu bywa trudna w debugowaniu. Praktyczna granica to kilka operacji; powyżej lepiej wydzielić nazwane funkcje albo rozbić pipeline na etapy z zapisem pośrednim.
Kiedy apply() i pętla for są nadal właściwym wyborem?
apply(axis=1) nie jest równoważne wektoryzacji. Wywołuje funkcję Pythona dla każdego wiersza, więc narzut interpretera zostaje, a dokumentacja pandas odradza tę ścieżkę, gdy istnieje odpowiednik kolumnowy [1]. To samo dotyczy np.vectorize: wygodny zapis nie oznacza, że obliczenia odbywają się w C — różnicę wydajności między apply i np.vectorize opisuje dyskusja na Stack Overflow [4].
Pętla bywa jednak jedynym rozsądnym rozwiązaniem. Sięgnij po nią, gdy krok zależy od wyniku poprzedniego wiersza, gdy wywołujesz zewnętrzne API z limitem zapytań albo gdy musisz przerwać obliczenia po błędzie. W takich przypadkach wąskim gardłem jest wejście-wyjście, a nie sam interpreter.
Jak mierzyć przyspieszenie, żeby nie wpaść w pułapkę procentów?
Najpierw ustal punkt odniesienia: ten sam zbiór danych, ta sama operacja, ten sam sprzęt. W Jupyterze wystarczy %timeit na pojedynczej operacji, a w skrypcie time.perf_counter z powtórzeniami. Dopiero potem porównuj warianty — najlepiej na identycznych danych i z wyłączonym cache.
Druga pułapka to jednostki. Wzrost szybkości o 300% oznacza, że ten sam proces trwa cztery razy krócej. Zapis „300× szybciej” oznacza, że wynik jest trzysta razy szybszy. To dwa różne rzędy wielkości i mieszanie ich w jednym zdaniu prowadzi do wniosków, których dane nie potwierdzają.
Trzecia pułapka to rozmiar danych. Optymalizacja, która daje duży zysk na milionie wierszy, na tysiącu może być wolniejsza od prostego rozwiązania z powodu narzutu. Dlatego wynik warto podawać razem z rozmiarem zbioru i czasami przed/po. Sposób oceny takich porównań opisuje też tekst o benchmarkach AI i tym, czemu jeden wynik nie wystarcza.
Co wiadomo o Meble.pl, a czego źródła nie potwierdzają?
MEBLE.PL S.A. prowadzi sklep internetowy z meblami, akcesoriami i materiałami drewnopochodnymi, a na oficjalnej stronie opisuje także automatyzację produkcji i konfiguratory online [5]. Spółka jest wpisana do KRS 3 października 2012 r. pod numerem 0000435035, z siedzibą w Rzeszowie przy ul. Langiewicza 33 [6].
W sieci krążą opisy wdrożeń przypisywanych tej firmie, z konkretnymi czasami pracy i procentami oszczędności. Dostępne źródła ich nie potwierdzają: nie ma publicznego benchmarku, opisu danych, kodu ani metodologii pomiaru. Publiczne profile różnią się też co do historii i liczby pracowników, więc takich danych nie należy podawać bez wskazania rejestru i daty. Historia korporacyjna firmy obejmuje postępowanie restrukturyzacyjne zakończone w 2021 r. stwierdzeniem wykonania układu [6] — to istotny kontekst, jeśli ktoś opisuje spółkę jako studium przypadku.
Najczęstsze pytania
Czy warto przepisywać cały kod z pętli na wektoryzację?
Nie od razu. Zacznij od pomiaru i przepisz tylko te fragmenty, które odpowiadają za większość czasu. W typowym pipeline'ie to kilka operacji: filtrowanie, mapowanie warunków, grupowanie i łączenie tabel. Reszta może zostać w czytelnej postaci, jeśli nie jest wąskim gardłem.
Czy pipe() jest szybszy od method chaining?
Sam zapis nie zmienia wydajności — liczy się operacja, która wykonuje pracę. pipe() pomaga w utrzymaniu i testowaniu, bo kroki mają nazwy i można je sprawdzać osobno. Wybór między tymi technikami to decyzja o strukturze kodu, nie o szybkości.
Dlaczego iterrows() jest wolniejsze od operacji kolumnowych?
iterrows() tworzy obiekt Series dla każdego wiersza i wywołuje kod Pythona w pętli. Operacje kolumnowe wykonują obliczenia na całych tablicach w skompilowanym kodzie. Dokumentacja pandas pokazuje, że różnica w konkretnych testach sięga rzędu wielkości [1].
Czy Numba zawsze przyspiesza Pandas?
Nie. Numba wymaga funkcji, które da się skompilować, i ponosi koszt kompilacji przy pierwszym wywołaniu. Zysk pojawia się przy dużych danych i powtarzalnych obliczeniach. W przykładzie z dokumentacji skompilowana operacja rolling zajęła 188 ms wobec 3,92 s w silniku Cython [1], ale to wynik jednego przypadku.
Ile można realnie zyskać na optymalizacji Pandas?
To zależy od danych i operacji. Źródła podają zarówno niemal dziesięciokrotny zysk w pojedynczym teście [1], jak i przypadki rzędu setek razy [2][3]. Bez czasów przed/po i opisu zbioru każda taka liczba jest tylko orientacyjna.
Źródła
Fanatyk nowych technologii i specjalista w zakresie sztucznej inteligencji.
Jak powstają teksty: Polityka AI · O redakcji