Przejdź do treści

Praktyczne zastosowania

Dlaczego dron oscyluje? TD3, DDPG i granice uczenia w locie

Zaktualizowano: Autor: Andrzej Niemiec8 min czytania

TD3 poprawia DDPG w sterowaniu ciągłym, ale nie ma dowodów, że usuwa oscylacje drona. Co naprawdę wiadomo o uczeniu ze wzmocnieniem w locie.

Spis treści
  1. Czy TD3 naprawdę nie radzi sobie z oscylacjami dronów?
  2. Jakie mechanizmy składają się na TD3?
  3. Skąd biorą się oscylacje w sterowaniu quadrotorem?
  4. Czym różni się wynik w symulacji od lotu rzeczywistego?
  5. Czy InPost dostarcza paczki dronami?
  6. Skąd wzięła się nazwa NOML?
  7. Czego brakuje, by RL sterował dronem dostawczym?
  8. Najczęstsze pytania
  9. Źródła

Czy TD3 naprawdę nie radzi sobie z oscylacjami dronów?

Nie ma publicznie potwierdzonego przypadku, w którym TD3 steruje dronem dostawczym, więc teza o jego porażce w locie pozostaje hipotezą. TD3 (Twin Delayed Deep Deterministic Policy Gradient) opisali Fujimoto, van Hoof i Meger w 2018 roku jako modyfikację DDPG dla sterowania ciągłego; w oryginalnych testach wypadał lepiej od DDPG [1].

TD3 powstał jako odpowiedź na dwa problemy DDPG: przeszacowanie wartości akcji i niestabilne aktualizacje aktora. Algorytm nie jest metodą usuwania oscylacji quadrotora, tylko sposobem na stabilniejsze uczenie polityki w przestrzeniach ciągłych [1]. To rozróżnienie ma znaczenie, bo wyniki benchmarków nie przenoszą się wprost na zachowanie maszyny w powietrzu. Podobna ostrożność obowiązuje przy ocenie narzędzi AI w innych dziedzinach, co widać w tekście o Codexie w data science.

Jakie mechanizmy składają się na TD3?

TD3 łączy trzy rozwiązania: podwójne krytyki z obcinaniem wartości, opóźnione aktualizacje aktora oraz wygładzanie polityki docelowej [2]. Razem ograniczają one przeszacowanie wartości akcji i redukują szum w aktualizacjach.

Podwójne krytyki oznaczają, że cel uczenia liczy się z mniejszej z dwóch ocen Q, co zmniejsza skłonność do przeszacowania [2]. Opóźnione aktualizacje sprawiają, że aktor zmienia się rzadziej niż krytyki. Wygładzanie polityki docelowej dodaje szum do akcji w celu, żeby polityka nie dopasowywała się do wąskiego maksimum [2]. Te elementy tłumaczą, dlaczego TD3 bywa stabilniejszy od DDPG w testach, ale nie odpowiadają na pytanie o stabilność fizycznego drona [1][2].

KryteriumDDPGTD3
Liczba krytykówjedendwa, z obcinaniem wartości [2]
Moment aktualizacji aktorapo każdym krokuopóźniony [2]
Wygładzanie polityki docelowejbrakszum dodawany do akcji docelowej [2]
Wynik w testach z 2018 rokuniższywyższy [1]

Skąd biorą się oscylacje w sterowaniu quadrotorem?

Oscylacje wynikają najczęściej z błędów modelu, szumu pomiarowego, źle zaprojektowanej funkcji nagrody, opóźnień w pętli sterowania oraz różnicy między symulacją a rzeczywistością [3][4]. Żaden z tych powodów nie jest cechą jednego konkretnego algorytmu.

Badania nad uczeniem quadrotora raportują wysokoczęstotliwościowe oscylacje sygnałów sterujących i obciążenie silników [4]. Jedna z prac opisała redukcję szczytowej częstotliwości oscylacji z około 330 Hz do około 130 Hz [4]. To wynik konkretnej metody badawczej, a nie dowód uniwersalnej przewagi dowolnego algorytmu nad innym.

Wniosek praktyczny jest prosty: zanim przypisze się oscylacje algorytmowi, trzeba sprawdzić jakość modelu, kalibrację czujników i konstrukcję regulatora nadrzędnego. Bez tego testy pokazują objaw, a nie przyczynę [3][4].

Czym różni się wynik w symulacji od lotu rzeczywistego?

Symulacja nie odwzorowuje dokładnie dynamiki wirników, luzów, wibracji i podmuchów wiatru, więc polityka nauczona w symulatorze wymaga testów na sprzęcie [4]. Ocena algorytmu wyłącznie na podstawie symulacji jest niepełna.

Rzetelny test obejmuje telemetrię z rzeczywistych lotów, powtarzalne warunki pogodowe, masę i mocowanie ładunku, geofencing oraz procedury awaryjne [4]. Bez tych danych deklaracja, że metoda eliminuje oscylacje, pozostaje niepotwierdzona. Ta sama zasada dotyczy pomiarów i modeli 3D tworzonych z dronów, gdzie liczy się powtarzalność procedury, a nie jednorazowy wynik [5].

Czy InPost dostarcza paczki dronami?

Nie ma publicznego potwierdzenia, że InPost prowadzi komercyjne dostawy dronami. Model działania grupy opiera się na automatach paczkowych i usługach kurierskich: w 2025 roku grupa obsłużyła 1,4 mld przesyłek i miała 61 196 automatów [6]. Przychody wyniosły 14,7 mld zł, skorygowana EBITDA 4,1 mld zł, a sieć liczyła 94 536 punktów out-of-home [7].

Drony pojawiły się w komunikacji InPostu wcześniej. W 2014–2015 roku opisywano demonstrację podczas Droniady w Krakowie, z ręcznie sterowanym dronem, a źródło zaznaczało, że do autonomicznych dostaw masowych pozostaje długa droga [8]. To materiał historyczny, nie zapowiedź wdrożenia i nie potwierdzenie incydentu lotniczego.

Skąd wzięła się nazwa NOML?

Nie ma udokumentowanej metody ani produktu o nazwie NOML w kontekście sterowania dronami lub InPostu. Najbliższy rozpowszechniony termin to NoRML (No-Reward Meta Learning), opisany w pracy z 2019 roku, która dotyczy adaptacji polityk do zmian dynamiki i sensorów bez zewnętrznej nagrody [9].

NoRML nie jest metodą sterowania quadrotorem i nie ma związku z dostawami paczek. Podobieństwo skrótów bywa źródłem pomyłek redakcyjnych, dlatego taką nazwę trzeba weryfikować w źródle pierwotnym, a nie w powtórzeniach [9].

Czego brakuje, by RL sterował dronem dostawczym?

Potrzebne są testy sprzętowe, dane telemetryczne i procedury bezpieczeństwa, a nie tylko lepszy wynik w benchmarku. Do tego dochodzą wymogi prawne: w Polsce zasady lotów zależą od kategorii operacji i uprawnień operatora, a przewodnik po przepisach dronowych z 2025 roku zbiera aktualne warunki [10].

Osobno trzeba uwzględnić stronę techniczną maszyny. Przegląd najczęstszych usterek dronów pokazuje, jak wiele awarii ma charakter eksploatacyjny i wymaga serwisu, a nie zmiany oprogramowania [11]. Algorytm sterowania działa na sprzęcie, który też się psuje.

Najczęstsze pytania

Czy TD3 jest lepszy od DDPG?

W oryginalnych testach z 2018 roku TD3 wypadał lepiej od DDPG pod względem wyników i szybkości uczenia [1]. Różnica wynika z dwóch krytyków, opóźnionych aktualizacji aktora i wygładzania polityki docelowej [2]. To nie oznacza, że TD3 jest lepszy w każdym zastosowaniu, w tym w sterowaniu dronem, bo o tym decydują warunki lotu i jakość modelu.

Czy oscylacje drona można usunąć samym algorytmem?

Nie. Oscylacje mają wiele źródeł: błędy modelu, szum pomiarowy, opóźnienia i różnicę między symulacją a lotem rzeczywistym [3][4]. Algorytm uczenia ze wzmocnieniem może poprawić stabilność polityki, ale nie zastąpi kalibracji czujników, poprawnego regulatora i testów na sprzęcie.

Jak sprawdzić, czy algorytm faktycznie stabilizuje lot?

Trzeba zmierzyć zachowanie maszyny w powtarzalnych warunkach i porównać je z punktem odniesienia. Badania nad quadrotorami raportują między innymi częstotliwość oscylacji sygnałów sterujących [4]. Miarodajny test obejmuje też telemetrię, wiatr, masę ładunku i procedury awaryjne, a nie tylko jeden udany przelot.

Czy InPost testował drony w Krakowie?

Publicznie opisano demonstrację podczas Droniady w Krakowie w latach 2014–2015, z ręcznie sterowanym dronem [8]. Nie ma potwierdzenia komercyjnego programu dostaw dronami: w 2025 roku grupa raportowała 1,4 mld przesyłek i 61 196 automatów [6].

Co to jest NoRML?

NoRML to No-Reward Meta Learning, metoda z pracy z 2019 roku dotycząca adaptacji polityk do zmian dynamiki i sensorów bez zewnętrznej nagrody [9]. Nie jest to algorytm sterowania dronem ani produkt firmy kurierskiej, mimo podobieństwa nazwy do NOML.

Źródła

  1. arXiv:1802.09477v3 — Fujimoto, van Hoof, Meger (2018)
  2. Twin Delayed Deep Deterministic Policy Gradient (TD3) — CleanRL
  3. Robust Control Strategy for Quadrotor Drone Using Reference Model-Based DDPG — MDPI (2022)
  4. How to Train Your Quadrotor — ACM (2021)
  5. Jak wykorzystać drony do pomiarów w 2026 roku — dron.edu.pl
  6. Q4 and full year 2025 trading update — InPost (2026)
  7. InPost Group FY 2025 Results — MarketScreener (2026)
  8. InPost użyje dronów do przesyłania paczek? — Świat Dronów
  9. NoRML: No-Reward Meta Learning (2019)
  10. Przepisy dronowe 2025 — Blog MEGADRON
  11. Najczęstsze usterki dronów — SNH Drones
AN
O autorze
Andrzej Niemiec

Fanatyk nowych technologii i specjalista w zakresie sztucznej inteligencji.

Jak powstają teksty: Polityka AI · O redakcji