Praktyczne zastosowania
Dlaczego dron oscyluje? TD3, DDPG i granice uczenia w locie
Zaktualizowano: Autor: Andrzej Niemiec8 min czytania
TD3 poprawia DDPG w sterowaniu ciągłym, ale nie ma dowodów, że usuwa oscylacje drona. Co naprawdę wiadomo o uczeniu ze wzmocnieniem w locie.
Spis treści
- Czy TD3 naprawdę nie radzi sobie z oscylacjami dronów?
- Jakie mechanizmy składają się na TD3?
- Skąd biorą się oscylacje w sterowaniu quadrotorem?
- Czym różni się wynik w symulacji od lotu rzeczywistego?
- Czy InPost dostarcza paczki dronami?
- Skąd wzięła się nazwa NOML?
- Czego brakuje, by RL sterował dronem dostawczym?
- Najczęstsze pytania
- Źródła
Czy TD3 naprawdę nie radzi sobie z oscylacjami dronów?
Nie ma publicznie potwierdzonego przypadku, w którym TD3 steruje dronem dostawczym, więc teza o jego porażce w locie pozostaje hipotezą. TD3 (Twin Delayed Deep Deterministic Policy Gradient) opisali Fujimoto, van Hoof i Meger w 2018 roku jako modyfikację DDPG dla sterowania ciągłego; w oryginalnych testach wypadał lepiej od DDPG [1].
TD3 powstał jako odpowiedź na dwa problemy DDPG: przeszacowanie wartości akcji i niestabilne aktualizacje aktora. Algorytm nie jest metodą usuwania oscylacji quadrotora, tylko sposobem na stabilniejsze uczenie polityki w przestrzeniach ciągłych [1]. To rozróżnienie ma znaczenie, bo wyniki benchmarków nie przenoszą się wprost na zachowanie maszyny w powietrzu. Podobna ostrożność obowiązuje przy ocenie narzędzi AI w innych dziedzinach, co widać w tekście o Codexie w data science.
Jakie mechanizmy składają się na TD3?
TD3 łączy trzy rozwiązania: podwójne krytyki z obcinaniem wartości, opóźnione aktualizacje aktora oraz wygładzanie polityki docelowej [2]. Razem ograniczają one przeszacowanie wartości akcji i redukują szum w aktualizacjach.
Podwójne krytyki oznaczają, że cel uczenia liczy się z mniejszej z dwóch ocen Q, co zmniejsza skłonność do przeszacowania [2]. Opóźnione aktualizacje sprawiają, że aktor zmienia się rzadziej niż krytyki. Wygładzanie polityki docelowej dodaje szum do akcji w celu, żeby polityka nie dopasowywała się do wąskiego maksimum [2]. Te elementy tłumaczą, dlaczego TD3 bywa stabilniejszy od DDPG w testach, ale nie odpowiadają na pytanie o stabilność fizycznego drona [1][2].
| Kryterium | DDPG | TD3 |
|---|---|---|
| Liczba krytyków | jeden | dwa, z obcinaniem wartości [2] |
| Moment aktualizacji aktora | po każdym kroku | opóźniony [2] |
| Wygładzanie polityki docelowej | brak | szum dodawany do akcji docelowej [2] |
| Wynik w testach z 2018 roku | niższy | wyższy [1] |
Skąd biorą się oscylacje w sterowaniu quadrotorem?
Oscylacje wynikają najczęściej z błędów modelu, szumu pomiarowego, źle zaprojektowanej funkcji nagrody, opóźnień w pętli sterowania oraz różnicy między symulacją a rzeczywistością [3][4]. Żaden z tych powodów nie jest cechą jednego konkretnego algorytmu.
Badania nad uczeniem quadrotora raportują wysokoczęstotliwościowe oscylacje sygnałów sterujących i obciążenie silników [4]. Jedna z prac opisała redukcję szczytowej częstotliwości oscylacji z około 330 Hz do około 130 Hz [4]. To wynik konkretnej metody badawczej, a nie dowód uniwersalnej przewagi dowolnego algorytmu nad innym.
Wniosek praktyczny jest prosty: zanim przypisze się oscylacje algorytmowi, trzeba sprawdzić jakość modelu, kalibrację czujników i konstrukcję regulatora nadrzędnego. Bez tego testy pokazują objaw, a nie przyczynę [3][4].
Czym różni się wynik w symulacji od lotu rzeczywistego?
Symulacja nie odwzorowuje dokładnie dynamiki wirników, luzów, wibracji i podmuchów wiatru, więc polityka nauczona w symulatorze wymaga testów na sprzęcie [4]. Ocena algorytmu wyłącznie na podstawie symulacji jest niepełna.
Rzetelny test obejmuje telemetrię z rzeczywistych lotów, powtarzalne warunki pogodowe, masę i mocowanie ładunku, geofencing oraz procedury awaryjne [4]. Bez tych danych deklaracja, że metoda eliminuje oscylacje, pozostaje niepotwierdzona. Ta sama zasada dotyczy pomiarów i modeli 3D tworzonych z dronów, gdzie liczy się powtarzalność procedury, a nie jednorazowy wynik [5].
Czy InPost dostarcza paczki dronami?
Nie ma publicznego potwierdzenia, że InPost prowadzi komercyjne dostawy dronami. Model działania grupy opiera się na automatach paczkowych i usługach kurierskich: w 2025 roku grupa obsłużyła 1,4 mld przesyłek i miała 61 196 automatów [6]. Przychody wyniosły 14,7 mld zł, skorygowana EBITDA 4,1 mld zł, a sieć liczyła 94 536 punktów out-of-home [7].
Drony pojawiły się w komunikacji InPostu wcześniej. W 2014–2015 roku opisywano demonstrację podczas Droniady w Krakowie, z ręcznie sterowanym dronem, a źródło zaznaczało, że do autonomicznych dostaw masowych pozostaje długa droga [8]. To materiał historyczny, nie zapowiedź wdrożenia i nie potwierdzenie incydentu lotniczego.
Skąd wzięła się nazwa NOML?
Nie ma udokumentowanej metody ani produktu o nazwie NOML w kontekście sterowania dronami lub InPostu. Najbliższy rozpowszechniony termin to NoRML (No-Reward Meta Learning), opisany w pracy z 2019 roku, która dotyczy adaptacji polityk do zmian dynamiki i sensorów bez zewnętrznej nagrody [9].
NoRML nie jest metodą sterowania quadrotorem i nie ma związku z dostawami paczek. Podobieństwo skrótów bywa źródłem pomyłek redakcyjnych, dlatego taką nazwę trzeba weryfikować w źródle pierwotnym, a nie w powtórzeniach [9].
Czego brakuje, by RL sterował dronem dostawczym?
Potrzebne są testy sprzętowe, dane telemetryczne i procedury bezpieczeństwa, a nie tylko lepszy wynik w benchmarku. Do tego dochodzą wymogi prawne: w Polsce zasady lotów zależą od kategorii operacji i uprawnień operatora, a przewodnik po przepisach dronowych z 2025 roku zbiera aktualne warunki [10].
Osobno trzeba uwzględnić stronę techniczną maszyny. Przegląd najczęstszych usterek dronów pokazuje, jak wiele awarii ma charakter eksploatacyjny i wymaga serwisu, a nie zmiany oprogramowania [11]. Algorytm sterowania działa na sprzęcie, który też się psuje.
Najczęstsze pytania
Czy TD3 jest lepszy od DDPG?
W oryginalnych testach z 2018 roku TD3 wypadał lepiej od DDPG pod względem wyników i szybkości uczenia [1]. Różnica wynika z dwóch krytyków, opóźnionych aktualizacji aktora i wygładzania polityki docelowej [2]. To nie oznacza, że TD3 jest lepszy w każdym zastosowaniu, w tym w sterowaniu dronem, bo o tym decydują warunki lotu i jakość modelu.
Czy oscylacje drona można usunąć samym algorytmem?
Nie. Oscylacje mają wiele źródeł: błędy modelu, szum pomiarowy, opóźnienia i różnicę między symulacją a lotem rzeczywistym [3][4]. Algorytm uczenia ze wzmocnieniem może poprawić stabilność polityki, ale nie zastąpi kalibracji czujników, poprawnego regulatora i testów na sprzęcie.
Jak sprawdzić, czy algorytm faktycznie stabilizuje lot?
Trzeba zmierzyć zachowanie maszyny w powtarzalnych warunkach i porównać je z punktem odniesienia. Badania nad quadrotorami raportują między innymi częstotliwość oscylacji sygnałów sterujących [4]. Miarodajny test obejmuje też telemetrię, wiatr, masę ładunku i procedury awaryjne, a nie tylko jeden udany przelot.
Czy InPost testował drony w Krakowie?
Publicznie opisano demonstrację podczas Droniady w Krakowie w latach 2014–2015, z ręcznie sterowanym dronem [8]. Nie ma potwierdzenia komercyjnego programu dostaw dronami: w 2025 roku grupa raportowała 1,4 mld przesyłek i 61 196 automatów [6].
Co to jest NoRML?
NoRML to No-Reward Meta Learning, metoda z pracy z 2019 roku dotycząca adaptacji polityk do zmian dynamiki i sensorów bez zewnętrznej nagrody [9]. Nie jest to algorytm sterowania dronem ani produkt firmy kurierskiej, mimo podobieństwa nazwy do NOML.
Źródła
- arXiv:1802.09477v3 — Fujimoto, van Hoof, Meger (2018)
- Twin Delayed Deep Deterministic Policy Gradient (TD3) — CleanRL
- Robust Control Strategy for Quadrotor Drone Using Reference Model-Based DDPG — MDPI (2022)
- How to Train Your Quadrotor — ACM (2021)
- Jak wykorzystać drony do pomiarów w 2026 roku — dron.edu.pl
- Q4 and full year 2025 trading update — InPost (2026)
- InPost Group FY 2025 Results — MarketScreener (2026)
- InPost użyje dronów do przesyłania paczek? — Świat Dronów
- NoRML: No-Reward Meta Learning (2019)
- Przepisy dronowe 2025 — Blog MEGADRON
- Najczęstsze usterki dronów — SNH Drones
Fanatyk nowych technologii i specjalista w zakresie sztucznej inteligencji.
Jak powstają teksty: Polityka AI · O redakcji