Praktyczne zastosowania
Qwen3-VL na Orange Pi 5B: co wiadomo o analizie obrazów na NPU
Zaktualizowano: Autor: Andrzej Niemiec9 min czytania
Qwen3-VL da się uruchomić na układzie RK3588 przez porty RKNN i RKLLM, ale nie ma potwierdzonego pomiaru na Orange Pi 5B. Sprawdzamy specyfikację, wymagania i ograniczenia.
Spis treści
- Czy Qwen3-VL działa na Orange Pi 5B?
- Czym analiza obrazu różni się od generowania obrazu?
- Jakie parametry ma Orange Pi 5B?
- Jakie oprogramowanie jest potrzebne?
- Czy 10 sekund na obraz to potwierdzony wynik?
- Jakie ograniczenia ma NPU w Orange Pi 5B?
- Do czego nadaje się lokalna analiza obrazu?
- Czy lokalny model zastąpi chmurę?
- Najczęstsze pytania
- Źródła
Czy Qwen3-VL działa na Orange Pi 5B?
Nie ma publicznego, powtarzalnego testu potwierdzającego uruchomienie Qwen3-VL na Orange Pi 5B. Istnieją porty tego modelu na układy RK3588 — dla wariantów 2B i 4B — ale ich autorzy nie dokumentują pomiarów na tej konkretnej płycie [1][2]. Model i płyta są realne: Qwen3-VL to rodzina multimodalna Qwen Team z Alibaba Cloud [3], a Orange Pi 5B korzysta z układu RK3588S [4].
Rodzina Qwen3-VL obejmuje warianty Dense i MoE w trybach Instruct oraz Thinking. Wydania 4B i 8B ogłoszono 15 października 2025 r., a 2B i 32B — 21 października 2025 r. [3]. Do pracy na krawędzi sens ma mały wariant, bo większe modele przekraczają możliwości płyty albo nie mają gotowego portu. To inna klasa zadań niż generowanie grafiki, którą opisujemy w przeglądzie generatorów obrazów AI.
Czym analiza obrazu różni się od generowania obrazu?
Generowanie tworzy nowy obraz z opisu. Analiza opisuje, klasyfikuje lub porównuje obraz, który już istnieje. Qwen3-VL należy do drugiej grupy: rozpoznaje obiekty, czyta tekst i odpowiada na pytania o zdjęcie [5].
Generatory rozwiązują inne zadanie — tworzą grafikę na podstawie promptu. Midjourney, FLUX czy Nano Banana są narzędziami do produkcji obrazu, a nie do jego oceny. Jeśli szukasz generatora, przegląd generatorów obrazów AI zbiera aktualne opcje i limity. Jeśli chcesz automatycznie opisywać zdjęcia, potrzebujesz modelu wizyjno-językowego, takiego jak Qwen3-VL. Praktyczne testy opisywania i tagowania obrazów oraz lokalnego OCR na małych modelach Qwen pokazują, że da się to robić na własnym sprzęcie, choć jakość zależy od rozmiaru modelu i rozdzielczości [6]. Warto też zajrzeć do tekstu o tym, czy BalCapRL Apple’a rozwiąże problem zbyt długich opisów obrazów.
Jakie parametry ma Orange Pi 5B?
Orange Pi 5B korzysta z układu Rockchip RK3588S: cztery rdzenie Cortex-A76 do 2,4 GHz, cztery Cortex-A55 do 1,8 GHz, NPU o deklarowanych 6 TOPS oraz 4, 8 lub 16 GB RAM. Płyta ma zasilanie USB-C 5 V/4 A i trafiła na rynek w 2023 r. [4].
Deklarowane 6 TOPS to szczytowa specyfikacja NPU, a nie szybkość Qwen3-VL. Liczba opisuje sprzętowy potencjał układu i nie przekłada się wprost na liczbę tokenów ani obrazów na sekundę. Realny czas zależy od wariantu modelu, kwantyzacji, rozdzielczości zdjęcia i długości odpowiedzi [1].
Dla modelu 2B wariant 8 GB RAM jest rozsądnym minimum, bo system, biblioteki i bufor kamery też zajmują pamięć. Wersja 4 GB wystarcza do testów, ale przy większych obrazach rośnie ryzyko braku pamięci. To wniosek z rozmiaru modelu i systemu, a nie zmierzony wynik.
Jakie oprogramowanie jest potrzebne?
Uruchomienie Qwen3-VL na RK3588 nie jest zwykłym startem modelu z Transformers. Potrzebne są osobne artefakty: enkoder wizji w formacie .rknn oraz model językowy w formacie .rkllm, oba skwantyzowane do W8A8 [1][2].
Przykładowy port wymaga rkllm-runtime 1.2.3, sterownika rknpu 0.9.8, OpenCV oraz bibliotek RKNN i RKLLM [1]. Część operacji nie jest obsługiwana przez NPU, a jakość odpowiedzi bywa niższa niż w dużych modelach chmurowych [1]. Konwersję wykonuje się na komputerze z Linuksem przy użyciu RKNN-Toolkit2 i RKLLM, a gotowe pliki kopiuje się na płytę. Publiczne przewodniki opisują podobne wdrożenia modeli Qwen na NPU płyt z serii Orange Pi 5, w tym 5 Pro i 5 Max [7].
| Kryterium | Qwen3-VL 2B na RK3588 | Qwen3-VL 4B na RK3588 |
|---|---|---|
| Liczba parametrów | 2B [3] | 4B [3] |
| Publiczny port | tak [1] | tak [2] |
| Artefakty | .rknn + .rkllm, W8A8 [1] | .rknn + .rkllm, W8A8 [2] |
| Runtime | rkllm-runtime 1.2.3, rknpu 0.9.8 [1] | stos RKNN/RKLLM [2] |
| Pomiar na Orange Pi 5B | brak danych | brak danych |
Czy 10 sekund na obraz to potwierdzony wynik?
Nie. Nie ma wiarygodnego benchmarku Qwen3-VL na Orange Pi 5B, który potwierdzałby 10 sekund na obraz. Dostępne porty podają wymagane parametry uruchomienia, ale nie publikują takiego wyniku [1][2].
Rzetelny pomiar musi określać wariant RAM płyty, system, wersje sterowników, kwantyzację, rozdzielczość zdjęcia, długość promptu i odpowiedzi, czas zimnego i ciepłego startu oraz liczbę powtórzeń. Bez tych danych pojedyncza liczba jest anegdotą. Warto też odróżnić czas inferencji od częstotliwości pracy kamery: zdjęcie co 10 sekund nie oznacza, że model odpowiada w 10 sekund — system może robić zdjęcia rzadziej albo pomijać klatki, gdy poprzednia analiza wciąż trwa [1].
Jakie ograniczenia ma NPU w Orange Pi 5B?
NPU o deklarowanych 6 TOPS wystarcza do małych modeli wizyjno-językowych, ale nie do dużych wariantów z rodziny Qwen3-VL. Model 32B nie ma zastosowania na tej płycie, a warianty MoE są jeszcze bardziej wymagające [3].
Drugie ograniczenie to pamięć. Przy 8 GB RAM duże obrazy i długie odpowiedzi mogą kończyć się brakiem pamięci, dlatego warto ograniczać rozdzielczość i długość generowanego tekstu. Trzecie to wsparcie operatorów: nie każda warstwa z PyTorch czy TensorFlow ma odpowiednik w RKNN, więc część modeli wymaga modyfikacji [1].
Czwarte to jakość. Mały model lokalny nie dorównuje dużym modelom chmurowym w rozumieniu sceny i czytaniu trudnego tekstu [1]. Piąte to chłodzenie: przy ciągłym obciążeniu płyta potrzebuje radiatora lub wentylatora, a producent nie podaje w karcie produktu konkretnych progów temperatur [4].
Do czego nadaje się lokalna analiza obrazu?
Do zadań, w których liczy się prywatność i brak opłat za wywołania API: opisywanie zdjęć, tagowanie zbiorów, OCR dokumentów i prosta weryfikacja treści. Testy małych modeli Qwen do opisywania i tagowania obrazów oraz lokalnego OCR pokazują, że taki tryb pracy jest wykonalny na własnym komputerze [6].
Kontrola jakości w produkcji to osobna klasa problemu. Wymaga wzorca referencyjnego, tolerancji koloru i geometrii, powtarzalnego oświetlenia, pozycjonowania elementu, pomiaru false positive i false negative oraz procedury eskalacji do człowieka. Ogólne możliwości Qwen-VL — rozpoznawanie, OCR, lokalizacja i rozumowanie wizualne — nie są dowodem spełnienia tych wymagań [5]. Przydatne bywają też inne podejścia do opisu obrazu, opisane przy okazji porównania modeli ERNIE, Qwen i ZiT.
Czy lokalny model zastąpi chmurę?
Nie w każdym przypadku. Lokalna inferencja usuwa opłaty za wywołania API i wysyłanie danych na zewnątrz, ale zostawia koszt sprzętu, energii, wdrożenia i utrzymania. Chmura daje większe modele i aktualizacje bez pracy przy konwersji.
Dla małego zespołu, który przetwarza zdjęcia wewnętrznie, płyta z układem RK3588S i modelem 2B może wystarczyć. Dla zastosowań wymagających wysokiej dokładności lepszy będzie model chmurowy albo większy komputer z GPU. Decyzję warto oprzeć na własnym, powtarzalnym pomiarze na docelowych danych, a nie na pojedynczej liczbie z forum.
Najczęstsze pytania
Czy Qwen3-VL 2B zmieści się na Orange Pi 5B?
Prawdopodobnie tak przy 8 GB RAM, ale nie ma publicznego testu tej konfiguracji. Porty dla RK3588 istnieją dla wariantów 2B i 4B [1][2]. Wersja z 4 GB RAM zwiększa ryzyko braku pamięci przy dużych obrazach.
Ile kosztuje takie stanowisko?
Nie podajemy konkretnej kwoty, bo ceny płyt i akcesoriów się zmieniają, a karta produktu nie zawiera cennika detalicznego [4]. Do płyty trzeba doliczyć kartę pamięci, zasilacz i ewentualne chłodzenie.
Czy potrzebny jest komputer z Linuksem do konwersji?
Tak. Konwersja do formatów .rknn i .rkllm odbywa się poza płytą, na komputerze z Linuksem i RKNN-Toolkit2. Na Orange Pi 5B trafiają już gotowe pliki [1].
Czy model będzie działał bez internetu?
Po skopiowaniu modelu i bibliotek inferencja działa lokalnie. Sieć jest potrzebna do pobrania paczek, sterowników i aktualizacji [1].
Czy 6 TOPS wystarczy do analizy obrazu w czasie rzeczywistym?
6 TOPS to szczytowa specyfikacja NPU [4]. Czy wystarczy, zależy od rozdzielczości, wariantu modelu i długości odpowiedzi. Bez pomiaru na docelowych danych nie da się tego potwierdzić [1].
Źródła
- GitHub — Qengineering/Qwen3-VL-2B-NPU (2026)
- GitHub — Qengineering/Qwen3-VL-4B-NPU (2026)
- GitHub — QwenLM/Qwen3-VL (Qwen Team, 2025)
- Orange Pi 5B — karta produktu (Orange Pi, 2023)
- Introducing Qwen-VL (Qwen Team, 2023)
- Czy Qwen3.5 nadaje się do opisywania zdjęć i OCR? (Elektroda, 2026)
- The Definitive Guide to Deploying Qwen3 on the NPU of the Orange Pi 5 Pro, Max, Plus, Ultra (Sngular, 2026)
Fanatyk nowych technologii i specjalista w zakresie sztucznej inteligencji.
Jak powstają teksty: Polityka AI · O redakcji