Przejdź do treści

Praktyczne zastosowania

Qwen3-VL na Orange Pi 5B: co wiadomo o analizie obrazów na NPU

Zaktualizowano: Autor: Andrzej Niemiec9 min czytania

Qwen3-VL da się uruchomić na układzie RK3588 przez porty RKNN i RKLLM, ale nie ma potwierdzonego pomiaru na Orange Pi 5B. Sprawdzamy specyfikację, wymagania i ograniczenia.

Qwen3-VL na Orange Pi 5B: co wiadomo o analizie obrazów na NPU
Spis treści
  1. Czy Qwen3-VL działa na Orange Pi 5B?
  2. Czym analiza obrazu różni się od generowania obrazu?
  3. Jakie parametry ma Orange Pi 5B?
  4. Jakie oprogramowanie jest potrzebne?
  5. Czy 10 sekund na obraz to potwierdzony wynik?
  6. Jakie ograniczenia ma NPU w Orange Pi 5B?
  7. Do czego nadaje się lokalna analiza obrazu?
  8. Czy lokalny model zastąpi chmurę?
  9. Najczęstsze pytania
  10. Źródła

Czy Qwen3-VL działa na Orange Pi 5B?

Nie ma publicznego, powtarzalnego testu potwierdzającego uruchomienie Qwen3-VL na Orange Pi 5B. Istnieją porty tego modelu na układy RK3588 — dla wariantów 2B i 4B — ale ich autorzy nie dokumentują pomiarów na tej konkretnej płycie [1][2]. Model i płyta są realne: Qwen3-VL to rodzina multimodalna Qwen Team z Alibaba Cloud [3], a Orange Pi 5B korzysta z układu RK3588S [4].

Rodzina Qwen3-VL obejmuje warianty Dense i MoE w trybach Instruct oraz Thinking. Wydania 4B i 8B ogłoszono 15 października 2025 r., a 2B i 32B — 21 października 2025 r. [3]. Do pracy na krawędzi sens ma mały wariant, bo większe modele przekraczają możliwości płyty albo nie mają gotowego portu. To inna klasa zadań niż generowanie grafiki, którą opisujemy w przeglądzie generatorów obrazów AI.

Czym analiza obrazu różni się od generowania obrazu?

Generowanie tworzy nowy obraz z opisu. Analiza opisuje, klasyfikuje lub porównuje obraz, który już istnieje. Qwen3-VL należy do drugiej grupy: rozpoznaje obiekty, czyta tekst i odpowiada na pytania o zdjęcie [5].

Generatory rozwiązują inne zadanie — tworzą grafikę na podstawie promptu. Midjourney, FLUX czy Nano Banana są narzędziami do produkcji obrazu, a nie do jego oceny. Jeśli szukasz generatora, przegląd generatorów obrazów AI zbiera aktualne opcje i limity. Jeśli chcesz automatycznie opisywać zdjęcia, potrzebujesz modelu wizyjno-językowego, takiego jak Qwen3-VL. Praktyczne testy opisywania i tagowania obrazów oraz lokalnego OCR na małych modelach Qwen pokazują, że da się to robić na własnym sprzęcie, choć jakość zależy od rozmiaru modelu i rozdzielczości [6]. Warto też zajrzeć do tekstu o tym, czy BalCapRL Apple’a rozwiąże problem zbyt długich opisów obrazów.

Jakie parametry ma Orange Pi 5B?

Orange Pi 5B korzysta z układu Rockchip RK3588S: cztery rdzenie Cortex-A76 do 2,4 GHz, cztery Cortex-A55 do 1,8 GHz, NPU o deklarowanych 6 TOPS oraz 4, 8 lub 16 GB RAM. Płyta ma zasilanie USB-C 5 V/4 A i trafiła na rynek w 2023 r. [4].

Deklarowane 6 TOPS to szczytowa specyfikacja NPU, a nie szybkość Qwen3-VL. Liczba opisuje sprzętowy potencjał układu i nie przekłada się wprost na liczbę tokenów ani obrazów na sekundę. Realny czas zależy od wariantu modelu, kwantyzacji, rozdzielczości zdjęcia i długości odpowiedzi [1].

Dla modelu 2B wariant 8 GB RAM jest rozsądnym minimum, bo system, biblioteki i bufor kamery też zajmują pamięć. Wersja 4 GB wystarcza do testów, ale przy większych obrazach rośnie ryzyko braku pamięci. To wniosek z rozmiaru modelu i systemu, a nie zmierzony wynik.

Jakie oprogramowanie jest potrzebne?

Uruchomienie Qwen3-VL na RK3588 nie jest zwykłym startem modelu z Transformers. Potrzebne są osobne artefakty: enkoder wizji w formacie .rknn oraz model językowy w formacie .rkllm, oba skwantyzowane do W8A8 [1][2].

Przykładowy port wymaga rkllm-runtime 1.2.3, sterownika rknpu 0.9.8, OpenCV oraz bibliotek RKNN i RKLLM [1]. Część operacji nie jest obsługiwana przez NPU, a jakość odpowiedzi bywa niższa niż w dużych modelach chmurowych [1]. Konwersję wykonuje się na komputerze z Linuksem przy użyciu RKNN-Toolkit2 i RKLLM, a gotowe pliki kopiuje się na płytę. Publiczne przewodniki opisują podobne wdrożenia modeli Qwen na NPU płyt z serii Orange Pi 5, w tym 5 Pro i 5 Max [7].

KryteriumQwen3-VL 2B na RK3588Qwen3-VL 4B na RK3588
Liczba parametrów2B [3]4B [3]
Publiczny porttak [1]tak [2]
Artefakty.rknn + .rkllm, W8A8 [1].rknn + .rkllm, W8A8 [2]
Runtimerkllm-runtime 1.2.3, rknpu 0.9.8 [1]stos RKNN/RKLLM [2]
Pomiar na Orange Pi 5Bbrak danychbrak danych

Czy 10 sekund na obraz to potwierdzony wynik?

Nie. Nie ma wiarygodnego benchmarku Qwen3-VL na Orange Pi 5B, który potwierdzałby 10 sekund na obraz. Dostępne porty podają wymagane parametry uruchomienia, ale nie publikują takiego wyniku [1][2].

Rzetelny pomiar musi określać wariant RAM płyty, system, wersje sterowników, kwantyzację, rozdzielczość zdjęcia, długość promptu i odpowiedzi, czas zimnego i ciepłego startu oraz liczbę powtórzeń. Bez tych danych pojedyncza liczba jest anegdotą. Warto też odróżnić czas inferencji od częstotliwości pracy kamery: zdjęcie co 10 sekund nie oznacza, że model odpowiada w 10 sekund — system może robić zdjęcia rzadziej albo pomijać klatki, gdy poprzednia analiza wciąż trwa [1].

Jakie ograniczenia ma NPU w Orange Pi 5B?

NPU o deklarowanych 6 TOPS wystarcza do małych modeli wizyjno-językowych, ale nie do dużych wariantów z rodziny Qwen3-VL. Model 32B nie ma zastosowania na tej płycie, a warianty MoE są jeszcze bardziej wymagające [3].

Drugie ograniczenie to pamięć. Przy 8 GB RAM duże obrazy i długie odpowiedzi mogą kończyć się brakiem pamięci, dlatego warto ograniczać rozdzielczość i długość generowanego tekstu. Trzecie to wsparcie operatorów: nie każda warstwa z PyTorch czy TensorFlow ma odpowiednik w RKNN, więc część modeli wymaga modyfikacji [1].

Czwarte to jakość. Mały model lokalny nie dorównuje dużym modelom chmurowym w rozumieniu sceny i czytaniu trudnego tekstu [1]. Piąte to chłodzenie: przy ciągłym obciążeniu płyta potrzebuje radiatora lub wentylatora, a producent nie podaje w karcie produktu konkretnych progów temperatur [4].

Do czego nadaje się lokalna analiza obrazu?

Do zadań, w których liczy się prywatność i brak opłat za wywołania API: opisywanie zdjęć, tagowanie zbiorów, OCR dokumentów i prosta weryfikacja treści. Testy małych modeli Qwen do opisywania i tagowania obrazów oraz lokalnego OCR pokazują, że taki tryb pracy jest wykonalny na własnym komputerze [6].

Kontrola jakości w produkcji to osobna klasa problemu. Wymaga wzorca referencyjnego, tolerancji koloru i geometrii, powtarzalnego oświetlenia, pozycjonowania elementu, pomiaru false positive i false negative oraz procedury eskalacji do człowieka. Ogólne możliwości Qwen-VL — rozpoznawanie, OCR, lokalizacja i rozumowanie wizualne — nie są dowodem spełnienia tych wymagań [5]. Przydatne bywają też inne podejścia do opisu obrazu, opisane przy okazji porównania modeli ERNIE, Qwen i ZiT.

Czy lokalny model zastąpi chmurę?

Nie w każdym przypadku. Lokalna inferencja usuwa opłaty za wywołania API i wysyłanie danych na zewnątrz, ale zostawia koszt sprzętu, energii, wdrożenia i utrzymania. Chmura daje większe modele i aktualizacje bez pracy przy konwersji.

Dla małego zespołu, który przetwarza zdjęcia wewnętrznie, płyta z układem RK3588S i modelem 2B może wystarczyć. Dla zastosowań wymagających wysokiej dokładności lepszy będzie model chmurowy albo większy komputer z GPU. Decyzję warto oprzeć na własnym, powtarzalnym pomiarze na docelowych danych, a nie na pojedynczej liczbie z forum.

Najczęstsze pytania

Czy Qwen3-VL 2B zmieści się na Orange Pi 5B?

Prawdopodobnie tak przy 8 GB RAM, ale nie ma publicznego testu tej konfiguracji. Porty dla RK3588 istnieją dla wariantów 2B i 4B [1][2]. Wersja z 4 GB RAM zwiększa ryzyko braku pamięci przy dużych obrazach.

Ile kosztuje takie stanowisko?

Nie podajemy konkretnej kwoty, bo ceny płyt i akcesoriów się zmieniają, a karta produktu nie zawiera cennika detalicznego [4]. Do płyty trzeba doliczyć kartę pamięci, zasilacz i ewentualne chłodzenie.

Czy potrzebny jest komputer z Linuksem do konwersji?

Tak. Konwersja do formatów .rknn i .rkllm odbywa się poza płytą, na komputerze z Linuksem i RKNN-Toolkit2. Na Orange Pi 5B trafiają już gotowe pliki [1].

Czy model będzie działał bez internetu?

Po skopiowaniu modelu i bibliotek inferencja działa lokalnie. Sieć jest potrzebna do pobrania paczek, sterowników i aktualizacji [1].

Czy 6 TOPS wystarczy do analizy obrazu w czasie rzeczywistym?

6 TOPS to szczytowa specyfikacja NPU [4]. Czy wystarczy, zależy od rozdzielczości, wariantu modelu i długości odpowiedzi. Bez pomiaru na docelowych danych nie da się tego potwierdzić [1].

Źródła

  1. GitHub — Qengineering/Qwen3-VL-2B-NPU (2026)
  2. GitHub — Qengineering/Qwen3-VL-4B-NPU (2026)
  3. GitHub — QwenLM/Qwen3-VL (Qwen Team, 2025)
  4. Orange Pi 5B — karta produktu (Orange Pi, 2023)
  5. Introducing Qwen-VL (Qwen Team, 2023)
  6. Czy Qwen3.5 nadaje się do opisywania zdjęć i OCR? (Elektroda, 2026)
  7. The Definitive Guide to Deploying Qwen3 on the NPU of the Orange Pi 5 Pro, Max, Plus, Ultra (Sngular, 2026)
AN
O autorze
Andrzej Niemiec

Fanatyk nowych technologii i specjalista w zakresie sztucznej inteligencji.

Jak powstają teksty: Polityka AI · O redakcji