OpenCV – Przetwarzanie obrazu i widzenie komputerowe dla phyCAM

Dzięki naszemu modułowi Ezpire dla OpenCV (Open Source Computer Vision Library) otrzymujesz wiodącą na świecie bibliotekę do przetwarzania obrazu w czasie rzeczywistym, gotową do użycia z modułami kamery phyCAM. Niezbędne biblioteki, powiązania Pythona i skrypty demonstracyjne są bezpośrednio zintegrowane z naszym pakietem phytec-vision-image. Wykorzystaj OpenCV jako bazę do rozpoznawania obiektów, filtrowania, wizji maszynowej lub jako pomost do aplikacji AI na procesorach NXP i.MX.

Czym jest OpenCV?

OpenCV to biblioteka open source zawierająca tysiące algorytmów do przetwarzania obrazu i uczenia maszynowego. Jest to de facto standard branżowy w zakresie analizy i przetwarzania obrazów oraz wydobywania z nich informacji.

W kontekście PHYTEC, OpenCV pełni funkcję centralnej warstwy oprogramowania pomiędzy czystą akwizycją obrazu (za pośrednictwem V4L2 lub GStreamer) a inteligentną logiką aplikacji. Niezależnie od tego, czy chodzi o klasyczne przetwarzanie obrazu (takie jak wykrywanie krawędzi lub konwersja kolorów), czy złożone zadania z zakresu wizji maszynowej (takie jak rozpoznawanie twarzy) – nasza wizja…BSPZapewniają one optymalne dostosowanie OpenCV do akceleratorów sprzętowych używanej architektury SoC.

OpenCV gotowy do użycia

Uprościliśmy kompilację złożonych zależności. OpenCV (w tym moduły Pythona) jest już w pełni zintegrowany z naszym phytec-vision-images (Vision-BSPs) zintegrowane i wstępnie skonfigurowane dla naszych zestawów wideo. Otrzymasz środowisko z gotowymi do uruchomienia skryptami demonstracyjnymi:

  • Biblioteki wstępnie skompilowane: Obraz Vision zawiera kompletne środowisko OpenCV, zoptymalizowane pod kątem odpowiedniej architektury docelowej (ARM Cortex-A).

  • Obsługa Pythona i C++: Uzyskaj wygodny dostęp do funkcji OpenCV za pomocą skryptów Python lub skorzystaj z interfejsu API C++, aby uzyskać maksymalną wydajność.

  • Integracja V4L2 i GStreamer: OpenCV bezproblemowo uzyskuje dostęp do strumieni wideo V4L2 modułów phyCAM. Skrypty przetwarzają dane obrazu i przesyłają je bezpośrednio do podłączonego wyświetlacza za pośrednictwem Menedżera Okien Wayland.

  • Przygotowane przypadki użycia: Udostępniamy przykładowe skrypty w języku Python, np. do prostego wyświetlania obrazu na żywo lub podstawowego rozpoznawania obiektów, np. wykrywania twarzy.

Głębokie nurkowanie techniczne

Zanim OpenCV uzyska dostęp do strumienia danych obrazu, konfiguracja jest przeprowadzana w kamerze i interfejsie kamery procesora za pomocą narzędzia media-ctrl. Pobieranie i przesyłanie danych obrazu z urządzenia wideo jest wygodnie konfigurowane za pomocą potoku GStreamer. Zadania te obejmują:

  • Konfiguruj za pomocą narzędzia media-ctrl
  • odbierz przez GStreamer
  • wywoływanie funkcji OpenCV

są implementowane w skrypcie Pythona.

Kluczowym aspektem wizji wbudowanej jest debayer (konwersja danych RAW Bayera na RGB). Jeśli używany procesor nie posiada zintegrowanego sprzętowego ISP, konwersja ta musi być wykonywana programowo, co może szybko prowadzić do dużego obciążenia procesora. Aby zapewnić maksymalną wydajność, nasze systemy wykorzystują koprocesory ARM NEON. Zamiast zlecać OpenCV wykonywanie wymagającej obliczeniowo konwersji programowej, można wykorzystać zoptymalizowane potoki GStreamer. Konwertują one dane obrazu niezwykle szybko i przy niskim poziomie sprzętowym, a następnie przekazują gotowy strumień RGB do OpenCV w celu przeprowadzenia właściwej analizy obrazu.

Jeżeli procesor jest wyposażony w ISP (Image Signal Processor), debaying można przeprowadzić także w czasie rzeczywistym, dzięki obsłudze ISP w PHYTEC. BSPs, odbędzie się.

W procesorach z dedykowanymi sieciami neuronowymi (NPU), takimi jak i.MX 8M Plus, OpenCV często pełni rolę niezbędnego etapu wstępnego przetwarzania. Obrazy z kamer o wysokiej rozdzielczości są skutecznie filtrowane przez OpenCV, zanim zostaną przekazane do silników wnioskowania (takich jak TensorFlow Lite lub NXP eIQ) w celu wykrycia lub klasyfikacji obiektów.

Zalecany sprzęt

Aby przetestować w praktyce nasz System Modułowy i moduły phyCAM, oferujemy rozwiązania dostosowane do indywidualnych potrzeb. Wbudowany Zestawy do rozwoju wzroku Pakiety zawierają wszystko, czego potrzebujesz, aby zacząć: System na module (SoM), płytę bazową, kamerę, obiektyw i wstępnie zainstalowany system wizyjny.BSP wliczając wszystkie przykłady OpenCV.

Do wymagających zastosowań w zakresie przetwarzania obrazu i sztucznej inteligencji szczególnie polecamy następujące platformy:

Nasz punkt odniesienia w zakresie wbudowanych systemów wizyjnych – z podwójnym ISP i dedykowaną jednostką AI (NPU) do niezwykle wydajnych konfiguracji OpenCV i uczenia maszynowego.

Nowa generacja architektury, wyposażona w ogromną moc obliczeniową AI i najnowsze interfejsy MIPI-CSI do strumieniowania i analizy w wysokiej rozdzielczości.

Więcej konfiguracji Vision dla innych układów SoC i formatów znajdziesz na naszej stronie internetowej. Strona przeglądu zestawu do obrazowania.

Portfolio PHYTEC phyCAM
Integracja OpenCV w pełni wykorzystuje swój potencjał dzięki naszemu Szeroka gama modułów kamer klasy przemysłowej (seria phyCAM)Niezależnie od tego, czy jest to migawka rolowana czy globalna, monochromatyczna czy kolorowa, od rozdzielczości 1 megapiksela do 4K – nasze sterowniki sprzętu i oprogramowania są idealnie dopasowane.

Która konfiguracja najlepiej odpowiada Twoim potrzebom? Na przykład moduły kamery można łatwo wymieniać za pomocą standardowego interfejsu phyCAM. 

Porozmawiaj z nami – Chętnie pomożemy Ci wybrać odpowiedni sprzęt.

Linki i zasoby / Pierwsze kroki

Wszystkie przykładowe skrypty OpenCV są zintegrowane z naszym phytec-vision-image. Oto jak zacząć – zaledwie w kilku krokach:

  • Korzystanie z zestawu PHYTEC Vision Development Kit: Obraz Vision jest preinstalowany fabrycznie. Możesz od razu uruchomić system i zacząć pracę.

  • W przypadku zestawów standardowych lub SBC: Pobierz obraz phytec-vision samodzielnie. Aby to zrobić, przejdź na stronę produktu swojej płytki (np. eBiMX 8M Plus) i przejdź do zakładki. Pobrania.

Oto jak znaleźć samouczki OpenCV:

  1. Na stronie produktu swojej płyty przejdź do Pliki do pobrania > Przetwarzanie obrazu > Szybkie przewodniki startowe z aparatami.

  2. Otworzyć Przewodnik wprowadzający phyCAM.

  3. W sekcji Skrypty OpenCV Znajdziesz szczegółowe instrukcje dotyczące przygotowania czujników za pomocą v4l2-ctl i uruchomienia dołączonych skryptów Pythona.