Realizm kontra moda w systemach wizyjnych

Co dzieje się obecnie na rynku systemów wizyjnych?

To, co jest widoczne w skali globalnej określiłbym jednym słowem: szał. Wiele firm dostrzega duży potencjał biznesowy w systemach wizyjnych, więc kto może kupuje kogo się da, czyli następuje konsolidacja. Na fali popularyzacji modnego hasła Przemysł 4.0 firmy wcześniej mało aktywne w zaawansowanych technologiach kupują te, które są aktywne na rynku wizyjnym. Celem jest pozyskanie lub koncentracja wiedzy i doświadczenia. Również firmy aktywne na rynku wizyjnym uzupełniają swoje know-how i ofertę przez akwizycję innych wyróżniających się spółek.

W skali lokalnej, krajowej nie wygląda to już tak dobrze. Ja sam jako integrator raczej wycofałem się z aktywności, bo to się nie opłaca. Nie interesuje mnie robienie taniego, słabo przemyślanego systemu, a za dobrze dopracowany i wysoko niezawodny nikt nie chce zapłacić dobrej ceny. Znam wiele polskich firm, które wycofały się z realizacji systemów wizyjnych albo ograniczają tę działalność właśnie ze względu na małą opłacalność. Znam też przypadki bankructwa firm. Sądzę, że sukces – zarówno integratorom, jak i odbiorcom – zapewnić może tylko stała partnerska współpraca. Niestety mnie nie udało się znaleźć takich partnerów, chociaż szukałem ich wiele lat.

Zarówno w Polsce, jak i na świecie funkcjonują firmy, które mają własnych inżynierów tworzących systemy wizyjne na wewnętrzne potrzeby. To chyba najlepszy sposób na wykorzystanie technologii wizyjnych.

Jak w każdej dziedzinie, tak i na tym rynku pojawiają się trendy i mody, które wcześniej lub później przerodzą się w stworzenie technologii użytkowych lub zostaną zapomniane. Aktualnie taką modą jest deep learning – wypada mieć to w ofercie, ale nikt nie wnika w to, jaka jest wiarygodność tej metody. Często programiści zachwycają się nieomylnością algorytmów na poziomie 99%, lecz gdyby każdy integrator deklarował potencjalnemu klientowi, że jego system pomyli się jeden raz na 100 ocen, trudno byłoby taki produkt sprzedać. Osobiście wolę algorytm kontrolowany przez ludzką inteligencję – dzięki niej można uzyskać wielokrotnie wyższą niezawodność.

Jak ocenia Pan perspektywy rozwoju systemów wizyjnych?

Pasjonuje mnie wszystko, co wiąże się z systemami wizyjnymi. Jestem metrologiem z wykształcenia oraz z doświadczenia i uważam, że systemy wizyjne to właśnie urządzenia pomiarowe. Teoria i praktyka stosowane w metrologii idealnie pasują do systemów wizyjnych. Olbrzymią ich zaletą jest „pomiar masowy”. Kamera ma miliony pixeli, a każdy pixel to jeden czujnik. W tym tkwi potencjał.

Największe możliwości widzę w podnoszeniu dokładności i niezawodności systemów wizyjnych. Teoria jest powszechnie znana: dla dokładności – prawo propagacji wariancji lub niepewności, dla niezawodności – prawdopodobieństwo zdarzeń. Trzeba się jednak napracować i ktoś musi za to zapłacić.

Nie bardzo wierzę w potencjał deep learningu lub sztucznej inteligencji w odniesieniu do systemów wizyjnych. To, że wielu użytkowników chciałoby mieć łatwe do skonfigurowania systemy wizyjne, co deep learning i sztuczna inteligencja mają zapewnić, nie znaczy, że da się to zrobić. Wielu ludzi chciałoby być pięknymi, młodymi i bogatymi. Takie możliwości są już nawet dziś dostępne dzięki medycynie estetycznej i firmom bookmacherskim. Nad łatwymi w obsłudze systemami wizyjnymi też wiele firm pracuje. Ja wierzę w ewolucję w tym obszarze, a nie rewolucję. Weźmy jako przykład rozpoznawanie twarzy – marzenie policji, wojska i służ porządkowych. Jeśli ktoś podejdzie do tematu naukowo – potraktuje uczenie twarzy i rozpoznawanie twarzy jako kodowanie i dekodowanie – to powinien zastanowić się nad sposobem kodowania i nad pojemnością kodu dla twarzy. Mała pojemność kodu – a tak ją oceniam – oznacza, że to może być dobre rozwiązanie dla małych zbiorowości, ale na lotnisku lub przejściu granicznym się nie sprawdzi. To bardziej gadżet i straszak niż niezawodne narzędzie. Twarz jest zbyt niestabilnym medium, aby można było kodować duże zbiory twarzy i później je niezawodnie dekodować.

Jakie są podstawowe cechy i funkcje nowoczesnych systemów wizyjnych?

System wizyjny to urządzenie pomiarowe, a pomiar to pozyskanie informacji o obiekcie lub procesie. Obszar zastosowania dotyczy praktycznie całego życia i całego świata. Ponieważ nośnikiem informacji w systemie wizyjnym jest światło lub promieniowanie niewidoczne dla oka ludzkiego – od 200 nm do 14 μm – przedmiotem badania przez systemy wizyjne może być wszystko, co nie zostało skutecznie przesłonięte przez inne obiekty.

Największą zaletą systemu wizyjnego jest działanie bezdotykowe – zdalne. Kolejną cechą jest praca w dużym zakresie spektralnym, co daje szerokie możliwości badawcze. Dużym atutem jest możliwość szybkiego wygenerowania decyzji na podstawie analizy obrazów. Słabymi stronami systemów wizyjnych bywają zaś niska dokładność oceny, np. pomiary 3D, lub niezdefiniowana niezawodność, a głównie stabilność długookresowa. Funkcji systemów wizyjnych jest wiele. Przedmiotem mojego zainteresowania są pomiary wielkości geometrycznych obiektów i pomiary 3D. Bardzo popularne są czytniki kodów kreskowych lub 2D oraz czytniki tekstów: OCR / OCV. Popularna funkcja to sortowanie, bazujące na ocenie konturów i barw sortowanych obiektów.

Największym rynkiem systemów wizyjnych jest motoryzacja, gdzie głównie kontroluje się poprawność montażu, czyli czytanie kodów 2D oraz obecność i pozycję elementów. Motoryzacja to jednak nie jest jedna dziedzina, to wiele branż – metalowa, tworzywa, szkło itd., gdzie głównie kontroluje się stan powierzchni – np. defekty czy odbarwienia – i wykrywa się deformacje konturu. W motoryzacji również często mierzy się barwy elementów wyposażenia, jak tapicerka, deska rozdzielcza, elementy sterujące i sygnalizacyjne deski rozdzielczej. Technologia pomiaru barwy w systemach wizyjnych dopiero się rozwija. Na podstawie obrazu typowej kamery kolorowej można ocenić barwę z błędem rzędu Delta E = 5, a to zbyt mała dokładność. Człowiek jest dokładniejszy. Jak jednak już wspomniałem, ta technologia wciąż jest rozwijana, więc być może w przyszłości to się zmieni.

Kolejna rozwijająca się dziedzina to pomiar barwy „in-line” w drukarstwie. Barwę mierzy się albo za pomocą kamer hiperspektralnych, albo za pomocą spektrofotometrów. Jest to droga i dość czasochłonna metoda. Trwają prace nad kamerami RGB dopasowanymi do wymagań pomiaru barwy. Kamery podczerwone to nie tylko popularne widzenie temperatury lub wykrywanie nietypowego jej rozkładu (np. ucieczki ciepła lub nadmierne nagrzewanie przed awarią), ale i rozróżniania materiałów w zakresie SWIR (short wave IR) lub MWIR (medium wave IR) dzięki różnemu pochłanianiu promieniowania w tym zakresie przez różne materiały. W zakresie SWIR pracują np. sortery śmieci, minerałów i żywności.

Kamery hiperspektralne (rozdzielające rejestrowany obraz na wiele zakresów spektralnych) stosowane są w rolnictwie do oceny stanu roślin na polu, zaś kamery widzące w zakresie UV (200–400 nm) – do oceny roślin w szklarni, jak również do wczesnego wykrywania awarii izolatorów w sieciach wysokiego napięcia. Bardzo na czasie jest w tej chwili pomiar temperatury twarzy. Ma on jednak istotne ograniczenia – dokładność pomiaru jest niezbyt wysoka (±0,5 stopnia), a temperatura 36,6 °C nie jest dowodem na zdrowie. Jest jednak popyt, a za nim idzie podaż. Bardzo popularną i lubianą przez integratorów jest funkcja odnajdywania obiektów w obrazach. Ja jednak sparzyłem się na tej funkcji, przestudiowałem algorytmy obsługujące tę funkcje i teraz jestem bardzo ostrożny.

Pamiętajmy, że w systemie wizyjnym analizuje się wartości pojedynczych pixeli obrazu, zależności między różnymi pixelami (np. sąsiadami analizowanego pixela) oraz zależności między tym samym pixelem w kolejnych obrazach. I to wszystko. Cała reszta to logiczne wykorzystanie liczb. Im bardzie zaawansowane zadanie systemu wizyjnego, tym bardziej jest to czysta matematyka.

Który z elementów systemu wizyjnego – kamera, obiektyw, układ oświetlenia czy komputer z oprogramowaniem – jest kluczowy i krytyczny dla poprawności działania aplikacji? 

Dla poprawności działania systemu wizyjnego kluczowym i najważniejszym czynnikiem jest integrator – jego wiedza, doświadczenie, pracowitość i upór w realizacji projektu. Sam po długiej pracy nad projektem realizowałem zadania niewykonalne na dostępnym sprzęcie, głównie wykorzystując matematykę. Nawet na sprzęcie z najbardziej renomowanych firm można zbudować system wizyjny, który będzie zawodny. Parę lat temu pracownik znanej firmy oponiarskiej opowiadał mi podczas targów Automaticon, że mają w firmie cztery systemy wizyjne i wszystkie są wyłączone, bo są omylne. Patrząc jednak z punktu widzenia integratora, trudność w konfigurowaniu systemu wizyjnego wiąże się z optymalnym doborem dwóch elementów razem: oświetlenia i algorytmu analizy obrazu – nie z samego oświetlenia i nie z samego algorytmu. W niektórych zadaniach wizyjnych można dobrać różne pary „oświetlenie + algorytm” o różnej skuteczności.

Kamera musi spełnić pewne wymagania, głównie w zakresie rozdzielczości i szybkości działania. Czasem o sukcesie projektu decydują funkcje zaimplementowane w kamerze, np. automatyczna ekspozycja, różne tryby triggerowania lub korekcja nierównomierności tła (Flat Field Correction).

Najłatwiej jest dobrać do zadania obiektyw i najrzadziej jest on źródłem słabości systemu wizyjnego.

Czasem sukces zadania zapewnia użycie odpowiedniego filtru optycznego. Dobór komputera nie jest sprawą trudną. W oprogramowaniu nie ma dużego wyboru i najczęściej integrator programuje w ulubionym języku. Trudno winić oprogramowanie za słabość całej aplikacji. Jeśli potrzebna jest bardzo szybka analiza, np. 1000 obrazów na sekundę, można użyć karty akwizycji obrazów z FPGA na karcie i odpowiedniego programu do programowania FPGA. Zakres funkcji realizowanych w FPGA nie jest jednak tak bogaty, jak zakres funkcji realizowanych w procesorze komputera.

Sądzę, że żadna sztuczna inteligencja nie zastąpi jednak integratora. Jeśli integrator zauważy, że system jest zawodny, bo kontrast obrazów jest niestabilny, to może pomyśleć o innej koncepcji oświetlenia i zmianie algorytmu. Sztuczna inteligencja nie powie: „integratorze, zmień oświetlenie, bo sobie nie poradzę”, tylko będzie optymalizować algorytm i walczyć do upadłego. Chyba, że kiedyś ktoś zaimplementuje w programach sztucznej inteligencji możliwość zastrajkowania – „nie dam rady”. Wówczas wracamy do punktu wyjścia: doświadczony integrator będzie potrzebny, aby dobrać inne oświetlenie.

Czy współczesne systemy wizyjne wpisują się w założenia Przemysłu 4.0?

Ja określenie Przemysł 4.0 uważam za hasło marketingowe. W 2015 r. byłem w polskiej fabryce mebli. Zapytałem, dlaczego przenieśli mój system wizyjny w inne miejsce. Odpowiedź brzmiała: ponieważ podłączaliśmy wszystkie maszyny i systemy pomiarowe do firmowego systemu komputerowego. W 2015 r. wiele firm w Niemczech miało już mapę drogową wdrażania Przemysłu 4.0, a polska firma zrobiła to, bo uznali, że tak trzeba. Bez narad, planów i bicia piany.

Uważam, że trzeba zbierać informacje o procesach i wyrobach lub półwyrobach, bo na takim etapie rozwoju jest technika. To jest ewolucja. Aby zbierać dane z produkcji, potrzebne są urządzenia pomiarowe, w tym systemy wizyjne. Ze względu na bezdotykowość (brak oddziaływania na obiekty), szybkość i masowość danych systemy wizyjne są najlepszym źródłem danych dla systemu komputerowego. Oczywiście nie zmierzą one wszystkiego, np. ciśnienia, przepływu, napięcia, prądu, ale mierniki tych parametrów nie dają tak dużych strumieni danych. Jeśli system wizyjny może coś zmierzyć, zwykle jest lepszą alternatywą.

Jaką rolę systemy wizyjne spełniają w robotyzacji?

Jeśli robota zainstaluje się w starym otoczeniu przemysłowym, gdzie produkty transportowane są w kontenerach, bez uporządkowania, to „ślepy” robot jest nieprzydatny. Wówczas trzeba mu dodać wzrok, czyli system wizyjny. Systemy wizyjne do oceny pozycji obiektów, umożliwiające robotowi pobieranie elementów ze skrzynki (bean picking) dostępne są jako gotowe rozwiązania, które trzeba tylko sparametryzować. Takie handlowe, gotowe rozwiązania mają własne oświetlenie w postaci światła strukturalnego, a analizowany jest obraz 3D. Ciekawe jest, jak wiele systemów współrzędnych i jak dużo matematyki wykorzystuje się w obsłudze zadań bean picking.

Roboty często muszą otrzymać informację o dokładnej pozycji lub orientacji obiektu zanim go pobiorą z maszyny lub linii i przekażą dalej. Takie zadania mogą być realizowane przez stacjonarne systemy wizyjne zawieszone nad linią lub przez system z kamerą zainstalowaną na ramieniu robota.

Te zadania są łatwiejsze niż bean picking. System analizuje obraz 2D lub mapę 3D.

Intensywnie rozwija się też robotyzacja pomiarów. Robot jest wówczas nośnikiem urządzenia pomiarowego – systemu wizyjnego. Najczęściej przenosi kamerę w różne pozycje, gdzie rejestrowany jest obraz fragmentu obiektu. Analiza pojedynczych obrazów i niezależnych wyników z każdego pojedynczego obrazu to zadanie łatwe. Znacznie trudniejsze stanowią wciąż rozwijane systemy z pomiarem pozycji ramienia robota, w których pomiar realizowany jest na bazie dwóch lub większej liczby obrazów, z uwzględnieniem dokładnie zmierzonego przemieszczenia kamery między rejestracjami poszczególnych obrazów.

Odrębna grupa to roboty mobilne, np. saperskie, wyposażone w jedną lub więcej kamer, z których obraz przekazywany jest na ekran operatora. Nie ma tu automatycznej analizy obrazów – przeprowadza ją operator robota. Można jednak zbudować takiego robota z zaprogramowaną funkcjonalnością.

Myślę, że za system wizyjny w robotyzacji można również uznać celownik wizyjny w rakiecie samosterującej. Tam system analizuje mapę 3D terenu i porównuje ją z wzorcem. W końcowej fazie swojej misji system wizyjny wyszukuje obiekt w polu widzenia (pattern matching) i w niego trafia.

Autonomiczny samochód to też robot z systemem wizyjnym, z bardzo skomplikowanymi algorytmami analizy obrazów. Robot, w dowolnej postaci, to chyba najlepszy aktywny sposób wykorzystania systemu wizyjnego.

Jakie są najczęstsze powody tego, że system wizyjny nie działa prawidłowo?

Aby system wizyjny działał prawidłowo, należy przy projektowaniu uwzględnić wszystkie potencjalne źródła zakłóceń i wielkości tych zakłóceń. Trzeba przeprowadzić analizę propagacji niepewności, podstawiając wielkości zakłóceń za niepewności. I na koniec trzeba źródła zakłóceń albo stłumić, albo uwzględnić ich wpływ na obraz lub skorygować ten wpływ. Należy też sprawdzić, jak uzyskana niepewność parametrów obrazowych wpłynie na nieomylność algorytmu analizy obrazu.

Tak powinno to działać i tak tworzy się systemy pomiarowe. Tego mnie uczono na Politechnice Warszawskiej i bywało, że tak projektowałem urządzenia pomiarowe. Od kilku lat pracuję nad wysokiej dokładności skanerem 3D, z pełną analizą propagacji niepewności. Nie spotkałem się z tym, aby ktoś tak projektował system wizyjny.

Najważniejsze w odniesieniu do projektowania systemu wizyjnego są zawsze stabilne warunki oświetlenia i stabilne parametry optyczne obiektu. Zarówno w krótkim, jak i długim okresie czasu obiektywy, filtry, kamery, kable i komputery raczej są stabilne, nie są źródłem istotnych zakłóceń lub niepewności. O oświetlaczach już tego nie można powiedzieć, a najgorszy jest wpływ zmiennego światła otoczenia. Dlatego podstawową zasadą budowy systemów wizyjnych powinno być osłonięcie obszaru roboczego od światła zewnętrznego.

Zmienność połysku/matu powierzchni obiektu lub zmienność odcienia barwy obiektu może również spowodować błędy działania systemu wizyjnego. Dlatego projektant powinien poznać specyfikacje zakupowe komponentów kontrolowanych przez projektowany system. Jeśli stany powierzchni nie są uzgodnione lub barwa obiektu nie jest precyzyjnie zdefiniowana, to analiza obrazów 2D mono lub kolorowych może być zawodna. Warto wówczas rozważyć użycie techniki, która nie bazuje na stanie lub barwie powierzchni, np. skanowanie 3D lub światło kierunkowe i analizę cienia.

Wielu doświadczonych integratorów jest zdania, że brak dobrej specyfikacji obiektów i zadania wizyjnego jest pewnym źródłem późniejszych konfliktów między integratorem a zleceniodawcą.

Całkowicie się z tym zgadzam.

Nie można zapomnieć, że przy tworzeniu niezawodnego systemu wizyjnego należy też uwzględnić MTBF (Mean Time Between Failures), czyli średni okres między uszkodzeniami. Producenci lepszego, droższego sprzętu pracują nad tym i często podają ten parametr w specyfikacji. Budując system z tanich komponentów, można oczekiwać zarówno większej niestabilności parametrów, jak i wcześniejszych uszkodzeń.

Czy sądzi Pan, że pojawią się nowe obszary zastosowań systemów wizyjnych?

Moim zdaniem nie ma już nowych obszarów zastosowania systemów wizyjnych, ponieważ są one dziś obecne wszędzie. W niektórych dziedzinach lub zadaniach możliwości systemów wizyjnych „dochodzą do ściany” i potrzebne są nowe elementy – szybsze i czulsze kamery, mniejsze obiektywy o krótszym dystansie roboczym itp. Pojawiają się nowe komponenty, z którymi nie wiadomo co zrobić, np. kamera polaryzacyjna. Są też zadania, dla których nie ma sprzętu. Całkiem niedawno pojawiła się kamera, która w sortowniach odróżni czarne elementy plastikowe wykonane z różnego surowca (PE/PP/PS/ABS).

Mam klienta, który planuje wysłać w kosmos kilkadziesiąt tysięcy nanosatelitów z kamerą. Nie mam pewności co do celu, ale może nim być stworzenie infrastruktury dla globalnych terenowych gier komputerowych. Klient może ją wykorzystać albo wynajmować producentom gier. Jeśli dobrze się domyślam, to byłby to nowy obszar, chociaż kamery w kosmosie są obecne do dawna. W grach komputerowych też – przy badaniu kinematyki ruchów postaci. Nie potrafię wymienić dziedziny życia, w której na pewno nie stosuje się systemów wizyjnych.

Które sektory gospodarki należą do kluczowych użytkowników takich systemów?

Od wielu lat głównym odbiorcą systemów wizyjnych jest wspominana przeze mnie już wcześniej motoryzacja – produkcja części i produkcja samochodów. Motoryzacja obejmuje wiele dziedzin techniki i odpowiada za około 18% rynku światowego w zakresie wykorzystania systemów wizyjnych. Około 2–3 lata temu podobną pozycję na rynku światowym uzyskała inspekcja procesów produkcji elementów elektronicznych (chipów). Inne branże, jak opakowania, farmacja, medycyna, rolnictwo, montaż elektroniczny, nie przekraczają 10% udziału w rynku. Jeśli chodzi o przyszłość, spodziewam się wzrostu liczby systemów wizyjnych w rolnictwie, produkcji żywności, medycynie i oczywiście pojazdach autonomicznych.

Jakie powinny być kryteria doboru systemów wizyjnych i kamer termowizyjnych?

Kryteria mogą być różne, w zależności od tego, czy mówimy o celowości inwestycji w odpowiedni system wizyjny, czy o optymalnej konfiguracji systemu wizyjnego do określonego zadania.

Podstawowym kryterium zasadności użycia systemu wizyjnego i optymalizacji jego konfiguracji powinien być okres zwrotu inwestycji. System wizyjny to bowiem inwestycja i musi się zwrócić. Nie zgadzam się z opiniami, że systemy są drogie lub tanie. Jeśli inwestor zna koszty, które chce wyeliminować dzięki wdrożeniu systemu wizyjnego, to powinien te koszty przedstawić integratorowi i razem powinni pracować nad rozwiązaniem, który zwróci się maksymalnie w ciągu roku, a może nawet w kilka miesięcy. Dłuższy okres zwrotu bywa akceptowalny, ale ja sam bym go nie zaakceptował. Jeśli inwestor nie wie, jakie efekty finansowe ma przynieść system wizyjny, rozmowy z integratorem nie mają sensu.

Jeśli chodzi o wybór konfiguracji sprzętowej do określonego zadania, trzeba po prostu uzgodnić z klientem specyfikację i ją optymalnie zrealizować. Projektując system wizyjny, wyliczam parametry komponentów i rzadko miewam rozterki, co wybrać. Wybieram najtańsze komponenty spełniające wymagania, ale tylko z pierwszej ligi producentów.

Jeśli chodzi o kamery termowizyjne, cała różnica między nimi i systemami wizyjnymi, to inny materiał sensora i obiektywu oraz inna czułość widmowa. Nie ma dużej różnicy w projektowaniu systemu pracującego w zakresie LWIR (7–14 μm) i w zakresie widzialnym (400–700 nm). Pomiary temperatury wymagają ustalenia emisyjności materiałów, a systemy pracujące w zakresie widzialnym – zdefiniowania stanu powierzchni materiału (barwa, mat/połysk). Obie wersje kamer są czułe na promieniowanie obce na obiekcie.

Jakie cechy i moduły kamery w największym stopniu wpływają na jakość obrazu?

Na jakość obrazu głównie wpływa sensor. Daje on obraz o odpowiedniej jasności, rozdzielczości, z pewnymi szumami. Elektronika w kamerze nie wpływa znacząco na jakość sygnału wyjściowego z sensora, ale nagrzewa się do 40–50 °C, co wpływa na działanie urządzenia. Wzrost temperatury sensora o 7 °C przekłada się na podwojenie jego szumu. Kamera o wymiarach 30 mm × 30 mm × 30 mm nie jest dobrym rozwiązaniem, jeśli potrzebny jest obraz wysokiej jakości. W większej obudowie da się lepiej odseparować sensor od grzejników wewnętrznych. Na nagrzewanie sensora i zwiększenie szumów obrazu wpływa również bogata funkcjonalność w kamerze, realizowana w FPGA lub na procesorze graficznym. W kamerach z wysokiej półki cenowej pod sensorem znajduje się ogniwo Peltiera, które go chłodzi.

W przypadku kamer kolorowych kamery jednosensorowe kodują barwę, a w komputerze następuje odkodowanie barwy przez interpolację. Efektywna rozdzielczość obrazu w komputerze jest niższa niż w sensorze: dwa razy w pionie i dwa razy w poziomie. Obraz jest więc lekko rozmazany. Lepszy obraz kolorowy można uzyskać za pomocą kamery trójsensorowej, z podziałem obrazu przez pryzmaty. Kamera z trzema sensorami X Megapixeli daje obraz kolorowy X Megapixeli z pełnowartościową informacją RGB na każdy pixel obrazu. Dzięki temu jakość obrazu jest wysoka.

Ważniejszy od sensora wydaje mi się obiektyw. Na złą jakość obrazu znacznie większy wpływ ma słaby obiektyw lub użycie obiektywu poza zakresem pracy założonym przez projektanta. Przykładowo użycie dużej liczny pierścieni dystansowych potrafi popsuć obraz w bardzo dużym stopniu.
Nie zawsze jednak jakość obrazu jest ważna. W niektórych zadaniach, np. triangulacji laserowej, w obrazach istotny jest tylko środek linii laserowej. Jej ostrość i rozmycie nie są istotne. Dodatkowo w tych zadaniach występują szumy wokół linii laserowej (specle), ale są sposoby redukcji ich wpływu na wynik pomiaru. Złota zasada to podchodzić do wszystkiego ze zrozumieniem i bez schematów.

Użytkownicy mają do wyboru kamery ze zintegrowanym, programowalnym procesorem obrazu oraz kamery bez programowalnego procesora obrazu w środku. Czy można mówić o wyższości jednego z tych rozwiązań nad drugim?

Każda z tych wersji kamer ma wady i zalety. Warto zrozumieć, skąd wzięły się kamery zintegrowane.

40 lat temu podłączenie kamery do komputera stanowiło duży problem, zwłaszcza w przypadku kamery innej niż standard wizyjny (NTSC/PAL). Sam pamiętam, jak długo walczyłem w 2003 r. z kamerą CameraLink, a był to już jako taki standard wizyjny. Gdy ktoś opanował jeden model kamery i jeden model karty akwizycji obrazów, nie chciał słyszeć o innych kamerach lub kartach. Wówczas zaczęła się produkcja kamer zintegrowanych. Integracja mocno uprościła pracę – wystarczyło włączyć zasilanie i wszystko działało.
Dziś, gdy mamy standardy wizyjne GigE Vision, USB3 Vision, GenICam, CoaXPress i ciągle „kulawy” CameraLink, kamera zintegrowana nie jest już lekiem na całe zło, a często jest wręcz złym pomysłem.
Taka kamera przeanalizuje obraz w swoim procesorze i wyśle na zewnątrz gotową decyzję (OK/NOK), np. do wyrzutnika lub do PLC. Procesory w kamerach zintegrowanych są jednak wolne.

W systemach wielokamerowych płaci się wielokrotnie za tę samą licencję run time. Kamera zintegrowana jest droższa niż kamera, która nie jest zintegrowana z tym samym sensorem razem z komputerem obsługującym tę kamerę i z licencją run time. W przypadku systemu wielokamerowego różnica w cenie jest bardzo duża.

Asortyment kamer niezintegrowanych jest dużo większy niż oferta kamer zintegrowanych. Kamery niezintegrowane mają różne zaawansowane funkcje przetwarzania obrazu, dzięki czemu można dokładnie dopasować kamerę do zadania wizyjnego.

Reasumując: kamera zintegrowana jest dobra, jeśli użytkownik nie ma doświadczenia w obszarze systemów wizyjnych, ma do wykonania proste zadanie, potrzebuje wysłać decyzję dla PLC lub wypuścić sygnał 0/1 i... jeśli ma dużo pieniędzy. Gdy zadanie jest trudniejsze, integrator gotów jest poświęcić czas na przygotowanie jego realizacji, potrzebna jest szybka decyzja systemu lub szybkie zbieranie obrazów i integrator liczy pieniądze, lepsza jest kamera niezintegrowana z podłączonym do niej zewnętrznym komputerem. Są opinie, że kamery zintegrowane wystarczy „zaklikać”. Jest też jednak oprogramowanie dla kamer niezintegrowanych, które pozwala na to samo. Ja, mając duże doświadczenie, nie wyobrażam sobie realizacji projektu na kamerze zintegrowanej. Czułbym się zbytnio ograniczony, jeśli chodzi o możliwości.

Na podstawie obserwacji rynku stwierdzam, że kamery zintegrowane są popularne dlatego, że producenci tych kamer mają bardzo dobry marketing. Argumenty merytoryczne przemawiają jednak na korzyść kamer niezintegrowanych. Jak wspomniałem wcześniej, kamery zintegrowane są dobre do prostych zadań. Życie nauczyło mnie, że projekty, które na początku wydają się łatwe w realizacji, często w rzeczywistości okazują się trudne. W przypadku wyboru sprzętu dla prostych zadań wpada się w pułapkę.

Jakie są aktualnie główne trendy na rynku systemów wizyjnych i kamer?

Bardzo wysoko cenię standaryzację, której przykładem są GigE Vision, USB3-Vision, CoaXPress, GenICam. Niemcy rozpoczęli prace nas standardem dla obiektywów, włącznie z funkcjami sterowania obiektywem z kamery. Standardy upraszczają realizację zadań wizyjnych i obniżają koszty.

Wśród trendów, które obserwuję jest rosnąca rozdzielczość kamer: 100 i więcej Megapixeli, ale za cenę dobrego samochodu, a także zwiększenie szybkości interfejsów, np. CoaXPress 8-kanałowy lub CameraLink HS na światłowodzie. Warto również zwrócić uwagę na płynną soczewkę – niby prosta rzecz, a znacznie ułatwia realizację wielu zadań wizyjnych. Widoczna jest też ewolucja w świecie obiektywów – nowe materiały, większe zakresy pracy, mniejsze wymiary, niższe ceny.

W oprogramowaniu pojawiły się deep learning, sieci neuronowe, sztuczna inteligencja, ale moim zdaniem to moda, a nie istotny potencjał. Nie można poważnie traktować technologii automatycznego tworzenia rozwiązań, o których nie wiemy, jak działają w środku, na ile są dokładne i niezawodne. Jest „popyt na cuda”, jest więc i oferta. Wielu inżynierów chciałoby mieć program, który sam wszystko zrobi, zwłaszcza wykona trudne zadania. Jeśli jednak ktoś nie potrafi stworzyć algorytmu do niezawodnej analizy obrazów, to trzeba być superoptymistą, aby wierzyć, że da się stworzyć program, który za nas utworzy ten algorytm. Deep learning do nauczenia programu wymaga dużej liczby obrazów. Istnieją różne wytyczne w tym zakresie, ale nie spotkałem się z poważnym uzasadnieniem dla tej liczby. A odpowiedź tkwi w matematyce: obrazy muszą być reprezentatywne dla identyfikowanej cechy. Każda zbiorowość ma rozkład statystyczny, z wartością średnią i odchyleniem standardowym. To musi być widoczne w serii obrazów użytej do uczenia deep learningu. Sądzę jednak, że łatwiej jest podać programowi wartość średnią i odchylenie standardowe dla identyfikowanej cechy, niż zebrać odpowiednią, reprezentatywną serię obrazów.

Technologie wizyjne często znajdują zastosowanie w kontroli jakości. Jakie są możliwości systemów wizyjnych w tym zakresie?

Kontrola jakości to ocena zgodności parametrów z parametrami nominalnymi. Może to dotyczyć wszelkich cech fizycznych obiektów dostępnych dla systemu wizyjnego, takich jak wymiary, kształty, pozycja, przemieszczenie, deformacja, stan powierzchni, barwa, temperatura, współczynnik odbicia, współczynnik absorpcji, współczynnik załamania czy polaryzacja.

W technologii wizyjnej wspartej miniaturyzacją komputerów tkwi największy potencjał rozwoju wielu dziedzin życia, nie tylko przemysłu, ale i rolnictwa, medycyny, rozrywki, sportu itd. Podobny potencjał może tkwić tylko w biotechnologii i w medycynie, gdzie też korzystają z kamer. Ja sam dostarczyłem systemy wizyjne do ciekawych projektów związanych z poszukiwaniem lekarstwa na raka i na wsparcie technologii produkcji organów zamiennych dla ludzi. Możliwości systemów wizyjnych to studnia bez dna.

Jak wdrażać systemy wizyjne, by uniknąć błędów?

Aby wdrażać systemy wizyjne bez błędów, trzeba czuć i rozumieć technologię oraz dziedzinę, w której chcemy je wdrożyć. Zrozumienie dziedziny, w której się działa, to standard u eksperta, jednak dodatkowo ważne jest zrozumienie obszaru zastosowania, a to może zapewnić stała partnerska współpraca między partnerami: integratorem i odbiorcą. Jest to także możliwe, gdy mamy wewnętrznego ekspert dwubranżowego, rozumiejącego zarówno działanie systemów wizyjnych, jak i technologie stosowane w firmie, w której pracuje. Nie wystarczy bowiem umiejętność podłączenia kamery do komputera i przeanalizowania obrazu – trzeba mieć obeznanie w temacie w każdym szczególe, zwłaszcza w zakresie zakłóceń. Jest to trudne, ale osiągalne. W systemach wizyjnych bardzo ważne jest światło, toteż przy ich wdrażaniu trzeba wiedzieć i umieć wyczuć, co dzieje się w źródle światła, jak reaguje na światło z oświetlacza obiekt, co dzieje się w obiektywie i jak działa sensor kamery. Na koniec dodam jeszcze, że podobno tylko 10 000 godzin aktywności w danej dziedzinie czyni człowieka ekspertem. Może w systemach wizyjnych to nie wystarczy?

Marek Kania

Rocznik 1953. Bardzo logicznie myślący inżynier, który od młodości nie może się pogodzić z tym, że w szachach nie wolno zbijać króla. Metrolog z wyboru i zamiłowania. Jego specjalność to bezdotykowe pomiary wielkości geometrycznych. Naukę kultury technicznej i zawodu rozpoczął w Technikum Mechaniki Precyzyjnej, w którym uczyli przedwojenni nauczyciele. Kontynuował edukację na Politechnice Warszawskiej, gdzie uczył się analizy i zaawansowanej techniki.

Ma za sobą 33 lata pracy w branży pomiarowej, w tym 18 lat w wizyjnych systemach pomiarowych i 15 lat w branży opakowań. Od 2001 r. w firmie Metrum z różną intensywnością produkuje nietypowe systemy wizyjne i pomiarowe. Od 2008 r. jest wspólnikiem i szefem firmy IMACO, sprzedającej komponenty wizyjne w partnerskiej współpracy z firmą Stemmer Imaging. Dzięki wspomnianym firmom i aktywności ma bardzo dobre rozeznanie polskiego i europejskiego rynku systemów wizyjnych i komponentów wizyjnych. Po pracy… nadal pracuje, bo bardzo lubi swoją pracę.

source: Automatyka 5-6/2020