in ,

Makine Görüşü Üzerine Bölüm 8 (Son Bölüm)

3.3. Görüntü Ön İşleme 

Görüntü ön işleme; kamerayla görüntü elde edilmesi, framelerin işlenmesi ve sonuçların ana bilgisayar çıkışına gönderilmesinde rol alan merkezi bir ara adımdır. Görüntü ön işlemenin amacı, daha sonraki işlem adımlarını basitleştirmek ve yükü ana bilgisayardaki işlemden kurtarmak için verileri hazırlamaktadır. Daha fazla işlem için önemli olan belirli özellikleri veya yapıları vurgulamak için görüntülerin daha iyi görselleştirilmesini içerir (alanları sınırlandırma, bölümleme, özellik çıkarma, vb.). 

Ön işlemede kullanılan işleme adımları her zaman kamera sensörünün mevcut görüntü kalitesine bağlıdır. 

3.3.1. Kamerada Ön İşleme 

USB3 Vision, GigE Vision veya gömülü sistemler gibi frame yakalamayı gerektirmeyen arayüzlerde ön işleme doğrudan kamera ve sensörde gerçekleşir. Daha az bilgi işlem gücü sunan tümleşik sistemler kullanılırken GigE Vision veya bilgisayar arabirimi yalnızca sınırlı miktarda veri aktarır. Bu sayede kamerada bulunan veri miktarını azaltarak aktarım ve analiz süresi kısalır, böylece uygulamanın verimi artar. 

Bazı kameralar, halihazırda renk düzeltme, renk örtüşme önleme, görüntü keskinleştirme ve gürültü azaltma gibi temel bir dizi ön işleme özelliği sunmaktadır. Diğer şeylerin yanı sıra, görüntünün parlaklığını, ayrıntılarını ve keskinliğini büyük ölçüde geliştirirken aynı anda gürültüyü azaltır. Ön işleme programlanabilir frame yakalayıcılar genişletilirse, filtre işlemleri ve renk alanı dönüşümleri gibi karmaşık hesaplamalar gerçekleştirilebilir ve böylece CPU rahatlatılır. 

Frame yakalayıcılar kullanıldığı zaman; ölü pikseller giderilir, beyaz dengelenir, gölgelemeler düzeltilir, bulanık alanlar kaldırılır, ortalama alınarak veya farklı filtreler kullanılarak görüntüdeki gürültüler azaltılır (örneğin; yumuşatma filtresinin uygulanması), görüntünün çok parlak veya çok karanlık alanlarını telafi etmek için yüksek dinamik aralıklar belirlenir (HDR), yapıların şekillerini normalleştirmek için geometrik düzeltmeler uygulanır. 

Çeşitli ön işleme, tüm VisualApplets uyumlu görsel denetim cihazlarında, hesaplama gücüne bağlı olarak değişen derecelerde gerçekleştirilebilir. Bu, kameraları ve diğer görüntü donanımını gerçek zamanlı yetenekli hale getirerek yeni uygulama alanları açar. FPGA’da özel devre ve zamanlama bilgisi gerekmez. 

Şekil 3. 4. Backlighting 

3.3.2. JPEG Sıkıştırma ile Veri Hacmini Azaltın 

Görüntü verilerinin kameradan frame yakalayıcısına aktarıldığı bant genişlikleri, hızlı sensörler ve renk işleme nedeniyle artmaktadır. Tek bir görüntüyü iletmek için gereken veri miktarını azaltarak kare hızı önemli ölçüde arttırılabilir. Bu özellikler JPEG sıkıştırmasının doğrudan kamerada gerçekleştirildiği uygulamalarda kullanışlıdır. 

Şekil 3. 13. VisualApplets’taki JPEG operatörü, veri miktarını önemli ölçüde azaltır. 

3.3.3. Aktüatörlerin Kontrolü ve Tetikleme 

Frame yakalayıcıları, kamera tetiklemesini, aydınlatmayı ve aktüatörleri kontrol etmek için sinyal işleme ve dijital I/O arayüzleri aracılığıyla sensörler değerlendirilir. Örneğin, kameranın aydınlatmasının veya tetiklemesinin düzeltilmiş bir kontrolünü gerçekleştirmek için görüntü ön işleme yoluyla bir pozlama ölçümü gerçekleştirilebilir. 

Şekil 3. 14. Görüntü ve sinyal işleme 

3.3.4. Verimli Görüntü İşleme 

Görüntü ön işleme, hesaplama açısından yoğun algoritmaları hızlandırmayı ve uygulama performansını iyileştirmeyi sağlar. Ayrıca, görüntü analizinin doğruluğunu ve sağlamlığını arttırmak için veri verimini arttırarak görüntü verilerinin çok yüksek çözünürlük ve bant genişliğinde verimli bir şekilde işlenmesini sağlar. Yüksek hızlı bir kameranın tam bant genişliği, ana bilgisayarın CPU’sunu ve sonraki analiz yazılımını rahatlatırken güvenli bir şekilde aktarılabilir. 

VisualApplets kullanılarak, FPGA üzerinde görüntü ön işleme, son kullanıcılar tarafından çok az çaba ile ve donanım programlama bilgisi olmadan gerçekleştirilebilir. Bu, yeni bir kamera kurmak zorunda kalmadan uygulama gereksinimleri değiştiğinde, işlevsel kamera yelpazesini, çerçeve yakalayıcılarını ve diğer görsel denetim cihazlarını kısa bir süre içinde esnek bir şekilde uyarlamalarını sağlar. 

3.4. Görüntü İşleme Sistemlerinin Temelleri 

Kamera seçimi, lens ve aydınlatma kaynağının seçimi, görüntü kalitesinin değerlendirilmesi, bilgisayar donanımı ve yazılımının seçimi ve tüm bileşenlerin yapılandırılması etkili bir görüntü işleme sistemine doğru atılan önemli adımlardır. 

Bir görüntü işleme sistemi tasarlanmadan önce belirlenecek kriterler; 

  • İhtiyaç olan çözünürlüğün ve sensörlerin belirlenmesi, 
  • Renkli veya tek renkli kamera kullanılıp kullanılmayacağının belirlenmesi 
  • Hangi kamera işlevlerine ve ne kadar görüntü kalitesine ihtiyaç olduğu belirlenir,
  • Ölçek ve lens performansı belirlenir,
  • Hangi aydınlatmanın kullanılacağı belirlenir,
  • Hangi PC donanımının ve yazılımın gerekli olduğu belirlenir.

3.4.1. Çözünürlük ve Sensör 

Piksel, bir ekranda oluşan görüntüde insan gözünün ayırt edebileceği en küçük birimdir. Günlük hayatta dijital kameralarda “5 megapiksel çözünürlük” gibi terimleri sıklıkla kullanırız. Bu yanlış bir ifadedir; megapiksel sensör üzerindeki toplam piksel sayısını ifade eder, çözünürlüğü ifade etmez. Kullanılan ekran tipine bağlı olarak, piksellerin sayısı ve renk kombinasyonları değişiklik göstermektedir. Piksel, dijital ekranlarda bir ölçü birimi olarak kullanılmaktadır. Bir ekranın yatay ve dikey eksenlerde sahip olduğu piksel sayısına çözünürlük denir. 1920 x 1080 çözünürlük değerine sahip bir ekranda; 1920 yatay eksendeki pikselleri, 1080 ise dikey eksendeki pikselleri ifade etmektedir. Yüksek çözünürlük elde etmek için çok sayıda piksel gerekiyor. Sonuç olarak piksel sayısı optimum koşullar altında maksimum çözünürlüğü gösterir. 

İnce çözünürlük veya geniş inceleme alanı kamera için mümkün olan en yüksek piksel sayısını gerektirir. Büyük bir alanı yüksek bir çözünürlük seviyesinde incelemek için aslında birden fazla kamera gerekebilir. Sensör boyutu ve görüş alanı; lens seçimi için öenmli olan ölçeği belirler. 

3.4.2. Renkli Kamera ve Tek Renli Kamera 

Çoğu uygulama renkli bir kameraya ihtiyaç duymaz. Renkli bir kamera kullanılarak gerçekçi renk üretimi, beyaz aydınlatmanın da kullanılmasını gerektirir. Renkli kameralar doğal olarak siyah beyaz kameralardan daha az hassas olduğundan, rengin önemli olmadığı durumlarda tek renkli kameralar tercih edilir. 

3.4.3. Kamera İşlevleri ve Görüntü Kalitesi 

İyi bir kamera seçiminde, piksel sayısının yanında, görüntü kalitesinin ve kamera işlevlerininde hesaba katılması gerekmektedir. Bir dijital kameranın görüntü kalitesi için ışık hassaslığı, dinamik aralık ve sinyal gürültü oranı önemli faktörlerdir. Kamera işlevleri açısından en önemli etkenlerin başında saniyedeki kare sayısı (fps) cinsinden ifade edilen hız gelmektedir. 

3.4.4. Ölçek ve Lens Performansı 

İyi optik sistemler pahalıdır. Bu yüzden standart lensler ile sistem daha verimli bir hale getirilebilir. Doğru lens seçimi için aşağıdaki parametrelerin belirlenmesi gerekmektedir; 

  •  Lens arayüzü 
  •  Piksel boyutu 
  •  Sensör boyutu 
  • Görüntü ölçeği, yani görüntü ve nesne boyutu arasındaki oran. Bu, piksel çözünürlüğüne bölünen tek tek piksellerin boyutunun oranına karşılık gelir (Piksel çözünürlüğü, kamera sensörünün tam olarak bir pikselini doldurması gereken, incelenmekte olan nesne içindeki bir karenin kenarlarının uzunluğudur.) 
  • Görüntü ölçeğini ve kamera ile nesne arasındaki mesafeyi belirleyen lensin odak uzaklığı 
  • Aydınlatma yoğunluğu

Bu bilgiler bir kez elde edildikten sonra, uygun fiyatlı bir standart lensin yeterli olup olmadığını veya daha yüksek kaliteli lenslere girişin gerekli olup olmadığını gözden geçirmek için lens üreticilerinin teknik özellik sayfalarını incelemek çok daha kolay hale gelir.

Bozulma, çözünürlük (MTF eğrisi kullanılarak açıklanmıştır), renk sapması ve lensin optimize edildiği spektral aralık gibi lens özellikleri ek seçim kriterleri olarak hizmet eder.

3.4.5. Aydınlatma 

Yüksek inceleme hızları tipik olarak hassas kamera ve güçlü lensler gerektirir. Ancak çoğu durumda daha kolay seçenek, görüntü parlaklığını artırmak için aydınlatma durumunu değiştirmek veya iyileştirmektir. Daha fazla görüntü parlaklığı elde etmek için çeşitli seçenekler vardır. Ortam ışığını artırmak ve uygun bir ışık kaynağı oluşturmak için lens veya flaş kullanarak ışığı şekillendirmek örnek olarak verilebilir. Ancak önemli olan sadece aydınlatma gücü değildir. Işığın objektiften kameraya doğru hareket ettiği yol da önemlidir. 

Fotoğrafçılıktan yaygın bir örnek flaş kullanımıdır. Ortam aydınlatması çok dağınıksa, ışığı hedeflenen bir şekilde hedeflemek için bir flaş kullanılır. Ancak o zaman görüntü alanındaki pürüzsüz yüzeylerden istenmeyen yansımalarla uğraşmanız gerekir. Görüntü işleme sırasında, bu tür efektlerin aslında düz, düşük yansıtma yapan yüzeyler üzerinde yüksek ışık yoğunlukları sağlaması istenebilir. Çeşitli yönlerde yansıyan birçok yüzeyi olan nesneler için dağınık ışık daha iyidir. 

3.4.6. PC Donanımı ve Yazılım 

Hangi donanımın gerekli olduğu, göreve ve gerekli işlem hızına bağlıdır. Basit görevler standart PC’ler ve görüntü işleme paketleri kullanılarak gerçekleştirilebilirken, karmaşık ve hızlı görüntü işleme görevleri özel donanım gerektirebilir. 

Görüntüleri değerlendirmek için yazılım gerekir. Çoğu kamera, görüntüleri görüntülemek ve kamerayı yapılandırmak için yazılımla birlikte gelir. Kamerayı kurup çalıştırmak için bu yeterli. Özel uygulamalar ve görüntü işleme görevleri, satın alınmış veya özel geliştirilmiş özel yazılım gerektirir. 

3.5. Kamera Seçimi 

3.5.1. Ağ (IP) Mı, Endüstriyel (MV) Kameralar Mı? 

Ağ kameraları videoları kaydeder. Klasik gözetim uygulamalarında ve endüstriyel kameralarla birlikte sıklıkla kullanılırlar. Tipik özelliklerinden bazıları: 

  • Genellikle sarsıntılara ve sert hava koşullarına dayanıklı olacak şekilde tasarlanmış sağlam muhafazalar içine yerleştirilir, bu da onları iç veya dış mekanlarda kullanıma uygun hale getirir. 
  • Gündüz / gece modları ve özel kızılötesi filtreler gibi çeşitli işlevler, aşırı zayıf aydınlatma ve hava koşullarında bile olağanüstü görüntü kalitesi sağlar. 
  • Kaydettikleri görüntüleri sıkıştırırlar. Bu, verilerin hacmini kamerada saklanabilecek kadar azaltır. Bir ağa bağlanarak, teorik olarak sınırsız sayıda kullanıcı da kameraya erişebilir. 

Endüstriyel kameraların tipik özelliklerinden bazıları: 

  • Görüntüleri sıkıştırılmamış (ham) veriler olarak doğrudan bilgisayara gönderir; PC daha sonra nispeten büyük hacimli verilerin işlenmesinden sorumludur. Bu yöntemin yararı, hiçbir görüntü bilgisinin kaybolmamasıdır. 
  • Endüstriyel kameralar iki teknolojiden oluşur: alan ve çizgi tarama kameraları. Görüntüleri farklı şekilde yakalarlar, bu da görüntü uygulamasının türü ile ilgilidir.

Alan tarama kameraları: Aynı anda pozlanan çok sayıda piksel satırına sahip dikdörtgen bir sensörle donatılmıştır. Görüntü verileri böylece tek bir adımda kaydedilir ve aynı şekilde işlenir. Genellikle çeşitli endüstriyel uygulamalarda, tıp ve yaşam bilimlerinde, trafikte ve ulaşımda veya güvenlik ve gözetimde, genellikle ağ kameralarına ek olarak kullanılır. 

Çizgi tarama kameraları: 1, 2 veya 3 piksel satırından oluşan bir sensör kullanır. Görüntü verileri satır için yakalanır ve ayrı ayrı çizgiler daha sonra işleme aşaması sırasında tüm görüntüde yeniden oluşturulur. Alan mı yoksa çizgi taramalı kameranın mı kullanılması gerektiği sorusu, uygulamalarınız ve gereksinimleri ile ilgili bir sorudur. Ürünlerin konveyör bantlarından geçerken incelenmesi gerektiğinde kullanılır. Bazen çok yüksek hızlarda, baskı, sıralama ve paketleme, yiyecek ve içecek ve her türlü yüzey denetimi uygulamaları bulunur. 

Ağ kameraları: Nakliye hatları ve paketleme sistemlerinde proses kontrollerinden bina ve trafik gözetim sistemlerine kadar çeşitli gözetim görevleri için kullanılır. Genellikle bankalar, kumarhaneler, şirket kampüsleri ve kamu binaları gibi yerlerde ve ayrıca limanlar veya nakliye merkezleri gibi lojistik ve ulaşım merkezlerinde kullanılır. 

3.5.2. Tek Renkli Mi, Renkli Kamera Mı? 

Renk zorunlu değilse, daha hassas oldukları ve daha ayrıntılı görüntüler sundukları için tek renkli bir kamera genellikle daha iyi bir seçimdir. Örneğin akıllı trafik sistemlerinde olduğu gibi birçok uygulama için, kanıt dereceli görüntüler için belirli ulusal yasal gereklilikleri karşılamak için sıklıkla siyah beyaz kameralar kullanılır. 

3.5.3. Sensör Tipleri, Kapak Tipleri, Kare Hızları 

CCD veya CMOS? 

İki sensör teknolojisi arasındaki temel fark, teknik yapılarındadır. CMOS sensörler, ışığı (fotonları) elektronik sinyallere (elektronlar) dönüştürmek için kullanılır. Bu, görüntü verilerini daha hızlı okuyabildiklerinden ve kullanıcının görüntü aralığını esnek bir şekilde ele almasına olanak tanıdığından hızlı çalışırlar. CMOS sensörler, SLR kameralar gibi tüketici pazarında yoğun bir şekilde kullanılmaktadır. CMOS sensörler; performans için güçlü değer, yüksek kare hızları, yüksek çözünürlük, düşük güç tüketimi, güçlü kuantum verimliliği sağlamaktadır. 

CCD sensörler, sensör yüzeyine hiçbir dönüştürme elektroniği yerleştirilmeden ışığı yakalamak için tüm sensör yüzeyini kullanır. Bu, yüzeydeki pikseller için daha fazla alan bırakır ve bu da daha fazla ışığın yakalandığı anlamına gelir. Bu tür sensörler, bu nedenle ekstra ışığa duyarlıdır ve astronomi gibi düşük ışıklı uygulamalarda önemli bir avantajdır. CCD sensörler, mimarileri ve görüntü verilerini taşıma ve işleme biçimleri onları hızlarının sınırlarına giderek daha fazla getirmesine rağmen, daha yavaş uygulamalarda olağanüstü görüntü kalitesi sunar. 

Kapak Tipleri? 

Kapak, uygulamaya uygun olmalıdır. Deklanşör, kamera içindeki sensörü gelen ışığa karşı korur ve yalnızca pozlama anında açılır. Seçilen poz süresi, doğru ışık dozunu sağlar ve deklanşörün ne kadar süre açık kalacağını belirler. Global ve sarmal kapı varyantları arasındaki fark, ışığa maruz kalmayı ele alma biçimindedir. 

Kare Hızı? 

Çizgi taramalı kameralar için sırasıyla ‘saniyedeki kare sayısı’ veya ‘fps’ veya ‘hat hızı’ veya ‘hat frekansı’ ile eş anlamlı olarak kullanılır. Kare hızı, sensörün saniyede yakalayabileceği ve iletebileceği görüntü sayısını tanımlar. Kare hızı ne kadar yüksekse, sensör o kadar hızlıdır. => Sensör ne kadar hızlı olursa, saniyede o kadar çok görüntü yakalar. => Görüntü ne kadar fazla olursa, veri hacmi o kadar yüksek olur. 

Alan tarama kameraları için bu hacimler, arayüze ve 10 fps’lik düşük bir hızın mı yoksa 340 fps’lik yüksek (hızlı) bir hızın mı kullanıldığına bağlı olarak büyük ölçüde değişebilir. Hangi kare hızlarının mümkün ve hatta gerekli olduğu, görüntü işleme sistemindeki kameraların neyi kaydetmesi gerektiğine bağlıdır. 

3.5.4. Çözünürlük, Sensör ve Piksel Boyutları 

Kameranızın özelliklerine bakarak “2048×1088” okuduğumuzu düşünelim. Bu durumda yatay çizgiler için 2048 piksel ve dikey çizgiler için 1088 piksel bulunur. Bir araya getirildiğinde sayılar 2.228.224 piksel veya 2,2 megapiksel (milyon piksel veya kısaca “MP”) çözünürlüğü belirtir. Uygulamanız için hangi çözünürlüğe ihtiyacınız olduğunu belirlemek için, bazı basit matematik işlemlerini yapmak anında yardımcı olacaktır: 

1 mm ayrıntıyı net bir şekilde tanımak için 4 megapiksel çözünürlüğe ihtiyacınız vardır. 

Büyük sensör ve geniş piksel yüzeyleri daha fazla ışık yakalayabilir. Işık, sensör tarafından görüntü verilerini oluşturmak ve işlemek için kullanılan sinyaldir. Mevcut yüzey ne kadar büyükse, Sinyal-Gürültü Oranı (SNR) o kadar iyidir. Daha yüksek SNR, daha iyi görüntü kalitesi anlamına gelir. 42 dB’lik bir SNR, kesin bir sonuç olarak kabul edilecektir. 

Büyük bir sensör, üzerine daha fazla pikselin sığabileceği daha büyük alan sağlanması durumunda daha yüksek bir çözünürlük üretilir. Buradaki gerçek fayda, daha az alanın olduğu ve dolayısıyla daha küçük piksellerin kullanılması gereken küçük sensörlerin aksine, tek tek piksellerin iyi bir SNR sağlamak için yeterince büyük olmasıdır. 

Yine de büyük sensörler ve çok sayıda büyük piksel, doğru optikler yerinde olmadığı sürece pek bir şey başaramayacaktır. Bu kadar yüksek çözünürlük seviyelerini de gösterebilen uygun bir mercekle birleştiklerinde ancak tam potansiyellerine ulaşabilirler. Büyük sensörler her zaman daha maliyetlidir. 

Ne düşünüyorsunuz?

Barış ULUSOY, Elektronik Mühendisi tarafından yazıldı.

T3 Otomasyon bilgi ve tecrübelerini endüstri ile paylaşmak ve hizmet vermek maksadıyla Fatih ALTINTAŞ tarafından 2006 yılında Sakarya’da kuruldu, 2011 yılında limited olarak kurumsallaşmanın temellerini atmış oldu. Taahütlerini yerine getiren, sorumlu, güvenilir, insana önem veren, yenilikçi ve müşteri odaklı iş anlayışı ile yüksek standartlarda hizmet veren, mutlu çalışanlara sahip bir şirket olmak. Müşteri odaklı iş anlayışıyla otomasyon çözümleri üreterek, hızlı, kaliteli ve ekonomik çözümler sunmaktır.

Yorumlar

Bir cevap yazın

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir

Yükleniyor...

0

Makine Görüşü Üzerine Bölüm 7

Kamera İle Nesne Sayma (Bölüm 1)