Sayım dönüşümüne dayalı uyarlanabilir ağırlık Hamming mesafesinin stereo eşleştirme algoritması
Zhang Bo, Xie Ming, Liu Jie
(Elektrik Mühendisliği ve Kontrol Bilimi Okulu, Nanjing Teknoloji Üniversitesi, Nanjing 211800, Jiangsu)
Geleneksel Census + Hamming uzaklık stereo eşleştirme algoritması, genellikle komşu pikselleri eşit olarak ele alır, bu da yeterli eşleştirme bilgisinden yoksundur ve bu da yüksek bir yanlış eşleştirme oranına neden olur. Bu bağlamda, kendi kendine uygulanabilir ağırlıklı bir Hamming mesafe algoritması önerilmiştir Komşu piksellerin uzamsal mesafesinin tanıtılmasıyla, komşu pikseller, eşleşen görüntünün bilgisini zenginleştiren mesafe hesaplanırken hiyerarşik bir şekilde hesaplanır. Ve gradyan görüntü pikselleri arasındaki mesafeyi toplama maliyeti hesaplamasının ağırlığı olarak kullanın.Deneyler, gürültüye karşı belirli bir derecede parazit önleyici olduğunu ve doku ve diğer bilgileri iyi yansıtabildiğini gösterir.Aynı zamanda, algoritmanın karmaşıklığını azaltmak için seyrek bir toplama penceresi açılır. . Son olarak, eşleştirme doğruluğunu artırmak için alt piksel enterpolasyonu gerçekleştirilir. Karşılaştırmalı deneyler sayesinde, bu algoritmanın yalnızca eşleşmenin doğruluğunu ve anti-parazitini iyileştirmekle kalmayıp, aynı zamanda algoritmanın karmaşıklığını azalttığı ve gerçek zamanlı stereo eşleştirme için uygun olduğu kanıtlanmıştır.
Sayım dönüşümü; ağırlıklı Hamming mesafesi; gradyan görüntüsü; seyrek toplama penceresi
TP391
Belge tanımlama kodu: Bir
10.16157 / j.issn.0258-7998.2016.12.031
Çince alıntı biçimi: Zhang Bo, Xie Ming, Liu Jie. Sayım dönüşümüne dayalı Uyarlanabilir ağırlık Hamming mesafe stereo eşleştirme algoritması. Application of Electronic Technology, 2016, 42 (12): 119-121, 125.
İngilizce alıntı biçimi: Zhang Bo, Xie Ming, Liu Jie. Sayım dönüşümüne dayalı uyarlanabilir ağırlık Hamming mesafesini kullanan stereo eşleştirme algoritması. Application of Electronic Technique, 2016, 42 (12): 119-121, 125.
0 Önsöz
Günümüzde yapay zekanın gelişmesiyle birlikte, 3 boyutlu bilgi elde etmek için stereo görme algoritmaları giderek daha önemli hale geldi.Çok sayıda stereo görme algoritması önerilmiş ve robot navigasyonu, gerçek ortamlarda 3B yeniden yapılandırma ve akıllı araçlara başarıyla uygulanmıştır. Engel tespiti vb. Bununla birlikte, mevcut gerçek zamanlı stereo görüşün çoğu, zayıf doku alanları için yeterli doğruluktan yoksundur, bu nedenle bu engelleri tespit etmeye yardımcı olmak için başka sensörlere ihtiyaç vardır.
Stereo görüş eşleştirme algoritmaları genel olarak şunlara ayrılır: global eşleştirme algoritması ve yerel eşleştirme algoritması, bu sefer esas olarak yerel eşleştirme algoritması için. Yaygın yerel eşleştirme algoritmaları (örneğin: piksel farkı mutlak değeri (SAD), piksel farkı kare toplamı (SSD) normalleştirilmiş çapraz korelasyon (NCC), vb.) Genellikle bozulmadan kaynaklanan görüntü bozulmasına karşı daha hassastır. Bu nedenle, ZABIN R ve WOODFILL J Sayım ve Sıra dönüşümleri önerilmektedir. Literatür, görüntünün gradyan haritasının Census dönüşüm eşleşmesine dahil edildiğini ve daha iyi sonuçlar elde etmek için karşılık gelen katsayıların değiştirilmesi gerektiğini önermektedir. Literatür orijinal yoğun matrisi seyrek bir matrise dönüştürse de, kenar bölgesinin uyumsuzluk oranı hala çok yüksektir. Yukarıdaki tartışmaya dayanarak, bu makale ilk eşleştirme maliyetini hesaplamak için Sayım dönüşümüne dayalı yeni bir eşleştirme algoritması önermektedir.
1 Geleneksel Sayım dönüşümü ve ilk eşleştirme maliyet hesaplaması
Geleneksel Sayım dönüşümü, parlaklık değişikliklerine karşı oldukça dayanıklıdır. Sayım dönüşümünün işlevi formül (1) gibidir:
Bunlar arasında, P (u, v) merkezi piksel değeri, st dönüşüm penceresi ve boyut n × m'dir. Census dönüşümü eşleştirme algoritmasının işlem hızı büyük ölçüde dönüşüm penceresinin boyutuna bağlıdır. Pencere de çok önemli bir konu Bu makale, en iyi pencere boyutunu elde etmek için Bölüm 4'te deneyler yapacaktır.
Geleneksel Hamming mesafesi, komşu pikseller ile merkez piksel arasındaki uzamsal mesafe ilişkisini dikkate almaz ve piksel komşuluğundaki tüm piksellerin sapma olmadan işlenmesi, kolayca uyumsuzluklara neden olabilir.Şekil 1'de gösterildiği gibi, iki piksel penceresi eşleşmez, ancak Hamming mesafelerini hesaplamanın sonucu, iki pencerenin eşleştiğini gösterir. Ve bu yazıda önerilen yeni bir mesafe hesaplama yöntemi bu sorunu çözebilir.
2 Geliştirilmiş ağırlıklı Hamming mesafesi ilk eşleştirme maliyeti hesaplaması
Bu yazıda önerilen ilk eşleştirme maliyet hesaplama yöntemi, Sayım dönüşümünden sonra bit dizisini tamamen kullanmamaktadır. İlk olarak, ilk eşleşen maliyet ecTN'si olan formül (2) 'ye göre iki pencere arasındaki mesafeyi hesaplayın:
Yukarıdaki hesaplama açıklamasından, bu yazıda önerilen ağırlıklı Hamming mesafe hesaplamasının, uzamsal mesafenin ağırlık katsayısının eklenmesi nedeniyle geleneksel yönteme göre daha avantajlı olduğu ve piksel komşuluğunun bilgisini daha iyi yansıtabileceği görülmektedir.
3 Seyrek eşleşen maliyet toplama
Sayım dönüşümü eşleşmesinin doğruluğunu iyileştirmek için, genel algoritma dönüştürme penceresini arttırmaktır, bu da genellikle kenarın bulanık olmasına neden olur. Gradyan görüntüsü, görüntünün doku bilgisini temsil edebilir ve Soble operatörü aracılığıyla gradyanı hesaplamak, algoritmanın karmaşıklığını çok fazla artırmaz, bu nedenle bu kağıt, eşleşen görüntünün bilgilerini artırmak için gradyan görüntüsünü kullanır.
Burada kendi kendine uygulanabilir ağırlık algoritması kullanılır ve gradyan bilgisi ve seyrek pencere aynı anda tanıtılmıştır Uzamsal mesafe ilk eşleştirme maliyet hesaplama sürecinde tanıtıldığından, uzamsal mesafe bilgisi buraya dahil edilmemiştir.
Eşleşen toplama maliyeti formülü aşağıdaki gibidir:
Maliyet toplamanın karmaşıklığını azaltmak için, bu makale aynı zamanda seyrek toplama penceresi ve katmanlı ağırlık maliyet toplama kullanır. Seyrek pencere, her iki satırda örneklemeyi seçmek için orijinal yoğun toplama penceresini değiştirmektir ve her iki sütunda örnekleme toplamayı seçer.Deneyler, seyrek toplama penceresinin kullanımının yalnızca eşleştirme doğruluğunu azaltmadığını, aynı zamanda algoritmayı da büyük ölçüde azalttığını göstermektedir. Karmaşıklık. Paralel katmanlı ağırlık maliyet toplama yöntemi, yani farklı uyumsuzluk seviyelerinde eşleştirilecek pikseller için katmanlı iki kanallı biriktirme yöntemi d. Çift kanallı biriktirme yöntemi, maliyeti hızlı bir şekilde biriktirmek için ağırlık hesaplamasını bağımsız hesaplama için satır ve sütun olmak üzere iki yöne ayırır. Bu yöntem ilk olarak toplama penceresindeki her satırın ilk eşleştirme maliyetinin iç çarpımını ve ilgili ağırlık değerini toplar ve satır yönünde eşleşen maliyetin toplama sonucunu elde etmek için karşılık gelen ağırlık değerinin kümülatif toplamı ile normalleştirme hesaplaması yapar; elde edilen satır maliyetini toplayın Sonuç, ilgili sütunun ağırlığına sahip iç üründür ve nihai maliyet toplama sonucu, ilgili ağırlığın birikmesi ve normalleştirilmesinden sonra elde edilir. Paralel çok katmanlı ağırlık maliyet toplama yöntemi, karmaşıklığı orijinal algoritmanın O (w2d) 'den O (2wd)' ye düşürmek için her eşitsizlik seviyesinde satır ve sütun yönlerinde maliyeti sıralı olarak ağırlıklandırmaktır. Burada w, toplama penceresinin boyutudur.
4 Algoritma karşılaştırması
Bu makale, Middlebury Üniversitesi web sitesinin standart stereo eşleştirme algoritması test platformu tarafından sağlanan 4 çift karşılaştırmalı renk görüntüsü Tsukuba, Venus, Teddy ve Cones üzerinde bir eşleştirme testi gerçekleştirir. Sayım dönüşüm penceresi 5 × 5 - 23 × 23 arasındadır ve yoğun maliyet toplama penceresi 5 × 5 ile 23 × 23 arasında, seyrek toplama penceresi, bilgisayarda görsel kütüphane açıklığı aracılığıyla işlenen 5 × 5'ten 19 × 19'a kadardır.Bilgisayar CPU frekansı 2,6 GHz ve bellek 2 GB'dir.
Bu yazıda, önce Census dönüşümü + Hamming stereo eşleştirme ile deneyler yaptık ve tek piksel eşleştirme kullandık.Census dönüşümünün pencere boyutu 5 × 5 ile 23 × 23 arasındadır. Daha iyi sonuçlar elde etmek için, bu yazıda algoritma kümelemede kullanılan Sayım dönüşüm penceresinin boyutu 17 × 17'dir. Artış uyumsuzluk oranını daha da azaltacak olsa da, azalma büyük değildir ve algoritma karmaşıklığı artacaktır. Bu nedenle, Census + Hamming tek pikselli stereo eşleştirme algoritmasının optimal eşleştirme penceresi 17 × 17 olarak ayarlanmıştır ve daha sonra bu makalede önerilen kendi kendine uygulanabilir ağırlık Hamming yoğun toplama ve seyrek toplama algoritması (Census dönüşüm penceresi 17 × 17) kullanılmıştır. Deney, deneysel sonuçlar Tablo 1'de gösterilmektedir. Tablo 1'den, kümeleme penceresi arttıkça ortalama uyumsuzluk oranının azaldığı ve yoğun kümelenmenin 21 × 21'de sabit olma eğiliminde olduğu görülebilir.
Şekil 2, yukarıdaki deney ile elde edilen nihai eşleştirme farklılığı sonucudur.Numarasyon dönüşüm penceresinin boyutu 17 × 17, yoğun toplama eşleştirme algoritmasının toplama penceresinin boyutu 21 × 21 ve ayrı toplama eşleştirme algoritmasının toplama penceresinin boyutu 15 × 15'tir. Sıra şu şekildedir: eşleştirme orijinal görüntü, Hamming seyrek birleştirilmiş eşitsizlik haritası, Hamming yoğun toplu eşitsizlik haritası ve gerçek eşitsizlik haritası.
Şekil 3 ve Şekil 4, SAD (bkz. Opencv2), Nüfus toplama (dönüşüm penceresi 17 × 17), bu makalede önerilen yoğun toplama algoritması ve seyrek toplama algoritması üzerinde karşılaştırmalı deneylerdir. Şekil 3, beyaz gürültü eklendikten sonra görüntü üzerinde yapılan bir deneydir. Şekil 3 ve Şekil 4'ten görülebileceği gibi, yanlış eşleştirme oranı açısından, bu makalede önerilen yoğun ve ayrık toplama algoritmaları, işlem hızı açısından SAD ve Sayım kümelemesinden daha yavaş olmasına rağmen, yanlış eşleme oranları da SAD ve Sayım kümelemesinden çok daha küçüktür. Bu iki algoritma. Seyrek ve yoğun toplama algoritmaları sırasıyla 24.7 f / s ve 19.9 f / s'de stabilize olur ve gerçek zamanlı stereo eşleştirme için uygundur. Uyumsuzluk ve işlem hızı açısından, önerilen Census dönüşüm tabanlı ağırlıklı seyrek toplama stereo eşleştirme algoritması daha fazla avantaja sahiptir.
Tablo 2, birkaç gelişmiş Census algoritması ile bir karşılaştırmadır Bu algoritmalar, SAD-iGMCT ve RTCensus tarafından önerilen geliştirilmiş Census stereo eşleştirme algoritmasını içerir. Tablo 2'den, eşleştirme doğruluğu açısından bu yazıda yer alan algoritmanın RTCensus algoritması ve SAD-IGMCT algoritmasından daha düşük, ancak diğer algoritmalardan daha yüksek olduğu görülmektedir. Bu yazıda önerilen algoritma, gerçek zamanlı stereo eşleştirme için uygundur.
5. Sonuç
Geleneksel Census + Hamming eşleştirme algoritmasının eksikliklerini hedefleyen bu makale, ağırlık olarak dönüştürme penceresindeki uzamsal mesafeyi kullanan yeni bir ilk eşleştirme maliyet hesaplama yöntemi önermektedir. Bu makalede, uzamsal mesafe ilk mesafe ölçümüne eklenmiştir, böylece ilk eşleştirme maliyetinin hesaplanması merkez piksele daha yakın olan piksellere odaklanır; eşleştirme derecesini iyileştirmek için gradyan görüntüsü ve seyrek kümeleme penceresi tanıtılmış ve komşu pikseller ve piksel ortalaması eklenmiştir. Aralarındaki mesafe, anormal ara piksellerin neden olduğu uyumsuzluğu azaltır ve seyrek birleştirme penceresi, eşleştirme hatası oranı çok farklı olmadığında algoritmanın karmaşıklığını azaltabilir ve gerçek zamanlı eşleştirme için uygundur.
Referanslar
MEGER D, FORSSEEN PE, LAI K ve diğerleri Curious George, özenli bir semantik robot. Robotik ve Otonom Sistemler, 2008, 56 (6): 503-511.
Shuai Tong, Xiaogang Xu, Chengtao Yi. Görme Tabanlı 3D Yeniden Yapılandırma Teknolojisine Genel Bakış Bilgisayar Uygulama Araştırması, 2011, 28 (7): 2411-2417.
BOHREN J, FOOTE T, KELLER J. The Ben franklin yarış takımları girişi Journal of Field Robotics, 2008, 25 (9): 598-614.
ZABIH R.WOODFILL J. Görsel yazışmaları hesaplamak için parametrik olmayan yerel dönüşümler.ECCV'94. Berlin Heidelberg: Springer, 1994: 151-158.
AMBROSCH K, KUBINGER W. Doğru donanım tabanlı stereo görüş Bilgisayarla Görme ve Görüntü Anlama, 2010, 114 (11): 1303-1316.
HUMENBERGER M, ZINNER C. Gömülü gerçek zamanlı sistemler için uygun hızlı stereo eşleştirme algoritması Bilgisayar Görme ve Görüntü Anlama, 2010, 114 (11): 1180-1202.
YOON K J, KWEON I S. Yazışma araması için uyarlanabilir destek-ağırlık yaklaşımı, Örüntü Analizi ve Makine Zekası üzerine IEEE İşlemleri, 2006, 28 (4): 650-656.
Liu Tianliang, Huo Zhiyong, Zhu Xiuchang ve diğerleri DAISY tanımlayıcısına ve geliştirilmiş ağırlık çekirdeğine dayalı hızlı yerel stereo eşleştirme. Journal of Southern University of Post and Telecommunications: Natural Science Edition, 2012, 32 (4): 70-76.
Zhang Hanyue Sayım dönüşümüne dayalı bölgesel stereo eşleştirme algoritması üzerine araştırma Shenyang: Liaoning Üniversitesi, 2013.
Middlebury.Middlebury stereo Evaluation-Version 2. (2015-07-01) .http: //vision.middlebury.edu/stereo/eval/.
