Ortak dikey yöntem kullanılarak binoküler stereo görmenin üç boyutlu yeniden yapılandırılması
Zhang Zhixian, Cheng Jikun, Wu Xujuan
(Elektronik ve Haberleşme Mühendisliği Okulu, Shenyang Havacılık ve Uzay Üniversitesi, Shenyang, Liaoning, 110136)
: Binoküler stereo görüş ölçüm sistemi, endüstriyel ölçümde önemli bir yöntemdir ve üç boyutlu yeniden yapılandırma, binoküler stereo görme ölçüm sisteminin çok önemli bir parçasıdır. Paralaks ilkesine dayanan geleneksel 3B yeniden yapılandırma modeli, binoküler stereo görüş sisteminin idealize edilmiş bir soyutlamasıdır. Düzlemden üç boyutlu noktaya gerçek haritalama sürecini analiz ederek, gerçek verilerle daha uyumlu olan üç boyutlu bir yeniden yapılandırma modeli, farklı düzlemin ortak dikey çizgisinin üç boyutlu yeniden yapılandırma yöntemi önerilmiştir. Bu yöntem, iki kameranın optik merkezleri ve bunların ilgili görüntü noktaları tarafından oluşturulan iki uzamsal düz çizginin ortak dikey çizgisini, yani farklı düzlemlerdeki iki düz çizginin minimum mesafe noktasını hesaplayarak üç boyutlu uzay noktalarını bulur ve minimum mesafe parametresi, eşleşmeyen noktaları etkili bir şekilde yargılayabilir . Yöntem deneylerle doğrulandı. Sonuçlar, yöntemin geleneksel görsel 3D rekonstrüksiyon yönteminin ölçüm doğruluğuna ulaşabileceğini ve eşleşme noktasının uyumsuz bir nokta olup olmadığını etkili bir şekilde yargılayabileceğini göstermektedir.
Binoküler stereo görüş ölçümü; farklı düzlemlerin ortak dikey çizgisi; uyumsuz noktalar; 3D stereo yeniden yapılandırma
Çin Kütüphanesi Sınıflandırma Numarası: TP391 Belge Tanımlama Kodu: ADII: 10.19358 / j.issn.1674-7720.2017.04.024
Referans formatı: Zhang Zhixian, Cheng Jikun, Wu Xujuan. Ortak dikey yöntem J temelinde binoküler stereoskopik 3D rekonstrüksiyon. Mikrobilgisayar ve Uygulama, 2017, 36 (4): 80-83.
0 Önsöz
Binoküler stereo görme ölçümü, paralaks prensibine dayanan üç boyutlu temassız bir ölçüm teknolojisidir. İki kamera aynı anda farklı açılardan ölçülecek hedefin görüntülerini alır, daha sonra özellik noktalarının görüntü koordinatlarını kullanarak onun 3D koordinatlarını ölçüm modeline göre yeniden oluşturur ve son olarak bu özellik noktalarına uydurularak ölçülecek hedefin 3D geometrik bilgisini elde eder. Binoküler stereo vizyon rekonstrüksiyon teknolojisi, insanların yaşamının, üretiminin ve işinin tüm yönlerine nüfuz etti ve önemli teorik önemi ve pratik değeri var. Geniş bir bilgi yelpazesini içerir ve geliştirme için geniş beklentileri ve geniş uygulama olanakları olan kapsamlı bir teknolojidir [1]. Üç boyutlu rekonstrüksiyonda uzaysal nokta, üç boyutlu yapının en temel birimidir Teorik olarak noktadan bir çizgi oluşturmak, çizgiden bir yüzey oluşturmak ve ardından her yüzeyden üç boyutlu bir uzaysal yapı oluşturmak mümkündür. Bu nedenle, uzamsal noktaların belirli koordinatlarını ölçmek, en temel binoküler stereo görme içeriğidir. Binoküler stereo 3D rekonstrüksiyon aynı zamanda noktaya dayalı 3D bilginin elde edilmesine dayanmaktadır.
Binoküler stereo görüş, paralaksı hesaplamak ve üç boyutlu uzaydaki nesnenin bilgilerini elde etmek için üçgen geometrik korelasyon prensibini kullanır [2]. Binoküler stereo görüş prensibini anlamak için, genellikle çok basit bir yapıya sahip bir binoküler görüş sistemi olduğu varsayılır [3], iki kameranın optik eksenleri paraleldir ve iç parametreleri Şekil 1'de gösterildiği gibi tam olarak aynıdır. Bu sistemin taban çizgisi (iki kameranın optik merkezleri arasındaki çizgi) ilk kameranın x ekseni ile tutarlıdır.
Genel bir dürbün görüş sistemi oluşturmak için, iki kamera koordinat sisteminin kesinlikle paralel olduğunu kesin olarak garanti etmek imkansızdır. Genel ölçüm modeli [4], binoküler stereo görüş yapısını anlamak daha kolaydır. Şekil 2'de gösterildiği gibi, model iki kamera koordinat sisteminin kesinlikle paralel olmasını gerektirmez.
Yukarıdaki iki ölçüm modeli için, önce kameranın dahili ve harici parametrelerini elde etmek için kalibrasyon gereklidir.Aradaki fark, ideal ölçüm modelinin, ölçüm sistemini dahili ve harici parametrelere dayalı olarak ideal bir ölçüm sistemine eşlemesi gerekirken, genel ölçüm modelinin yalnızca görüntü üzerinde distorsiyon düzeltmesi yapması ve ardından Üç boyutlu nokta bilgisi, iki kameranın göreli poz ilişkisi kullanılarak doğrudan elde edilebilir.
Bununla birlikte, gerçek mercek ideal bir perspektif görüntüleme olmadığından, ancak farklı derecelerde distorsiyona sahip olduğundan, görüntüdeki parazit, özellik noktası çıkarımının vb. Doğruluğunu etkiler, böylece uzamsal nokta tarafından oluşturulan görüntü doğrusal modelde tanımlanmaz. Konum: Gerçek verilerde, bu iki çizgi bir noktada kesişmez, ancak farklı uzay düzlemlerinde düz çizgiler oluşturur. Öte yandan, yanlış eşleştirilen aynı ada sahip noktalar için, yukarıdaki iki algoritmanın yeniden oluşturma süreci, aynı ada sahip nokta grubunun yanlış eşleşip eşleşmediğini belirleyemez. Tüm eşleşen algoritmalarda uyuşmazlıklar tamamen önlenemez [5]. Uyumsuz noktaların belirsizliği, yeniden yapılandırılmış üç boyutlu uzay noktalarının, sistemin ölçüm doğruluğunu büyük ölçüde etkileyen gerçek noktalardan ciddi şekilde sapmasına neden olabilir.
Binoküler stereo görüşün gerçek verilerine göre, genel ölçüm modeline göre, iki görüş hattı, yani iki kameranın optik merkezleri ile ilgili görüntü noktaları arasındaki bağlantı, uzayda farklı düzlemlerde iki düz çizgi olarak kabul edilebilir. Bu iki farklı düzlemli düz çizginin ve farklı düzlemdeki düz çizgilerin [6] ortak dikinin elde edilmesiyle, 3B yeniden yapılandırma noktasının en iyi tahmini konumu belirlenebilir ve aynı zamanda noktanın uyumsuz bir nokta olup olmadığı uzaklık parametresine göre değerlendirilebilir.
Üç boyutlu rekonstrüksiyon için 1 ortak dikey yöntem
1.1 Kamera kalibrasyonu ve nokta koordinat sistemi dönüşümü
Görüntü ile üç boyutlu bilgi arasındaki ilişki, kamera görüntülemesinin geometrik modeli ile belirlenir.Bu geometrik model parametreleri kamera parametreleridir.Kamera parametrelerini çözme işlemi kamera kalibrasyonu işlemidir [7]. Kamera kalibrasyonu, binoküler stereo görüş sisteminin önemli bir parçasıdır ve 3D stereo rekonstrüksiyonun temel halkasıdır. Kamera kalibrasyonu ile bir yandan üç boyutlu bilgilerin yeniden yapılandırılması için görüntüleme geometrik modelinin yapısal parametreleri elde edilirken diğer yandan kameranın mercek distorsiyonu, ölçüm doğruluğunu sağlamak için düzeltilir.
Çalışmada, Zhang Zhengyou [8] tarafından önerilen 2D düzlem kalibrasyon panosuna dayalı kalibrasyon algoritması kullanılmış ve teğetsel distorsiyonun etkisi, orijinal algoritmasına dayanarak sadece görüntü distorsiyonu dikkate alınarak değerlendirilmiştir, bu da distorsiyon düzeltme sonucunu daha ideal ve yüksek doğruluk haline getirmiştir. .
Bunlar arasında, k1 ve k2 radyal bozulma katsayılarıdır, p1 ve p2 teğetsel bozulma katsayılarıdır, pd (xd, yd) gerçek görüntü koordinatlarıdır ve pu (xu, yu), lens bozulmasını dikkate almadan doğrusal model altındaki görüntü koordinatlarıdır. , Bozulma düzeltmesinden sonraki görüntü koordinatları.
Kameranın dahili parametreleri ve iki kamera koordinat sistemi arasındaki dönüşüm ilişkisi H, kalibrasyon ile elde edilir. Dahili parametrelere göre, kameranın optik merkezinin koordinatları ve kendi koordinatlarındaki görüntü noktası belirlenebilir ve ardından tüm noktalar, iki kamera koordinat sisteminin dönüşüm ilişkisine H göre aynı koordinat sistemi altında birleştirilir [9]. Burada denklem (2) 'ye göre, tüm üç boyutlu noktalar sol kamera koordinat sistemine birleştirilmiştir.
PR, sağ kamera koordinat sistemindeki uzamsal noktanın uzamsal koordinatı olduğunda, PL, sol kamera koordinat sistemindeki uzamsal noktanın koordinatıdır, R, dönüş matrisidir ve t, sağ kamera koordinat sisteminden sol kamera koordinat sistemine bir çeviridir.
Bu nedenle, aynı ada sahip bir çift nokta ve kameranın ilgili optik merkezlerinin dört noktası, iki görüş hattı ikili stereo görüş oluşturabilir ve farklı düzlemlerin iki çizgisi aynı koordinat sisteminde ifade edilebilir.
1.2 Ortak dikey yöntemin üç boyutlu rekonstrüksiyonu
Şekil 3'te gösterildiği gibi, iki görüş hattı farklı düzlemlerde bir çift düz çizgi oluşturur. Uzayda farklı bir düzlemdeki düz bir çizginin minimum mesafe noktası, farklı bir düzlemdeki iki düz çizginin ortak dikinin ve farklı bir düzlemdeki iki düz çizginin kesişme noktasıdır. Burada sol kamera koordinat sistemi, sistem koordinat sistemi olarak kullanılır. Bu nedenle, sol kameranın görüş hattı ile ortak dikey arasındaki kesişme, 3B rekonstrüksiyon için en iyi tahmini nokta olarak seçilir.
P1, O1 ve P2, O2'nin oluşturduğu iki görüş hattı şunlardır:
Ortak dikenin iki görüş hattının kesişme noktaları şunlardır:
M (x1 + m1t1, y1 + n1t1, z1 + p1t1)
N (x2 + m2t2, y2 + n2t2, z2 + p2t2)
Farklı düzlemlerdeki iki düz çizginin minimum mesafe parametresi:
Sol kameranın görüş hattı ile ortak dikinin kesişme noktası M, en iyi 3B rekonstrüksiyon noktası olarak seçilir. Uzaklık parametresi Dist, iki görüş hattı arasındaki minimum mesafedir.
Geleneksel yöntemle karşılaştırıldığında, yaygın dikey yöntem yalnızca üç boyutlu yeniden yapılandırma noktasını elde etmekle kalmaz, aynı zamanda farklı düzlemlerden bir düz çizgi mesafe parametresi de elde edebilir. İdeal olarak, iki özellik noktası doğru şekilde eşleştiğinde uzaklık parametresi sıfırdır. Pratikte, eşleşme doğruysa hafif bir konum sapması olacaktır, ancak bu sapma temelde alt piksel seviyesindedir.Uzaklık parametresi sıfır olmayacak olsa da değeri küçük bir aralıkta olacaktır. Yeniden yapılandırılan nokta uyumsuz bir nokta olduğunda, eşleşen nokta çiftinin hatası, en azından birkaç, düzinelerce ve hatta yüzlerce piksel olabilecek piksel seviyesinde tahmin edilemezdir, bu nedenle mesafe parametresi değeri de keskin bir şekilde artar. Büyük. Doğru eşleşme noktası ile yanlış eşleşme noktası arasındaki uzaklık parametresinin değerindeki farktan dolayı, değerin yanlış eşleşme noktasını ayırt etmek için etkili bir araç olarak kullanılabilmesi tam olarak mümkündür.
2 Üç boyutlu rekonstrüksiyon deneyi ve doğruluk değerlendirmesi
Kalibrasyon sürecinde, binoküler stereo görüş sistemini kalibre etmek için 500 mm genişliğe sahip Halcon kalibrasyon panosu kullanılır. Kalibrasyon ile elde edilen kameranın dahili parametreleri Tablo 1 ve Tablo 2'de, sol ve sağ kameralar arasındaki göreceli konum ilişkisi Tablo 3'te gösterilmektedir.
Deneyde, kalibrasyon plakasının doğruluğu 1 m içindedir, bu nedenle ortak dikin üç boyutlu yeniden yapılandırma noktasının mesafe doğruluğu, üç boyutlu yeniden yapılandırmayı eşleştirmek için kalibrasyon plakasındaki işaret noktalarının çıkarılmasıyla doğrulanır. Deneyde, kalibrasyon panosunun 8 farklı duruşu fotoğraflandı ve 375 mm mesafeli iki dönüm noktası noktası, Şekil 4'te gösterildiği gibi üç boyutlu olarak yeniden oluşturuldu.
Mesafeyi elde etmek için aynı ada sahip noktada üç boyutlu yeniden yapılandırma gerçekleştirmek için farklı üç boyutlu yeniden yapılandırma algoritmaları kullanın ve Tablo 4'te gösterildiği gibi üç yöntemin doğruluğunu karşılaştırın. Üç boyutlu rekonstrüksiyon için ortak dikey yöntemi kullanarak, 16 nokta rekonstrüksiyonunun mesafe parametresi Dist aynı anda elde edilebilir. Daha sonra, eşleştirme algoritması, dürbün sistemi altındaki özellik noktalarını ayıklamak ve eşleştirmek için kullanılır ve otomatik eşleştirme noktası çiftlerindeki uyumsuzluk noktaları, manuel tanıma yoluyla bulunur. Uzaklık parametresi Dist ayrıca yeniden yapılandırma için elde edilir ve Tablo 5'te gösterildiği gibi doğru eşleşme noktası çiftinin mesafe parametresi ile karşılaştırılır.
Uzaklık parametresi için doğru eşleşme noktası ile yanlış eşleşme noktası arasında önemli bir fark olduğu ve değerinin 10-5 m'de dalgalanan sistem doğruluğunun yeniden yapılandırılmasıyla tutarlı olduğu Tablo 5'den görülebilmektedir. Uyuşmayan noktaların rasgeleliğinden dolayı, mesafe parametresi daha fazla uçuculuğa sahiptir ve mesafe parametresi, doğru eşleşme noktasını elde etmek için mesafe parametresinden çok daha büyüktür, bu nedenle, uyumsuz noktalar bu temele göre etkin bir şekilde ayırt edilebilir. .
3 sonuç
Bu makale, geleneksel binoküler stereo görüş rekonstrüksiyon yöntemine dayanan yeni bir ortak dikey binoküler stereo görme yeniden yapılandırma yöntemi önermektedir. Deneyler, bu yöntemin uzamsal nokta rekonstrüksiyonu için geleneksel üç boyutlu rekonstrüksiyon yöntemlerinin doğruluğunu sağlayabileceğini doğrulamıştır. Aynı zamanda, bu yöntemin 3B nokta rekonstrüksiyonu sürecinde elde edilen farklı düzlemlerdeki düz çizgilerin uzaklık parametreleri, eşleşen noktaları yargılamak için kullanılır. Uygun bir eşik ayarlayarak, yeniden yapılandırılan noktalardaki uyumsuz noktalar otomatik olarak taranabilir ve kaldırılabilir, bu da yalnızca ölçüm verimliliğini artırmakla kalmaz, aynı zamanda ölçüm doğruluğunu da sağlar.
Referanslar
1 FUSIELLO A. Kalibre edilmemiş öklid rekonstrüksiyonu: bir inceleme J. İmge ve Görme Hesaplama, 2000, 18 (67): 555563. 2 Ma Songde, Zhang Zhengyou. Bilgisayarla görme-bilgisayar teorisi ve algoritma temeli J. M] Pekin: Science Press, 1998.
[3] Ma Guizhen, Chen Haixin, Ma Bingchen Binoküler görmeye dayalı cerrahi alet izleme ve konumlandırma teknolojisi J. Mikrobilgisayar Uygulamaları, 2005, 26 (2): 181183.
[4] Chu Jigui, Yu Zhijing Görsel ölçüm ilkeleri ve yöntemleri M Pekin: Makine Endüstrisi Basını, 2011.
[5] Liu Jingjing Binoküler stereo görüşe dayalı üç boyutlu konumlandırma teknolojisi araştırması D Wuhan: Huazhong Bilim ve Teknoloji Üniversitesi, 2007.
6 Lü Lingen, Xu Zidao. Analitik Geometri M. Beijing: Higher Education Press, 2007.
[7] Jia Yunde. Yapay görme [M] Beijing: Science Press, 2005.
8 Zhang Zhengyou.Kamera kalibrasyonu için esnek yeni bir teknik J. Örüntü Analizi ve Makine Zekası üzerine IEEE İşlemleri, 2000, 22 (11): 13301334.
[9] STEGER C, ULRICH M, WIEDEMANN C. Makine görme algoritması ve uygulaması M Yang Shaorong, Wu Dijing, Duan Deshan, çeviri Pekin: Tsinghua University Press, 2008.
[10] LENZ RK, TSAI R Y. Yüksek doğrulukta 3D makine görüşü metrolojisi için ölçek faktörünün ve görüntü merkezinin kalibrasyonu için teknikler C. IEEE Uluslararası Robotik ve Otomasyon Konferansı Bildirileri, Washington DC: IEEE, 1987: 6875.
