Hedef konumlandırma sisteminde görüntü bozulmasının otomatik olarak düzeltilmesi
Xie Wenhui, Zeng Peifeng
(Bilgisayar Bilimi ve Teknolojisi Okulu, Donghua Üniversitesi, Şangay 201620)
: Makale, hedef konumlandırma sistemindeki bozuk görüntülerin otomatik olarak düzeltilmesi yöntemini tartışır ve hedef konumlandırmanın doğruluğunu garanti eder. Küresel projeksiyon modeli temelinde, geniş açılı lens görüntüsünün otomatik olarak düzeltilmesi, doğrusal özelliklerin kısıtlama olarak tutulmasıyla gerçekleştirilir. Geometrik düzeltme modeli oluşturulur ve belirsizlik hatalarının etkisini ortadan kaldırmak ve hedefi gerçek sahnedeki bozuk görüntüde doğru bir şekilde bulmak için blok yinelemeli düzeltme yöntemi benimsenir.
: Hedef konumlandırma; geniş açılı lens; görüntü bozulma düzeltmesi
: TP751 belge tanımlama kodu: ADII: 10.19358 / j.issn.1674-7720.2017.03.013
Alıntı biçimi : Xie Wenhui, Zeng Peifeng.Hedef konumlandırma sistemindeki görüntü bozulmasının otomatik düzeltilmesi J. Mikrobilgisayar ve Uygulama, 2017,36 (3): 42-44,48.
0 Önsöz
Bilgisayar görüşü alanında sıcak bir araştırma yönü olan hedef konumlandırma teknolojisi, son yıllarda araştırmacılardan büyük ilgi gördü. Akıllı video gözetimi, mobil robotlar ve akıllı ulaşım gibi gelişen bilim ve teknoloji, hedef konumlandırma teknolojisi ile yakından ilgilidir. Bununla birlikte, lens özelliklerinin iç faktörleri ve ışık açısı gibi dış faktörler nedeniyle, görüntü kaçınılmaz olarak bozulacaktır.Görüntü bozulmasının otomatik olarak düzeltilmesi, hedef konumlandırmaya ulaşmada zor bir noktadır.
Görüntü distorsiyonu, doğrusal olmayan distorsiyon ve lineer distorsiyon içerir. Doğrusal olmayan distorsiyon, özellikle düz bir çizginin eğilerek bir yay şeklinde deforme olması şeklinde kendini gösteren lensin özelliklerinden kaynaklanır [1]. Doğrusal distorsiyon temel olarak dikey ve yatay çizgilerin [2] eğimi olarak ortaya çıkan atış açısından kaynaklanır.
Lens görüntüleme prensibine dayalı bir düzeltme modelinin oluşturulması, doğrusal olmayan bozulma düzeltmesinin temel yöntemidir.Mevcut doğrusal olmayan bozulma düzeltme modelleri temel olarak polinom distorsiyon modelini, logaritmik distorsiyon modelini, küresel projeksiyon modelini ve silindirik projeksiyon modelini içerir [3]. Ancak düzeltme modelinin çok yönlülüğü yüksek değildir ve çoğu bozuk görüntünün düzeltme gereksinimlerini karşılayamaz. PRESCOTT B ve MCLEAN G F, bilginin tek bir görüntüden [4] çıkarılabileceğini ve düz çizginin doğrusal özelliklerine göre düzeltilebileceğini öne sürdü. KEDZIERSKI M ve arkadaşları, diferansiyel geometri ve ark eğriliğine dayalı bir düzeltme yöntemi önerdiler [5]. Görüntü içeriğine [6] dayalı bu tür düzeltme yöntemi daha iyi bir düzeltme etkisine sahiptir, ancak hesaplama miktarı da daha fazladır.
Doğrusal bozulma düzeltmesi, 2D düzeltme ve 3D düzeltme olarak ikiye ayrılır GALLAGHER AC, 2D düzlemde [7] otomatik bir rotasyon düzeltme yöntemi önerdi ve LEE H ve diğerleri, insan algısı öğrenmesine dayanan bir 3D düzeltme yöntemi önerdi [8]. 2D düzeltme hızı hızlıdır, ancak uzamsal bilgi göz ardı edilir. 3D düzeltme algoritması daha karmaşıktır ve her ikisinin de avantajları ve dezavantajları vardır. CARROLL ve arkadaşları, doğrusal bozulma derecesini en aza indirerek ve yerel şekil özelliklerini koruyarak düzeltme etkisini optimize eden, ancak kullanıcı ile etkileşime girmesi gereken ve otomatik düzeltme optimizasyonunu gerçekleştiremeyen ızgara tabanlı doğrusal olmayan bir optimizasyon yöntemi [9] önermiştir.
Hedef konumlandırma doğruluğu ve gerçek zamanlı performans gereksinimlerine göre, bu makale uygun bir düzeltme algoritması seçer ve bozuk görüntülerin otomatik düzeltmesini gerçekleştirmek için onu geliştirir. Ek olarak, görüntülerin görsel efektlerinin göz ardı edildiği uygulama senaryoları için bu makale, blok tabanlı yinelemeli düzeltme yöntemi önermektedir. Bu yöntem, çeşitli belirsiz hataları büyük ölçüde ortadan kaldırır [10] ve çarpık görüntüden gerçek sahneye hedefin hassas konumlandırılmasını gerçekleştirir.
1 Sistem tanıtımı
Sistem iki bölüme ayrılmıştır: gerçek zamanlı hedef konumlandırma modülü ve çevrimdışı düzeltme modülü Sistem yapısının şematik diyagramı Şekil 1'de gösterilmiştir.
Hedef konumlandırmanın spesifik süreci şudur: geniş açılı lens giriş görüntüsünü toplar, ARM işlemcisi hedefi giriş görüntüsünden çıkarır, eşleme parametrelerine göre koordinat haritalaması yapar ve son olarak hedefin gerçek sahnedeki konumunu işaretler ve projeksiyon ekranında görüntüler. Düzeltme algoritmasının hesaplama miktarı, binlerce kayan noktalı sayı çarpma ve bölme işlemleri de dahil olmak üzere çok büyük olduğundan ve bu sistem bir Cortex-M3 düşük güçlü işlemci kullandığından, algoritmayı yürütmek çok zaman alacaktır, bu nedenle eşlemeyi hesaplamak için düzeltme modülü ayrılmıştır. parametre.
Bu sistemin uygulama senaryosu askeri bir simülasyon savaşıdır.Savaş alanı geniş bir alana sahiptir.Slanın panoramik görüntüsünü alabilmek için daha geniş görüş açısına sahip geniş açılı bir lens seçilmiştir. Giriş resmi, geniş açılı bir mercekle çekilmiş 1.024 × 768 piksele sahip 2 × 6 fotoğraftır. Geniş açılı lens ve kamera ile çekim düzlemi arasındaki açı nedeniyle, görüntüde hem doğrusal olmayan hem de doğrusal bozulma vardır.
Bozuk görüntüyü düzeltmek ve düzeltme etkisini optimize etmek için, sistem savaş alanında 9 × 7 standart bir dikdörtgen kafes işaretledi ve alanı 48 kare alana böldü. Geniş açılı bir mercekle çekim yaptıktan sonra, nokta matrisi bozulacak ve Şekil 2'de gösterildiği gibi, çarpık bir nokta matrisi elde edilecektir. Standart kafesin koordinat verileri ve bozulmuş kafes, gerçek zamanlı konumlandırma modülünün gerektirdiği eşleştirme parametrelerini hesaplamak için çevrimdışı düzeltme modülünün girişi olarak kullanılır.
2Geniş açılı lens bozulma düzeltmesi
Şekil 3 Geniş açılı merceğin görüntülemesinin şematik diyagramı Geniş açılı merceğin odak uzaklığı standart merceğin odak uzaklığından daha kısadır, çünkü ışık kırılması yasası nedeniyle daha geniş bir görüş açısına sahiptir. Geniş açılı lensin görüş açısının V1OV2 olduğu ve çekim yönünün Z ekseni boyunca olduğu varsayıldığında, görüntüleme prensibi Şekil 3'te gösterilmiştir. Uzayda bir Po noktası için, Po ve O küre merkezini Ps noktasına bağlayın.X-Y düzlemindeki Ps'nin projeksiyon noktası Pd, Po'nun görüntü noktasıdır.
Po (xo, yo, zo) ve Pd (xd, yd) arasındaki koordinat ilişkisi aşağıdaki gibidir:
Po'yu X-Y düzlemine yansıtın ve onu kutupsal koordinatlara dönüştürün (r, noktadan O küresinin merkezine olan mesafeyi temsil eder ve , nokta ile kürenin merkezi ve X ekseni arasındaki açıyı temsil eder):
Bunlar arasında, R, kürenin yarıçapıdır ve D = zo, gerçek düzlemden görüntü düzlemine olan mesafedir. o ve d eşit olduğundan, yalnızca ro ve rd (2) arasındaki işlevsel ilişkiyi belirlemeye ihtiyaç vardır, distorsiyon görüntüsü düzeltilebilir.
Lens parametresi R bilinmediğinde, denklem (2) doğrudan hesaplama için kullanılamaz. Bu makalede, standart kafes ve bozulmuş kafes koordinat verilerini kullanarak, polinom yaklaşımı yöntemi, denklem (2) 'ye eşdeğer ro = f (rd) fonksiyonel ilişkiyi uydurmak için kullanılmıştır. İşlev formu aşağıdaki gibidir:
f (r) = k0 + k1r + k2r2 + k3r3 + k4r4 (4)
Bunların arasında, k0 dönüştürme bileşenidir, k1 doğrusal bozulma parametresidir ve k2 ~ k4 doğrusal olmayan bozulma parametreleridir. Test deneyleri, dördüncü dereceden polinomun düzeltme etkisinin üçüncü dereceye kıyasla büyük ölçüde iyileştirildiğini, yüksek dereceden polinomların gelişme derecesinin ise açık olmadığını göstermektedir. Bu makale nihayet uydurma için dördüncü dereceden polinomu seçer.
3 Doğrusal karakteristik kısıtlamalar
Düz bir çizgi, bir görüntüdeki çok açık bir bilgidir ve düz çizgi karakteristiğini korumak, görüntü bozulmasını düzeltmek için bir kısıtlama koşulu olarak kullanılabilir. (X1, y1), (x2, y2) ve (x3, y3) 'ün bozuk görüntüdeki 3 pikselin düzeltilmiş koordinatları olduğunu varsayalım. Bu 3 nokta düz bir çizgi üzerindeyse, aşağıdakileri karşılamalıdır:
Dij, iki nokta (xi, yi) ve (xj, yj) arasındaki mesafeyi temsil eder.
Düzeltilmiş görüntüde, aynı l doğrusu üzerinde olması gereken N ayrık noktayı seçin ve formül (5) 'e göre, l'nin doğrusal enerji fonksiyonu türetilebilir:
Xn, düzlemdeki noktanın Kartezyen koordinatlarını (xn, yn) temsil eder. El görüntüsündeki tüm düz çizgilerin enerji fonksiyonlarının toplamı, düzeltme etkisini ölçmek için kullanılabilir, El ne kadar küçükse, düzeltme etkisi o kadar iyidir.
4 Doğrusal bozulma düzeltmesi
Doğrusal bozulma düzeltmesi, eğimli düz çizgiyi dikey veya yataya geri döndürmek için bozulmuş görüntü üzerinde afin dönüşüm gerçekleştirmektir. Bazı karmaşık afin dönüşüm modelleri daha iyi düzeltme etkilerine sahip olabilir, ancak görüntüden büyük miktarda bilginin elde edilmesi gerekir ve hesaplama süreci karmaşıktır. Bu sistemin amacı koordinat haritalamanın doğruluğu ve hesaplama hızıdır ve görüntü içeriğinin düzeltme etkisine (keskinlik vb.) Gerek yoktur. Bu nedenle, bu makale görüntünün rengini, derinliğini ve diğer bilgilerini göz ardı eder ve afin dönüşüm modelini oluşturmak için yalnızca görüntüdeki hedef noktanın koordinat bilgilerini kullanır.
Bozuk görüntü I ve orijinal görüntü I için bir haritalama ilişkisi vardır. I üzerindeki herhangi bir nokta (x, y), I ila H arasındaki bir noktaya (x , y ) eşlenebilir, yani: (x , y ) = H · (x, y). Afin dönüşüm modelinin kurulması, bozulmuş görüntü ile orijinal görüntü arasındaki eşleme ilişkisini H belirlemektir.Bu makalede seçilen eşleme denklemi aşağıdaki gibidir:
Yukarıdaki formülde 8 bilinmeyen vardır, bozuk görüntüde ve orijinal görüntüde 4 takım karşılık gelen nokta seçin, doğrusal denklemleri kurun ve çözün, ardından eşleştirme ilişkisi H elde edilebilir.
5 bloklu yinelemeli düzeltme
Daha geniş alana sahip görüntüler için, farklı bölgelerde distorsiyon derecesi farklıdır Tüm görüntüyü düzeltmek için yalnızca bir düzeltme modeli kullanılır ve düzeltme efekti garanti edilemez. Görüntünün blok düzeltmesi, düzeltme efektini optimize edebilir. Ek olarak, bitişik bloklar birbiriyle ilişkilidir ve karşılıklı olarak sınırlandırılmıştır Bu tür bir kısıtlama ilişkisinin kullanılması hataları azaltabilir.
Bu makalenin düzeltme nesnesi için (9 × 7 kafes) görüntü, kafes dağılımına göre 48 bloğa bölünmüştür. Her 4 nokta, Şekil 4'te gösterildiği gibi, bir S bloğu olan dörtgen bir alan oluşturur. Yukarıdan görülebileceği gibi, dört takım karşılık gelen nokta bir eşleme ilişkisini H belirleyebilir, bu nedenle her bir blok Si, bir eşleme ilişkisi Hi elde etmek için çözülebilir. Bozuk görüntüdeki herhangi bir nokta için, önce görüntüdeki hangi bloğa ait olduğunu belirleyin ve ardından orijinal görüntüdeki noktanın koordinatlarını hesaplamak için bloğa karşılık gelen eşleme ilişkisini kullanın.
Yukarıda bahsedilen görüntü bloğu yöntemine göre, nokta matrisindeki herhangi bir P noktası 4 blok ile ilişkilendirilir ve bu 4 blok, içinde P noktasının bulunduğu büyük bir görüntü bloğu Sc halinde birleştirilebilir. Sc'nin 4 köşe ABCD'sini alın ve orijinal görüntüden bozuk görüntüye H-1c ters eşleme ilişkisini hesaplamak için standart kafeste karşılık gelen 4 noktayı birleştirin. Hata yokluğunda, P = H-1c · P (P original orijinal görüntüdeki P noktasının karşılık gelen noktasıdır), ancak kaçınılmaz olarak bir hata olacaktır Di = H-1c · P-P . Aynı şekilde, Sc'nin dört kenarındaki EFGH noktaları alınarak, Dj hatası da hesaplanabilir. Di ve Dj kullanılarak, P noktasının koordinatları şu şekilde güncellenebilir: P1 = P- (Di + Dj) / 2. Tüm kafesleri geçtikten sonra, daha küçük hatalara sahip bir dizi yeni kafes elde edilebilir. Bu tür tekrarlanan yinelemeler, yavaş yavaş kafes hatasını azaltacaktır.
6 deneysel sonuç
Doğrusal olmayan distorsiyon düzeltmesinden sonra denklem (4) 'ün distorsiyon kafesine uygulanmasının sonucu Şekil 5'te gösterilmektedir. Bir eğri içinde orijinal olarak dağıtılan nokta matrisinin temelde doğrusallığa geri döndüğü görülebilir. Bununla birlikte, şu anda kafes, doğrusal özelliklerin kısıtlamasını tam olarak karşılayamaz. Kafesi bloke etmeye ve yinelemeli olarak düzeltmeye devam edin ve son kafes Şekil 6'da gösterilmektedir.
Şekil 7, yinelemeli düzeltme sırasında görüntüdeki tüm düz çizgilerin enerji fonksiyonları El toplamının değişimini göstermektedir. 15 yinelemeden sonra, El% 90 azaldı ve 35 yinelemeden sonra El, sıfıra yöneldi.
Şekil 6'da gösterilen nokta matrisinin koordinat bilgisine ve standart nokta matrisine göre, tüm görüntü bloklarının eşleme parametreleri Hi (i = 1,2, ..., 48) hesaplanır ve gerçek zamanlı hedef konumlandırma modülüne girilir.Son koordinat haritalama hesaplama sonuçları tabloda gösterilir 1 gösterilmektedir.
Tablo 1'deki sonuçlar, sistem tarafından hesaplanan haritalama koordinatlarının temelde gerçek sahnedeki koordinatlarla tutarlı olduğunu göstermektedir. 1024 × 768 görüntüde, hata bir piksel içinde kontrol edilir.
7. Karar
Görsel efektler için hassasiyet ve hızın gerekli olmadığı uygulamalar için,
Bu makale, doğrusal olmayan distorsiyonu ve doğrusal distorsiyonu etkili bir şekilde düzeltmek ve objektif kusurları ve yapay hataların neden olduğu hataları ortadan kaldırmak için bir yöntem önermektedir;
Referanslar
1 Wei Jin, Li Chenfeng, Hu Shimin, ve diğerleri Balık gözü video düzeltme J. IEEE İşlemleri Görselleştirme ve Bilgisayar Grafikleri, 2012, 18 (10): 1771-1783.
2 WILIEM P, SIMON C, CHO S, ve diğerleri Bir akıllı telefonda belge görüntülerinin hızlı ve sağlam perspektif düzeltmesi C. Bilgisayarlı Görü ve Örüntü Tanıma Çalıştayları IEEE Konferansı. IEEE Bilgisayar Topluluğu, 2014: 197-198.
3 HAN S B, KIM J H, MYUNG H. Balık gözü görüş sistemine sahip mobil robotlar için dönüm noktası tabanlı parçacık yerelleştirme algoritması J.. IEEE / ASME İşlemleri Mekatronik, 2013, 18 (6): 1745-1756.
4 PRESCOTT B, MOLEAN G F. Radyal lens distorsiyonunun çizgi bazlı düzeltmesi J. Grafik Modeller ve Görüntü İşleme, 1997, 59 (1): 39-47.
5 KEDZIERSKI M, FRYSKOWSKA A. Balık gözü lens kalibrasyonunun hassas metodu C IS ISPRS Kongresi Bildirileri, Pekin, Çin. 2008: 765-768.
6 Zhang Mi, Yao Jian, Xia Menghan, ve diğerleri. Balık gözü görüntü düzeltme ve kalibrasyon için hat tabanlı çok etiketli enerji optimizasyonu C. 2015 IEEE Bilgisayar Görüsü ve Örüntü Tanıma Konferansı (CVPR), IEEE, 2015: 4137-4145.
7 GALLAGHER A C. Görüntülerde kamera dönüşünü düzeltmek için ufuk noktalarının kullanılması C 2. Kanada Bilgisayar ve Robot Görü Konferansı (CRV'05), IEEE, 2005: 460-467.
8 LEE H, SHECHTMAN E, WANG J, vd. Sağlam kamera kalibrasyonu ile fotoğrafların otomatik dikey ayarı J. Örüntü Analizi ve Makine Zekası Üzerine IEEE İşlemleri, 2014, 36 (5): 833-844.
[9] CARROLL R, AGRAWALA M, AGARWALA A. İçeriği optimize etme - geniş açılı görüntüler için projeksiyonları koruma [J]. ACM İşlemleri GrafiklerTOG, 2009, 28 (3): 43.
10 HOU W, DING M, QIN N, ve diğerleri. Balık gözü görüntü düzeltmesi için dijital deformasyon modeli J. Optics express, 2012, 20 (20): 22252-22261.
