Düşük güçlü gömülü sisteme dayalı plaka konum algoritması
Li Zhen, Tang Liping
(Bilgi Bilimi ve Teknolojisi Okulu, Donghua Üniversitesi, Şangay 201620)
: Makale, düşük güçlü gömülü bir platformda plaka konum tespiti için kendi kendine tasarlanmış bir algoritma sunar. İlk olarak, Sobel yatay operatörü, plaka görüntüsünün dikey kenarını tespit etmek için kullanılır ve kenar görüntüsü, bağlantılı karolar elde etmek için morfolojik yöntemle kapatılır. Daha sonra plakanın pozisyon problemini çözmek ve plakanın aday alanını elde etmek için bağlanan alanın konturuna göre minimum sınırlayıcı dikdörtgen belirlenir. Son olarak, çıkartılan plaka aday bölgeleri, doğru plaka konumunu elde etmek için plaka özelliklerine göre taranır. Deneysel sonuçlar, algoritmanın etkinliğini kanıtlamaktadır ve ayrıca karmaşık arka planlar altında daha iyi bir sağlamlığa ve uyarlanabilirliğe sahiptir.
: Plaka konumu; Sobel operatörü; morfoloji; kapalı çalışma
: TP391.41 Belge tanımlama kodu: ADII: 10.19358 / j.issn.1674-7720.2017.03.014
Alıntı biçimi Li Zhen, Tang Liping. Düşük güçlü gömülü sisteme dayalı plaka konum algoritması J. Mikrobilgisayar ve Uygulama, 2017,36 (3): 45-48,58.
0 Önsöz
Araçların plaka numaralarını almak için yerlere giren ve çıkan araçların görüntülerini almak için büyük otoparkların ve park akıllı şarj yerlerinin giriş ve çıkışlarına kameralar yerleştirilmiştir. Araç içeren görüntülerde plaka tanıma, araç geçiş ücreti yönetim sisteminin önemli bir parçasıdır. Plaka tanımada, doğru bölümleme ve karakterlerin tanınması için, öncelikle araç plakasının hassas konumlandırmasının tamamlanması gerekir. Plaka konumlandırmanın doğruluğu, izleme sisteminin [1] performansını doğrudan etkiler. Çoğu şarj yönetim sistemi tarafından benimsenen şema bir kamera artı bir PC'dir, kamera görüntüleri toplar ve bilgisayar, görüntü işleme algoritmaları aracılığıyla plaka numarasını alır. Bu yöntemle etkinlik alanında plaka tanımayı gerçekleştirmek kolay değildir. Bu nedenle, gömülü platforma dayalı mobil plaka tanıma yeni bir araştırma odağı haline geldi. Şu anda üç temel gömülü platform bulunmaktadır: ARM platformu, DSP platformu ve FPGA platformu.
ARM platformuna dayalı olarak, ARM9, ARM11 veya CortexA8 işlemciler çoğunlukla kullanılır. Örneğin, literatür [2], plaka alanını belirlemek için CMOS kameralar tarafından toplanan araç görüntülerini okumak için Samsungun ARM9 çipini kullanır; literatür [3], CortexA8 yongasını Linux üzerinde çalıştırır İşletim sistemi ve OpenCV grafik ve görüntü işleme kitaplığındaki olgun işlevlerin yardımıyla plaka konumlandırması elde etmek için Zhang Haixia, gömülü plaka tanıma sisteminin [4] temel donanım devresi olarak ARM11 geliştirme kartını (S3C6410 mikroişlemci çekirdeğidir) seçer. DSP platformunu temel alan ana işlemci Texas Instruments TMS serisidir. Örneğin, Zuo Zongpeng ve arkadaşları, SAA7113 tarafından toplanan görüntü verilerini okumak için TMS320DM642'yi kullandı ve gelişmiş BP sinir ağı algoritmaları [5] aracılığıyla plaka konumu ve tanıma elde etti. FPGA platformunu temel alan çekirdek, özelleştirilmiş bir yumuşak çekirdekli işlemcidir.Örneğin, Zheng Cunfang ve diğerleri, özelleştirilmiş Nios yumuşak çekirdekli çağrı arayüzü aracılığıyla CCD kameranın görüntü verilerini okumak için FPGA kullanır ve plakayı [6] bulmak için kenar algılama yöntemini kullanır; PC veya DSP'nin plaka tanıma sistemi, FPGA tabanlı plaka tanıma sisteminin araştırma ve gerçekleştirme planını önermiştir [7]. Plaka tanımayı gerçekleştirmek için FPGA ve DSP'yi birleştiren araştırmacılar da vardır [8].
Yukarıdaki literatürde verilen gömülü platformlar için, donanım platformlarında kullanılan işlemcilerin çoğu orta ve üst düzey ürünlerdir ve ürün yatırım maliyeti nispeten yüksektir. Yazılım açısından, bazılarının belirli bir işletim sisteminde çalıştırılması gerekir ve bazıları, aşırı işlemci belleği ek yüküne neden olacak ve sistemin işletim hızını etkileyecek özel grafik ve görüntü işleme yazılımı gerektirir. Bu makale, bir işletim sistemine ihtiyaç duymadan mobil plaka tanıma sistemine düşük kaliteli, düşük güçlü gömülü işlemcilerin girişini inceler ve ilgili görüntü işleme algoritmalarını geliştirerek, doğru bölümleme ve sonraki karakterlerin tanınmasını sağlamak için plaka konumu doğrudan donanım devresinde tamamlanır. Garantili.
1 sistem bileşimi
Bu sistem, görüntü toplama cihazı olarak Aptina'nın MT9P031 CMOS sensörünü kullanır.Bu sensör, yüksek çözünürlük, yüksek kare hızı ve işlemci ile basit arayüz özelliklerine sahiptir. Görüntünün etkin pikselleri 5 milyondur, kare hızı tam çözünürlük koşulunda 14 kare / sn'dir ve kare hızı 640 × 480 piksel altında 50 kare / sn'ye ulaşabilir İşlemciye bağlanmak için yalnızca iki kablolu bir seri arabirim gereklidir. Ana kontrol işlemcisi STMicroelectronics STM32F429ZGT6'yı seçer, çekirdeği Cortex-M4, en yüksek frekans 180 MHz, bellek kapasitesi 256 KB, 8 ila 14 bit paralel Kamera arayüzü ile birlikte gelir ve iletim hızı 54 Mb / s'dir. Sistemin, görüntü üzerinde çeşitli işlemleri doğrudan donanımda gerçekleştirmesi ve veri alışverişi için yeterli belleğe ihtiyacı olduğu için 64 KB harici depolama cihazı SDRAM eklenir. Geçmiş verileri kaydetmek için, donanım bölümü bir SD kart arayüzü ayırır. Mobil plaka tanımanın özelliklerine göre, sistem ve ana bilgisayar WiFi iletişim modunu benimser. Sistem bir lityum pil ile çalıştırılır Algılanan görüntü değişmediğinde, sistem otomatik olarak uyku durumuna girer ve her 200 ms'de bir otomatik olarak uyanır. Görüntüde bir değişiklik tespit edilirse, görüntü işleme algoritması hemen uygulanır ve bu, mobil plaka tanıma sisteminin güç tüketimini etkili bir şekilde azaltabilir. Donanım sistemi blok şeması, Şekil 1'deki gibi gösterilmiştir.
2 konumlandırma algoritması
Plaka konumlandırma, yakalanan bir görüntüden plakanın konumunu bulmak ve plaka görüntüsünü çıkarmaktır. Cortex-M4'ün sınırlı donanım kaynakları nedeniyle, algoritmanın karmaşıklığı çok yüksek olmamalıdır. Konumlandırma algoritmasının gerçek zamanlı performansının sağlanması için CMOS sensör tarafından toplanan görüntünün kesilmesi gerekmektedir.Araç hareketini içeren panoramik görüntüde, 640 × 480 piksellik araç hedef görüntüsünü hedef aracın en iyi alanı olarak kesip, ardından bu alanda işlemi gerçekleştirin. Plaka konumlandırma. Konumlandırma algoritması aşağıdaki adımları içerir:
(1) Görüntü ikilileştirme işlemi;
(2) İkili görüntülerin hızlı kenar algılaması;
(3) Plakanın aday alanını belirleyin;
(4) Aday plaka alanının sınırlandırılmış dikdörtgeni;
(5) Nihai plaka alanını belirlemek için aday plaka alanını tarayın.
2.1 Hızlı kenar algılama uygulaması
Çin'deki plakaların renk özellikleri genel olarak 4 kategoriye ayrılmıştır: mavi üzerine beyaz (mavi kart), sarı üzerine siyah (sarı kart), beyaz üzerine siyah (beyaz kart) ve siyah üzerine beyaz (siyah kart). Plakaların renkleri farklı olsa da aynı özelliklere sahiptirler: (1) Hepsinin dikdörtgen çizgi parçalarıyla çevrili bir çerçevesi vardır; (2) Çerçevedeki karakterler yatay olarak düzenlenmiştir ve dağıtım aralığı nispeten eşittir; (3) Hepsi zengindir Doku özellikleri, kenar bilgilerini yakalamak kolaydır; (4) Plaka tek tip bir standart boyuta sahiptir. Yukarıdaki özelliklerin ışığında, kenar algılama algoritması ön görüntü işleme için kullanılabilir.
Görüntü işleme algoritmalarında yaygın olarak kullanılan kenar algılama operatörleri arasında Laplacian operatörleri, Canny operatörleri ve Sobel operatörleri bulunur. Laplacian operatörü görüntünün bir tür ikinci dereceden türev operatörüdür, görüntünün kenarında dik bir kesişme oluşturur. Normal koşullar altında, Laplacian operatörü kenarları da algılayabilir, ancak algılama yönü yatay ve dikey arasında ayrım yapmaz ve algoritma oldukça karmaşıktır. Canny kenar algılama operatörü, iyi kenar algılama performansına sahiptir ve görüntü işlemede yaygın olarak kullanılmaktadır. Bununla birlikte, Canny kenar algılama, Gauss filtresinin görüntünün gürültüden arındırılmasını tamamlaması, orijinal gri görüntüden yatay ve dikey gradyan haritasını ve entegre gradyan haritasını elde etmesi ve ardından üç gradyan haritası üzerinde maksimum olmayan bastırmayı gerçekleştirmesi gerekir. Bilgisayardaki algoritmanın gerçek zamanlı performansını sağlamak için uç bağlantı gibi adımlar çok zordur. Sobel operatörünün prensibi, bir görüntünün birinci dereceden yatay ve dikey türevlerini bulmak ve türev değerinin büyüklüğüne göre kenar olup olmadığına karar vermektir. Sobel operatörü, dikey kenar operatörü ve yatay kenar operatörü olarak ikiye ayrılır ve konvolüsyon şablonu:
Üç kenar algılama algoritması ile elde edilen sonuçlar Şekil 2'de gösterilmektedir. Kenar algılama sonuçları karşılaştırıldığında, Canny algılama en net kenara sahiptir ve Sobel kenar algılamasının keskinlik sonucu, Canny algılama ile Laplacian arasındadır. Canny algılama ile elde edilen kenar en net olsa da, plaka konumunun amacı düşünüldüğünde, kenar algılamanın nihai amacı görüntünün net kenarını tanımlamak değil, plakanın belirli bir alanını belirlemektir. Ve Canny kenar algılama algoritmasının karmaşıklığı, yalnızca işlemcinin gerçek zamanlı işlem gereksinimlerini karşılayamayan, aynı zamanda donanım devresinde uygulanamayan büyük miktarda işlemcinin belleğini tüketen Sobel operatörününkinden çok daha yüksektir, bu nedenle Kenar algılama algoritması için Sobel operatörü seçilir.
Gömülü sistemin gerektirdiği görüntü işleme algoritmasının az miktarda hesaplamaya sahip olması ve daha az RAM kaplaması gerektiğinden, görüntüyü 64 × 48 boyutunda 100 küçük bloğa bölmek için noktaların bloklarla değiştirilmesi yöntemi benimsenmiştir.Araç simetrik bir yapıya sahip olduğu için, Görüntünün altından yukarı bakarak simetrik bloğu bulun Bunun nedeni, çoğu plakanın görüntünün altına daha yakın yerleştirilmesidir. Deneysel verilerin ölçümü ve analizi yoluyla, 15 çift simetrik görüntü bloğu bulunduğunda, plaka bu 30 alan bloğunda hızlı bir şekilde kilitlenebilir. Ardından bulunan 30 bölgede Sobel operatörü kenar tespiti yapılır.
Bir arabanın plakasının çerçevesi düzgün kenarlara sahip olduğundan ve plaka karakterleri düzenli olarak düzenlendiğinden, plakanın dikey kenarları yatay kenarlardan daha fazladır. Bununla birlikte, araba gövdesi bol miktarda yatay kenarlara sahiptir ve dikey kenarlar belirgin değildir. Plaka ve araç kenar özelliklerinin farklılığına göre, bu kağıt yalnızca Sobel operatörünü bulunan 30 alan bloğunun yatay yönünü türetmek için kullanır; bu, işlemcinin bellek yükünü büyük ölçüde azaltabilir, algoritmanın karmaşıklığını azaltabilir ve işlemcinin hesaplamasını iyileştirebilir. Hız, donanım devresinde kenar algılamayı gerçekleştirin. Karşılaştırma olarak, görüntü aynı anda hem dikey hem de yatay yönde türetilmiş ve sonuç Şekil 3'te gösterilmiştir. Test sonuçlarından, otomobilin ön plakasının yakınında, otomobilin ön tarafındaki egzoz deliklerinden ve araç üreticisinin logosundan kaynaklanan birçok yatay kenar olduğunu görebiliyoruz. Bu ekstra yatay kenarlar, plaka konumunun sonuçlarına kolayca müdahale edebilir ve gerçek plaka konumu için son arama ile sonuçlanabilir. Bu nedenle, bu kağıt, hızlı kenar algılama sağlamak için Sobel yatay operatörünü kullanır.
2.2 Plaka aday alanını belirleyin
Plaka görüntüsündeki dikey kenar çıkarıldıktan sonra, plaka alanını kapalı bir alana bağlamak için matematiksel morfolojik işlemleri gerçekleştirmek için ikili kenar görüntüsünün elde edilmesi gerekir. Görüntü işlemede yaygın olarak kullanılan matematiksel morfolojik işlemler, açık işlem ve kapalı işlemdir. Açık işlem, önce görüntüyü aşındırmak ve ardından genişletmektir; bu, görüntünün ana hatlarını daha düzgün hale getirebilir ve dar süreksizlikleri kırabilir ve küçük çıkıntıları ortadan kaldırabilir. Kapalı işlem görüntüyü önce genişletir sonra da aşındırır.Açık işlemin aksine kapalı işlem genellikle dar süreksizlikleri ve ince boşlukları telafi edebilir, küçük delikleri ortadan kaldırabilir ve konturdaki boşlukları doldurabilir. Bölüm 2.1'de Sobel seviyesi türetme ile elde edilen kenar görüntüsü için iki işlem gerçekleştirilmiş, sonuç Şekil 4'te gösterilmiştir.
Şekil 4 ile karşılaştırıldığında, güçlü korozyon etkisi nedeniyle, açma işleminin genişlemesinin hiçbir etkisinin olmadığı ve görüntüde hemen hemen hiç yararlı bilginin olmadığı görülebilir. Kapalı işlem, görüntüdeki plaka alanının yakınındaki bazı kenarları, plakadaki karakterler de dahil olmak üzere karolara birleştirir ve bunlar da karolara bağlanır.Bu bağlantılı bloklar farklı şekillere sahiptir ve Şekil 4'te gösterildiği gibi plakanın aday alanını oluşturur. (a) Gösterilmiştir.
Şekil 4'teki sonuçların karşılaştırılmasından, elde edilen ikili kenar görüntüsünün sadece aday alanı belirlemek için kapatılması gerektiği görülebilir. Bu, hesaplama miktarını daha da azaltabilir ve plaka konumlandırmanın gerçek zamanlı performansını iyileştirebilir.
2.3 Sınırlandırılmış dikdörtgendeki kırık kısımların işlenmesi
Ülkemizde standart bir aracın plakası, bir il Çince karakteri, bir şehir harfi ve 5 harf veya Arap rakamlarından oluşan bir karakter dizisidir. Her bir karakterin genişliği 45 mm, yüksekliği 90 mm ve ara parçası genişliği 10 mm'dir.İkinci ve üçüncü karakterler arasındaki boşluk 34 mm hariç, karakterler arası boşluk 12 mm'dir. Şekil 5 (b) 'de gösterildiği gibi, plaka Shanghai F C0439.
Şekil 5 (b) 'deki F karakteri ile C karakteri arasındaki mesafe, diğer bitişik karakterler arasındaki mesafeden daha büyüktür. Mesafe ne kadar büyükse, karakter alanının ana hatları o kadar büyük ve karakterin sınırlandırılmış dikdörtgeni o kadar büyük olur. Karakterin sınırlandırılmış dikdörtgeni küçük olarak ayarlandığında, Şekil 5 (b) 'de gösterildiği gibi yalnızca daha yakın olan karakterler seçilebilecek şekilde F ve C0439'un ayrılmasına neden olur. Plaka ortasındaki karakterlerin bağlantısı kesildiği için, plakanın doğru konumlandırılmasını kesinlikle etkileyecektir. Tekrarlanan deneylerden sonra, bitişik karakterler arasındaki mesafe maksimize edildiğinde, plaka karakterleri kırılmayacaktır.Karakterlerin sınırlandırılmış dikdörtgenin genişliği 29 piksel ve yüksekliği 9 pikseldir.
3 Plaka konum alanının taranması
Yukarıdaki adımlarla işlenen görüntü, birkaç plaka adayı alanı bulabilir. Bu aday alanlarda, gerçek plakaya ek olarak, geri kalanlar Şekil 6'da gösterildiği gibi araba işaretleri, ışıklar veya havalandırma delikleridir.
Şekil 6 Plaka Aday Alanı Aday bölgedeki plakanın konumunu doğru bir şekilde belirlemek için, Çin'deki plakaların özelliklerine ve kurulum özelliklerine göre değerlendirilebilir. Gerçek plakanın en boy oranı sabit bir 2,85 ~ 3,33 değeridir ve görüntüdeki plakanın piksel oranı da bu aralıkta olmalıdır; plaka genellikle aracın alt merkezine yerleştirilir ve dış dikdörtgenin açısı 10 dereceden az olmalıdır; Merkez, görüntünün merkez çizgisine yakın konumlandırılmalıdır. Bu üç koşula göre, bir plaka ayrımcılık formülü belirlenebilir:
f (A, R, CX) = ixi
Bunlar arasında, A, sınırlandırılmış dikdörtgenin açısıdır, R, plakanın en-boy oranıdır, CX, sınırlandırılmış dikdörtgenin merkezinin apsisidir, i, 3 koşulun ağırlığıdır ve xi, kısıtlama koşuludur. F (A, R, CX) 'i sağlamak için aday alanın sınırlandırılmış dikdörtgeninin 3 parametresini bu formülde değiştirin. > 0.9'da, plakanın konumu doğru bir şekilde bulunabilir.
4 deneysel sonuç
Bu yazının plaka konum algoritması, bu tasarımda donanım platformunda plaka konum tespiti için kullanılmıştır. Kullanılan gömülü işlemci STM32F429'dur ve çip 180 MHz'de çalışır. Şekil 7, algoritma tarafından tespit edilen bazı resimlerin pratik uygulamalardaki etkisini göstermektedir.
Algoritmanın etkinliğini ve doğruluğunu doğrulamak için bu makale farklı zaman dilimlerinde fotoğraflar üzerinde deneyler yaptı.Gün boyunca 65 fotoğraf test edildi, akşam 60 fotoğraf test edildi ve geceleri 62 fotoğraf test edildi Deney sonuçları Tablo 1'de gösterildi. .
Deneysel sonuçların analizinden, gün içindeki konumlandırma doğruluğu düşüktür.Bunun nedeni, güneş ışığının plakanın kenar algılamasına müdahale edebilmesi ve daha fazla kenar bilgisinin, her bir fotoğrafı konumlandırmak için nispeten uzun bir ortalama süreye yol açmasıdır. Güneş akşamları o kadar güçlü değildir, kamera nispeten yumuşak fotoğraflar çekebilir, ışığın kenar bilgisine karışması nispeten azalır, bu nedenle zaman tüketimi de azalırken doğruluk oranı artar. Geceleri, ışık açıkça yetersizdir ve plakanın kenar bilgilerinde belirli bir kayba yol açarak algılama süresi ve doğruluğunda bir azalmaya neden olur.
5 sonuç açıklaması
Bu makale, düşük güçlü gömülü bir sisteme dayalı bir plaka konum tespit algoritması önermektedir. İlk olarak Sobel yatay operatörü, plaka görüntüsünün dikey kenarını tespit etmek için kullanılır ve kenar görüntüsü, bağlı karoları elde etmek için morfolojik yöntemle kapatılır. Daha sonra plaka pozisyonunun kesilmesi sorununu çözmek için bağlı alanın konturuna göre minimum sınırlandırılmış dikdörtgeni belirleyin, böylece plaka aday alanını elde edin ve son olarak çıkartılan plaka aday alanını plaka yapısına göre filtreleyerek doğru plaka konumunu elde edin. Deneysel sonuçlar, yöntemin etkili olduğunu ve ayrıca karmaşık arka planlarda iyi bir sağlamlığa ve uyarlanabilirliğe sahip olduğunu göstermektedir.
Referanslar
1 ANAGNOSTOPOULOS C N E, ANAGNOSTOPOULOS I E, LOUMOS V, ve diğerleri Akıllı ulaşım sistemi uygulamaları için bir plaka tanıma algoritması J. Akıllı ulaşım sistemlerinde IEEE İşlemleri, 2006, 7 (3): 377-392.
2 Kong Fanrong, Ding Zhigang Gömülü J Bazında Araç Plaka Tanıma Sistemi Tasarımı Bilgisayar Uygulamaları ve Yazılım, 2015, 32 (10): 223-226.
3 Zhang Haixia. ARM tabanlı plaka tanıma sisteminin geliştirilmesi J. Journal of North China Electric Power University, 2012, 18 (6): 49-51.
