Trafik videosu için hızlı buğu çözme sisteminin FPGA tabanlı "Akademik Belge" tasarımı ve uygulaması
Özet:
Sisli trafik izleme video görüntüsü bozulması sorununu hedefleyen, sisli trafik video görüntüleri için FPGA mimarisine dayalı hızlı bir sisleme sistemi önerilmiştir. İlk olarak, toplanan gerçek zamanlı görüntü verileri SDRAM'de önbelleğe alınır ve ardından yayılma haritası, parlaklık bileşenine göre tahmin edilir ve son olarak, atmosferik saçılma modeline göre net bir görüntü geri yüklenir. Sistem FPGA'nın güçlü paralel hesaplama ve işleme yetenekleri ve zengin mantık kaynakları gibi özelliklerini kullanır.PAL formatında 640 × 480 renkli görüntüleri hedef alır ve işlem hızı 60 kare / s'dir. Deneysel sonuçlar, sistemin çıktı video kalitesinin sağlanması öncülüğünde iyi bir solma etkisi sağladığını göstermektedir.
Çince alıntı biçimi: Gao Quanming, Sun Junxi, Liu Guangwen, vs. FPGA'ya dayalı trafik videosu için hızlı bir buğu çözme sisteminin tasarımı ve uygulaması Elektronik Teknoloji Uygulaması, 2017, 43 (6): 71-74.
İngilizce alıntı biçimi: Gao Quanming, Sun Junxi, Liu Guangwen, et al. FPGA'ya dayalı trafik video görüntülerinde yüksek hızlı sis giderme sistemi tasarımı ve uygulaması.Elektronik Tekniğin Uygulanması, 2017, 43 (6): 71-74.
0 Önsöz
Bulanık havada toplanan trafik gözetleme video görüntüleri, bulanık görüntü kalitesi ve düşük parlaklık gibi problemlere sahiptir, bu da trafik aracı denetiminde ve etkili bilgi toplamada büyük zorluklar getirerek, insanların görüntülerden etkili bilgi almasını zorlaştırır. Bu nedenle, görüntünün hızlı ve verimli bir şekilde nasıl susturulacağı, hava koşullarının trafik izleme sistemi üzerindeki etkisinin nasıl azaltılacağı ve trafik izleme videosunun kalitesinin nasıl iyileştirileceği, çözülmesi gereken acil bir sorun haline geldi.
Şimdiye kadar, nasıl etkili bir şekilde buğu çözülebileceğine dair, yurtiçinde ve yurtdışında birçok buğu giderme yöntemi olmuştur.Bu araştırma yöntemleri kabaca iki kategoriye ayrılabilir: görüntü iyileştirme yöntemleri ve görüntü geri yükleme yöntemleri. Görüntü iyileştirme yöntemi, ilk insanlarda bulanıklığın nasıl etkili bir şekilde kaldırılacağını keşfetmek için kullanılan yaygın bir yöntemdir, esas olarak istatistiksel özelliklere dayalı histogram eşitleme algoritması ve Edwin.H.Land ve diğerleri tarafından önerilen Retinex teorisi dahil. Örneğin, literatür, etkili görüntü bulanıklığını gidermek için görüntü iyileştirme yöntemlerini kullanır; literatür, görsel buğu çözme efektleri elde etmek için görüntü kontrastını iyileştirir; bu tür bir yöntem, görsel buğu çözmeyi sağlamak için çeşitli yöntemlerle görüntü kontrastını iyileştirmeye odaklanır, ancak sisli günleri dikkate almaz Görüntü sahnesinin derinliğinin çeşitliliği, temelde buğu çözmeyi imkansız kılar. Fiziksel modele dayalı görüntü restorasyon yöntemi, restorasyondan sonra doğal bir görüntüye ve iyi bir solma etkisine sahiptir. Temsili olan, He Yuming tarafından önerilen karanlık kanal a priori buğu çözme algoritmasıdır. Bu yöntem, karanlık kanal istatistiksel yasasına göre net görüntüleri geri yükler. Buğu çözme etkisi açıktır, ancak hesaplama miktarı büyüktür, özellikle geçirgenliği iyileştirmek için kullanılan yumuşak matlaştırma ( Veya yönlendirmeli filtreleme), gerçek zamanlı video buğu çözme işlemini karşılamak için çok karmaşık ve zaman alıcıdır.
FPGA, gerçek zamanlı video işlemeyi tamamen gerçekleştirebilen güçlü paralel hesaplama ve işleme yeteneklerine sahiptir.Buna dayanarak, FPGA yaygın olarak verimli ve taşınabilir bir gerçek zamanlı video işleme platformu olarak kullanılmaktadır. Literatür algoritmaları çalışmasına dayanan bu makale, FPGA'nın güçlü hesaplama gücü ve hızlı işlem hızının özellikleri için literatür algoritmalarını basitleştirir ve geliştirir ve sisli havalarda trafik video görüntüleri için hızlı bir sisleme sistemi önerir. Deneyler, sistemin sisli trafik izlemede video görüntüsü bozulması sorununu etkili bir şekilde çözebileceğini kanıtladı.
1 Hızlı buğu çözme algoritması
1.1 Algoritma akışı
Buğu çözme algoritmasının karmaşıklığını azaltmak ve sistemin gerçek zamanlı performansını iyileştirmek için, sistem parlaklık Y bileşenine dayalı olarak etkili buğu çözme işlemi gerçekleştirir Spesifik buğu çözme algoritması akışı Şekil 1'de gösterilmektedir. Öncelikle toplanan video verilerinin kodu çözülür, YCbCr verilerine dönüştürülür ve SDRAM'de tamponlanır, ardından parlaklık Y bileşeni çıkarılır ve ters renkli görüntü ters çevrilerek elde edilir ve ters renkli görüntü filtrelemeden sonra medyan filtre işlemine tabi tutulur. Elde edilen görüntü, atmosferik saçılma modelinin yayılma haritasıdır; mevcut atmosferik ışık yoğunluğunu A tahmin etmek için bir görüntü YCbCr verisi çerçevesi kullanın; atmosferik saçılma modeline göre, sis içermeyen görüntünün parlaklık bileşenini geri yüklemek için yayılma haritasını, atmosferik ışık yoğunluğu A'yı ve sis görüntüsü parlaklık bileşenini kullanın Son olarak, buğu çözme işleminden sonra karanlık görüntü kalitesi sorununu çözen son buğu çözme görüntüsünü elde etmek için geri yüklenen görüntü RGB'si temelinde parlaklık düzeltmesi gerçekleştirilir.
1.2 Atmosferik ışık yoğunluğunun tahmini
Bu sistem, FPGA uygulama olasılığını ve trafik izleme video işlemenin gerçek zamanlı gereksinimlerini tam olarak değerlendirir.A atmosferik ışık yoğunluğu A'nın edinimi şu şekilde ayarlanır: önce bir görüntü çerçevesinin maksimum parlaklık değeri Ymax'ı elde edin ve ardından Ymax ile karşılık gelen Cb'yi birleştirin, Cr verileri, IR, IG ve IB'yi elde etmek için RGB verilerine dönüştürülür Bu zamanda, atmosferik ışık yoğunluğu: A = maks.
1.3 Yayılma haritası tahmini ve medyan filtre işleme
Yayılma haritasının elde edilmesinin amacı, sis haritası ile sisten arınmış görüntüyü eski haline getirmek için sahne hedefinin sis yoğunluğunu elde etmektir. Bu sistem, yayılma haritasını hızlı bir şekilde elde etmek için parlaklığı ters çevirmeyi kullanır Bu yöntem basit ve etkilidir ve video buğu çözmenin gerçek zamanlı gereksinimlerini karşılar. Sis içermeyen bir görüntüyü geri yüklerken, hedef sahnenin ayrıntılarının kolayca batırılabileceği göz önünde bulundurulduğunda, hedef sahnenin kenar detay bilgilerini geliştirmek ve ters çevirme işlemi ile üst üste binen gürültüyü filtrelemek için, ters renkli görüntünün geri yüklenen görüntüyü geliştirmek için medyan filtreleme işlemine tabi tutulması gerekir. Kenar detayları.
Medyan filtreleme, filtre şablonundaki gri değerleri etkili bir şekilde sıralamak ve kayan şablonun çıktı değeri olarak medyan değerini seçmektir. F (x, y) ve g (x, y) sırasıyla görüntü gri değeri ve medyan filtre etkin çıktı değeri olsun. W bir kayan filtre şablonuysa, o zaman:
1.4 Görüntü onarımı
Atmosferik saçılma modelinin ifadesine göre, sis içermeyen görüntünün parlaklık bileşeni yayılma haritası kullanılarak geri yüklenebilir. Yayılma grafiği sıfıra eğilimli olduğundan, denklem (2) 'ye bir alt sınır t0 eklemek gerekir ve gerekli geri yükleme formülü:
1.5 Görüntü parlaklığı düzeltmesi
Buğu giderme restorasyonundan sonra görüntü kalitesi çok karanlık ve görüntü parlaklığının yeniden kalibre edilmesi gerekiyor. Video görüntüsü buğu giderme işlemi, yüksek gerçek zamanlı performans gerektirir ve parlaklık düzeltmesi, sistemin gerçek zamanlı performansını olabildiğince etkilememelidir.
Yukarıdaki fikirlere dayanarak, bu makale görüntü parlaklığını iyileştirmek için basit ve etkili bir yöntem önermektedir. Bu yöntem, geri yüklenen görüntü RGB'sine dayalı olarak görüntü parlaklığını gri değerine göre düzeltir. Spesifik yöntem aşağıdaki gibidir:
Bunlar arasında c, R, G ve B'nin üç renk kanalını temsil eder; p, düzeltme faktörüdür. P değeri ne kadar büyükse, ayarlamadan sonra görüntü kalitesi o kadar parlak olur. Bu makale, p = 50 seçilmesinin daha iyi düzeltme sonuçları elde edebileceği deneyler yoluyla bulundu.
2 FPGA'ya dayalı hızlı buğu çözme algoritmasının uygulanması
Bu sistemin genel çerçevesi Şekil 2'de gösterilmektedir.
Sistem, atmosferik ışık yoğunluğu A edinim modülü, yayılma haritası tahmin ve filtreleme modülü, görüntü yenileme modülü ve parlaklık düzeltme modülü olmak üzere 4 işlevsel modüle ayrılmıştır. Görüntü verisi işleme bir boru hattı çalışma modunu benimser, tüm görüntü verileri her bir modüle seri olarak girilir ve tek tek işlenir ve son olarak buğu çözme işleminden sonra çıkar. FIFO, modüller arasındaki verileri tamponlayarak daha koordineli hale getirmek için kullanılır.
2.1 Atmosferik ışık yoğunluğu toplama modülü
Önce parlaklık haritasından maksimum parlaklık değeri Ymax'ı elde edin ve ardından Ymax'ı ve ona karşılık gelen Cb ve Cr verilerini RGB verilerine dönüştürün; atmosferik ışık yoğunluğu A'yı elde etmek, sistemi ciddi şekilde etkileyen görüntü verilerinin bir karesini geçmeyi gerektirir Gerçek zamanlı, atmosferik ışık yoğunluğu A elde etmenin sistemin gerçek zamanlı performansı üzerindeki etkisini azaltmak için, karşılaştırıcı çalışırken bir sayaç kurulur. Sayaç 640 × 480'e kadar saydığında (video kaynağı, 640 × 480 renkli görüntüyü PAL formatını benimser) anlamına gelir. Görüntü verilerinin bir çerçevesi işlenir. Deneysel analiz yoluyla, sistem, her 20 kare görüntü verisi işlendiğinde atmosferik ışık yoğunluğu A'yı günceller ve daha iyi bir video buğu çözme etkisi elde edilebilir. Spesifik operasyon süreci Şekil 3'te gösterilmektedir.
2.2 Yayılma haritası tahmini ve filtreleme modülü
Medyan filtre modülü esas olarak iki bölüme ayrılmıştır: kayan şablon ve sıralama modülü. Sistem, medyan filtreleme için 3x3 kayan bir şablon seçer ve Şekil 4'te gösterildiği gibi kayan şablon işlevini uygulamak için IP çekirdeği altshift_taps kaydırma yazmacını çağırır. Bunların arasında, D1 ~ D9, sıralama modülü tarafından işlenecek görüntü parlaklık değerleridir.
D1 ~ D9'u boyuta göre sıraladıktan sonra, elde edilen ara değer, Şekil 5'te gösterildiği gibi mevcut kayan şablon medyan filtre çıktı değeri olarak kullanılır.
2.3 Görüntü restorasyon modülü
Bölme işlemi, Quartus II'deki LPM_DIVIDE bölücü tarafından gerçekleştirilir.
2.4 Parlaklık düzeltme modülü
Buğu çözme ve geri yükleme işleminden sonra, buğulanmayan görüntünün görüntü kalitesi karanlık olacak ve farklı sahneler nedeniyle farklı karanlık dereceleri meydana gelecektir, bu sadece buğu giderme etkisini azaltmakla kalmaz, aynı zamanda trafik izleme videolarından etkili bilgilerin alınmasını da ciddi şekilde etkiler. Bu nedenle, sistem, genel görüntü parlaklığını iyileştirmek için buğusuz görüntüyü geri yükledikten sonra görüntü parlaklığını yeniden düzeltmek için düzeltme formülünü (4) kullanır. Gri değeri hesaplamak için denklem (3) kullanılırken, FPGA kayan nokta hesaplamasını desteklemediğinden, denklem (3) gri değeri hesaplamak için denkleme (6) dönüştürülür:
3 Deneysel analiz
Bu sistem FPGA, ana kontrol çipi olarak Altera'nın Cyclone II serisi EP2C70F896C6'yı seçer, Verilog dil programlamasını kullanır, video kaynağı toplanan PAL standardı 640 × 480 renkli görüntüdür, çıkış VGA ekran modu 640 × 480 ve yenileme frekansı 60 Hz'dir. Sistem, buğu çözme algoritmasını optimize etme temelinde gerçek zamanlı performansı daha da geliştirir Sis çözme işlem hızı, gerçek zamanlı video işlemenin gereksinimlerini tam olarak karşılayan 60 kare / s'dir.
Tablo 1, FPGA kaynaklarını kullanan sistem deneyini göstermektedir Sistem tasarımı çok fazla FPGA kaynağı işgal etmemektedir ve donanım maliyeti çok düşüktür.
4. Sonuç
Bu belge, FPGA donanım platformuna dayalı trafik video görüntüleri için hızlı bir buğu çözme sistemi önermektedir.Sistem, iyi bir buğu çözme etkisine sahiptir ve sisin trafik izleme sistemi üzerindeki etkisini etkili bir şekilde azaltabilir. FPGA, güçlü hesaplama gücü ve zengin mantık kaynaklarının özelliklerine sahiptir.Bu nedenle, sistem, trafik plaka tanıma işleminin ön uçta işlenmesi gibi gerçek ihtiyaçlara göre diğer sistemlere bağlanabilir, sonraki plaka algılama ve tanıma için yüksek kaliteli ve net video kaynakları sağlar. Sistemin tasarımı basittir, maliyeti düşüktür ve iyi bir pratik değere sahiptir.
Referanslar
Zhan Xiang, Zhou Yan. Yerel varyansa dayalı sisli bir görüntü iyileştirme yöntemi Bilgisayar Uygulamaları, 2007, 27 (2): 510-512.
Lin Xiaojun, Liang Fengmei. Retinex'e dayalı bir görüntü defogging algoritması. Television Technology, 2013 (17): 047.
TAN R T. Tek bir görüntüden kötü hava koşullarında görünürlük IEEE Bilgisayarla Görme ve Örüntü Tanıma Konferansı Bildirileri Washington D.C., ABD: IEEE Press, 2008: 1-8.
RIZZI A, MARINI D, ROVATI L L, vd. Brownian yolu tabanlı Retinex algoritması kullanılarak bilinmeyen kromatik dominantların denetlenmemiş düzeltmeleri Journal of Electronic Imaging, 2003, 12 (3): 431-441.
HE K, SUN J, TANG X. Önceden karanlık kanal kullanılarak tek görüntü bulanıklığının giderilmesi IEEE Bilgisayarla Görme ve Örüntü Tanıma Konferansı Bildirileri, Miami, FL, ABD: IEEE Bilgisayar Topluluğu, 2009: 1956-1963.
HE K, SUN J, TANG X. Kılavuzlu görüntü filtreleme, Örüntü Analizi ve Makine Zekası üzerine IEEE İşlemleri, 2013, 35 (6): 1397-1409.
Guo Fan, Cai Zixing, Xie Bin, vb. Tek bir görüntünün otomatik olarak buğulanması için yeni bir algoritma Journal of Image and Graphics, 2011, 16 (4): 516-521.
Kritz (Amerika Birleşik Devletleri) Gelişmiş FPGA tasarım yapısı, uygulaması ve optimizasyonu Meng Zhanyuan, tercüme edildi Pekin: Makine Endüstrisi Basını, 2009.
Parnica (Amerika Birleşik Devletleri) Verilog HDL Dijital Tasarım ve Sentez Xia Yuwen tercüme Pekin: Electronics Industry Press, 2009.
yazar bilgileri:
Gao Quanming1, Sun Junxi2, Liu Guangwen1, Talent1, Chen Guangqiu1
(1. Elektronik Bilgi Mühendisliği Okulu, Changchun Bilim ve Teknoloji Üniversitesi, Changchun, Jilin 130022; 2. Bilgisayar Bilimi ve Bilgi Teknolojisi Okulu, Kuzeydoğu Normal Üniversitesi, Changchun, Jilin 130117)
