Evrişimli sinir ağına dayalı yangın video görüntüsü algılama
Erken yangın algılama sürecinde esas olarak alev algılama kullanılır.Alev esas olarak şu üç özelliğe sahiptir: hareket özellikleri, renk modeli ve kontur özellikleri Araştırma, alev tanımanın etkisini elde etmek için bu özellikleri kullanır. Renk tespiti, alev tespiti için kullanılan en eski yöntemdir ve günümüzde hala kullanılmaktadır. Alev tanımanın doğruluğunu artırmak için araştırmacılar, alev algılama için renk ve hareket özelliklerini keşfetmeye çalıştı. Chen T H ve diğerleri, alevin RGB ve HSI renk uzaylarında alevin dinamik davranışını ve düzensizlik tespitini inceledi. CELIK T ve DEMIREL H, YCbCr uzamsal kromatiklik bileşeninin özelliklerini ve parlaklık ayrımını tasarım sınıflandırma kurallarına kullanır.Bu yöntem alevleri daha yüksek doğrulukla algılayabilir, ancak daha küçük bir algılama mesafesi ve daha büyük bir yangın boyutu gerektirir. MUELLER M ve diğerleri alevin şeklini ve katı nesnelerin hareketini inceledi ve alevin hareket eden katı nesnelerden ayırt edilebilmesine dayalı olarak özellik vektörlerini akıllıca çıkarmak için optik akış bilgisi ve alev davranışını kullanmayı önerdi. FOGGIA P ve diğerleri, gerçek zamanlı alev algılama için çok uzmanlı bir çerçeve oluşturmak için şekil, renk ve hareket özelliklerini birleştirdi. Bu yöntem şu anda baskın ve en gelişmiş alev algılama algoritması olmasına rağmen, hala yüksek yanlış alarm oranı sorunu yaşamaktadır. Derin öğrenme teknolojisinin sürekli gelişmesiyle birlikte, özellikleri daha derin bir seviyeden otomatik olarak araştırmak ve analiz etmek için kendi kendine öğrenen sınıflandırıcılar tasarlamak, yangın video tespiti alanında yeni bir fikir haline geldi. FRIZZI S ve diğerleri alevi, dumanı veya ateşi sınıflandırabilen 9 katmanlı evrişimli bir sinir ağı tasarladı. Zhang Q ve diğerleri, kademeli evrişimli bir sinir ağı tasarladı. İlk seviye tam çerçeve görüntü sınıflandırması içindir ve ikinci seviye şüpheli alev alanlarının sınıflandırılması içindir. Bu iki seviyeli yapı, yangın algılamayı daha rafine hale getirir. Fu Tianju ve diğerleri, orman yangını tanıma için 12 katmanlı bir evrişimli sinir ağı tasarladılar Ağ eğitim sürecinde daha az eğitim örneği olması durumunu hedefleyerek, daha iyi bir sınıflandırma etkisi elde etmek için rastgele başlatma parametrelerini değiştirme yöntemi kullanılmıştır.
Yangın algılamanın doğruluğunu daha da iyileştirmek ve yangın yerelleştirmesini gerçekleştirmek için bu makale, yorucu ve zaman alıcı özellik çıkarma sürecini önleyen ve orijinal yangın verilerini otomatik olarak çıkaran etkili bir evrişimli sinir ağı alev algılama yapısı önermek için derin öğrenme yöntemini kullanır. Öğrenmenin zengin özellikleri. Bu makale, derin evrişimli sinir ağlarının ağırlıklarını eğitmek ve ince ayar yapmak için göç öğrenme fikrini kullanır ve yangın algılama ve yerelleştirmeyi başarıyla gerçekleştirir. Alevlerin varlığını veya yokluğunu basitçe yargılama yöntemiyle karşılaştırıldığında, bu makaledeki yöntem yangının yerini fark eder ve daha sonraki yangınla mücadelenin yeri için uygun koşullar sağlar.Yangın tespitinde benzer yangın sahnelerinin parazitlenmesi sorununu hedefleyerek, tanımlama işlemi sırasında yangın hareketi özelliklerinin kullanılması önerilmiştir. Yangın videosunun ön ve arka çerçevelerinin yangın koordinat pozisyonundaki değişiklikleri birleştirerek, ışıkların ve benzeri yangın sahnelerinin algılamadaki parazitlerini ortadan kaldırır.
1 Yangın video görüntüsü algılama işlemi
Evrişimli sinir ağına dayalı yangın video tespiti, temel olarak iki ana bölüme ayrılır: model eğitimi ve model değerlendirme. Öncelikle model eğitimi için çok sayıda yangın resmi toplayın, daha derin yangın özelliği ifadeleri elde etmek için derin evrişimli sinir ağını kullanın ve çok sayıda yangın algılama modeli elde edin; ardından en uygun modeli bulmak için elde edilen modelleri değerlendirmek için test veri setini kullanın; son olarak En uygun model, yeni girilen fotoğrafların yangın olup olmadığını değerlendirmek için kullanılabilir. Evrişimsel sinir ağına dayalı yangın video görüntüsü algılamanın akış şeması Şekil 1'de gösterilmektedir.
1.1 Evrişimli Sinir Ağı
CNN (Convolutional Neural Networks), biyolojik görsel algılama mekanizmalarından esinlenen bir derin öğrenme ağı yapısıdır. İlk derin öğrenme ağı LeNet, el yazısıyla yazılan rakam sınıflandırması için kullanıldığından, eylem tanıma, poz tahmini, görüntü sınıflandırma, görsel belirginlik algılama, nesne izleme, görüntü bölümleme dahil olmak üzere çeşitli sorunları çözme konusunda önemli bir yetenek göstermiştir. Sahne etiketleme, nesne konumlandırma. Tipik bir CNN yapısı Şekil 2'de gösterilmektedir.
1.2 Yangın video görüntüsü algılama derin sinir ağı yapısı
Bu yazıda, yangın hedefi tespiti SSD (Single Shot MultiBox Detector) fikrinden esinlenmiştir.Sigmod aktivasyon fonksiyonu, yangın tanımanın iki sınıflandırma problemine uyum sağlamak için orijinal ağ softmax'ın aktivasyon fonksiyonunun yerini almak için kullanılır ve gerekli yangın algılama modeli eğitim yoluyla elde edilir. Bu makaledeki algoritma konumlandırma yöntemi, kayan pencere yönteminden farklıdır.Görüntü algılamayı gerçekleştirmek için tek bir derin sinir ağı kullanır Algoritma, konumlandırma için orta katman özellik haritasının pikselleri üzerinde farklı ölçek ve boyutlara dayalı bir dizi varsayılan çerçeve oluşturur. Tahmin sürecinde, ağ, her bir mevcut hedef kategori için puanlar üretecek ve aynı zamanda nesnenin şeklini daha doğru bir şekilde eşleştirmek için konumlandırma ağırlıklarına dayalı konumlandırma kutuları üretecektir. Buna ek olarak, ağ, çeşitli boyutlardaki nesneleri işlemek için birden çok özellik haritasından farklı çözünürlüklere sahip tahminleri birleştirir. Bu makaledeki algoritmanın temel avantajı, yangınların zamanında tespiti için uygun koşullar sağlayan, doğruluktan ödün vermeden oldukça hızlı bir işleme hızına sahip olmasıdır.
Bu makalede yer alan yangın video görüntüsünün derin sinir ağı yapısı Şekil 3'te gösterilmiştir. Giriş görüntüsü 3 kanallı ve 300 × 300 genişliğinde ve yüksekliğinde bir yangın görüntüsüdür. Ana ağ yapısı, iki evrişimli katmanın tamamen bağlı katmanlardan değiştirildiği ve daha hassas konumlandırma için özellik haritalarının elde edilmesi için 4 evrişimli katmanın eklendiği VGG16'dır. Bu ağ algılama yangını iki bölüme ayrılmıştır.Bir yandan giriş resminin kategorisini ve kategoriye ait puanı tahmin etmektir.Diğer yandan, bir dizi varsayılan çerçevenin varsayılan çerçeve ofsetini tahmin etmek için özellik haritasında küçük bir evrişim çekirdeği kullanılır. Tutar. Şekil 3'te gösterildiği gibi yüksek hassasiyetli algılama sonuçları elde etmek için, nesnenin ofsetini ve özellik haritalarının farklı seviyelerindeki varsayılan çerçeveyi tahmin etmek için, algılama ve sınıflandırıcı 1 giriş özelliği harita boyutu 38 × 38'dir ve her özellik ilkeldir. 4 varsayılan kutu vardır, bu nedenle varsayılan kutuların sayısı 38 × 38 × 4'tür ve varsayılan kutuların geri kalanı benzetme yoluyla çıkarılabilir. Son olarak, maksimum olmayan bastırma NMS (Maxinum Olmayan Bastırma) gereksiz parazit maddelerini ortadan kaldırdıktan sonra, son tespit pozisyonu elde edilir.
Eğitim sürecinde çok sayıda model farklı hiperparametreler ile eğitilir.Bu parametreler toplanan eğitim verilerine, verilerin kalitesine ve eğitim sürecinde sonuçların analizine bağlıdır.Öğrenme hızı ve eşik gibi hiperparametreler ayarlanarak model geliştirilir. , Ve sonunda modeli en yüksek doğrulukla kullanın. Geçiş öğrenme stratejisi eğitim sürecinde kullanılır. Ön eğitim modeli büyük ölçekli bir veri kümesinden eğitildiği için, her katmanın ağırlığı temel olarak görüntü nesnesinin özellik seçimini yansıtır, bu nedenle ince ayar stratejisi aracılığıyla ön eğitim modeli, doğru olan başlatma için kullanılır Oran daha hızlı yükselecek ve daha iyi sonuçlar alacaktır. Deneyde, nihai model, iç ve dış alevi tespit etmede hatırı sayılır doğruluk gösteren, 100.000 kez ince ayar yinelemeli işlem çalıştırılarak elde edildi.
2 Tanıma sonuçlarının tartışılması ve analizi
2.1 Deneysel koşullar ve veri üretimi
Bu makaledeki deneysel işletim sistemi Ubuntu16.04 (Linux), GPU 1080Ti, bellek 8 GB, CPU i5-4590 ve kullanılan veri seti internette büyük araştırma kurumları tarafından yayınlanan videolardan alınmıştır. Bir ateş resmi veri seti oluşturmak için videodan gerekli resimleri durdurun ve ardından çerçeveyi çerçevelemek için labelimg çerçeve yazılımını kullanın, bir xml dosyası oluşturun, eğitim setini oluşturmak için işaretli resimlerin% 90'ını rastgele seçin ve kalan% 10'u test setinden seçin , Eğitim seti ve test setini Caffe çerçevesi tarafından desteklenen lmdb formatına dönüştürün. Dönüştürme işlemi sırasında resmin genişliği ve yüksekliği 300 × 300 olarak ayarlanarak veri iyileştirme yöntemleri eklenmiş, yansıtma ve çevirme gibi veri genişletme işlemleri gerçekleştirilmiş, ardından ön işleme ve normalleştirme yapılmıştır. Slover parametre ayarları: ağırlık azalması 0.0005, ilk öğrenme oranı 0.0001, öğrenme hızı değişim oranı 0.1, ağ dürtüsü 0.9, ağ optimizasyon yöntemi SGD, öğrenme oranı zayıflama stratejisi çok adımlıdır.
2.2 Eğitim eğrisi ve model performans göstergelerinin karşılaştırmalı analizi
Eğitim veri seti üzerinde eğitim gerçekleştirin, numunenin kayıp fonksiyonu (kayıp) değerini kaydedin ve sırasıyla Şekil 4 ve Şekil 5'te gösterildiği gibi eğitim süreci sırasında toplam kayıp eğrisini ve konumlandırma kaybı eğrisini çıkarın. Yinelemelerin sayısı arttıkça, toplam ağ eğitimi kaybı (train_loss) ve konumlandırma kaybı (mbox_loss), 60.000 yinelemede, sürekli bir düşüş göstererek ve eğitim gereksinimlerini karşılayan ve öğrenme hedefine ulaşabilen kararlı bir duruma yaklaşarak kademeli olarak birleşir. Gelecekte istikrarlı olma eğilimindedir ve eğitim kaybı fonksiyonu eğrisi Şekil 4 ve Şekil 5'te gösterilmektedir. Bu yazıda algoritmanın kayıp fonksiyonunun hesaplanmasında aşağıdaki formül kullanılmaktadır:
Bunlar arasında N, eşleşen varsayılan kutuların sayısıdır, x eşleşen kutunun belirli bir kategoriye ait olup olmadığını gösterir ve değer {0, 1}; l tahmin kutusu, g gerçek değerdir; c seçilen hedef belirli bir kategoriye aittir Güven.
Yangının tanınması iki sınıflı bir sorundur. Gerçek kategorisi ile öğrencinin tahmin kategorisinin kombinasyonuna göre, örnek dört duruma bölünebilir: doğru, yanlış pozitif, doğru negatif ve yanlış negatif. Sırasıyla TP, FP, TN ve FN olsun Karşılık gelen örneklerin sayısını ve modelin yangını tahmin edip etmediğini değerlendirmek için kafa karışıklığı matrisi Tablo 1'de gösterilmiştir.
Yanlış bildirim oranı:
Yanlış alarm oranı:
Hassaslık oranı:
Geri çağırma oranı:
Doğruluk:
Bu yazıda modelin performansını test etmek için 100 yangın resmi ve 77 ateşsiz resim olmak üzere toplam 177 resim ile test veri seti daha da zenginleştirilmiştir Algılama modelinin bu veri seti üzerindeki performansı Tablo 2'de gösterilmiştir.
2.3 Farklı senaryolarda yangın resimlerinin deneysel sonuçları
Şekil 6'da gösterildiği gibi, farklı sahnelerin ateş resimlerini ve ateşsiz resimlerini seçin. Yangın resimleri için, bu makaledeki model, tanıma ve konumlandırmayı başarıyla gerçekleştirmiştir; benzer yangın resimleri için, bu makaledeki model başarılı bir şekilde yangın dışı resimler olarak değerlendirilmiştir.Bu görüntülerin olasılık değerleri Tablo 3'te gösterilmiştir.
2.4 Alev hareketi özelliklerini kullanarak parazit önleyici deney
Çok sayıda yangın veri setiyle test etme sürecinde, Şekil 7 (f) 'de gösterildiği gibi bazı parlak ışıklı resimlerin tanımayı engelleyeceği bulundu. Bu soruna yanıt olarak, bu makale neredeyse sabit parazit kaynaklarını ayırt etmek için videonun ön ve arka çerçeveleri arasındaki konumsal mesafeyi d hesaplamak için yangının hareket özelliklerini kullanır. Yalnızca konum koordinatı 0 olmadığında ve iki çerçevenin önceki ve sonraki konum koordinat mesafesi 0 olmadığında yangın olarak değerlendirilebilir.Bu yöntem, statik yangın sahnelerinin yangın algılama üzerindeki etkisini akıllıca hariç tutar. Tablo 4'te (xmin, ymin) ve (xmax, ymax) dikdörtgen kutunun sırasıyla sol üst köşesinin ve sağ alt köşesinin koordinat değerleridir. D'nin hesaplama formülü:
Farklı verilerin test edilmesinin sonuçları Tablo 4'te gösterilmektedir. Bunlar arasında, Şekil 7 (a), Şekil 7 (b), Şekil 7 (c), ateşli 3 ardışık karenin çıktı konum koordinatlarıdır ve iki kare arasındaki mesafeyi önce ve sonra hesaplar. , Sırasıyla 2.41 piksel ve 13.15 piksel. Parazit resmi Şekil 7 (f) aynı zamanda karşılık gelen konum koordinatlarını ve önceki ve sonraki iki çerçeve arasındaki mesafeyi de verir.İki çerçeve arasındaki mesafe, Şekil 7 (d) ve Şekil 7 (e) 'de gösterilmektedir. Yangın olmayan iki resim, videoda hareket eden insanlardır. İki karenin ateşsiz resimler olduğu ve hiçbir konumlandırma çerçevesi oluşturulmadığı doğrudan yargılanabilir, bu nedenle koordinat değeri yoktur ve mesafe varsayılan değer olan 0'dır.
3 Sonuç
Akıllı izlemenin işleme kapasitesinin iyileştirilmesiyle, izleme sistemindeki yangının tanımlanması, yangının neden olduğu kayıpları kontrol etmek için olumlu bir anlama sahiptir.Bu makale, hem doğruluğu hem de hesaplama karmaşıklığını hesaba katan derin öğrenmeli bir yangın algılama modeli önermektedir. Model, yangın tanımlama problemi için geliştirilmiş SSD algoritmasından esinlenmiştir. Deneyler, bu makaledeki tanıma modelinin yangın resimlerinin tanınmasını ve konumlandırılmasını gerçekleştirebileceğini ve farklı yangın sahneleri için iyi bir tanıma etkisine ve iyi bir genelleme yeteneğine sahip olduğunu göstermektedir. Tanıma işlemi sırasında benzer yangın sahnelerinin yangın algılamasına müdahale etmesi sorununu hedefleyen bu makale, yangının hareket özelliklerini kullanarak yangın videosundan önce ve sonra yangın koordinat pozisyonundaki değişiklikleri birleştirerek ışıkların ve diğer statik yangın sahnelerinin parazitini ortadan kaldıran bir yöntem önermektedir. Sonraki araştırmalarda, mevcut alev algılama modeli, duman ve alevleri algılamak ve daha karmaşık durumlarla başa çıkmak için daha da ayarlanabilir.
Referanslar
CHEN T H, WU P H, CHIOU Y C. Görüntü işlemeye dayalı erken yangın algılama yöntemi Uluslararası Görüntü İşleme Konferansı IEEE, 2005, 3: 1707-1710.
ÇELİK T, DEMİREL H. Jenerik bir renk modeli kullanarak video sekanslarında yangın algılama Yangın Güvenliği, 2009, 44 (2): 147-158.
MUELLER M, KARASEV P, KOLESOV I, et al.Videolarda alev tespiti için optik akış tahmini. IEEE Trans. Image Process, 2013, 22 (7): 2786-2797.
FOGGIA P, SAGGESE A, VENTO M. Renk, şekil ve harekete dayalı bir uzman kombinasyonu kullanarak video gözetim uygulamaları için gerçek zamanlı yangın algılama. IEEE Trans. On Circuits and Syst. For Video Technol., 2015, 25 ( 9): 1545-1556.
FRIZZI S, KAABI R, BOUCHOUICHA M, ve diğerleri.Video yangın ve duman algılama için evrişimli sinir ağı.Industrial Electtonics Society, IECON 2016 Conference of the IEEE.IEEE, 2016: 877-882.
ZHANG Q, XU J, XU L ve diğerleri.Orman yangını tespiti için derin evrişimli sinir ağları. Uluslararası Yönetim, Eğitim ve Bilgi Teknolojisi Uygulaması Forumu, 2016.
Fu Tianju, Zheng Chang'e, Tian Ye ve diğerleri.Karmaşık arka plan altında derin evrişimsel sinir ağına dayalı orman yangını tanıma Bilgisayar ve Modernizasyon, 2016 (3): 52-57.
SHAO L, LIU L, LI X. Çok amaçlı genetik programlama yoluyla görüntü sınıflandırması için özellik öğrenimi.Nöral Ağda IEEE Trans. Ve Öğrenme., 2014, 25 (7): 1359-1371.
Lin Fuchun, Liu Yuhong, Zhang Dafeng, ve diğerleri.Derin Öğrenmeye Dayalı Akıllı Sokak Tabelası Tanıma Sisteminin Tasarımı.Elektronik Teknoloji Uygulaması, 2018, 44 (6): 68-71.
Ma Zhinan, Han Yunjie, Peng Linyu ve diğerleri.Derin evrişimli sinir ağlarına dayalı budama optimizasyonu.Elektronik Teknoloji Uygulaması, 2018, 44 (12): 119-122, 126.
Liu Wei, ANGUELOV D, ERHAN D. SSD: tek atışlı çoklu kutu dedektörü Computer Vision-ECCV, 2016, 2016, 99 (5): 21-37.
Zhou Zhihua.Makine öğrenimi Pekin: Tsinghua University Press, 2016.
yazar bilgileri:
Zhang Jie, Sui Yang, Li Qiang, Li Xiang, Dong Wei
(Elektronik Bilimi ve Mühendisliği Okulu, Jilin Üniversitesi, Changchun, Jilin 130012)
