"Çin Güvenliği" | Güvenlik Ağı Kamerasında 3D Vision Uygulaması
Son zamanlarda "Çin Güvenliği", Lu Shenshi'yi yapay zeka kameraları alanında bir makale sunması için davet etti. Üç boyutlu makine vizyonunda lider olan Lu Shenshi'nin kıdemli algoritma mühendisi Dr. Cui Zhe, üç boyutlu makine vizyonunun teknik özelliklerini ve uygulama modlarını analiz etti ve cevaplar verdi. "China Security" dergisinde yayınlanan "Güvenlik Ağı Kameralarında 3D Vizyon Uygulaması" başlıklı bildiri yayınlandı. China Security'nin, yetkili ve doğru düzenlemeler ve politikalar, standart bilgiler ve endüstri bilgileri sağlayan, yerel güvenlik endüstrisindeki en yetkili dergi olduğu ve kapsamlı ve ayrıntılı bir güvenlik ürünleri, güvenlik tüccarları ve güvenlik çözümleri kitaplığına sahip olduğu bildirildi.
Şu anda, güvenlik alanındaki video gözetimi, yayalardan yapılandırılmış bilgileri çıkarmak için esas olarak iki boyutlu resimler ve video bilgileri kullanır.Ancak, iki boyutlu bilgi yalnızca görüntüleme düzlemindeki üç boyutlu gerçek bir sahnenin bir projeksiyonudur, bu nedenle gerçek gözetim sahnesini geri yüklemek çok zordur. Şu anda, mevcut güvenlik ağı kamera teknolojisi ve en son yüksek hassasiyetli üç boyutlu görüntüleme teknolojisinin entegrasyonu sayesinde, sahnenin renk ve kontur bilgilerinin elde edilmesinin yanı sıra, önemli derinlik bilgileri de elde edilebilmektedir. Derinlik bilgisi yardımıyla, mevcut iki boyutlu görüntüleme teknolojisinin darboğazını aşabilir, olay yerindeki üç boyutlu insan vücudu karakteristik bilgilerini etkin bir şekilde toplayabilir ve güvenlik izleme sistemi için daha doğru bilgiler sağlayabilir.
Arka plan tanıtımı
Terörle mücadele ve istikrar için kilit alanların kontrolünün iş ihtiyaçlarının karşılanması, kilit personelin belirlenmesi ve takibi ile üç boyutlu sosyal güvenlik önleme ve kontrolü için, üç boyutlu izleme sahnesinden geçen kişilerin yapılandırılmış bilgilerinin (cinsiyet, yaş, boy, vücut tipi, etnik köken vb.) Tam olarak elde edilmesi gerekmektedir. . Şu anda, güvenlik gözetim pazarındaki ana video yapılandırılmış hizmetler, geleneksel iki boyutlu video akışlarına dayanmaktadır.Bunun nedeni, geleneksel güvenlik ağı kameralarının yalnızca iki boyutlu sahne verisi sağlayabilmesidir, ancak iki boyutlu bilginin, görüntü düzleminde yalnızca üç boyutlu gerçek sahneler olmasıdır. Videonun projeksiyonu, iki boyutlu bilgiye dayalı video yapılandırılmış hizmetlerin zayıf sağlamlığına neden olur.Video analizi sonuçları, tıkanma ve aydınlatma gibi sorunlardan etkilenerek, yüksek yanlış tanıma ve yanlış reddetme oranları gibi birçok soruna neden olur.
İki boyutlu video bilgileriyle karşılaştırıldığında, üç boyutlu video bilgileri yalnızca geleneksel renk kontur bilgisini değil, aynı zamanda gerçek sahnenin derinlik bilgisini de sağlayabilir.Derin verileri sayesinde, aktif hedef insan vücudunun boyutunu, hareket yönünü ve hızını hesaplayabiliriz ve Hedef kişinin boyunu, vücut şeklini ve yürüme özelliklerini etkili bir şekilde çıkarmak için hedef izlemede üst üste binme problemini ortadan kaldırmaya odaklanın. Aynı zamanda renk bilgisi ile derinlik verisi arasındaki tamamlayıcı avantajlardan tam olarak faydalanabilir, mevcut iki boyutlu video yapılandırma teknolojisinin sınırlarını aşabilir, insan vücudunun yüksekliğini, insan vücudunun üç boyutlu vücut görünümünü, izleme sahnesinde hedef insan vücudunun üç boyutlu ana hatlarını ve hedef insan vücudunu doğru bir şekilde elde edebilir. Videonun ön ve arka konum ilişkisi gibi bilgiler ve ardından kullanıcılara daha doğru video yapılandırılmış bilgiler sağlar.
3B görüntüleme alanında, genel derinlik kameraları temel olarak Microsoft Corporation tarafından geliştirilen Kinect cihazı, Intel Corporation tarafından geliştirilen Realsense derinlik kamerası ve Apple Corporation'ın yeni piyasaya sürülen akıllı telefonlarıyla donatılmış 3B yakalama cihazı gibi yapılandırılmış ışık ilkelerini kullanır. Şu anda, iç ve dış pazarlarda 3B edinim teknolojisi esas olarak somatosensoriyel, artırılmış gerçeklik, tüketici elektroniği vb. Alanlarda kullanılmaktadır. Özellikle güvenlik senaryolarında kullanılmak üzere yüksek hassasiyetli 3B gözetim kamera ürünü yoktur. Asıl neden, mevcut derinlik kamerasının olmasıdır. Doğruluk, uygulama senaryoları ve diğer yönler henüz güvenlik izleme gereksinimlerine ulaşmamıştır. Bu nedenle, aynı anda derinlik bilgisi ve renk bilgisi elde edebilen, sahneleri izlemeye uygun bir güvenlik kamerasının geliştirilmesi, 3B makine görüşü alanında önemli araştırma konularından biri haline geldi.
3D ağ güvenlik kamerası
Lu Shenshi, akıllı güvenlikteki mevcut acil 3D veri ihtiyacını karşılamak için, güvenlik ortamlarına uygun bir 3D ağ kamerasını başarıyla geliştirdi.Kamera, trenler gibi trenlerde kullanılabilen 2D renkli ağ kamerası ve yapılandırılmış ışık derinliği kamera teknolojisini birleştiriyor. İstasyonlar, havalimanları, metro istasyonları gibi karmaşık iç mekan aydınlatma ortamında iletişim personelinin iki boyutlu renk ve üç boyutlu şekil bilgilerini elde edin. Kamera sistemi şu şekilde oluşur:
Şekil 1 Üç boyutlu güvenlik ağı kamera sistemi bileşimi
Kamera aşağıdaki özelliklere sahiptir:
Yüksek hassasiyetli üç boyutlu bilgi
Lu Shenshi, yakınlaştırma lensini ve özellik noktası projektörünü birleştirerek, çeşitli mesafelerde yeterince yoğun özellikleri yansıtabilen bir özellik noktası projeksiyon sistemi tasarladı. Geleneksel özellik noktası projektöründe, ışının sapma açısı ve özellik noktalarının sayısı sabittir.Uzun bir mesafe olması durumunda, özellik noktaları sahnede eşit olarak dağıtılacak ve bu da ilgi alanında insan yüzü gibi birkaç özellik noktası ile sonuçlanacaktır. Sonuç olarak, bu alanlardaki nokta bulutları seyrek ve düşük hassasiyetlidir. Bu yakınlaştırma projeksiyon sistemi ile, yansıtılan ışının sapma açısı kontrol edilebilir, böylece özellik noktalarının yoğunluğu kontrol edilebilir.Uzun bir mesafe olması durumunda, yoğun, yüksek hassasiyetli üç boyutlu hedefler elde etmek için tüm özellik noktaları ilgi alanına yansıtılabilir. bilgi.
Üç boyutlu görüntüleme, ortam aydınlatmasına karşı oldukça sağlamdır
İlk olarak, üç boyutlu görüntüleme sistemi, güneş ışığının ve ortamın kaçak ışığının etkilerini bastırmak için 940 nm dalga boyunda bir ışık kaynağı ve bir kızılötesi dar bant filtresi kullanıyor. Genel olarak, iç ortamdaki kaçak ışığın çoğu görünür ışıktır ve 940nm, güneş ışığının zirvesi ve vadisidir.Bu nedenle, 940nm dalga boylu ışık kaynağı ve kızılötesi dar bant filtresinin kombinasyonu, ortamdaki kaçak ışık ve güneş ışığının çoğunu filtreleyebilir. Çeşitli karmaşık aydınlatma ortamlarında 3B görüntüleme sisteminin görüntüleme performansını sağlamak için;
İkincisi, 3D görüntüleme sistemi, bir dizi renkli lens ve kızılötesi lens aracılığıyla binoküler sistemi ve yapılandırılmış ışık sistemini entegre eder.Derinlik kurtarma algoritmasında Lu Shenshi, aşırı ışıkta bile binoküler algoritma ve yapılandırılmış ışık algoritmasını entegre eder. Koşullar altında (öğlen güneşi gibi), özellik noktası projeksiyon sistemi tarafından yansıtılan özellik noktaları artık kızılötesi lens tarafından yakalanamaz ve hedef sahnenin üç boyutlu verileri de binoküler görüntüleme sistemi ile elde edilebilir.
Düşük veri iletim maliyeti
İki boyutlu güvenlik ağı kameralarının mevcut veri aktarım teknolojisini entegre eder.H264 kodlama çerçevesi altında Lu Shenshi, derinlik haritasını önceden işleyerek H264 kodlamasına dayalı üç boyutlu verilerin düşük kayıplı aktarım teknolojisini gerçekleştirir.
3B derinlik haritası 2B görüntüden farklıdır.Derin haritasındaki her piksel değeri, hedef ile kamera arasındaki geometrik mesafeyi temsil eder.Bu nedenle, derinlik haritası, iki nesne arasındaki sınır gibi görüntü aktarım işlemi sırasında yüksek doğruluk gerektirir. İki boyutlu görüntüler belirli sınır örtüşme ve bulanıklığı tolere edebilir, ancak derinlik haritaları için sınır örtüşme ve bulanıklaştırmaya kesinlikle izin verilmez. Bu nedenle Lu Shenshi, veri aktarım sürecinin aslına uygunluğunu iyileştirmek için iki ön işleme yöntemi tasarladı:
Öncelikle, derinlik haritasının ön planını ve arka planını ayırın, aynı derinlik aralığındaki hedefleri tek bir kategoride sınıflandırın ve ardından sınırdaki piksel değeri adım fenomenini ortadan kaldırmak ve iletim sürecinden kaçınmak için ön plan görüntüsünü doldurma yöntemi ile doldurun. Hata kodu
İkinci olarak, derinlik haritasının her pikseline bir "veri kontrol biti" ekleyin Kullanıcının üst bilgisayarının kod çözme işlemi sırasında, veri kontrol biti kontrol edilir ve kontrolde başarısız olan pikseller, kullanıcının verileri elde ettiğinden emin olmak için kaldırılır. Doğruluk.
Son zamanlarda "Çin Güvenliği", Lu Shenshi'yi yapay zeka kameraları alanında bir makale sunması için davet etti. Üç boyutlu makine vizyonunda lider olan Lu Shenshi'nin kıdemli algoritma mühendisi Dr. Cui Zhe, üç boyutlu makine vizyonunun teknik özelliklerini ve uygulama modlarını analiz etti ve cevaplar verdi. "China Security" dergisinde yayınlanan "Güvenlik Ağı Kameralarında 3D Vizyon Uygulaması" başlıklı bildiri yayınlandı. China Security'nin, yetkili ve doğru düzenlemeler ve politikalar, standart bilgiler ve endüstri bilgileri sağlayan, yerel güvenlik endüstrisindeki en yetkili dergi olduğu ve kapsamlı ve ayrıntılı bir güvenlik ürünleri, güvenlik tüccarları ve güvenlik çözümleri kitaplığına sahip olduğu bildirildi.
Şu anda, güvenlik alanındaki video gözetimi, yayalardan yapılandırılmış bilgileri çıkarmak için esas olarak iki boyutlu resimler ve video bilgileri kullanır.Ancak, iki boyutlu bilgi yalnızca görüntüleme düzlemindeki üç boyutlu gerçek bir sahnenin bir projeksiyonudur, bu nedenle gerçek gözetim sahnesini geri yüklemek çok zordur. Şu anda, mevcut güvenlik ağı kamera teknolojisi ve en son yüksek hassasiyetli üç boyutlu görüntüleme teknolojisinin entegrasyonu sayesinde, sahnenin renk ve kontur bilgilerinin elde edilmesinin yanı sıra, önemli derinlik bilgileri de elde edilebilmektedir. Derinlik bilgisi yardımıyla, mevcut iki boyutlu görüntüleme teknolojisinin darboğazını aşabilir, olay yerindeki üç boyutlu insan vücudu karakteristik bilgilerini etkin bir şekilde toplayabilir ve güvenlik izleme sistemi için daha doğru bilgiler sağlayabilir.
Arka plan tanıtımı
Terörle mücadele ve istikrar için kilit alanların kontrolünün iş ihtiyaçlarının karşılanması, kilit personelin belirlenmesi ve takibi ile üç boyutlu sosyal güvenlik önleme ve kontrolü için, üç boyutlu izleme sahnesinden geçen kişilerin yapılandırılmış bilgilerinin (cinsiyet, yaş, boy, vücut tipi, etnik köken vb.) Tam olarak elde edilmesi gerekmektedir. . Şu anda, güvenlik gözetim pazarındaki ana video yapılandırılmış hizmetler, geleneksel iki boyutlu video akışlarına dayanmaktadır.Bunun nedeni, geleneksel güvenlik ağı kameralarının yalnızca iki boyutlu sahne verisi sağlayabilmesidir, ancak iki boyutlu bilginin, görüntü düzleminde yalnızca üç boyutlu gerçek sahneler olmasıdır. Videonun projeksiyonu, iki boyutlu bilgiye dayalı video yapılandırılmış hizmetlerin zayıf sağlamlığına neden olur.Video analizi sonuçları, tıkanma ve aydınlatma gibi sorunlardan etkilenerek, yüksek yanlış tanıma ve yanlış reddetme oranları gibi birçok soruna neden olur.
İki boyutlu video bilgileriyle karşılaştırıldığında, üç boyutlu video bilgileri yalnızca geleneksel renk kontur bilgisini değil, aynı zamanda gerçek sahnenin derinlik bilgisini de sağlayabilir.Derin verileri sayesinde, aktif hedef insan vücudunun boyutunu, hareket yönünü ve hızını hesaplayabiliriz ve Hedef kişinin boyunu, vücut şeklini ve yürüme özelliklerini etkili bir şekilde çıkarmak için hedef izlemede üst üste binme problemini ortadan kaldırmaya odaklanın. Aynı zamanda renk bilgisi ile derinlik verisi arasındaki tamamlayıcı avantajlardan tam olarak faydalanabilir, mevcut iki boyutlu video yapılandırma teknolojisinin sınırlarını aşabilir, insan vücudunun yüksekliğini, insan vücudunun üç boyutlu vücut görünümünü, izleme sahnesinde hedef insan vücudunun üç boyutlu ana hatlarını ve hedef insan vücudunu doğru bir şekilde elde edebilir. Videonun ön ve arka konum ilişkisi gibi bilgiler ve ardından kullanıcılara daha doğru video yapılandırılmış bilgiler sağlar.
3B görüntüleme alanında, genel derinlik kameraları temel olarak Microsoft Corporation tarafından geliştirilen Kinect cihazı, Intel Corporation tarafından geliştirilen Realsense derinlik kamerası ve Apple Corporation'ın yeni piyasaya sürülen akıllı telefonlarıyla donatılmış 3B yakalama cihazı gibi yapılandırılmış ışık ilkelerini kullanır. Şu anda, iç ve dış pazarlarda 3B edinim teknolojisi esas olarak somatosensoriyel, artırılmış gerçeklik, tüketici elektroniği vb. Alanlarda kullanılmaktadır. Özellikle güvenlik senaryolarında kullanılmak üzere yüksek hassasiyetli 3B gözetim kamera ürünü yoktur. Asıl neden, mevcut derinlik kamerasının olmasıdır. Doğruluk, uygulama senaryoları ve diğer yönler henüz güvenlik izleme gereksinimlerine ulaşmamıştır. Bu nedenle, aynı anda derinlik bilgisi ve renk bilgisi elde edebilen, sahneleri izlemeye uygun bir güvenlik kamerasının geliştirilmesi, 3B makine görüşü alanında önemli araştırma konularından biri haline geldi.
3D ağ güvenlik kamerası
Lu Shenshi, akıllı güvenlikteki mevcut acil 3D veri ihtiyacını karşılamak için, güvenlik ortamlarına uygun bir 3D ağ kamerasını başarıyla geliştirdi.Kamera, trenler gibi trenlerde kullanılabilen 2D renkli ağ kamerası ve yapılandırılmış ışık derinliği kamera teknolojisini birleştiriyor. İstasyonlar, havalimanları, metro istasyonları gibi karmaşık iç mekan aydınlatma ortamında iletişim personelinin iki boyutlu renk ve üç boyutlu şekil bilgilerini elde edin. Kamera sistemi şu şekilde oluşur:
Şekil 1 Üç boyutlu güvenlik ağı kamera sistemi bileşimi
Kamera aşağıdaki özelliklere sahiptir:
Yüksek hassasiyetli üç boyutlu bilgi
Lu Shenshi, yakınlaştırma lensini ve özellik noktası projektörünü birleştirerek, çeşitli mesafelerde yeterince yoğun özellikleri yansıtabilen bir özellik noktası projeksiyon sistemi tasarladı. Geleneksel özellik noktası projektöründe, ışının sapma açısı ve özellik noktalarının sayısı sabittir.Uzun bir mesafe olması durumunda, özellik noktaları sahnede eşit olarak dağıtılacak ve bu da ilgi alanında insan yüzü gibi birkaç özellik noktası ile sonuçlanacaktır. Sonuç olarak, bu alanlardaki nokta bulutları seyrek ve düşük hassasiyetlidir. Bu yakınlaştırma projeksiyon sistemi ile, yansıtılan ışının sapma açısı kontrol edilebilir, böylece özellik noktalarının yoğunluğu kontrol edilebilir.Uzun bir mesafe olması durumunda, yoğun, yüksek hassasiyetli üç boyutlu hedefler elde etmek için tüm özellik noktaları ilgi alanına yansıtılabilir. bilgi.
Üç boyutlu görüntüleme, ortam aydınlatmasına karşı oldukça sağlamdır
İlk olarak, üç boyutlu görüntüleme sistemi, güneş ışığının ve ortamın kaçak ışığının etkisini bastırmak için 940 nm dalga boyunda bir ışık kaynağı ve bir kızılötesi dar bant filtresi kullanıyor. Genel olarak, iç ortamdaki kaçak ışığın çoğu görünür ışıktır ve 940nm, güneş ışığının zirvesi ve vadisidir.Bu nedenle, 940nm dalga boylu ışık kaynağı ve kızılötesi dar bant filtresinin kombinasyonu, ortamdaki kaçak ışık ve güneş ışığının çoğunu filtreleyebilir. Çeşitli karmaşık aydınlatma ortamlarında 3B görüntüleme sisteminin görüntüleme performansını sağlamak için;
İkincisi, 3D görüntüleme sistemi, bir dizi renkli lens ve kızılötesi lens aracılığıyla binoküler sistemi ve yapılandırılmış ışık sistemini entegre eder.Derinlik kurtarma algoritmasında Lu Shenshi, aşırı ışıkta bile binoküler algoritma ve yapılandırılmış ışık algoritmasını entegre eder. Koşullar altında (öğlen güneşi gibi), özellik noktası projeksiyon sistemi tarafından yansıtılan özellik noktaları artık kızılötesi lens tarafından yakalanamaz ve hedef sahnenin üç boyutlu verileri de binoküler görüntüleme sistemi ile elde edilebilir.
Düşük veri iletim maliyeti
İki boyutlu güvenlik ağı kameralarının mevcut veri aktarım teknolojisini entegre eder.H264 kodlama çerçevesi altında Lu Shenshi, derinlik haritasını önceden işleyerek H264 kodlamasına dayalı üç boyutlu verilerin düşük kayıplı aktarım teknolojisini gerçekleştirir.
3B derinlik haritası 2B görüntüden farklıdır.Derin haritasındaki her piksel değeri, hedef ile kamera arasındaki geometrik mesafeyi temsil eder.Bu nedenle, derinlik haritası, iki nesne arasındaki sınır gibi görüntü aktarım işlemi sırasında yüksek doğruluk gerektirir. İki boyutlu görüntüler belirli sınır örtüşme ve bulanıklığı tolere edebilir, ancak derinlik haritaları için sınır örtüşme ve bulanıklaştırmaya kesinlikle izin verilmez. Bu nedenle Lu Shenshi, veri aktarım sürecinin aslına uygunluğunu iyileştirmek için iki ön işleme yöntemi tasarladı:
Öncelikle, derinlik haritasının ön planını ve arka planını ayırın, aynı derinlik aralığındaki hedefleri tek bir kategoride sınıflandırın ve ardından sınırdaki piksel değeri adım fenomenini ortadan kaldırmak ve iletim sürecinden kaçınmak için ön plan görüntüsünü doldurma yöntemi ile doldurun. Hata kodu
İkinci olarak, derinlik haritasının her pikseline bir "veri kontrol biti" ekleyin Kullanıcının üst bilgisayarının kod çözme işlemi sırasında, veri kontrol biti kontrol edilir ve kontrolde başarısız olan pikseller, kullanıcının verileri elde ettiğinden emin olmak için kaldırılır. Doğruluk.
Şekil 2 Kamera veri aldığında oluşan renk haritası ve derinlik haritasının karşılaştırması
Yüksek kamera kararlılığı
İlk olarak, veri iletimi, veri aktarımının kararlılığını sağlamak için ağ kablosu iletimini kullanır Kamera, verilerin çeşitli ortamlarda ana bilgisayara kararlı bir şekilde iletilebilmesini sağlamak için otomatik bit hızı ayarlama işlevini destekler;
İkincisi, kameranın ön uç hesaplamasının kararlılığını sağlamak için kamera, derinlik kurtarma algoritmasının hesaplama birimi olarak yüksek hızlı bir FPGA kullanır.Donanım yüksek kararlılığa sahiptir.Güvenlik ağı kamerasının çeşitli çevresel indeks testlerinden geçmiştir.Yüksek sıcaklık ve yüksek nem gibi zorlu koşullara maruz kalmaktadır. Ortam altında normal şekilde çalışabilir;
Üçüncüsü, tamamen metal bir kabuğun kullanılması, dahili yonga ve yüksek sıcaklık bileşenleri, metal bir ısı emici aracılığıyla doğrudan kabuğa bağlanır.Bu optimize edilmiş ısı dağıtma yöntemi, kameranın yüksek sıcaklıklı bir ortamda çalışmaya devam etmesini sağlar.
Uygulama alanı ve geliştirme
Şu anda, 3D ağ güvenlik kameraları çoğunlukla güvenlik ve terörle mücadele alanında kullanılmaktadır. Özellikle sınır güvenliği alanında, Sincan Kamu Güvenliği Departmanının terörle mücadele projesi, 3 boyutlu yüz tanıma teknolojisini kullanmaya başladı ve ülkenin ilk eyalet "3 boyutlu portre veri tabanını" oluşturdu. Sadece bu değil, Ekim 2018'de trafiğe açılan Hong Kong-Zhuhai-Makao Köprüsü'nde, yüz tanıma ve kimlik doğrulama teknolojisinin ilk büyük ölçekli uygulamasıydı. Akıllı kontrol noktaları tamamen "yüz süpürme" özelliğini benimsedi ve araçlar 8 saniyede hiçbir şey hissetmeden gümrükten geçebilir .
(Eagle Eye ürünleri Hong Kong-Zhuhai-Makao Köprüsü'nün gümrük işlemleri için kullanılmaktadır)
'S Lu Shenshi, 3B ağ güvenlik kamerasının çok fazla uygulama alanına sahip olduğuna inanıyor.Teknik özellikleri nedeniyle, nesne yeniden yapılandırması, yüksek hassasiyetli harita yeniden yapılandırması vb. Bu aşamada, teknoloji temel olarak pan-güvenlik alanına odaklanmıştır. Gelecekte, daha fazla iş, kişisel asistan ve tüketici elektroniği alanlarında genişletilecek ve daha fazla senaryoyu güçlendirmek için "tanımlama sonrası etkileşimli" hizmetler sağlamak için VR ve diğer endüstrilerle birleştirilecektir.
