Hong Kong Bilim ve Teknoloji Üniversitesi Yetkili Dragon: 3D Vision Yapay Zeka Güvenliğini Yeniden Tanımlıyor
Geçtiğimiz günlerde, Leifeng.com ve AI Nuggets tarafından düzenlenen "İkinci Çin Yapay Zeka Güvenlik Zirvesi" Hangzhou'da düzenlendi.
Zirvede Hong Kong Bilim ve Teknoloji Üniversitesi'nden Profesör Quan Long, CVPR 2022 Başkanı, ICCV 2011 ve Altizure'nin kurucusu "3D Vision Yapay Zeka Güvenliği Yeniden Tanımlanıyor" başlıklı bir konuşma yaptı.
Profesör Quan, Yapay zekanın özü, akıllı güvenliği tanımlayan vizyondur, ancak mevcut vizyon hala iki boyutlu tanıma ile sınırlıdır.Gelecekte, üç boyutlu vizyonun yeniden yapılandırılması en önemli görev olacak ve aynı zamanda akıllı güvenliği yeniden tanımlayacaktır.
Profesör Quan, bilgisayarla görmenin esasen istatistiksel anlamda büyük verilerin sınıflandırılması ve tanınması olduğunu belirtti.
"Nihai hedefimiz görüntüleri, yani bilişi anlamaktır, ancak mevcut bilgisayar vizyonu yalnızca algılama aşamasındadır. Nasıl anlayacağımızı bilmiyoruz. Bilgisayar görüşü her zaman en temel görsel özellikleri keşfetmek olmuştur. Bu görsel evrişim turu Sinir ağı CNN, esas olarak bilgisayar görüşünün özelliklerini yeniden tanımlar. Ancak insanlar, üç boyutlu bir ortamda yaşayan binoküler hayvanlardır, bu da insanın biyolojik görsel tanımasını sadece tanıma değil, aynı zamanda üç boyutlu algı ve çevresel etkileşim de sağlar. "
"Bu yüzden 3D ile uğraşmalıyız, 2D tanımanın yapabileceği şey mevcut karmaşık sahnelerde yeterli olmaktan uzak. Ancak 3B yeniden yapılandırma nihai amaç değil ve 3B yeniden yapılandırma ve tanımayı entegre etmektir. "
Aşağıdakiler, Profesör Quan Longun canlı konuşmasının içeriğidir. Lei Feng.com orijinal amacı düzenledi ve organize etti:
Leifeng.com'a davet için teşekkürler Bugün ağırlıklı olarak bilgisayar vizyonunun mevcut durumunu ve gelecekteki gelişim yönünü ve yapay zeka güvenliğinde 3D vizyon uygulamasını paylaşacağım.
Yapay zeka güvenliğinin özünün esasen bilgisayar görüşü olduğunu ve bilgisayar görüşünün tanıma ve yeniden yapılandırma olmak üzere iki bölüme ayrıldığını biliyoruz.
"Özdeşleşme" artık çok popüler bir yön ... Buna karşılık, herkesin "yeniden yapılandırma" anlayışı o kadar kapsamlı değil. Bunu bilmemiz gerekiyor. Bilgisayar görüşü tanıma ile sınırlı değil, 3 boyutlu rekonstrüksiyonun rolü daha da önemli.
Bu, 3D yeniden yapılandırma ve güvenlik entegrasyonunun pratik bir örneğidir:
Bu sahnelerin hepsi 3 boyutlu olarak oluşturulmuştur. Gerçek zamanlı videoyu 3 boyutlu olarak yansıtırız ve kullanıcı arayüzü "ön, arka, sol ve sağ" da sürükleyebilir.
Bahsetmek istediğim bir sonraki konu, bilgisayarla görmenin mevcut sorunları ve üç boyutlu görmenin neden bilgisayar görüşünü yeniden tanımlayacağı ve yapay zeka güvenliğini yeniden tanımlayacağı.
Yapay zekanın özü, bilgisayarların dinlemesine, görmesine ve okumasına izin vermektir.Tüm bilgilerde, görsel bilgi tüm duyuların% 80'ini oluşturur, bu nedenle vizyon temelde modern yapay zekanın özüdür.
Bizim için aslında genel bir yapay zeka yok.Yapay zekanın teknik boyutlara ve sahne boyutlarına göre ayırt edilmesi gerekiyor.Yapay zekanın gelişimi, devrimi ve uygulaması bilgisayar vizyonunun gelişimine bağlı olmalı ve bununla sınırlandırılmalıdır. , Devrim ve uygulama.
Yapay zeka güvenliği de bilgisayar vizyonunun gelişmesiyle birlikte artıyor.
2012 çok önemli bir yıldı. O zamanlar, ImageNet yarışmasında bir ekip, görüntü tanıma doğruluğunu% 75'ten% 85'e çıkarmak için evrişimli sinir ağı CNN'yi kullandı. Bu "çok küçük" olay, bu tur derinliği artırdı. Yapay zeka öğrenme altında, bu nedenle 2012'yi derin öğrenmeyle temsil edilen bu yapay zeka turunun ilk yılı olarak da adlandırabiliriz.
Bu mesele, Yann Lecun'un evrişimli sinir ağı LeNet'i yayınladığı 1998 yılına kadar gider.Bu ağ, her şeyden önce, giriş görüntüsü nispeten küçüktür, yalnızca siyah beyaz tek kanal 32 * 32, yalnızca bazı karakterleri ve harfleri tanıyabilir. GPU olmadığı için tüm ağın o anda sadece 600.000 parametresi vardı.
2012'de, evrişimli sinir ağlarının dirilişi AlexNet'i ortaya çıkardı. 1998'de LeNet'in evrişimli sinir ağıyla karşılaştırıldığında, AlexNet'in iç yapısı temelde aynıdır, ancak giriş görüntü boyutu farklıdır: 1998 modeli, giriş boyutu 32 * 32'dir ve yalnızca bir kanal vardır. Yeni model giriş boyutu 224 * 224'e genişletildi ve üç kanal var. En önemlisi, içinde GPU'ların olması ... O zamanlar eğitim için iki GPU kullanılmış ve parametreler yaklaşık 60 milyona ulaştı.
Yıllar geçtikçe, bilgisayar görüntülü evrişimli sinir ağlarının temel yapısı, algoritmaları ve yapıları çok az değişti.
Ancak 1998'den 2012'ye kadar geçen on beş yılda, özellikle önemli iki şey oldu: biri Nvidia'nın GPU'yu geliştirmesi, ikincisi Li Feifei'nin ImageNet'i kurması, İnternette milyonlarca fotoğraf yayınladı ve kitleleri bunu yapmak için seferber etti. Etiket. AlexNet'in başarılarının yaratılmasının nedeni kesinlikle bilgi işlem gücü ve verileridir.
2015 yılına gelindiğinde, makine görmesinin tanınma oranı temelde insanlarınkini geçti. Aslında, insanlar tanıma konusunda o kadar güçlü değildir ve hafızamızın hata yapması çok kolaydır. İstatistiklere göre, insan sınıflandırmasının hata oranı% 5'e ulaştı. Ve makine, 2015'ten beri, çeşitli ImageNet'in kamu malı veri setlerindeki hata oranının% 5'in çok altında olduğunu görebilirsiniz.
Ama ImageNet rekabeti neden iki yıl önce durdurdu, çünkü artık rekabet temelde bilgi işlem gücü ve verilere dayanıyor.
2015 yılında yapay zeka teknolojisinin evrişimli sinir ağları altında olgunlaşmasıyla birlikte yapay zeka belirli bir zirveye ulaştı ve bilgisayar vizyonu veya daha geniş güvenlik pazarı da yeniden tanımlandı.
Bu dönemde, birkaç vizyon şirketi, Megvii ve SenseTime, güvenlik pazarına girdi.
2012'den 2019'a kadar olan 7 yılda, tüm veriler bin kat arttı, hesaplama hızı öncekinden bin kat daha hızlı ve model de öncekinden bin kat daha büyük. AlexNet modelini 2012'de eğitmek iki GPU gerektirir ve iki hafta sürer; bugün aynı şeyi yapmak yalnızca on dakikada tamamlanabilen bir DGX-2 gerektirir.
Tüm modelin parametrelerine bakıldığında, 2012'deki AlexNet, 60 milyon parametrenin çok büyük olmasıyla şimdiden çok etkileyici ve o zaman bu sayıyı hayal edemedik. Bugün, bu ağın bin kat büyütülmesi ve bir milyar parametre değerine ulaşması gerekiyor. Ancak algoritmalar ve mimariler açısından, bunlar artık temelde standart evrişimli sinir ağlarıdır, ancak çok fazla ilerleme kaydetmediler.
Bilgisayarla görmedeki tanımanın kapsamı hakkında da düşünebiliriz. Aslında, o kadar güçlü değil, sadece büyük bir verinin istatistiksel anlamında bir tanımadır.
Denetimsiz öğrenmeyi herkes duymuştur, ancak denetimsiz öğrenmenin sonuçları ve uygulama senaryoları çok fazla değildir. Mevcut ve iyi yapılan, denetlenebilir, yani CNN.
Mevcut bilgisayar vizyonunun evrişimli sinir ağlarına dayandığını kısaca özetlememe izin verin.Tüm CNN mimarisi çok basit ve yapılabilecek çok şey yok.Yüksek boyutlu özellikleri çıkarıyor ve ardından vizyonu çözmek için diğer yöntemleri birleştiriyor sorun.
Yeterli veriye sahipseniz ve ne istediğinizi net bir şekilde tanımlayabiliyorsanız, CNN iyi çalışıyor, ancak akıllı mı? Aslında değil.
Bunun aptalca olduğunu söylüyorsun, eskisi kadar aptalca. Kedileri ve köpekleri tanıyabilir, ancak kedi ve köpeklerin sınıflandırmasının kendi insanlarımız tarafından tanımlandığını bilmemiz gerekir. Kedileri ve köpekleri ayırabilir veya karmaşık köpek hayvanlarını bir araya getirip sınıflandırabiliriz. Bunlar esasen Nesnel değil, özneldir.
Bilgisayarla görme araştırması için idealimiz, makinelerin görüntüleri anlamasına izin vermektir. Nasıl anlaşılır? Bu çok zor ve şimdiye kadar kimse onu nasıl anlayacağını bilmiyor. Şimdi yapabilecekleri yalnızca bilişsellik yapabilir. Bilgisayarla görü ile ilgili araştırmamızın amacı görsel özellikler elde etmektir ve görsel özellikler kazandıktan sonra bir dizi çalışma yapılabilir.
Görsel özellikler neden bu kadar önemli? Konuşma tanıma alanında, konuşmanın özellikleri çok açık bir şekilde tanımlanmış fonemler olmuştur. Ama bir fotoğraf çekip en önemli görsel özelliğinin ne olduğunu sorarsak cevap net değildir. Görüntülerin piksel içerdiğini herkes bilir, ancak pikseller gerçek özellikler değildir. Pixel, yalnızca görüntüyü dijital olarak ifade eden dijital bir taşıyıcıdır. Bilgisayarla görmenin nihai amacı, etkili görsel özellikler bulmaktır.
Görsel özelliklere sahip olma öncülüne göre, bilgisayarla görmenin yalnızca iki pratik amacı vardır, biri tanıma, diğeri ise üç boyutlu yeniden yapılandırma.
İngilizce kelimelerinin önünde "re" bulunur ve bu, bunun tersine bir problem olduğunu gösterir.
Bilgisayar görüşü kötü sorulan bir soru değildir ve mükemmel bir cevap veya yöntem yoktur.
Bu evrişimli sinir ağları (CNN) turundaki en önemli şeylerden biri, bilgisayar görüşünün özelliklerini yeniden tanımlamaktır. Bundan önce tüm özellikler manuel olarak tasarlandı. CNN bugün öğrendiklerini, daha önce böyle bir ağ olmadan yapılamayacak olan milyonlarca boyutluluğun özelliklerini öğrendi.
CNN'nin özellik çıkarma yeteneği son derece güçlü olsa da, CNN'e dayalı bilgisayar görüşünün monoküler tanıma olduğunu, insanlar ise dürbün iken unutmamalıyız. Gerçek dünyamız üç boyutlu bir uzayda ve üç boyutlu ile uğraşmak zorundayız. Tanınmak için iki boyutlu bir görüntünün tutulması yeterli olmaktan uzaktır.
Binoküler görüş altında derinlik, paralaks ve rekonstrüksiyon gibi üç kavram dahil edilmelidir: Bunlar temelde eşdeğerdir.Hangi kelime dağarcığını hangi grupta olduğunuza bağlıdır.
Geleneksel anlamda, 3B rekonstrüksiyon tanınmadan öncedir.En temel problemdir.Tanıma, 3B vizyonda da kullanılır, ancak tanınması, aynı nesnenin farklı perspektifler altında tanınmasıdır, bu nedenle tanınması daha fazladır. İyi tasarlanmış bir tanımaya eşleştirme de denir.
Binoküler görüş, tüm biyolojik dünyanın sınıflandırılmasında çok katıdır. Herkes bilir ki, bir atın gözleri dışarıya baktığı zaman, üç boyutlu bilginin bir kısmını çapraz kısımda almanın mümkün olduğunu, ancak üç boyutlu perspektifinin insanlardan farklı olarak çok küçük olduğunu bilir. Balığın gözleri iki taraftan da bakar, ana görüş hattı monokülerdir ve görebileceği dürbün görüş alanı da oldukça dar bir kısımdır.
İnsanların iki gözü vardır ve yalnızca iki göz aracılığıyla derin üç boyutlu bilgi alabiliriz. Tabii ki, hareketli bir göz aracılığıyla derinlemesine bilgi de elde edilebilir.
Derinlik bilgisi elde etme zorluğu büyüktür, esasen bir nirengi problemidir. İlk adım, iki görüntüyü veya iki gözün algıladığı şeyi eşleştirmek, ki bu tanımadır. Buradaki "tanıma" bir öncekinden farklıdır. Yukarıda bahsedilen, açıklamalı tanımadır.Buradaki "tanıma", iki görüntü arasındaki tanımadır ve veri tabanı yoktur. Yalnızca nesneleri tanımakla kalmaz, aynı zamanda her pikseli de tanır, bu nedenle hesaplama gereksinimleri çok yüksektir.
Biyolojik dünyada, binoküler görme çok önemlidir.Memeliler binoküler görüşe sahiptir ve daha vahşi etobur hayvanlar, dürbünlerin üst üste binen alanı ne kadar büyükse, dürbünle elde edilen derinlik bilgisi aktif olarak avı yakalamak için kullanılır. Hayvanları otlatma veya yenme vizyonu, geniş bir görüş alanı olan, yalnızca tanıma olan ancak derinliği olmayan monoküler görüştür, amaç saldırıya uğradığında hızlı koşmaktır!
CNN'in bu turundan önce, bilgisayarla görmede en çok araştırılan sorun 3B rekonstrüksiyondu.CNN'den önce çok iyi yapay olarak tasarlanmış görsel özellikler vardı. Bunlar aslında SIFT özellikleri gibi 3B rekonstrüksiyon için tasarlanmıştı. . Bundan sonraki "tanıma", onu yapılandırılmamış bir görüntü veri tabanında aramak içindir. Bu, modern 3B vizyonun 3B yeniden yapılandırma ile tanımlandığını gösterir. CNN'nin doğumundan önce, tanımı görece açık olduğundan, geometriden görsel gelişimin ana itici gücü buydu.
3D rekonstrüksiyon teknolojisinin mevcut durumuna ve zorluklarına bir göz atalım.
Üç boyutlu vizyonun hem teorisi hem de algoritması vardır, bir kısım istatistiktir, diğer kısım deterministiktir, istatistiksel değildir, yani geleneksel uygulamalı matematiktir.
Bilgisayarla görmede üç boyutlu yeniden yapılandırma üç ana sorunu içerir: 1. Konumlandırma. Bir resim verirsem, bilgisayar görmesinin resmin nerede çekildiğini bilmesi gerekir. İki, birden çok göz. Üç boyutlu bilgi, çok amaçlı paralaks yoluyla elde edilir, her piksel tanımlanıp eşleştirilir ve üç boyutlu yeniden yapılandırma gerçekleştirilir. 3. Anlamsal tanıma. Geometrik 3 boyutlu rekonstrüksiyon tamamlandıktan sonra, bu 3 boyutlu bilginin anlamsal olarak tanınması gerekir.Bu, rekonstrüksiyonun nihai amacıdır.
Burada tekrar vurguluyorum, 3B sahneyi yeniden yakalamalıyız, ancak Üç boyutlu yeniden yapılandırma nihai hedef değildir, tanıma eklemeniz gerekir, bu nedenle son uygulama üç boyutlu yeniden yapılandırma ve tanımayı entegre etmelidir.
3D rekonstrüksiyonun ana sorunu, hesaplama gücünün yeterli olmaması ve edinmenin de zor olmasıdır. Size bir örnek vereyim, güvenlik sahnemizin bir kamerayı tanıması kolaydır, ancak N kameranın gerçek sahnesi gerçek zamanlı olarak yeniden yapılandırılırsa, bu çok yüksek hesaplama gücü gerektirir. Bu kısıtlamalar aynı zamanda mevcut monoküler uygulamaları daha da artırıyor ancak bence gelecekteki dürbün kesinlikle bir trend haline gelecektir.
Derin öğrenmenin etkisi altında, üç boyutlu yeniden yapılanma nispeten büyük başarılar elde etti. 2012'den sonraki yıllarda, CNN'in 3B yeniden yapılandırma üzerinde büyük bir etkisi olmadı. Ancak 2017'den beri CNN, 3B yeniden yapılandırma üzerinde önemli bir etkiye sahip oldu. 3 boyutlu rekonstrüksiyon alanında KITTI adında bir veri seti var. 2017 yılından itibaren 3 boyutlu evrişimli sinir ağlarını kullanmaya başladık.
Geçmişte, tanıma ile ilgili iki boyutlu bir CNN olarak görülüyordu.Daha modern binoküler algoritmalar, tam bir üç boyutlu evrişimli sinir ağına dayanıyordu. Bu aşamada, 3B evrişimli sinir ağının performansı da çok güçlüdür.Her iki görüntü için hata oranı sadece% 2 ila 3'tür.
Bilgisayarla görme kapsamındaki uygulama senaryoları artık bilgisayarla görü tarafından yeniden tanımlanıyor, ancak bu uygulamalar aynı zamanda bilgisayarla görmenin teknik darboğazına da maruz kalıyor.
Bilgisayar görüşü, güvenlik endüstrisinin desteklenmesinde büyük bir role sahip olmasına rağmen, temelde yüzler, arabalar ve nesneler gibi uygulamaları belirlemekten başka bir şey değildir.Eğer bilgisayar görüşü daha da geliştirilirse, güvenlik endüstrisi yeniden tanımlanacaktır.
Ve 3B vizyonun güvenlik üzerinde çok derin bir etkisi olacağını düşünüyorum.
Güvenlik alanında 3 boyutlu rekonstrüksiyonun ilk uygulaması büyük ölçekli şehir düzeyinde 3 boyutlu rekonstrüksiyondur.
Her büyük şehrin milyonlarca kamerası vardır. Ancak kameralar böylesine gerçek bir üç boyutlu sahneye entegre edildiğinde, şehir düzeyinde kontrol ve kontrolün etkisi elde edilebilir.Bu, AI güvenliğinin en ideal şeklidir.
Şimdi hükümet şehri yönetmek için gerçek bir harita kullanıyor Bu harita eskiden iki boyutluydu ama gelecekte gerçek ve üç boyutlu olmalı.
3D vizyon girişimimiz Altizure of HKUST, şehir düzeyinde gerçek dünya 3D rekonstrüksiyon ve platform şirketidir. Büyük ölçekli yeniden yapılanma iki açıdan çok zordur:
Birincisi, veri miktarının çok büyük olmasıdır. Şu anda yüksek çözünürlüklü görüntüleri milyonlarca düzeyde modelliyoruz. Bunu birkaç hafta içinde tamamlamak için güçlü dağıtılmış ve paralel algoritmalara ihtiyacımız var.
İkincisi görselleştirmedir.Gerçek bir resmin gösterimi de özellikle zordur, çünkü gerçek bir resim çok büyük miktarda veriye sahiptir, hatta gerçek 3B'yi herhangi bir bağlantı noktasında görüntülemek bile çok zordur.
Şu anda sadece Altizure bu zorluğun üstesinden gelebilir.
Yaptığımız tipik bir durum, Shenzhen, Pingshan Bölgesi için bir uzay-zamansal bilgi bulut platformu kurmaktı. Pingshan'da büyük bir yerleşim alanını 3B olarak yeniden inşa ettik. Arka uç kullanıcıları, 3B gerçek dünya görüntüsünü yakınlaştırıp uzaklaştırabilir. , Sol, Sağ "sürükleyip hareket ettirerek alanın gerçek sahnesini görüntüleyin.
Arka plan kullanıcısı, 3B gerçek zamanlı görüntüdeki bazı alanları seçmek için fareyi de kullanabilir ve ardından bu alandaki önemli video gözetim resimleri, büyük ekranda gerçek zamanlı olarak görüntülenecektir. Pingshan projesinin ilk aşamasının gerçek zamanlı izleme video ekranı, geleneksel video izleme sahne arkası görüntü efektine benzer ve genellikle daha gelenekseldir.
İkinci ve üçüncü aşamalarda tüm videoları 3D platformda göstermeye başladık.
Şu anda, Shenzhen'deki birçok bölge zaten bu tür gerçek görünümlü 3B uzay-zaman bilgi platformlarını kullanıyor.
Böyle bir platform ile sadece video değil, diğer bazı veriler de uygulamaya eklenebilir.
Bu ana kontrol sistemi, insanların akışını ve akülü arabaların konumunu gerçek zamanlı olarak görselleştirmek için gözetleme kameralarını, turnikeleri, mağazaları, wifi ve diğer kamu tesislerini doğal noktaya entegre eder. Üç boyutlu gerçek sahne, manzara noktasının ana kontrolüne ve bir sonraki turist rehberine kolaylık getirir.
Aşağıdaki resim, tarihi binaları ve şehir planlamasını koruyan Guangzhou'daki ilk durumumuzdur.
Altizure'nin gerçek görünümlü 3D görüntü platformu artık 180 ülkede ve 300.000 profesyonel kullanıcıya gerçek görüntülü 3D içeriğe sahip.
Hong Kong Bilim ve Teknoloji Üniversitesi Bilgisayarla Görme Laboratuvarımız ve başlangıç şirketimiz Altizure, dünyada görsel 3B rekonstrüksiyon araştırma ve uygulamasına liderlik ediyor. Amacımız sıralama uğruna sıralamaları gözden geçirmek değil, ancak bazı önemli 3B sıralamalarda, geçen yılın Nisan ayından bu yana sıralamaların en üst sıralarında yer alıyoruz!
Son olarak, özetlemek gerekirse, bilgisayar görüşünde "tanıma" akıllı güvenliği tanımlar, ancak mevcut "vizyon" ve "tanıma" hala iki boyutla sınırlıdır. Üç boyutlu yeniden yapılandırma, gelecekte bilgisayar görüşünde en önemli görevdir, bu nedenle üç boyutlu yeniden yapılandırma da yeniden inşa edilecektir Yapay zeka ve akıllı güvenliği tanımlayın.
Mevcut görsel araştırmada, homojenlik olgusu çok açıktır.
Yapay zeka yapmaya 1980'lerde başladık. Bugünün mevcut durumu biraz tarihin tekrarı gibi. Bilgisayar vizyonunun doğası, kullandığınız donanım araçlarının farklı olması dışında geçmişten farklı değil.
Bilgisayar görüşü altın çağında olmasına rağmen gelişimi hala çok sınırlı, sözde genel yapay zeka ve genel bilgisayar görüşünün hala çok uzakta olduğunu düşünüyorum.
hepinize teşekkür ederim!
