3D vizyon, CV için yeni bir çıkış noktası haline geldi, Megvii bunları parkuru ele geçirmek için yaptı
2018 yılında, 3B görme, bilgisayar görüşü alanında önemli bir çıkış noktası haline geldi.
Apple, 2017'de 3D görüntü yeteneklerine sahip iPhone X'in piyasaya sürülmesine öncülük etti ve "Liu Haiping" birçok üretici için bir model haline geldi. Bu yılın Eylül ayında, Apple tek seferde "çentikli" üç cep telefonu çıkaracak. Aynı zamanda, ajans tahminlerine göre, küresel akıllı telefon tarafı 3D görüntü donanımı pazarı 2020'de 9.925 milyar ABD dolarına ulaşacak, bunun Apple'ın cep telefonu 3.148 milyar ABD doları ve Android telefonlar 6.77 milyar ABD doları olacak.
İPhone, 3D vizyonunu desteklemek için kendi donanım ve yazılım ekosistemine sahip. Peki ya Android telefonlar? 3D görmenin fırsatları ve zorlukları nelerdir?
8 Ağustos'ta Megvii Technology ve 3D endüstrisindeki 4 şirket, yukarıdaki konuları derinlemesine tartışmak için "Gerçekçi Dünya - Şimdi Gerçek 3D" temalı bir seminer düzenledi.
Megvii'nin 3D görüntü yazılımı ve entegre donanım çözümü
3D görüşlü akıllı telefonların rüzgarı şüphesiz iPhone tarafından esiyor.
Apple, Eylül 2017'de iPhone X'i piyasaya sürdü. En önemli özellik Face ID'dir. En çok şikayet edilen "Liu Haiping" (orijinal derinlik kamerası sistemi) bu işlevi gerçekleştirmek için kullanılıyor. Apple "patlama" alanına 8 sensör yerleştirdi: Mikrofonlar, hoparlörler, ön kameralar, ortam ışığı sensörleri, yakınlık sensörleri ve diğer tanıdık parçalara ek olarak, kızılötesi lensleri ve sel aydınlatıcılarını da entegre ediyor. , Nokta vuruşlu projektör. Sensör, ışığı insan gözüne göremeyecek şekilde yansıtır ve kullanıcının yüzünün 3 boyutlu geometrik yapısını okuyacaktır. Apple, bu amaç için, insan yüzlerinin matematiksel modellerini oluşturmak için görüntüleri ve kafes modellerini işlemek için sinir ağlarını kullanan bir Neural Engine geliştirdi.
Face ID olarak kullanılabilen orijinal derinlik kamerasına ek olarak, yüz dinamik AR çıkartmaları ve yüz ifadelerini dinamik olarak izleyen Animoji de uygulayabilir.
Bu orijinal derinlik kamerası, temel yonga, algoritmadan uygulamaya kadar tüm yenilikleri içerir. Orijinal derinlik kamerasını oluşturmak için Apple, yüz tanıma, sensörler ve algoritmalar dahil olmak üzere bir düzineden fazla şirketi bir milyar ABD dolarından fazla satın aldı. Üretim sürecinde de birçok sorun vardı.Leifeng.com, Apple'ın 2016'da 40.000 iPhone X ürettiğini öğrendi, ancak gerçekten indiğinde büyük bir sorun meydana geldi, bu nedenle 2017'ye kadar ertelendi. .
Apple, tüm cep telefonu üreticilerine öndeki orijinal derinlik kamerası ile liderlik ediyor ve ARKit, ilk yıllarda mobil AR'yi kullanan Google'ı bile geride bırakarak arka kameranın potansiyelini tamamen ortaya çıkardı. Apple'ın ARKit yapabilmesinin en büyük avantajı doğaldır: Donanım ve yazılımı kendi başına yapabilir ve yazılım ve donanımı hızla uyarlayabilir.
Yerli üreticiler, Google'a 3B görüntü için güvenemezler, kendi başlarına keşfetmeleri gerekir. 19 Haziran 2018'de OPPO, Megvii tarafından sağlanan 3D yapısal ışık teknolojisi ile donatılmış OPPO Find X modelini piyasaya sürdü; 27 Haziran 2018'de vivo, Megvii Technology tarafından sağlanan MDC, 3D'de TOF 3D süper algılama teknolojisini piyasaya sürdü. Yüz modelleme algoritması desteği. Şu anda Megvii daha fazla üretici ile işbirliğine ulaştı.
Wu Wenhao, vivo için çözüm sağlama deneyimini hatırlattı : İlk olarak vivo ToF projesiyle temasa geçtik. O zamanlar birçok zorlukla karşılaştık. Öncelikle ekolojik zincir ve tedarik zinciri gerçekten çok karmaşıktı. Proje toplantısında Avrupa, başkent ve Amerika Birleşik Devletleri'nden sensörleri kapsayan 10'dan fazla üretici vardı. Modüller, optoelektronikler, yongalar, en büyük sorun, yazılım donanımı anlamıyorsa ve donanım yazılımı anlamıyorsa tüm endüstri zincirinin nasıl bağlanacağıdır.
Bu süreçte, nihai gerçek inişin uygulamalar tarafından yönlendirilmesi gerektiğinin giderek daha fazla farkına vardık. Örnek olarak yüz ödemesini ele alalım Uygulama senaryosu, tanımanın doğruluğunu ve canlı saldırıları önleme yeteneğini belirler. Dolayısıyla, algoritma ve yazılım satıcıları aslında bu değer zincirinin tepesindedir ve birçok ayrıntıyı yukarıdan aşağıya doğru yönlendirebilirler.
Wu Wenhao, Cep telefonu 3B vizyonu alanında pek çok türde uygulama vakası olmasına rağmen, algoritmalar ve modüller dahil olmak üzere bu alandaki entegre yazılım ve donanım çözümleri hala yok. Megvii Technology, Entegrasyon planı düştü. "
Sonuç olarak Megvii, "Entegre Yazılım ve Donanıma Sahip Mobil Uç için Akıllı 3D Ürün Çözümü" nü piyasaya sürdü. 3D uygulamalardan AI algoritmalarına, çözümlere, sensörlere, çiplere vb.
3D uygulama katmanı: yüz tanıma ve kilit açma, 3D portre ışık efektleri, 3D güzellik, 3D plastik cerrahi, AR oyunları, sanal deneme vb.
3B algoritma: MegBrain derin öğrenme motoru, 3B tanıma / yeniden yapılandırma algoritması, yüz tanıma, canlı vücut algılama, dikkat algılama takibi, vb., Portre 3B modelleme, insan vücudu 3B modelleme. Bellus 3D, Altizure ve bu alandaki diğer şirketler ile ortak araştırma ve geliştirme;
Çözüm: Farklı uygulama senaryolarında derinlik hesaplama, derinlik restorasyonu, derinlik optimizasyonu, kalibrasyon, distorsiyon düzeltme ve diğer yetenekler için gereksinimlere göre, çift kamera, üçlü kamera ve derin kamera tabanlı tasarım çözümleri;
Donanım modülleri: Kameralar, sensörler, yongalar, vb. Gibi donanım modüllerinin Ar-Ge'si Megvii, Ams Semiconductor gibi 3D donanım modülü üreticileri ile işbirliği yapacak ve ayrıca daha güçlü algoritma uyarlanabilirliğine sahip yongalar geliştirmek için büyük yonga üreticileri ile işbirliği yapacak. .
Daha önce, benim izlenimime göre, Megvii daha çok bir bilgisayar görüntü algoritması şirketi ve yazılım ve donanımın entegratörü olmak için Megvii kendi engellerini nasıl oluşturabilir?
Wu Wenhao Leifeng.com'a verdiği demeçte, ilki şirketin konumlandırılması. Bir algoritma / yazılım üreticisinden entegre bir yazılım ve donanım çözümü sağlayıcısına geçmek mi istiyorsunuz? Bu değişikliği yapmak istiyor musunuz? İkincisi, uygun bir işbirliği bulmaya kararlı olup olmadığınız. Ortaklar, bu dört katmanı gerçekten dikey olarak bütünleştirir.
Smartphone 3D Vision'ın Fırsatları ve Zorlukları
Megvii, iPhone'un Android kampı için 3D görüntü yeteneklerini sağlamak için yazılım ve donanımı entegre etmek istiyor. Ama biz sadece bir iPhone X mi üreteceğiz? Bu alandaki çıkış yeni şekillendi, fırsatlar ve zorluklar neler?
Görüşmeye yerinde dört 3D görüntü şirketi katıldı: Bellus3D, Ams, Zhuke Innovation ve Diejing Digital. Bellus3D, yüksek çözünürlüklü 3D yüz taraması, modelleme teknolojisi ve cep telefonları gibi mobil cihazlar için ürünler sağlamaya odaklanan, ABD, Silikon Vadisi'nden mobil bir 3D yüz tarama şirketidir; ams, dünyanın önde gelen gelişmiş sensör çözümüdür Tasarım ve üretici, görüntüleme, optik, çevre ve ses için dört sensör vardır. Temel teknolojilerden biri VCSEL'dir; Altizure, Hong Kong Bilim ve Teknoloji Üniversitesi profesörü tarafından kurulmuştur ve kendini 2D resimleri 3D modellere döndürmeye adamıştır. Yeniden yapılandırma hizmeti; Diejing Digital Technology, Massachusetts Institute of Technology'den Dr. Yu Jingyi tarafından kuruldu ve hafif alan toplama, işleme ve görüntüleme için bir dizi temel çözüm oluşturdu.
Bu dört şirket, donanımdan yazılıma ve uygulamalara kadar Megvii'nin inşa etmek istediği entegre yazılım ve donanım çözümlerinin dört seviyesini kapsıyor.
Apple, çok paraya mal olan iPhone X'i piyasaya sürdü, ancak Face ID dışında katil başka bir ürün yok. Wu Wenhao, her zaman içerik ve uygulamaların 3B görüntü endüstrisi zincirinin gelişimini yönlendireceğini vurguladı.
Bellus3D'nin CEO'su Eric Chen, gelecekte 3D görüşün olası öldürücü uygulamalarını tanıttı:
-
VR'de yüz modelleme, sürükleyiciliği artırmak için VR oyunlarına gerçek yüzler ekleyebilir.
-
3D görme, kullanıcıların gözlükleri seçmelerine ve bunları tamamen yüzün durumuna göre özelleştirmelerine yardımcı olur ve ardından gözlükleri eşleştirmek için cep telefonunu kullanabilir.
-
AR makyajı dene, dene.
Wu Wenhao, yeni katil uygulamasının üç düzeyi olduğuna inanıyor:
-
Yeni donanım formları ve cep telefonları 10 yılı aşkın süredir bizlerle birlikte.Gelecekte yeni tüketici elektroniği ürünleri ortaya çıkacak.Bence ana satış noktaları 3D ve AR olan ürünler olmalı, bizden uzak değil.
-
3D, zeka ile birleştirilmeli ve AI + 3D çok büyük bir katil uygulama senaryosu olmalıdır. Zaten AI Kamera ile fotoğraf çekmek gibi bunun gibi bir şey yapıyoruz, bunun mavi gökyüzü olduğunu ve bunun çimen olduğunu biliyoruz. 3D fiziksel bilgilerimizle birleştiğinde, kesinlikle çok iyi ve harika fotoğraf efektleri oluşturacaktır.
-
Her zaman, her yerde ürünler, mobil İnternet, İnternet'e her zaman, her yerde bağlanmanın cazibesini gösterir, ilham veren e-ticaret, O2O, bisiklet paylaşımı, 3D her yerde yaygınlaştığında, gerçek dünyayı her zaman, her yerde modelleyebiliriz ki bu çok güzel bir şey.
İPhone X tartışılırken herkes ön kameradan daha çok bahsetti çünkü gelişimi daha hızlı, ancak arka kameranın da geleceğin trendi olduğunu görüyoruz. Diejing Technology'nin kurucu ortağı Hong Xu, birçok arka kamera modülü üreticisinin de Diejing'i bulduğunu açıkladı. Şu anda Megvii ile işbirliği yapıyoruz. Şu anda gizli bir aşamada, ancak uygulamalar yakında kullanıma sunulacak.
Arka kamerada öncü, doğal olarak Google Tango'dur. Google Tango, çevredeki ortamın 3B haritalarını doğru şekilde gösterebilen ve mobil cihazların insanlarla aynı alan ve hareket algılama yeteneklerine sahip olmasını sağlayan eksiksiz 3B çizebilen donanım ve yazılımla donatılmıştır. . Tango, vizyon temelli 3B hareket izleme ve sahne modellemeye öncülük etti ve Google, 3B izleme ve sahne modelleme için sensörler ve mobil bilgi işlem platformları tasarladı.
Ancak, Google'ın Tango çözümüyle donatılmak için her OEM'in, OEM üreticisinin maliyetini artıracak belirli bir sensör kalibrasyon işlemi gerçekleştirmesi gerekiyor. O zamanki uygulama olgunlaşmamış ve birçok üreticinin Google'ı reddetmesine neden oluyordu. (Genişletilmiş okuma: Ayrıntılı | Mobil AR, Google neden bu kadar erken kalktı ve geç bir bölümü yakaladı)
Şu anda, ARKit ve ARCore yüz milyonlarca akıllı telefona yüklenmiştir ve AR uygulamaları giderek daha bol hale gelmektedir.Artık sensör teknolojisi daha olgunlaşmıştır.Herkes, daha iyi anlayabilen ve algılayabilen bir derinlik kamerası ile donatılmış bir arka kameranın ortaya çıkmasını dört gözle bekliyor. Çevre, daha gerçekçi AR efektleri sağlar. Daha önce Leifeng.com, Huawei'nin yalnızca ön derinlik kameralarında değil, aynı zamanda arka derinlik kameralarında da çalıştığını öğrenmişti.
Ancak, hâlâ bilmediğimiz şey: Ne tür bir AR uygulaması herkesin arka derinlik kamerasının vazgeçilmez olduğunu düşünmesini sağlayabilir? Google Tango'nun ana uygulaması, iç mekan navigasyon problemini çözmektir.GPS, iç mekanlarda kullanılamadığında, herhangi bir harici cihaza güvenmeden cihaz konumlandırma sağlayabilir. Bu sadece gerekli görünmüyor.
Bu akıllı telefon 3D görsel çıkış dalgası, mobil AR'den etkilenmiştir, ancak belki de daha derin bir seviye, AI'nın geliştirilmesidir.
Quan Long, Leifeng.com tarafından düzenlenen CCF-GAIR 2018 konferansında paylaştı: Bilgisayar görüşü bir sonraki adımda 3B rekonstrüksiyona doğru ilerleyecektir. "Şu anda, derin öğrenme teknolojisinin gelişmesi nedeniyle yapay zeka çok ısındı. Bir yapay zeka alanı olarak bilgisayar görüşü de son derece sıcak hale geldi. Ancak, şu anki bilgisayar vizyonu araştırması ve uygulaması esas olarak" tanımaya odaklanıyor "dedi. "Tanıma" yalnızca bilgisayar görüşünün bir parçasıdır. Biraz etkileşim ve algı yapmak istiyorsanız, önce üç boyutluluğu geri yüklemelisiniz. Bu nedenle, tanıma temelinde bir sonraki düzey "üç boyutlu yeniden yapılandırma" ya gitmelidir.
Tabii ki, 3B vizyon açısından, derin öğrenme, endüstri öncülerinin buluşmasını bekleyen yeni zorluklarla karşılaşacaktır.
