Jeff Dean, Google AI arka planı bulanıklaştırmak için "derin" öğrenmeyi kullanıyor, tek kameralı telefonlar mevcut, dedi
Gerçek Derin Öğrenme
Jeff Dean dedi.
Google, Pixel kamerayı yerleştirdiği için Makine öğrenme Soul: Bokeh görevi üzerine, Biraz derinlik öğrendim (Derinlik).
Öğrenmeden önce (Stereo) ve öğrendikten sonra (Öğrenildi), kontrast GIF Sağ yarısı. Yüzeyin üzerinde Hayali yer gerçekten daha hayalidir.
"Dikkatli bakmazsanız, bunun hareketli bir resim olduğunu bilemezsiniz"
Tarihte derin öğrenme (hata) olarak bilinen öğrenilmiş derinlik.Bununla birlikte, sinir ağlarının öğrenme etkisi yüzeysel olmaktan daha fazlasıdır.
Stereo görmenin eksikliklerini telafi edin
Önceki portre modu yalnızca stereo görüş ilkesini kullanıyordu:
Aynı sahnede, aynı karakterin iki açısını alın Kısmen farklı Fotoğraf.
Çeviri çıplak gözle neredeyse görünmez, lütfen aşağıdaki resme bakın
İki fotoğrafı döngüleyin ve bulun Karakter hareketsizdir , Arka plan değişti . Bu fenomen denir Paralaks (Paralaks).
Yakından bakın, bu bulanık daire
Nesnenin derinliğini tahmin etmek için paralaks kullanan bu yönteme faz odaklaması denir ( PDAF ).Bununla birlikte, PDAF'ın kendi sınırlamaları vardır: Birincisi, çeviri miktarı genellikle çok azdır ve işlevsel ilişkiyi bulmak zordur;
Paralel çizgilerin hareket yönü bir muammadır
İkincisi, stereo görüntü teknolojisinin Açıklık Problemi olacağıdır: Düz bir çizgi ile karşılaşıldığında, düz çizginin çeviri yönü ve çeviri miktarı yargılanamayabilir.Bu kestaneye tekrar yakından bakın (bu sefer hareketli bir resim değil):
Öğrenildi (sağda) hiç olmadığı kadar (solda), paralel panele dikkat edin
Örneğin, grafikte yatay çizgiler olduğunda, derinlik tahmini genellikle yanlıştır. Solda gösterildiği gibi, Birkaç paralel plakanın derinliği benzer olmalıdır , Ancak bulanıklığın derecesi çok tutarsız.ve bu yüzden, Google AI ekibi, PDAF'ı tek başına kullanmamaya, aynı zamanda diğer tahminleri de desteklemeye karar verdi .
Çoklu tahmin araçları x yüksek kaliteli veri toplama
Ekip tarafından geliştirilen yeni yönteme birçok başka tahmin aracı eklendi:
Örneğin, Odak-içi Düzlemden uzaktaki noktalar, yakınlar kadar keskin değildir. Bu, Odaklanmamış (Odaksızlık) Derinlik değerlendirme temeli. Örneğin, hayattaki ortak nesnelerin boyutunu kabaca biliyoruz. Derinliği değerlendirmek için görüntüdeki bu nesnelerin boyutunu kullanın. Anlambilim Temelinde.Bu yardımcı kanıtları birleştirmek için bir CNN kullanın. Orijinal PDAF ile birleştirin .
Özel veri toplama duruşu
Bu CNN'yi eğitmek için, biraz farklı açılara sahip görüntüler olan çok sayıda PDAF görüntüsünü beslemeniz gerekir.
Ayrıca görüntüye karşılık gelmesi gerekir, yüksek kaliteli Derinlik haritası (Derinlik Haritaları).
Ek olarak, cep telefonlarının portre modunu iyileştirmek istiyorum, Eğitim verileri Cep telefonunun etkisine benzer olması gerekir.
Özensiz görünüyor, ancak biraz güçlü
Yani takım DIY Çok hayalet bir ekipman. Koymak Wutai Pixel 3, aynı anda çekim yapabilmeleri için birbirine bağlanmıştır (2 milisaniye içinde).Bu beş cep telefonu Yer düzenlemesi Bir söz vardır:
Beş görüş açısı, birden fazla yönde paralaks olmasını sağlayarak Diyafram sorunu Temel olarak bir fotoğraftaki belirli bir noktanın en azından başka bir fotoğrafta (aynı anda fotoğraflanmış) görünmesi garanti edilir. Nadiren eksiklik Referans Nokta; her kamera arasındaki mesafe PDAF taban çizgisinden çok daha büyük , Bu tahmin daha doğru olacaktır; aynı anda fotoğraf çekerek Dinamik sahne Derinlik de buradan hesaplanabilir.
Dinamik sahne: bebek her zaman hareket ediyor, ancak görüntü aynı zamanda
(Ayrıca bu ekipman taşınabilirdir ve açık havada alınan numuneler de toplanabilir.)Diğer müdahaleleri hariç tutun
Bununla birlikte, veriler ideal olsa bile, haritadaki nesnenin derinliğini doğru bir şekilde tahmin etmek kolay değildir.
Bir çift PDAF görüntüsü kullanarak çok Birçok farklı derinlik haritası :
(Farklı lensler ve farklı odak uzunlukları, derinlik değerlendirmesini etkileyecektir.)
Bunu dikkate almak için, doğrudan Bağıl derinlik , Lensin görüntü faktörü saniyeler içinde kaybolur.
Ekip, bunun tatmin edici sonuçlar vereceğini söyledi.
Hız en önemlisidir
(Bununla birlikte, Çin'de çok sayıda Pixel kullanıcısı olmayabilir ...)
Ekip blogda, fotoğraf çekerken Hızlı bir şekilde tahmin etmeniz gerekiyor , Telefonu tutan insanın çok beklemesine izin veremem.
Öyleyse kullan TensorFlow Lite CNN'yi telefonunuza yerleştirin ve Pixel 3'ü kullanın GPU Hızlı hesaplamaları tamamlamak için.
Google kameraya 6.1 Sürüm, onu kullanabilirsiniz.
Kullanıcılar kullanabilir Google Fotoğraflar Bulanıklık değerini ve odaklamayı değiştirmek için derinliği kendiniz değiştirin.
Ayrıca kullanılabilir Üç partili derinlik çıkarıcı , Bir jpg'nin derinlik haritasını çıkarın ve keyfinize bakın.
- Bitiş -
Samimi işe alım
Qubit, editörleri / muhabirleri işe alıyor ve merkezi Pekin, Zhongguancun'da bulunuyor. Yetenekli ve hevesli öğrencilerin bize katılmasını dört gözle bekliyoruz! İlgili ayrıntılar için lütfen QbitAI diyalog arayüzünde "işe alım" kelimesini yanıtlayın.
Qubit QbitAI · Toutiao İmzalayan Yazar
' ' Yapay zeka teknolojisi ve ürünlerindeki yeni eğilimleri takip edin
