Endüstri Bir saniyede 3D fotoğraflar çekmek için iPhone'u kullanın, Facebook güçlü bir teknolojidir
Cep telefonunuzla bir fotoğraf çektiğinizi hayal edin ve daha sonra sadece fotoğrafı çekerken bir açı elde edemezsiniz, aynı zamanda farklı açılardan görüş değişikliğini görmek için fotoğrafı sürükleyebilirsiniz.
Bu, normal 2D kamera teknolojisinden ziyade uzun bir ışık alan videosunu anlatmak gibi geliyor, değil mi?
Bu yılın Mayıs ayında Facebook 3D fotoğraf teknolojisini tanıttı ve bugün Facebook resmi olarak 3D fotoğraf işlevini iPhone'a getirdi.
İPhone'unuzla bir fotoğraf çektiğinizde, durum güncelleme düzenleyicisindeki yeni 3B fotoğraf seçeneğini tıklayın, portre modu fotoğrafını seçin ve ardından Facebook, sahnenin derinliğini hesaplamak için AI'yı kullanır, böylece 2D fotoğraf da hareket ettirilebilir, böylece birden fazla açı gösterilebilir. Görme.
Bu 3B fotoğraflar, masaüstü veya mobil uygulamadaki Facebook gerçek zamanlı bilgi akışında deneyimlenebilir. Bilgi akışını kaydırdığınızda, bu fotoğraflar sıradan fotoğraflardan farklı görünmüyor ve fotoğrafları girmek için tıkladığınızda, tıpkı küçük bir pencere gibi düz 2B'nin kısıtlamalarını hemen aşıyorlar ve sizi aynı anda 3B fotoğraflar dünyasına çekiyorlar. . Tıpkı yukarıdaki gifte olduğu gibi fotoğrafı sürükleyin ve köpeğin yan tarafını ve arkasındaki kayaları görebilirsiniz.
Lei Feng.com, AI ile derin görüntüler oluşturmak için kullanılan bu teknolojinin Facebookun hesaplamalı fotoğrafçılık departmanından geldiğini öğrendi. Bu teknolojiyle ilgili makale, Londra Üniversitesi Koleji'nden Peter Hedman ve Facebook Seattle ofisinde araştırma bilimcisi Johannes Kopf tarafından ortaklaşa yazılmıştır. Bu ağustos ayında Vancouver'da düzenlenen Siggraph'da sergilendi.
Aslında, birçok dev görüntünün derinliğini hesaplamak için teknolojiyi geliştiriyor, ancak şu anda sadece portre modunda arka planı bulanıklaştırmak için kullanılıyor.
Ancak Facebook'un teknolojik yolu VR ile başladı. Facebook, Oculus'u 3 milyar dolara satın aldıktan sonra, sanal gerçekliğe büyük yatırım yaptı ve sanal ile gerçekliği birbirine bağlayan yeni bir sosyal imparatorluk yaratmaya kararlı. Gerçek dünyayı sanal gerçekliğe dönüştürmek temel bir görevdir. Önceki uygulama esas olarak 360 derecelik panoramik video veya Bununla birlikte, 3D efektli 360 derece panoramik videonun eklenmesiyle, bu panoramik resimlerin içeriği yalnızca büyük ölçekli bir 2D resimdir ve gerçek dünyanın derinliğine ve gerçekçiliğine sahip değildir.
6Dof video ve daha eksiksiz ışık alanı videosu herkesin beklediği çözümlerdir ve Facebook bu alanları araştırmaktadır. Mayıs 2017'deki F8 konferansında Facebook, derinlik bilgilerini kaydedebilen iki 3D VR panoramik kamera, Facebook 360 Surround x24 ve x6 yayınladı. Bu yılın Eylül ayında Facebook, profesyonel panoramik kamera Manifoldunu piyasaya sürdü.
Bununla birlikte, 6Dof video ve ışık alanlı videonun üretim maliyeti son derece yüksektir ve VR'nin mevcut gelişimi, çok sayıda içerik üreticisinin ilgisini çekmek zordur. Facebook, daha uygun ve demokratik bir yol-3D fotoğraflar seçti.
Facebook tarafından başlatılan derinlikli görüntü teknolojisi 3B video olarak adlandırılsa da, tanıdık 3B filmin 3B efektiyle aynı değildir. Sıradan 3D, yalnızca dürbün zaman farkıyla elde edilen sözde bir 3D efektidir.Bir sinemada, başınızı nasıl çevirirseniz çevirin, gördüğünüz stereoskopik görüntü yalnızca bir açıdır, Facebook 3D fotoğraflarının özelliği ise farklı açıları görüntülemek için sürükleyebilmenizdir. bilgi.
Bunu söyledikten sonra, Facebook bu teknolojiyi nasıl uyguladı?
Leifeng.com'a göre Facebook, başlangıçta kullanıcıların tek kameralı kamera ile çekim yapmasına, tüm sahneyi hareket ettirerek yakalamasına ve ardından paralaks ve cep telefonu hareketini, yani kamera hareket ettiğinde hareket eden farklı mesafelerdeki nesnelerin verilerini analiz etmesine izin verme yöntemini benimsedi. 3B sahne doğru bir şekilde yeniden oluşturulabilir.
Bununla birlikte, tek bir kameradan hızlı görüntülerden derinlik verilerini çıkarmak, işlemciden hesaplama gerektirir.Bu yöntem, çoğu cep telefonunun çift kamerası olduğunda biraz modası geçmiş. Aynı anda görüntü yakalamak için iki kamera kullanılarak, hareket halindeki nesneler için bile paralakstaki farklılıklar gözlemlenebilir. Ve iki merceğin cihazları tam olarak aynı konumda olduğundan, derinlik verilerinin gürültüsü çok daha küçüktür ve hesaplama gereksinimleri çok daha düşüktür.
Facebook şu anda iPhone'un çift kamerasını kullanıyor Cep telefonunun iki kamerası bir çift görüntü alıyor ve cihaz anında "derinlik haritasını" kendisi hesaplıyor ve görüntü kodlama çerçevesindeki tüm içeriğin mesafesini hesaplıyor. Sonuç şuna benzer:
Apple, Samsung, Huawei ve Google, hepsi derinlemesine görüntü teknolojisi üzerinde çalışıyor, ancak şu anda çoğunlukla fotoğrafların arka planını bulanıklaştırmak için kullanılıyorlar. Derinlik haritasının teknik zorluğu, oluşturulan derinlik haritasının belirli bir mutlak ölçeğe sahip olmamasıdır. Örneğin, koyu kırmızı 100 fit anlamına geldiğinde, açık sarı 10 fit anlamına gelmez. Her fotoğrafın oranı farklıdır, bu da nesnenin gerçek mesafesini elde etmek için birden fazla fotoğraf çekmeniz gerektiği anlamına gelir, ancak bu fotoğrafları birbirine dikmek acı verir.
Kopf, Hedman ve meslektaşlarının karşılaştığı sorun budur. Kullanıcılar, sistemlerinde telefonlarını hareket ettirerek çevrelerinin birden fazla görüntüsünü çekiyor; saniyede bir görüntü (teknik olarak iki görüntü ve sonuçta ortaya çıkan bir derinlik haritası) çekiyor ve koleksiyonuna eklemeye başlıyor. Arka planda algoritma, kameranın derinlik haritasına ve cep telefonu hareket algılama sistemi tarafından yakalanan küçük hareketlere bakar. Ardından, derinlik haritası temelde diğer fotoğraflarla hizalanacak şekilde doğru şekle masaj yapılır.
Derinlik haritasını oluşturduktan sonra, derinlik haritası bir 3B ızgaraya dönüştürülecektir (bu daha soyuttur, bunu manzara haritasının kağıt versiyonu olarak hayal edebilirsiniz). Ardından, ızgaranın belirgin kenarlarını kontrol edin ve bu kenarları ayırın.Örneğin, ön plandaki bir korkuluk ikisini ayırmak için arka plandaki manzarayı engeller. Bu, çeşitli nesneleri farklı derinliklerde görünmeleri ve perspektif değişiklikleriyle hareket etmeleri için ayırır. Bu yöntemler bir 3B efekti oluştursa da, ön planın bir kağıt kesikinden başka bir şey olmadığını tahmin etmiş olabilirsiniz, çünkü bir insan yüzünün doğrudan bir çekimiyse, kafaları veya sırtları hakkında hiçbir şey yoktur.
O halde son adım çok önemlidir. Evrişimli sinir ağı, görüntünün geri kalanını tahmin etmek ve doldurmak için kullanılır. Örneğin görüntü alanında saç varsa saç var olmaya devam edebilir. Bu nedenle, bu dokuları ikna edici bir şekilde yeniden yapılandırabilir, nesnenin şeklini tahmin edebilir ve boşluğu daraltabilir. Bu şekilde, perspektifi biraz değiştirdiğinizde, nesneyi gerçekten "sarmalıyorsunuz".
Facebook şu anda derinlik haritasının oluşturulmasını bir saniyede tamamlayabiliyor, bu yüzden buna "anında 3D fotoğrafçılık" diyorlar. Tabii ki, 3D fotoğraf işlevi şu anda yalnızca iki kamerada mevcut. Bu işlevin ilk lansmanı iPhone 7+, 8+, X veya XS ve gelecekte daha fazla telefon eklenecek.
Gazetede Facebook, tek kameralı bir kameranın aynı işleve sahip olmasını sağlamak için başka bir evrişimli sinir ağının nasıl kullanılacağını da tartıştı. Ancak tek bir kamera, çift kamera sistemi kadar iyi değildir. Bu aynı zamanda algoritmaların ve yazılım şirketlerinin sürekli çabalarını gerektirir.Lei Feng.com'un birkaç gün önce bildirdiği gibi, Google, Apple'ın tek kamerayla çift kamerasını geride bırakan çok sayıda hesaplamalı fotoğraf efekti elde etti.
