Facebook, telefon fotoğraflarını tek bir tıklama ile 3D gişe rekorları kıran başka bir siyah teknolojiye sahip
Bilim ve teknolojinin gelişmesiyle, insanlar artık fotoğraf çekmek ve en sevdikleri anları istedikleri zaman, istedikleri yerde kaydetmek için cep telefonlarını ve diğer cihazları kullanabilirler. Çektiğimiz düz 2D fotoğrafları üç boyutlu 3D fotoğraflara dönüştüren siyah bir teknoloji varsa bunu birçok kişi düşünmüş olabilir ...
Facebook da bu konuyu uzun zaman önce düşünüyordu. Kullanıcı deneyimini iyileştirmek için Facebook 2018'de bir 3D fotoğraf işlevi başlattı. Bu, fotoğrafları arkadaşlarınızla ve ailenizle paylaşmak için kullanabileceğiniz yeni bir sürükleyici formattır. Ancak bu özellik, ileri teknoloji akıllı telefonların sahip olduğu çift lensli "portre modu" işlevine dayanır ve sıradan mobil cihazlarda kullanılamaz.
Daha fazla insanın bu yeni görsel formatı deneyimlemesine izin vermek için Facebook, makine öğrenimini kullanan bir sistem geliştirdi. Bu sistem, herhangi bir görüntünün 3B yapısını çıkarabilir ve herhangi bir cihazla ve herhangi bir zamanda çekilen görüntüler 3B forma dönüştürülebilir. Bu, insanların 3D fotoğraf teknolojisini kolayca kullanmasına olanak tanır.
Sadece bu değil, aynı zamanda onlarca yıl öncesinin aile fotoğraflarını ve diğer değerli görüntüleri de işleyebilir. İPhone 7 ve üzeri veya orta seviye veya üzeri Android cihazı olan herkes artık bu özelliği Facebook uygulamasında deneyebilir.
3B bir görüntü oluşturmak için 2B görüntünün farklı alanlarının derinliğini tahmin edin
Bu gelişmiş 3B görüntünün oluşturulması, birçok teknik zorluğun üstesinden gelmeyi gerektirir; örneğin, çeşitli konuların 3B konumunu doğru bir şekilde çıkarabilen bir model eğitmek ve sistemi 1 saniye içinde tipik bir mobil işlemci cihazında çalışacak şekilde optimize etmek üzerinde. Bu zorlukların üstesinden gelmek için Facebook, milyonlarca halka açık 3B görüntü ve bunlara eşlik eden derinlik haritaları üzerinde evrişimli bir sinir ağı (CNN) eğitti ve daha önce Facebook AI tarafından geliştirilen FBNet ve ChamNet gibi çeşitli mobil optimizasyon teknolojilerini kullandı. Ekip ayrıca yakın zamanda 3B anlayışıyla ilgili araştırmaları tartıştı.
Şimdi, Facebook'u kullanan herkes bu özelliği kullanabilir, peki bu nasıl inşa edilir? Teknik detaylara göz atabiliriz.
Yavru köpeğin orijinal fotoğrafı, herhangi bir derinlik haritası verisi olmadan tek lensli bir kamerayla çekilmiştir. Sistem, onu yukarıda gösterilen 3B görüntüye dönüştürür
Mobil cihazlarda verimli performans sağlayın
Standart bir RGB görüntüsü verildiğinde, 3D Photos CNN (3D Photo Convolutional Neural Network) her piksel ile kamera arasındaki mesafeyi tahmin edebilir. Araştırmacılar bu hedefe dört şekilde ulaştı:
-
Ağ mimarisini inşa etmek için bir dizi parametrelendirilebilir, taşınabilir ve optimize edilmiş sinirsel yapı taşları kullanın;
-
Bu blokların etkili yapılandırmalarını bulmak için otomatik mimari arama, sistemin çeşitli cihazlarda görevleri 1 saniyeden daha kısa sürede gerçekleştirmesini sağlar;
-
Niceleme işlemi sırasında performans düşüşünü en aza indirirken, mobil cihazlarda yüksek performanslı INT8 niceleme kullanarak niceliksel algı eğitimi;
-
Herkese açık 3B fotoğraflardan çok sayıda eğitim verisi alın.
Sinir yapı taşı
Facebook'un mimari kullanımı FBNet'in yapı taşlarından esinlenmiştir. FBNet, mobil cihazlar ve kaynakları kısıtlı diğer cihazlar için ConvNet mimarisini optimize etmeye yönelik bir çerçevedir. Bir yapı bloğu, noktasal evrişim, isteğe bağlı yukarı örnekleme, kxk derin evrişim ve ek noktasal evrişimden oluşur. Facebook, FBNet yapı taşlarını atlama bağlantılarına yerleştirmek için değiştirilmiş bir U-net tarzı mimari uyguladı. U-net kodlayıcı ve kod çözücünün her biri 5 aşama içerir ve her aşama farklı bir uzaysal çözünürlüğe karşılık gelir.
Ağ mimarisine genel bakış: Bir U-net, atlanan bağlantılar boyunca ek makro düzeyde yapı taşları yerleştirir
Otomatik mimari arama
Etkili bir mimari yapılandırması bulmak için, Facebook AI tarafından geliştirilen ChamNet algoritması arama sürecini otomatik olarak tamamlar. ChamNet algoritması, doğruluk tahmincisini eğitmek için arama alanından sürekli olarak noktalar çıkarır. Doğruluk tahmincisi, belirli kaynak kısıtlamalarını karşılarken tahmin doğruluğunu en üst düzeye çıkaran bir model bulmak için genetik aramayı hızlandırmak için kullanılır.
Bu ayarda, kanal genişletme faktörünü ve blok başına çıkış kanalı sayısını değiştirebilen ve 3.4x1022 olası mimarilerle sonuçlanabilen bir arama alanı kullanılır. Ardından Facebook, 800 Tesla V100 GPU kullanarak aramayı yaklaşık üç gün içinde tamamladı, farklı çalışma noktaları elde etmek için model mimarisindeki FLOP kısıtlamalarını belirledi ve ayarladı.
Nicel algı eğitimi
Varsayılan olarak, modeli eğitim için tek hassasiyetli kayan nokta ağırlıkları ve aktivasyonları kullanır, ancak araştırmacılar ağırlıkların ve aktivasyonların 8 bitlik nicelleştirilmesinin önemli avantajları olduğunu buldular. Özellikle int8 ağırlıkları, float32 ağırlıkları için gereken depolamanın yalnızca dörtte birini gerektirir, böylece ilk kez kullanıldığında aygıta aktarılması gereken bayt sayısını azaltır.
Her görüntü normal bir 2D görüntüden başlar ve ardından bunu 3D görüntüye dönüştürmek için bir derinlik tahmini sinir ağı kullanır.
Float32 tabanlı operatörlerle karşılaştırıldığında, PyTorch'a entegre edilmiş Facebook AI'nın QNNPACK'i gibi optimize edilmiş kütüphaneler sayesinde Int8 tabanlı operatörlerin verimi de çok daha yüksektir. Nicelleştirmenin neden olduğu kalite bozulmasını önlemek için Niceliksel Farkındalık Eğitimi (QAT) kullanıyoruz. QAT artık, nicelemeyi simüle eden ve eğitim sırasında geri yayılmayı destekleyen, böylece eğitim ve üretim performansı arasındaki boşluğu ortadan kaldıran PyTorch'un bir parçasıdır.
Sinir ağı, karmaşık sahnelerin resimleri ve görüntüleri dahil olmak üzere her türlü içeriği işler.
3B deneyimler oluşturmanın yeni yollarını bulun
Araştırmacılar, derinlik tahmin algoritmasını iyileştirmenin yanı sıra, mobil cihazlar tarafından çekilen videolar için yüksek kaliteli derinlik tahmini sağlamayı da taahhüt ediyorlar.
Her karenin derinliği bir sonraki kare ile tutarlı olması gerektiğinden, video işleme teknolojisi zordur, ancak aynı zamanda performansı artırmak için bir fırsattır. Aynı nesnenin birden fazla gözlemi, yüksek hassasiyetli derinlik tahmini için ek sinyaller sağlayabilir. Facebook'un sinir ağının performansı gelişmeye devam ederken, ekip aynı zamanda gerçek zamanlı uygulamalarda (artırılmış gerçeklik gibi) derinlik tahmini, yüzey normal tahmini ve uzamsal muhakemenin kullanımını da keşfedecek.
Bu potansiyel yeni deneyimlere ek olarak, bu çalışma, araştırmacıların 2D görüntülerin içeriğini daha iyi anlamalarına yardımcı olacaktır. 3D sahnelerin daha iyi anlaşılması, robotların fiziksel dünyada gezinmesine ve etkileşimde bulunmasına da yardımcı olabilir. Facebook, yapay zeka topluluğunun bu alanlarda 3D resim sisteminin ayrıntılarını paylaşarak ilerleme kaydetmesine yardımcı olmayı ve yeni ve gelişmiş 3D deneyimler yaratmayı umuyor.
aracılığıyla: https://ai.facebook.com/blog/-powered-by-ai-turning-any-2d-photo-into-3d-using-convolutional-neural-nets/
Lei Feng Ağı Lei Feng Ağı Lei Feng Ağı
