Sektör | Makine öğreniminin tanıtımıyla, Google'ın ARCore gerçek zamanlı selfie AR daha gerçekçi
AI Technology Review Press : ARCore, Google tarafından resmi olarak geçen yıl Şubat ayında başlatılan ve geliştiricilere AR APP geliştirmek için bir platform sağlayan artırılmış gerçeklik (AR) yazılım geliştirme kitidir. Bir aydan kısa bir süre önce Google, ön kamera AR otoportre özelliği ve animasyon efekti desteğini ekleyen ARCore 1.7 sürümünü resmi olarak piyasaya sürdü; ve birkaç gün önce, Google gerçek zamanlı selfie AR'yi daha gerçekçi hale getirmek için makine öğrenimi teknolojisini tanıttı. Ayrıca, bu teknolojiyle ilgili makaleler Google AI'nın resmi blogunda yayınlanır ve AI teknolojisi incelemeleri aşağıdaki gibi derlenir.
Artırılmış gerçeklik (AR), dijital içeriği ve bilgiyi fiziksel dünyanın gerçek sahneleri üzerine yerleştirerek insanların gerçekliğin ötesinde duyusal deneyimler elde etmelerine olanak tanır. Örneğin, Google Haritalar'ın AR işlevi, size rehberlik etmesi için gerçek sahnede yön bilgilerini üst üste bindirebilir. Pixel kameradaki Oyun Alanı modu ile dünyayı farklı perspektiflerden görmek için AR'yi kullanabilirsiniz. Yeni yayınlanan "YouTube Hikayeleri" ve ARCore'un yeni Artırılmış Yüzler API'sini kullanarak, özçekimlerinize animasyon maskeleri, gözlükler, şapkalar, görünümler ve diğer özel efektler ekleyebilirsiniz.
Bu artırılmış gerçeklik (AR) işlevini gerçekleştirmenin en önemli zorluklarından biri, sanal içeriği gerçek dünyaya uygun bir şekilde sabitlemektir: bu işlem, her gülümsemeyi, kaşlarımızı veya gülümsemeleri izleyebilen benzersiz bir yüksek dinamik yüzey geometrisi seti gerektirir. Algılama teknolojisi.
ARCore'un 3B ızgarası ve elde edebileceği bazı özel efektler
Bu amaçla, yaklaşık 3B yüzey geometrisini çıkarmak için makine öğrenimi (ML) teknolojisini tanıttık ve özel bir derinlik sensörüne ihtiyaç duymadan yalnızca tek bir kamera girişi gerekiyor. Bu yöntem, gerçekçi gerçek zamanlı AR efektleri elde etmek için mobil CPU arabirimi çıkarımı için TensorFlow Lite'ı veya mevcut yeni mobil GPU özelliklerini kullanır. "YouTube Hikayeleri" nin yeni içerik oluşturucu özel efektlerinde kullanılan teknoloji gibi, bu teknoloji de en yeni ARCore SDK ve ML Kit Face Contour Detection API aracılığıyla geniş bir geliştirici topluluğunun kullanımına sunulmuştur.
Selfie AR için makine öğrenimi iş akışı
Makine öğrenimi iş akışımız, birlikte çalışan iki gerçek zamanlı derin sinir ağı modelinden oluşur: biri, tüm görüntü üzerinde çalışan ve yüzün konumunu hesaplayan bir algılayıcıdır; diğeri, algılayan genel bir 3B ağ modelidir. Cihaz tarafından hesaplanan yüz pozisyonunda çalışır ve regresyon yoluyla yaklaşık yüzey geometrisini tahmin eder. Yüzü kesin olarak kırpmak, döndürme, çevirme ve ölçek dönüştürmelerinden oluşan afin dönüşümler gibi genel veri geliştirme gereksinimlerini büyük ölçüde azaltabilir ve ağın performansının çoğunu, doğruluğunu artırmak için koordinatları tahmin etmeye ayırmasına olanak tanır. Cinsellik - Bu, uygun sanal içeriği sabitlemek için gereklidir.
İlgilenilen yeri kırptıktan sonra, örgü ağ bir seferde yalnızca tek bir çerçeveye uygulanır ve yüz hareketsizken gürültüyü azaltmak ve büyük hareketler sırasında gecikmeleri önlemek için pencereli yumuşatma kullanılır.
3B kafes iş başında
3D ızgaralar için, aktarım öğrenmeyi benimsedik ve birden çok hedefi olan bir ağı eğittik: ağ, sentezlenmiş ve oluşturulmuş verilere ve MLKit tarafından sağlananlara benzer açıklamalı verilere dayalı olarak eşzamanlı olarak 3D ızgara koordinatlarını tahmin edebilir. Gerçek dünya verileri 2B anlamsal konturları tahmin eder. Nihai ağ, bize sentetik verilere ve hatta gerçek dünya verilerine dayanan makul 3B ızgara tahminleri sağlar. Tüm modeller coğrafi olarak çeşitli veri setlerinden elde edilen veriler üzerinde eğitilir ve ardından dengeli ve çeşitli test setlerinde kalitatif ve kantitatif performans testleri gerçekleştirilir.
3B ağ ağı, kırpılmış video karelerini girdi olarak alır. Ek derinlik girişine dayanmadığı için önceden kaydedilmiş videoya da uygulanabilir. Model yalnızca 3B noktasının konumunu değil, aynı zamanda var olan ve girdide makul şekilde hizalanmış bir yüzün olasılığını da verir. Yaygın bir alternatif, her bir dönüm noktası için bir 2B ısı haritası tahmin etmektir, ancak bu yöntem derinlik tahmini için uygun değildir ve pek çok veri noktası için bu yöntemi kullanmanın hesaplama maliyeti çok yüksektir.
Yinelemeli kendi kendine genişleme ve tahminlerin iyileştirilmesi yoluyla, modelin doğruluğunu ve sağlamlığını daha da iyileştirdik ve aynı zamanda veri setini hayalet yüzler, eğimli çekim açıları ve yüz kapanması gibi giderek daha zorlayıcı örneklere dönüştürdük. Buna ek olarak, veri seti geliştirme teknolojisi de mevcut kesin doğruluk verilerini genişletmiş ve kamera kusurları veya aşırı ışık koşulları gibi yapay ürün sorunlarına dirençli bir model geliştirmiştir.
Veri seti genişletme ve iyileştirme yolu
Donanım için özelleştirilmiş arayüz
Cihazda yerleşik sinir ağı muhakemesi için TensorFlow Lite kullanıyoruz. Yeni tanıtılan GPU arka uç hızlandırma, performansı etkili bir şekilde artırabilir ve güç tüketimini önemli ölçüde azaltabilir. Ek olarak, daha geniş bir tüketici sınıfı donanım yelpazesini kapsayacak şekilde farklı performans ve verimlilik özelliklerine sahip bir dizi model mimarisi tasarladık. Daha basit ağlar arasındaki en önemli fark, Artık Blok tasarımı ve kabul edilebilir giriş çözünürlüğüdür (en basit modelde giriş çözünürlüğü 128 × 128 piksel iken, en karmaşık modelde giriş çözünürlüğü Oran 256 × 256'dır). Aynı zamanda, katman sayısını ve alt örnekleme oranını da değiştirdik (ağ derinliği azaldıkça giriş çözünürlüğünün düştüğü hız).
Çerçeve başına çıkarım süresi: CPU ve GPU
Bu optimizasyon serisinin sonucu, daha basit bir modelin kullanımının önemli ölçüde hızlanma sağlarken aynı zamanda AR özel efektlerinin kalitesindeki azalmayı en aza indirmesidir.
En karmaşık modelin (solda) ve en basit modelin (sağda) karşılaştırılması: Basit modelde, zamanlama tutarlılığı ve dudakların ve gözlerin takibi biraz azaltılır.
Bu sonuçlar, nihayetinde kullanıcıların aşağıdaki yöntemlerle YouTube, ARCore ve diğer istemcilerde daha gerçekçi selfie AR efektleri deneyimlemesine olanak sağlayabilir:
-
Ortam haritalama yoluyla ışık yansımasını simüle ederek gözlüklerin gerçekçi görünümünü gerçekleştirin;
-
Yüz ızgarasına sanal hedef gölge projelendirilerek doğal aydınlatma etkisi gerçekleştirilir;
-
Aşağıdaki sanal gözlük kılıfında gösterildiği gibi, sanal hedef parçayı yüzün arkasına gizlemek için yüz kapanmasını modelleyin.
Ayrıca aşağıdaki şekillerde gerçekçi makyaj efektleri elde ettik:
-
Dudaklara uygulanan aynasal yansımayı modelleyin;
-
Yüz rengini elde etmek için parlaklık algılama malzemeleri kullanın.
Vaka karşılaştırması: Farklı ışık altında 5 hedefin gerçek makyaj efektleri ve AR makyaj efektleri
https://developers.googleblog.com/2019/02/new-ui-tools-and-richer-creative-canvas.html) bu teknolojiyi kullanmak için. Gelecekte, bu teknolojiyi daha fazla Google ürün grubuna da uygulamayı planlıyoruz.
ai.googleblog.com aracılığıyla
Tıklamak Orijinali okuyun , View Google AI stajyerine başvurmak ister misiniz? Gelin bu rehbere bir göz atın
