Haberler | Herkes bir bayanın büyük patronu mu? ? Snapchat'ın cinsiyet değiştirme filtresi her dakika bozulacak!
Google Beyin Mühendisi Eric Jang kısa süre önce Snapchat'ın cinsiyet değişimi filtresini deneyimledi ve bir deneyim makalesi yazdı.Alt Araştırma Enstitüsü bu makaleyi aşağıdaki gibi derledi. Snapchatin cinsiyet değiştirme filtresi, sonsuz bir eğlence ve parti kaynağıdır ve dönüşüm sonuçları çok tatmin edicidir. Her gün makine öğrenimi algoritmalarıyla uğraşan biri olarak, bu işlevin gücünün çok şaşırtıcı olduğu söylenebilir.
Bu özellikle çok ilgileniyorum Meraklı bir bebek olarak bu sabah Snapchat'a kaydoldum ve bir süre denedim, arkasındaki prensibi ve onu nasıl hacklediğimi anlamaya çalıştım. Not: Bu, Snapchat'in API dosyalarını tersine çevirmek veya diğer uygulamaların benzer işlevleri nasıl tasarladığını incelemek için değildir. Bu sadece bazı temel hipotez testleridir. Ne zaman etkili olacak ve ne zaman etkili olmayacak elbette biraz narsisizm ekleyin Banyoda selfie eğlencesi.
Ön gözlem
Ortadaki fotoğraf, bir banyo özçekiminin orijinal bir fotoğrafı. Soldaki "erkek" filtrenin etkisi ve sağdaki "dişi" filtrenin etkisi.
Çoğu kullanıcının fark edebileceği ilk şey, bu filtrenin gerçek zamanlı olarak çalıştığı, birkaç farklı açı kullanabileceğiniz ve internet bağlantısı olmadan çalışabileceğidir. Yün şapka takarken saçın görüntüsü de çok doğaldır.
Aşağıdaki resim, başımı çevirdiğimde çekilmiş bir hareketli resimdir. Uygulama, yüzün belirtilen yöne bakıp bakmadığını algılayabiliyor gibi görünüyor ve filtre efekti yalnızca Boole değeri karşılandığında tetiklenecek.
Cinsiyet değiştirme filtresi, çeşitli ışık koşullarına uyarlanabilir, ancak saçlar gölge yapmaz.
Kadın gangsterine dönüşen çok tatlı olduğumu mu sanıyorsun?
Sırada, havalı sentetik saçın temel ışık kaynağını yakalayabileceğini düşündüğüm bir örnek var.
Oklüzyon testi
Önceki gözlemlerden çok iyi çalışıyor. Öyleyse başarısız olmasını sağlayabilir miyiz? Bu filtre, yüzün yanlış duruşta olup olmadığını tespit edebilir, ancak ya bir şey yüzü bloke ederse? Engellenen yüz de "transseksüel" mi olacak? Cevap Evet. Aşağıda, yüzümde bir nesneyi kaydırdığım bir (yatay oklüzyon) testi var. Yüzün yalnızca yarısı engellendiğinde, filtre normal çalışır, ancak yüz çok fazla engellenirse, "Yüzümü değiştirmeli miyim" seçeneği Yanlış olarak ayarlanacaktır.
Dikey tıkanmaya tekrar bakalım Buradaki filtre etkisi, önemli anlamsal özelliklerin (gözler ve dudaklar gibi) tıkanmasından ziyade "tıkanmış yüz bölgesinin yüzdesine" bağlı gibi görünüyor. Filtre, "Yüzümü değiştirmeli miyim" seçeneğinin "Yanlış" olarak değiştirilmesine karar vermeden hemen önce, elinizdeki beyaz şişenin bulanık olduğunu görebilirsiniz. Üstelik şişeyi görüşümün ortasına koyduğumda saçlarım altın rengine döndü. Bu etki çok ilginç. Bence bu iş yerinde makine öğrenimi olmalı, işlemek için eğitilmiş verilerden bazı veriler çıkaracaktır. Öyleyse soru şu ki, sarışın daha fazla makyaj dersi vermeye devam edecek mi?
Yüzümün bir kısmını siyah aktif kömür maskesi ile kapattım ve işleme etkisi sabit görünüyordu. Dişi filtre, maskeyi biraz ortadan kaldırır. Aşağıdaki GIF'ten "yüz değiştirme" işlevinin başın dikdörtgen alanını takip etmekle sınırlı olduğu açıktır (saç omzuma ulaştığında keskin kesime dikkat edin).
Yüzün geri kalanını maskeyle kapattıktan sonra filtre çalışmayı bıraktı. İlginç olan, yüzümün açıkta kalan bölgesinin hala bir yüz olarak algılanması ve filtrenin bu alanın yüz stili dönüşümünü gerçekleştirmeye devam etmesi. Ito Junji'nin korku hikayesi (https://en.wikipedia.org/wiki/Tomie) gibi baş ve yüzün titremesini görebilirsiniz.
Maske çıkarıldığında, oluşturma etkisi şaşırtıcı derecede kararlıdır.
Saç tabakası
Saçın gerçekçiliğinden en çok etkilendim, bu yüzden dinamik aydınlatma için saç örgü modelleri olup olmadığını veya hepsinin makine öğrenimine dayanıp dayanmadığını öğrenmek istiyorum.
Saç, üst katman olarak (tıpkı Photoshop katmanı gibi) oluşturulmuş gibi görünüyor, ancak genellikle kullanılan basit köpek kulağı / dil filtresinin aksine, bu saç katmanının kısmen şeffaf bir alfa kanalı vardır. Yakından bakarsanız, saç üzerinde yüzü ortaya çıkarabilecek açık bir bölünmüş maske de vardır. Snapchat, başın konumunu belirlemek ve saçın 2D alfa maskesini hesaplamak için kafayı izliyor olabilir.
O nasıl çalışır? Aşağıdakiler benim tahminimdir.
İlk bakışta, aklımda görünen şey, erkek yüzlerinin kadın yüzlerine dağılımını eşleyen bir CycleGAN (https://junyanz.github.io/CycleGAN/) mimarisi idi. Veri seti, son 8 yılda kullanıcılar tarafından Snapchat'a yüklenen (ve Snapchat tarafından silinmemiş) milyarlarca özçekimi içermelidir.
Ancak bu pek çok soruyu gündeme getiriyor:
Eğittikleri görüntü dönüştürücünün gerçekten eşleştirilmiş görüntülere ihtiyacı yok mu? Doğruysa, CycleGAN'ın birçok sorun olduğu düşünüldüğünde, bu son derece şok edici olacaktır, hatta bunu yapmak imkansız bile olabilir. Öyleyse bahse girerim, sınırlı bir gerçek eşleştirilmiş veri seti (https://areeweb.polito.it/ricerca/cgvg/siblingsDB.html) gibi erkek / Kadın kardeşlerin eşleştirilmiş görüntüleri, hatta bazı veriler, veri geliştirme olarak kullanılabilen elle tasarlanmış cinsiyet dönüşümünün sonucudur (örneğin, çene konturunu yuvarlak hale getirmenin etkisi makine öğrenimi olmadan yapılabilir).
Saç ve yüz dönüşümleri, farklı katmanları işgal ettikleri için (veya belki bir araya getirilip oluşturmadan önce farklı katmanlara bölündükleri için) birbirlerinden bağımsız olarak bir araya getirilmiş gibi görünüyor. Bu aynı zamanda alfa kanalını işlemek için GAN'ların kullanıldığını ilk kez görüyorum. Saçın gerçekten GAN tarafından üretilip üretilmediğinden şüpheliyim. Bir yandan, engellenen nesnenin konumuna göre vurgu ve saç rengini değiştirebilen ve rengin kısmen verilerden öğrenilebileceğini gösteren bazı yumuşatma işlevleri vardır. Öte yandan, saç çok stabil ve bir GAN jeneratörüyle tamamen sentezlendiğine inanamıyorum. Benzer saç stilleriyle yüzlerini değiştiren diğer Doğu Asyalı erkeklerin bazı örneklerini gördüm, bu da büyük bir haridos şablon kitaplığının olabileceğini gösteriyor (bazı makine öğrenimi modelleriyle geliştirilmiş).
Snap'in makine öğrenimi mühendisleri, CycleGAN'ın bu kadar büyük bir veri kümesi üzerinde eğitim aldıktan sonra bir araya gelip gelmediğini nasıl biliyor?
Bu kadar sınırlı bilgi işlem kaynaklarıyla, bu düzeyde sinir ağını nasıl çalıştırdılar? Dinamik olarak ürettikleri görüntülerin çözünürlüğü nedir?
Gerçekten bir CycleGAN ise, erkek filtre dişi filtre resmime uygulandığında, orijinal resme geri yüklenmelidir, değil mi?
Yukarıdaki animasyonda gösterildiği gibi, bu fotoğrafın oranı temelde değişmez, ancak çok yakınlaştığımızda, bu yüz aslında daha çok yüzüme benziyor. Standart yüz görüntüsü sinir ağına girilmeden önce, onu kırpmak ve yeniden boyutlandırmak için bir ön işleme adımı olacağını tahmin ediyorum. Bu filtrede çene boyutunu ayarlamak gibi başka alt programlar olabilir, bunlar CycleGAN kullanmazlar, ancak eklenmesi M2F ve F2M filtrelerinin artık tam tersi olmayacaktır.
Teknoloji reverie
Bu, çapraz giyinmeden önce çok çalışması gereken bir arkadaşımın durumu. Makyaj sanatçılarının, rol oyuncularının ve sürükleyici sanatçıların yeni fikirleri ve kimlikleri daha ucuz ve daha hızlı bir şekilde denemesini kolaylaştıracağı için bu teknoloji beni çok heyecanlandıracak.
Yüz ve ses değişiklikleri gibi teknolojiler, halka açık İnternet karakterleri ile bu karakterlerin arkasındaki gerçek insanlar arasındaki boşluğu genişletti. Ancak bu mutlaka kötü bir şey değil: eğer bir erkekseniz, ancak çevrimiçi olarak sevimli bir anime kızı olmak istiyorsanız, o zaman hangi kimliği değerlendirmeliyiz? (Youtube video bağlantısı: https://www.youtube.com/watch?v=DIFbgtiQnZY) Günlük sosyal medyamız cinsiyet çarpıtmasını normalleştirdikçe, cinsiyet akışkanlığı ve çapraz giyinme kültürü toplumda daha normalleşecek ?
Gelecek çok heyecan verici.
üzerinden
https://blog.evjang.com/2019/05/fun-with-snapchats-gender-swapping.html
Orijinal metni okumak için tıklayın, CVPR üst toplantı değişim grubuna katılın ve meslektaşlarınızla fikir alışverişinde bulunun
