pix2pix 3D versiyonu: Birkaç satır çarpıcı bir kedi molası dansı oluşturur!
Xinzhiyuan AI WORLD 2018 Dünya Yapay Zeka Zirvesi
Bak! Bu ürün, sihirli kalem Ma Liang'dan bile daha güçlü!
GAN ve pix2pix gibi teknolojilerin gelişmesiyle, görüntü çevirisi artık nadir bir şey değil. Ancak, gerçek zamanlı ve 3D görüntü çevirisi görmek bir zevktir.
Yarım ay sonra, yazar Keijiro Takahashi nihayet bu canlı 3B küçük kediyi "çevirdi":
Özel kedi, hak ediyorsun!
aslında, Böyle bir kedi yapmak zor değil .
Önce Sketch Pad ile bir kedi çizin!
Çok ünlü edge2cats'e benzer şekilde, Sketch Pad de bir sunum yöntemidir, ancak yine de gerçek zamanlıdır.
İkincisi, Bazı sistem gereksinimlerine ihtiyacınız var :
-
Birlik 2018.1
-
Hesaplama gölgelendirici işlevi (DX11, Metal, Vulkan, vb.)
Platformdan bağımsız bir şekilde uygulanmasına rağmen, birçok parçası NVIDIA GPU mimarisi için optimize edilmiştir.
Sketch Pad'i mükemmel bir şekilde çalıştırmak için yazar, GeForce GTX 1070 veya daha yüksek Windows sistemi sürümünü kullanmanızı önerir.
Sonra, Eğitimli model nasıl kullanılır ?
Bu depo, bant genişliği ve depolama kotasından tasarruf etmek için herhangi bir eğitilmiş model içermez.
Örnek projeyi Unity Editor'da çalıştırmak için önceden eğitilmiş edge2cats modelini indirmeniz ve Assets / StreamingAssets'e kopyalamanız gerekir.
Bu uygulama, yalnızca Christopher Hesse etkileşimli gösterisinde kullanılan .pict ağırlık verisi formatını destekler. Önceden eğitilmiş bir model seçebilir veya kendi modelinizi eğitmek için pix2pix-tensorflow'u kullanabilirsiniz.
Klasik Pix2pix
Pix2pix, GAN uygulamasına dayanan farklı görüntü efektleri için bir dönüştürme aracıdır. Pix2pix, UC Berkeley'den Phillip Isola ve diğerleri tarafından önerildi. Makale ilk olarak Kasım 2016'da arxiv'de yayınlandı ve CVPR 2017 tarafından kabul edildi. Eski bir kağıt olmasına rağmen klasik bir kağıt olarak okunmaya değer, bu yüzden burada Pix2pix yöntemini de tanıtıyoruz.
Tez çalışıldı Koşullu yüzleşme ağı Görüntüden görüntüye dönüştürme sorunları için genel bir çözüm olarak. Bu ağlar yalnızca giriş görüntüsünden çıktı görüntüsüne eşlemeyi öğrenmekle kalmaz, aynı zamanda eşlemeyi eğitmek için kullanılan kayıp işlevini de öğrenir. Bu, geleneksel olarak çok farklı kayıp formülleri gerektiren sorunlara aynı genel yöntemin uygulanmasını mümkün kılar.
Araştırmacılar, bu yöntemin etiket haritalarından fotoğrafları sentezlemek, kenar haritalarından nesneleri yeniden oluşturmak ve siyah beyaz görüntüleri renklendirmek gibi görevlerde etkili olduğunu kanıtladılar. Bu çalışma, kayıp fonksiyonunu manuel olarak tasarlamadan makul sonuçlar elde edebileceğimizi göstermektedir.
Şekil 1: Koşullu düşmanlık ağları, çeşitli sorunlara iyi bir çözüm gibi görünen genel bir çözümdür. Burada birkaç yöntemin sonuçlarını gösteriyoruz. Her durumda, aynı mimari ve hedefler kullanılır, sadece farklı veriler üzerinde eğitim verilir.
Bazı görevlerde, küçük veri kümelerinde oldukça hızlı bir şekilde iyi sonuçlar elde edilebilir. Örneğin, dış duvarı oluşturmayı öğrenmek için (yukarıdaki resimde gösterildiği gibi), 400 görüntüyü eğitmek için yalnızca yaklaşık 2 saat harcadık (bir Pascal Titan X GPU kullanarak). Bununla birlikte, daha zor problemler için, daha büyük bir veri seti üzerinde eğitim önemli olabilir ve saatler, hatta günler alabilir.
GAN'a dayandığından, Pix2pix ayrıca jeneratör ve ayırıcıdan ayrılamaz.
GAN, rastgele gürültü vektörü z'den çıktı görüntüsü y'ye, yani G: z y eşlemeyi öğrenen üretken bir modeldir.
Buna karşılık, koşullu GAN, gözlemlenen görüntü x ve rastgele gürültü vektörü z'den y'ye eşlemelerini öğrenmektir, yani: G: {x, z} y.
Jeneratör G, çıktı üretmek üzere eğitilmiştir.Amaç, bu çıktıların kendisine karşı eğitilmiş ayırıcı D tarafından "gerçek" görüntüden ayırt edilmesini önlemektir; aynı zamanda, ayırıcı D, jeneratörü olabildiğince tespit etmek için eğitilir. "Yanlış" çıktı. Eğitim süreci aşağıdaki şekilde gösterilmektedir:
Harita kenarlarından fotoğrafa kadar koşullu bir GAN eğitin
Ağ mimarisi
Burada, DCGAN derin evrişim oluşturma yüzleşme ağındaki jeneratör ve ayırıcının yapısını ayarlamak için kullanılır. Hem jeneratör hem de ayırıcı evrişim-BatchNorm-ReLu modülünü kullanır.
Jeneratör mimarisi için iki seçenek. "U-Net" bir kodlayıcı-kod çözücüdür ve kodlayıcı ile kod çözücü yığınındaki ayna katmanı arasında bir atlama bağlantısı vardır.
Pix2pix'in yapısı hakkında daha fazla ayrıntı için lütfen orijinal belgeyi okuyun:
https://arxiv.org/pdf/1611.07004.pdf
Pix2pix'in en ünlü uygulaması "kedileri boyamaktır", edge2cats pix2pix-tensorflow'a dayalı bir uygulamadır, lütfen etkiye bakın:
Ve bugün sunduğumuz Unity için Pix2Pix daha da akıllara durgunluk veriyor. Oluşturulan kediyi hareket ettirmek için 3B model üzerinde "bir kedi çizin". Programcıların kedileri kızdırması gerçekten çok uygun!
Referans bağlantısı:
https://github.com/keijiro/Pix2Pix
https://twitter.com/_kzr
geri sayım 1 gün
Biletler satışta!
Xinzhiyuan, 20 Eylül'de Pekin'deki Ulusal Kongre Merkezi'nde AI WORLD 2018 Dünya Yapay Zeka Zirvesi'ne ev sahipliği yapacak ve makine öğrenimi vaftiz babası, CMU profesörü Tom Mitchell, Mikes Tekmark, Zhou Zhihua, Tao Dacheng, Chen Yiran ve diğer AI liderlerini davet edecek Makine zekasına ve insan kaderine dikkat edin.
Konferans resmi web sitesi:
