Grafiti tek tıkla gerçekçi fotoğraflara dönüştü, resim becerilerim karşısında şaşkına döndüm | CVPR New Research
İçbükey tapınaktan Annie
Qubit Üretildi | Genel Hesap QbitAI
Sakin suda aniden şiddetli değişiklikler ortaya çıktı.
Siyah bir yay, havanın ortasından aşağıya doğru uzanır ve yarım daire boyunca geçer. Sonra tıpkı kayalık bir dağ gibi kendi kendime doldurdum, suyun ortasına düştüm.
Su dalgalandı. Gözlerinizi ovuşturmak hiçbir şekilde kamaşmaz: kayalık dağ çizgilerinin sağlam olduğunu ve yansımanın açıkça görülebildiğini görürsünüz.
İkinci ve üçüncü bloklar da takip etti.
Fenomenin özünü gören, fareyi tutan ve bilgisayarın önünde karalama yapan her şeyi kontrol eden programcıdır.
NVIDIA programcılarının gerçek distorsiyon gücü alanı, başlatın!
Tuttuğu alet, GauGAN, izlenimci usta Gauguin'den bir sözden daha az ve resmin aslına uygunluğu onun çok üstünde.
Havadan dağlar oluşturmanın yanı sıra, saniyeler içinde akan şelaleler de ekleyebilirsiniz:
Bir ağaç veya başka bir şey dikmek çocuk oyuncağı:
Fotoğrafta ne olması gerektiği, fare düzenlemesine bağlıdır.
Var olmayan nesneler yaratmanın yanı sıra, GauGAN gündüz ve gece seyahat ederek mevsimleri bozabilir:
Ve yarattığı manzara o kadar ayrıntılı ki, önceki algoritmalar ulaşılamaz.
Spor sahneleri, hayvan fotoğrafları gibi çok yüksek detaylar gerektiren işler de bir grafitiden oluşturulabilir.
Bazı Twitter netizenleri Nvidia GTC showroomundan bir ünlem işareti yayınladı:
Kahretsin, sanatsal yeteneğim beni şaşırttı!
Peri operasyonu, bu sahildeki kübitler bundan utanıyor.
Tamam, resmen NVIDIA tarafından üretilen ürünleri tanıtalım GauGAN : Bir grafiti çiziyorsunuz ve her bir parçanın hangi nesneye karşılık geldiğini ayırt etmek için renkler kullanıyorsunuz ve bu, başyapıtınıza göre sahte bir gerçek dünya görünümünde birleştirilebilir. AI dünyasında, grafitinizin "anlamsal düzen" adı verilen bilimsel bir adı vardır.
Bu yeteneği elde etmek için GauGAN, mekansal uyarlamalı normalizasyon sentez yöntemine güvenir. SPADE Mimari. Bu algoritmanın Uzamsal Uyarlamalı Normalizasyonu ile Anlamsal Görüntü Sentezi makalesi CVPR 2019 tarafından kabul edilmiştir ve halen sözlü bir rapordur.
Her zamanki gibi, bu makalenin çalışması hala bir stajyer. Diğer birkaç yazar Nvidia ve Çinli kardeş CycleGAN'ın yaratıcısı MIT'den. Zhu Junyan İçinde de var.
Semantiğe dayalı görüntüleri sentezleme alanında, bu şu anda en etkili yöntemdir.
Büyülü alan adaptasyonu
Gazetede, araştırmacılar SPADE'in gizemini ortaya çıkardı.
Daha önce, anlamsal görüntü sentezi alanında bir dizi "ardışık düzen" işleme prosedürü vardı: Anlamsal Yerleşim, doğrudan derin sinir ağının girdisi olarak kullanıldı ve daha sonra, bileşik görüntüyü çıkarmak için evrişim, normalleştirme ve doğrusal olmayan katman işleme kullanıldı. .
Bununla birlikte, bu geleneksel sinir ağı mimarisi optimal çözüm değildir ve normalleştirme katmanı genellikle bilgiyi anlamsal maske girdisinde yapar. Çalkalama , Zayıf sentez etkisine neden olur.
Bu sorunu çözmek için, araştırmacılar yeni bir yöntem önerdiler, alan adaptasyonu standardizasyonu ( SP özellikle- Bir daptive ( DE ) normalizasyon), SPADE olarak anılır.
Bu, öğrenilen uzamsal uyarlama dönüşümü yoluyla etkinleştirme işlevini ayarlayan ve anlamsal düzeni tüm ağa etkili bir şekilde yaymak ve anlamsal bilgi kaybını önlemek için anlamsal düzeni kullanan koşullu bir normalleştirme katmanıdır.
SPADE, Toplu Normalizasyona benzer.Aktivasyon fonksiyonu kanal bazında standartlaştırılmıştır, ancak birçok standardizasyon tekniğinde, öğrenilen Afin Katmanı gerçek standardizasyon işleminden sonra uygulanır.
Ancak SPADE'de afin katman semantik segmentasyon haritasından öğrenilir. Bu benzer Durum standardizasyonu , Ancak öğrenilen afin parametreler artık mekansal adaptasyona, yani her semantik etiket için farklı ölçeklendirme ve önyargı kullanmaya ihtiyaç duyuyor.
Bu kadar küçük bir değişiklikle, anlamsal sinyal, oluşturulan görüntüdeki anlamsal bilgileri kaybetmeden tüm katmanların çıktılarına uygulanabilir.
Ek olarak, anlamsal bilgi SPADE katmanı aracılığıyla sağlandığından, rastgele vektör sinir ağının girdisi haline gelir, böylece görüntünün stilini istediğiniz gibi değiştirebilirsiniz.
Efekt +++
Araştırmacılar, SPADE'in öncekilere kıyasla nasıl olduğunu test etmek için COCO-Stuff, ADE20K ve Cityscapes veri kümelerini kullandı.
Bu yeni araştırmadan önce, CRN, pix2pixHD ve diğer yıldız semantik görüntü sentezi yöntemlerinin etkilerinin olduğu ortaya çıktı. Pislik ol :
Önceki pix2pixHD ve CRN algoritmaları yalnızca gökyüzünün ve denizin renklerini ayırt edebilir, ancak GauGAN önderlik eder, kademeli deniz suyu rengi ve dağınık dalgalar bile sentezlenir ve hatta stadyum çizgisi:
Ek olarak, araştırmacılar, SPADE ve diğer anlamsal sentez modellerinin puanlarını değerlendirmek için ortalama algılama değerlendirme fonksiyonu (mIoU), piksel doğruluğu (accu) ve FID (Frechet Başlangıç Mesafesi) kullanmışlardır. SPADE diğer modellerden daha iyidir.
yazar hakkında
Bu makale, Nvidia araştırmacıları Taesung Park, Ming-Yu Liu, Ting-Chun Wang ve Jun-Yan Zhu () tarafından ortak yazılmıştır.
Taesung Park Koreli bir kardeştir. Stanford'da lisans ve yüksek lisans eğitimi almıştır. Halen UC Berkeley'de bilgisayar bilimleri alanında doktora eğitimine devam etmektedir. Park'ın belgeleri ICCV 2017, ICML 2019 ve CVPR 2019 tarafından kabul edildi.
Şu anda Park, araştırmacı Ming-Yu Liu ( ) tarafından yönetilen Nvidia'da bir stajyer.
Ming-Yu Liu, vid2vid, pix2pixHD, CoupledGAN, FastPhotoStyle, MoCoGAN, FastPhotoStyle, vb. Dahil olmak üzere CV çemberindeki birçok tanınmış projeye katıldı. Araştırmaları, NeurIPS, CVPR ve ECCV konferanslarında sık sık yer aldı.
Üçüncü Ting-Chun Wang, Ming-Yu Liu'nun Nvidia Araştırma meslektaşı ve Park'ın UC Berkeley'deki ilk kardeşi "gayret" kardeşidir.
Sizuo tanıdık bir Çince isimdir: Zhu Junyan . Bilgisayar çevresinde, Zhu Junyan büyük bir tanrı gibidir.
2012 yılında Tsinghua Üniversitesi Bilgisayar Bilimleri Bölümü'nden Mühendislik Lisans Diploması ile mezun olan Junyan Zhu, CMU ve UC Berkeley'de 5 yıl eğitim gördükten sonra UC Berkeley Elektrik Mühendisliği ve Bilgisayar Bilimleri Bölümü'nden doktora derecesi aldı ve Alexei Efros ile çalıştı.
Klasik "atı döndüren zebra" olan CycleGAN'ı önerdikten sonra, aynı zamanda Görüntü Oluşturmayı Öğrenmek için doktora tezine geri döndü ve ACM SIGGRAPH 2018'in "Üstün Doktora Tezi Ödülü" nü kazandı.
Doktorasını bitirdikten sonra Junyan Zhu, MIT Bilgisayar ve Yapay Zeka Laboratuvarı'nda (CSAIL) doktora sonrası araştırmacı oldu.
Zhu Junyan ile ilgili olarak, bu makalede ayrıca belirtmeye değer küçük bir ayrıntı var: Kendisini iki bağlı kurumla işaretledi: MIT ve Nvidia . Önceki makalelerinde, Nvidia ile işbirliği yapmasa bile, kurumlarının tümü daha önce doktora eğitimi almış olan MIT veya UC Berkeley idi.
Portal
Şu anda, makale yayınlandı ve araştırmacılar kodun, eğitim modelinin ve tüm görüntülerin yakında geleceğini söylediler.
Devam eden Nvidia GTC 19 konferansında, GauGAN Açıklandı. Ting-Chun Wang ve Ming-Yu Liu da Çarşamba ve Cuma günleri ABD saati ile ilgili konuşmalar yapacak.
Kağıt adresi:
https://arxiv.org/abs/1903.07291
GitHub adresi (kod yakında çevrimiçi olacak):
https://github.com/NVlabs/SPADE
proje adresi:
https://nvlabs.github.io/SPADE/
- Bitiş -
Samimi işe alım
Qubit, editörleri / muhabirleri işe alıyor ve merkezi Pekin, Zhongguancun'da bulunuyor. Yetenekli ve hevesli öğrencilerin bize katılmasını dört gözle bekliyoruz! Ayrıntılar için, lütfen QbitAI diyalog arayüzünde "işe alım" kelimesiyle yanıt verin.
Qubit QbitAI · Toutiao İmzalayan Yazar
' ' Yapay zeka teknolojisi ve ürünlerindeki yeni eğilimleri takip edin
