Microsoft Research Asia CVPR makalesi DA-GAN, bilgisayarların harika "yeni türler" yaratmasına izin verin
Xinzhiyuan önerilir
Kaynak: Microsoft Research AI manşetleri
Xin Zhiyuan Rehberi Kendi başına şiir yazabilen Microsoft Xiaobing'i hatırlıyor musunuz? Xiaobing'in şiirini okuduktan sonra birçok kişi makinenin de yaratıcı olmasına hayret etti. Son zamanlarda, Microsoft Asya Araştırma Enstitüsü tarafından geliştirilen DA-GAN teknolojisi, makine ile boyama yaratmayı mümkün kıldı.İnsanlar istedikleri resmi kelimelerle tanımladıkları sürece, bilgisayar birkaç milisaniye içinde tanımla eşleşen birden fazla görüntü oluşturabilir. Belki de yakın gelecekte DA-GAN teknolojisi, herkesin yaratıcı olduğu bir çağ açacaktır.
İnsanlar "Beyaz karınlı, göğsü, gri başlı ve beyaz kanatlı bir kuş istiyorum" diye bir metin kullandığında, bilgisayar DA-GAN aracılığıyla birkaç milisaniye içinde birden çok ve metin açıklamaları oluşturabilir Oldukça tutarlı bir görüntü (aşağıda resmedilmiştir). Bilgisayar tarafından üretilen bu kuşlar gerçeğe benzer ve insanların beklediği kuşların görüntüsüne tam olarak uyarlar, ancak gerçek dünyada var olabilirler veya sistem tarafından kuş özelliklerine ve metin açıklamalarına göre oluşturulmuş bir "kuş" olabilirler. ".
DA-GAN, "beyaz karınlı ve göğsü, gri başlı ve beyaz kanatlı bir kuş" yarattı (not: bu resimdeki kuş gerçek dünyada yok)
DA-GAN'ın en büyük yeniliği - "gizli alan"
DA-GAN araştırma ekibinin teknolojik atılımı, özellik ifade teknolojisinin geliştirilmesinden yararlandı. Geçmiş özellik ifade çalışmasında, işin çoğu makinenin resmi anlamasına ve özellikleri çıkarmasına ve ardından resmi sınıflandırmasına izin vermektir; ancak DA-GAN'ın bazı ters düşünme anlamı vardır, resim özelliklerini çıkardıktan sonra, özellikler insan görsel alanında geri yüklenir. dışarı gel.
Örnek olarak yukarıda sıralanan kuşları ele alalım.Sistem önce gerçek dünyadaki kuşlara göre kuşların yapı ve özelliklerini özetleyebilmeli, ardından ihtiyaç duydukları kuşları kullanıcıların ihtiyaçlarına göre çıkarabilmelidir. Araştırma nesnesi olarak kuşların seçilmesinin nedeni, kuşların özelliklerinin çok zengin olmasıdır.Sadece kafada onlarca özellik vardır.Kuş uzmanları, kuş türlerini değerlendirmek için bu ince farklılıkları kullanırlar. Modelin üretme yeteneğini doğrulamak daha iyidir.
Microsoft Research Asia'da bir araştırmacı olan Fu Jianlong, DA-GAN sistemini eğitirken, ilk olarak kırmızı elmayı bilen ve yeşil elma gören bir kişi gibi pek çok kuş türünü görmesine izin verdik. Görünüşünden bir elma gibi olduğu yargılanıyor. DA-GAN, kuşları, temas ettiği kuşların resimlerine dayanarak yargılamanın ampirik sağduyusunu öğrendi. "
Çift veri gerektiren geleneksel veri eğitim modunun aksine, DA-GAN'ın metni gerçek kuşla bire bir eşleştirmesi gerekmez, ancak Orijinal resmi farklı bölümlere ayırın (bu T bölümünün örneğini geçici olarak arayın) Baş, vücut, kuyruk, duruş vb. Karşılık gelen T-T'nin doğruluğunu, yani "gizli alanı" sürekli olarak doğrulamak için, farklı parçalar "gizli bir alana" (geçici olarak bu parçanın oluşturulmuş örneği T 'olarak adlandırılır) ve daha sonra çok sayıda görüntü eğitimi yoluyla yansıtılır. "Alan" ın kalitesi, T-T'den gelen sürecin rastgele oluşturulmamasını sağlamak için sürekli olarak yinelenir, ancak "gizli alan" modelinin kademeli olarak iyileştirilmesi için belirli kuralları sürdürür. Bu süreç DA-GAN sisteminin temel yeniliği olarak tanımlanabilir ve aynı zamanda daha akıllı olması ve analoji yoluyla gerçekten öğrenebilmesi için kilit noktadır.
DA-GAN derin dikkat kodlama akış şeması
Daha sonra DA-GAN, kullanıcıların istediği kanatları bu modele göre oluşturabilir Makalenin başında anlatıldığı gibi ihtiyaçlarınızı girin ve buna göre gerçeğe yakın bir kuş üretilecektir. Doğası gereği gerçek bir kuş olabileceği gibi, A türü bir kuşun baş özellikleri, B türü bir kuşun fiziksel özellikleri, C türü bir kuşun kuyruk özelliği ve herhangi bir duruş ile bir "hayal gücü" olabilir. "Çin'deki Kuş" ve gerçek dünyada böyle bir kuş yok, ama gerçek bir "kuş" gibi görünüyor.
(a) Metinden görüntüye üretim (b) Nesne kategorisi dönüşümü
Fu Jianlong, "Şu anda kuşları yalnızca 4 parçaya ayırıyoruz. Bu, nispeten makul olduğunu hesapladığımız haritalama için uygun bir yol ve sistem maliyeti düşük. Tabii ki kuşları 10 veya 30 parçaya da bölebiliriz. , Ardından model gittikçe daha doğru hale gelecektir, ancak sistem maliyeti de katlanarak artabilir. "
Herkesin yaratıcı olduğu bir çağ başlatın
Kuşlara ek olarak DA-GAN, resimle ilgili herhangi bir kreasyon için de kullanılabilir.Örneğin, gerçek yüzlere dayalı çizgi film yüzleri oluşturan popüler küçük programlar, aslında çoğu orijinal fotoğraflara doku ekler. GAN, daha çok bir sanatçının canlı çizgi roman çizimi gibi olabilir. Van Gogh tarzında, Monet tarzında, çizgi roman tarzında vb. Olabilir ve kullanıcılar herhangi bir dönüşüm gerçekleştirebilir.
DA-GAN için en önemli şey erken veri eğitimidir, ne kadar çok resim olursa kalite o kadar yüksek olur. Ve çözünürlüğü, diğer ilgili teknolojilerle elde edilebilen 64 * 64'ten 256 * 256'ya yükseltilmiştir. Çözünürlükteki artış, resmin her bir bölümünde yer alan ayrıntılı bilgilerin daha eksiksiz olduğu anlamına gelir ve tam olarak DA'nın ayrıntılarının zenginliğinden kaynaklanmaktadır. -GAN'ın performansı, gerçek dünyaya kıyasla benzer teknolojilerden daha iyidir.
Aynı zamanda, DA-GAN tarafından oluşturulan birçok yeni resim sisteme geri beslenebilir, böylece daha fazla öğrenme verisine sahip olur. Diğer bir deyişle, az miktarda ham veriye dayandığı sürece DA-GAN, belirli alanlarda gerçek veri eksikliğini büyük ölçüde artıran daha "gerçek" eğitim verileri üretebilir. Araştırma ekibi, DA-GAN'ın bu avantajını kullanarak, sektörün kanatlı veri setindeki veri üretimindeki ilk artışı sağladı ve sistemin doğruluğunu yüzde iki puan artırdı.
Veri geliştirme sonuçları
Poz dönüştürme görevi Şekildeki her resim grubunun ilk sütunu kaynak, ikinci sütun hedef ve üçüncü sütun DA-GAN tarafından üretilen kuştur.
Somut bir gelecekte, belki de DA-GAN teknolojisi herkesin yaratıcı olduğu bir çağ açacaktır. Neyi girmeniz gerektiğini anladığınız sürece, zihninizde hayal ettiğiniz nesneler ve sahneler bile "boyanabilir". DA-GAN tarafından tasvir edilen sanal dünya, yazarlar ve sanatçılar tarafından yaratılan sahnelerden daha aşağı olmayabilir.
Sadece bu değil, soyu tükenmiş hayvanların ve bitkilerin yazılı metnin açıklamasıyla kağıt üzerinde yeniden görünmesine izin verin; güvenlik alanı için suçluların daha gerçekçi portrelerini sağlayın; insanların çevrimiçi satılan kıyafetleri denemek için kendi durumlarına uymalarına yardımcı olun, vb. Ve DA-GAN teknolojisinin daha fazla uygulama senaryosu herkesin hayal etmesini bekliyor. Fu Jianlong, aynı zamanda, teknolojinin gelecekte sürekli gelişmesiyle birlikte gerçekçi resimler ve görüntüler üretebilecek daha fazla teknolojinin doğacağını söyledi.Gerçekliğin nasıl ayırt edileceği, bilimsel araştırmacıların ve halkın düşünmesini ve çözmesini gerektiren bir sorun.
Kağıt bağlantısı:
https://arxiv.org/pdf/1802.06454.pdf
Bu makale "Microsoft Research AI Headlines" yetkisiyle yeniden oluşturulmuştur, orijinal metni görüntülemek için orijinal metni okumak için tıklayın
Topluluğa katıl
Xinzhiyuan AI teknolojisi + endüstri topluluğunun işe alımında, AI teknolojisi + endüstrisiyle ilgilenen öğrenciler küçük bir WeChat asistanı hesabı ekleyebilirler: aiera2015_1 Gruba katılın; incelemeyi geçtikten sonra sizi gruba katılmaya davet edeceğiz. Topluluğa katıldıktan sonra, grup açıklamalarını değiştirmeniz gerekir (isim-şirket-pozisyon; profesyonel grup incelemesi katıdır, lütfen anlayın).
