CVPR 2018 Çin Bildiri Paylaşım Oturumu: "GAN ve Sentez"
Leifeng.com AI teknolojisi yorumu: 11 Mayıs 2018, Microsoft Research Asia, Tsinghua University Media and Network Technology Ministry of Education-Microsoft Key Laboratory, SenseTime Technology, China Computer Society'nin Computer Vision Committee, China Image Grafik Topluluğu Görsel Büyük Veri Özel Komitesi, CVPR 2018 Çin Bildiri Sunum Semineri'ni ortaklaşa düzenledi.CVPR 2018 makalelerinin düzinelerce yazarı bu forumda en son araştırmalarını ve teknik görüşlerini paylaştı. Seminer 6 oturum (toplam 22 rapor), 1 forum ve 20'den fazla posteri içeriyordu. AI Technology Review sizin için ayrıntılı olarak raporlayacak.
Lei Feng.com'un Notu: Dünyanın en iyi bilgisayarla görme konferansı IEEE CVPR 2018, 18-22 Haziran tarihlerinde ABD'nin Salt Lake City kentinde düzenlenecek. CVPR'nin resmi web sitesine göre, bu yıl konferansa 3.300'den fazla bildiri gönderildi, 979'u kabul edildi; geçen yıl 783 bildiriye kıyasla bu yıl yaklaşık% 25 arttı.
Daha fazla rapor için lütfen Leifeng.com'da daha fazla rapora bakın:
1. Oturum: GAN ve Sentez
2. Oturum: Derin Öğrenme
Oturum 3: Kişi Yeniden Tanımlama ve İzleme
4.Oturum: Vizyon ve Dil
5. Oturum: Segmentasyon, Algılama
Oturum 6: İnsan, Yüz ve 3D Şekil
Bu makale 1. Oturumdur. Rapor kağıdı esas olarak GAN yöntemini ve üretim yöntemini kullanır.Dört kağıt rapor vardır.
İlk raporda, Pekin Üniversitesi'nden Doç. Dr. Liu Jiaying, ekiplerinin Attentive GAN kullanarak tek bir görüntüden yağmur damlalarını kaldırma çalışmalarını tanıttı; ikinci rapor, Çin Bilimler Akademisi Otomasyon Enstitüsü'nden Dr. Hu Yibo tarafından, yüz rotasyonu sağlamak için CAPG-GAN algoritmasını kullandıklarını tanıttı. Herhangi bir açıdan çalışın; ardından Pekin Üniversitesi'nden doçent Lian Zhouhui, etkileşimli doku dönüşümü için genel çerçevesini tanıttı; son olarak, Microsoft Research Asia'dan araştırmacı Fu Jianlong, örnek düzeyi tabanlı DA-GAN'ı tanıttı (Deep Attention Generative Adversarial Network), bu ağ, resimden resme çeviride daha rafine sonuçlar elde edebilir.
1. Tek bir fotoğraftan yağmur damlaları nasıl kaldırılır?
kağıt: Tek Bir Görüntüden Yağmur Damlasının Kaldırılması için Özenli Üretken Çekişmeli Ağ
Konuşmacı: Liu Jiaying, Pekin Üniversitesi
Kağıt indirme adresi: https://arxiv.org/abs/1711.10098
Aşağıdaki şekilde gösterildiği gibi, resimde yağmur izlerini kaldırmak için genel olarak dört senaryo vardır: düşen yağmur damlaları (Yağmur Damlası 1), merceğe düşen yağmur damlaları (Yağmur Damlası 2), yağmur çizgileri (Yağmur Çizgisi) ve Yağmur ve sis (Sis).
Liu Jiaying'in ekibi geçen yıl CVPR'deki yağmur izlerinin kaldırılması üzerine bir makale yayınladı: "Derin Ortak Yağmur Algılama ve Tek Bir Görüntüden Kaldırma" Bu makalede, esas olarak resimlerdeki yağmur çizgilerinin nasıl kaldırılacağını incelediler. Ancak insansız sürüşte veya ilgili araştırmada, daha zorlu bir görev, cama veya merceğe düşen yağmur damlalarının nasıl kaldırılacağıdır. Bu paylaşım oturumunda Liu Jiaying, Pekin Üniversitesi'nin ikinci sınıf öğrencisi Rui Qian'ın kendi rehberliğinde yaptığı, yani rastgele dağılmış yağmur damlalarını (Yağmur Damlası 2) tek bir resmin üzerine kaldırmayı tanıttı.
Bundan önceki tek benzer çalışma, David Eigen ve arkadaşları tarafından ICCV 2013'te yayınlanan bir makaledir. Bu makalede, yazar yalnızca 3 katmanlı bir evrişimli ağ kullandığından, yalnızca birkaç durumu ele alabilir. Aynı zamanda resimlerin üzerinde işlenebilen yağmur damlaları da çok küçüktür ve bu da temelde toz olarak kabul edilebilir.
Liu Jiaying tarafından paylaşılan bu makalede, fikir hala geçen yılki makalenin yöntemi, bir veri kümesi oluşturmak ve ardından üretilen veri kümesini modeli eğitmek için kullanmak.
1. Veri seti oluşturmaVeri seti, bu makalenin yazarı Rui Qian tarafından, farklı dış ortamlarda ve farklı arka planlarda 1.000'den fazla çift (yağmurlu ve yağmursuz) toplamak için SLR + 3 mm kalınlığında bir cam levha (veya doğrudan lens üzerine su püskürterek) kullanılarak oluşturulmuştur. , Gerçek ortamda yağmur damlalarının çeşitliliğini simüle etmek için farklı boyut ve şekillerde yağmur damlası görüntüleri. Aşağıdaki formülde gösterildiği gibi, görüntüyü yağmur damlalarıyla ifade etmek için matematiksel bir formül kullanın:
Bu yazıda yazar GAN yöntemini kullanmayı seçmiştir.Tüm modelin çerçevesi aşağıdaki şekilde gösterilmiştir:
Oluşturucu (Dikkat tekrarlayan Ağ), Bağlam Otomatik Kodlayıcı ve Dikriminatör Ağı olmak üzere üç bölümden oluşur.
İlk bölümün ana işi, tespit yapmak (yani, resimdeki yağmur damlasının konumunu tespit etmek) ve ardından bir dikkat haritası oluşturmaktır. İlk olarak, yağmur damlası görüntüsünden özellikleri çıkarmak için Artık bloğunu kullanın ve dikkatli alanı aşamalı olarak algılamak için Dönüşümleri kullanın. Eğitim veri setindeki resimlerin tümü eşleştirilmiştir, böylece karşılık gelen maske (M) kolayca hesaplanabilir ve Kayıp işlevi bundan oluşturulabilir; çünkü farklı dikkat ağları özelliği açıklama konusunda farklı doğruluklara sahiptir, bu nedenle her kayba bir indeks verin Zayıflama. Karşılık gelen kayıp işlevi aşağıdaki gibidir:
Ardından, yağmur damlası görüntüsünü oluşturmak için dikkat haritasını ve yağmur damlası görüntüsünü otomatik kodlayıcıya gönderin. Otomatik kodlayıcının yapısı 16 Conv ve Relu kullanır. Ağın kendisinin neden olduğu bulanıklığı önlemek için yazar atlama bağlantısını kullanır, çünkü bu düşük seviyede iyi sonuçlar getirecektir. Bina kaybı açısından, çok ölçekli değerlendirmelere ek olarak, yüksek hassasiyetli bir kayıp da eklenir, yani: Çok ölçekli kayıp + algısal kayıp.
Sonuncusu ayrımcıdır. Bu adımı yapmanın iki yolu vardır: Biri yargılama için yalnızca otomatik kodlayıcı tarafından oluşturulan yağmur damlasız görüntüyü kullanmak, diğeri ise kılavuz olarak bir dikkat haritası eklemektir. resim gösterdiği gibi:
Yazarlar doğrulama için iki veri seti (PSNR ve SSIM) kullandılar, burada PSNR kendi veri setleri koleksiyonudur. Yazar, Eigen ve diğerleri tarafından 2013 yılında yayınlanan çalışmayı ve Pix2Pix yöntemini bir karşılaştırma olarak seçti. Sonuçlar aşağıdaki gibidir:
Bunlar arasında, A yalnızca Otomatik Kodlayıcı anlamına gelir, A + D Otomatik Kodlayıcı + Ayırıcı anlamına gelir, A + AD Otomatik Kodlayıcı + Dikkat Ayırıcı anlamına gelir ve AA + AD Dikkat Otomatik Kodlayıcı + Dikkat Ayırıcı anlamına gelir.
Gerçek yağmur giderme etkisi şekilde gösterilmiştir:
2. Resimdeki yüz nasıl döndürülür?
Kağıt: Poz Güdümlü Fotogerçekçi Yüz Döndürme
Konuşmacı: Hu Yibo, Otomasyon Enstitüsü, Çin Bilimler Akademisi
Kağıt indirme adresi: Hayır
Bir görüntüdeki yüzün herhangi bir açıda nasıl döndürüleceği ile ilgili olarak, örneğin bir ön yüz görüntüsünden bir yan yüz görüntüsünün oluşturulması veya tersine bir yan yüzden ön yüz görüntüsünün kurtarılmasıyla ilgili olarak, hem akademi hem de endüstri büyük ilgi göstermiştir. Çünkü bu yüz düzenleme, poz dönüştürme, veri geliştirme, temsil öğrenme vb. İçin kullanılabilir.
Açı döndürmenin üç yönü vardır: x, y ve z. Mevcut araştırma, esas olarak sol ve sağ sapmayı ele almaktadır. Tek bir görüntüden döndürürseniz, bu aslında bir tür "yoktan", bire çok patolojik bir sorundur. Bu nedenle, mevcut yüz döndürme, düşük özgünlük, düşük çözünürlük ve zayıf kimlik bilgisi tutma sorunlarına sahiptir.
Hu Yibo, çalışmalarını tanıtmadan önce aşağıdaki şekilde gösterildiği gibi yüz döndürme araştırma sürecini kısaca tanıttı:
2015'teki CVPR makalesinden bu yana, yüz tanıma kademeli olarak geniş ilgi gördü. Şu anda, yüz tanıma esas olarak iki bölüme ayrılmıştır, biri yüzün önden alınması, diğeri ise herhangi bir açıda yatay rotasyondur. Yüz cepheleştirmesinin ayrı bir parça olmasının nedeni, yüz cepheleştirme sürecinin güçlü "simetri" kısıtlamaları getirebilmesi ve böylelikle birden çoğa sorunların zorluğunu azaltmasıdır.
Bunların arasında TP-GAN, insan yüzlerinin cepheleştirilmesinde bir kilometre taşı çalışmasıdır ve bu yöntem ortaya çıktıktan sonra, yüz yüze doğruluk sahte bir etki yaratabilir. TP-GAN çok etkilidir çünkü nihayetinde yerel ve küresel yolları birleştirmek için küresel bir yol ve dört yerel yol (bir kişinin beş duyusuna karşılık gelir) kullanır. Bununla birlikte, bu yöntemin iki dezavantajı vardır: 1) En yavaş yol kısıtlamasıyla sınırlıdır ve belirli bir performans darboğazı vardır; 2) Yalnızca yüz önleme problemi için geçerlidir ve daha kapsamlı yüz rotasyonuna uygulanamaz. . Bu iki soruna yanıt olarak Hu Yibo, net performansını iyileştirmemiz ve keyfi yüz rotasyonu sağlamamız gerektiğine inanıyor.
Öte yandan, küresel öncelikli topoloji algılama teorisi, biyolojik görüş sisteminin küresel topolojiye çok duyarlı olduğuna işaret etmektedir. Yüz özellikleri çok sayıda küresel topolojik bilgi içerir, bu nedenle yüzün küresel topolojik bilgisi tüm yüz sürecini yönlendirmek için bir koşul olarak kullanılır.
2. Modelİlhamın yukarıdaki iki yönüne dayanarak, Hu Yibo ve diğerleri, iki boyutlu bir uzayda herhangi bir açıda yüz döndürmeyi gerçekleştirebilen CAPG-GAN yöntemini önerdiler. Durum olarak yüzün global topolojik bilgisinin seçilmesinin iki avantajı vardır. Birincisi, oluşturulan görüntüyü daha gerçekçi hale getirmek için yüzün yapısal bilgilerini sağlayabilir. İkincisi, ayırıcıda ön bilgi olarak kullanılabilir, bu da diskriminatörün yüz yapısını iyileştirebilir. Bunun ayırt edici doğası da, jeneratörü daha yüksek çözünürlüklü görüntüler oluşturmaya teşvik eder. CAPG-GAN'ın yapısı aşağıdaki gibidir:
Girdi, orijinal görüntü I ^ a'yı, orijinal görüntünün beş anahtar noktasını P ^ a ve hedef pozun anahtar noktası P ^ b'yi içerir .. Oluşturucu G, hedef görüntüyü çıkarır. Ayırıcı, esasen iki bağımsız ayırıcı olan bir çift ajan yapısını kullanır Ajan 1, rotasyon açısının gerçekliğini yargılar ve ajan 2, topolojik yapının gerçekliğini yargılar.
İki aracı için, karşılık gelen kayıp işlevi aşağıdaki şekilde gösterilmektedir:
Hu Yibo'nun ekibi, herhangi bir açıda ön yüz ve döndürme görevi için çeşitli veri kümeleri üzerinde deneyler yaptı ve sonuçlar mükemmeldi. Etki aşağıdaki gibidir:
İlgili Makaleler:
Çin Bilimler Akademisi Otomasyon Enstitüsü: Büyük Ölçekli Yüz Görüntüsü Düzenleme Teorisi, Yöntemi ve Uygulaması
Çin Bilimler Akademisi Otomasyon Enstitüsü Akıllı Algılama ve Hesaplama Araştırma Merkezi'nden 11 makale CVPR | CVPR 2018 tarafından kabul edildi
3. Yazı tiplerine çeşitli stiller nasıl eklenir?
kağıt: Etkileşimli Doku Transferi için Ortak Çerçeve
Konuşmacı: Lian Zhouhui, Pekin Üniversitesi
Kağıt indirme adresi:
Araştırma talepten gelir. Doçent Zhouhui Lian, Pekin Üniversitesi Bilgisayar Bilimi ve Teknolojisi Enstitüsü'nün Glyph Hesaplama Teknolojisi Laboratuvarı'ndan geliyor (enstitünün merkezi). Geleneksel olarak, glif tasarımı, giriş sistemi kullanılmadan önce her karakterin elle yazılmasını veya tasarlanmasını gerektirir. Ancak, Çince'de çok sayıda Çince karakter olduğundan ve birçok Çince karakterin yapısı çok karmaşık olduğundan, bu iş zordur ve zaman alıcıdır. Çözümlerden biri, belirli bir stile sahip bir karakter tasarlamak ve ardından onu dönüştürme yoluyla diğer karakterlere aktarmaktır.
Öyleyse, herhangi bir dokunun görüntü stili dönüştürme yoluyla hedef Çince karaktere aktarılabilir mi? Daha genel olarak, herhangi bir doku stili herhangi bir görüntüye aktarılabilir mi? Bu düşüncelere dayanarak, Lian Zhouhui'nin ekibi makalelerinde doku geçişi için etkileşimli bir genel çerçeve önerdi.
Yukarıdaki şekilde gösterildiği gibi, bu evrensel çerçeve: (a) grafitiyi sanat eserine dönüştürebilir, (b) dekorasyon modunu düzenleyebilir, (c) özel efektlerle metin oluşturabilir, (d) metinde kontrol efekt dağıtım görüntülerini yapabilir, (e) Dokuları değiştirin.
1. Yöntem
Doku geçişinin problemi, asıl doku görüntüsünü, orijinal görüntünün anlamsal haritasını ve hedef görüntünün anlamsal haritasını girdikten sonra hedef doku görüntüsünün nasıl çıktılacağıdır.
Daha kritik olan konu, iki anlamsal haritanın nasıl eşleştirileceğidir. Örneğin, yukarıdaki şekilde, zengin anlamsal bilgi rehberliği sayesinde kenarlar nispeten daha kolay eşleştirilebilir; ancak geniş iç alan (d, e) için aynı noktaya uyacak birçok yer vardır.Yazar, kullanmayı seçer. Kenarlardan gelen bilgiler (doku tutarlılığı ve yapısal kılavuzluk) iyi bir eşleştirme efekti sağlayabilir.
Yukarıdaki şekilde gösterildiği gibi, tüm süreç üç bölüme ve 7 adıma bölünmüştür. Etkileşimli yapıya dayalı görüntü sentezinin, kullanıcının hedef görüntüdeki stilize dokunun uzamsal dağılımını kontrol etmek için anlamsal kanala açıklama ekleyebildiği anlamsal haritalama ve yapı bilgisi tarafından yönlendirildiğine dikkat edilmelidir. Yapı çıkarma bağlantısında, yapı kanalı içeriğe duyarlı belirginlik tespiti yoluyla otomatik olarak çıkarılır ve kaynak stil görüntüden hedefe aktarılır. Spesifik olarak, yayılma aşaması, kaynak görüntü ile hedef görüntü arasındaki anahtar sınır noktalarının kaydedilmesi yoluyla iç yapı uygunluğunu elde eder. Dinamik rehberlik için anlamsal ve yapısal bilgileri birleştirmek, dönüştürme sürecinin içerik farkındalığı ve düşük düzeyli ayrıntılarla yüksek kaliteli dokular üretmesini sağlayabilir.
2. Deneysel sonuçlar
Bu makale, yapı kılavuzlu etkileşimli doku aktarımı için genel bir çerçeve sunmaktadır. Bu yöntem, yapısal bütünlüğü ve görsel zenginliği korurken, stilleri belirli bir kaynak görüntüden kullanıcı kontrollü bir hedef görüntüye otomatik olarak aktarabilir. Daha spesifik olarak yazar, göze çarpan alanların otomatik olarak çıkarılması ve yapısal bilgilerin yayılmasıyla elde edilen yapısal rehberliği sunar. Yapısal kanalları anlamsal ve doku tutarlılığı ile birleştirerek doku aktarımına rehberlik edilebilir. Deneysel sonuçlar, önerilen çerçevenin birçok doku aktarımı zorluğuna geniş çapta uygulanabilir olduğunu göstermektedir. Mevcut modellerin çoğu stil dönüşümü için sinir tabanlı yöntemler kullanma eğiliminde olsa da, bu makalenin sonuçları basit geleneksel doku sentezi çerçevelerinin hala mükemmel performans gösterebileceğini göstermektedir.
4. Resimden resme daha ayrıntılı çeviri nasıl yapılır?
Bildiri: DA-GAN: Derin Dikkat Üreten Adversarial Network tarafından Örnek Düzeyinde Görüntü Çevirisi
Konuşmacı: Fu Jianlong, Microsoft Research Asia
Kağıt indirme adresi: https://arxiv.org/abs/1802.06454
Bu makale, daha yüksek kaliteli hedefler oluşturmak için Dikkat mekanizmasını GAN ile birleştiren başka bir çalışmadır.
1. AydınlanmaRaporda Fu Jianlong, CV'deki görüntüden görüntüye çeviri görevinin (Image2Image Translation) nispeten geniş bir kavram olduğuna inanıyor; bu, çeviri işlemi sırasında üretilen örnekleri kısıtlarken, kaynak alandaki görüntülere dayalı olarak hedef etki alanında ikili görüntüler oluşturmaktır. Dağıtım, kaynaktaki örnekle mümkün olduğunca tutarlıdır. Aslında, gündüzden geceye görüntü dönüştürme, siyah beyaz fotoğraftan renkli fotoğrafa dönüştürme, düşük pikselden yüksek piksele dönüştürme, filigran kaldırma, görüntü bölütleme, 2D'den 3D'ye gibi görüntüden görüntüye çeviri sorununa ait birçok temel CV sorunu vardır. , Van Gogh stilizasyonu, kömür stili, eksik parçaların restorasyonu vb.
Daha gelişmiş olanlar aşağıdaki gibidir:
Tüm bu görevlerde, bire bir öğrenme çifti olup olmadığına göre, bu görevler çift veri görevleri ve eşleştirmeyi kaldıran veri görevleri olarak ikiye ayrılır. (Aşağıda gösterildiği gibi)
İlki eğitim veri setinde bire bir veri çiftine sahiptir, x giriştir ve y çıktının kayıp fonksiyonunu hesaplamak için kullanılır. Şu anda en iyi performans gösteren ağ Pix2Pix ağıdır; ikincisi ise iki bağımsız veri seti arasındadır Eğitim, model iki set arasındaki ilişkiyi otomatik olarak keşfedebilmelidir, böylece haritalama işlevini öğrenmek için en iyi ağ CycleGAN modelidir.
Bununla birlikte, yukarıdakilerin tümü, görüntü düzeyinde özellik öğrenmeye dayanmaktadır ve oluşturma görevlerini daha yüksek kalite gereksinimleri ile (görüntü bölgelerinin stilini değiştirmek gibi) tamamlamak daha zordur. Bu yüzden birisi örnek düzeyinde PatchGAN'a dayalı bir resimden resme çeviri yöntemi önerdi:
Fu Jianlong'un dediği gibi, araştırma yapmak, öncekiler tarafından doldurulmayan boş pozisyonları bulmaktır. Yukarıdaki şeklin çizilmesiyle, eşleştirilmemiş örnek düzeyine dayalı bir görüntüden görüntüye çeviri yönteminin de olması gerektiği açıkça görülebilir. Bu tam olarak bu makalenin çalışmasıdır, yani kaynak etki alanı ile hedef etki alanı örneği arasındaki ilişkinin otomatik olarak keşfedilip keşfedilemeyeceği, aynı zamanda herhangi bir insan açıklaması gerektirmeyen eşleştirme yöntemidir.
2. ModelÖrnek düzeyi yöntemine dayandığından, önce şunu sormalıyız: Örnek nedir?
Aslında bu, farklı görevlerde farklı şekilde tanımlanabilen nispeten geniş bir kavramdır. Örneğin kuş üretme görevinde kuşun kendisi bir örnektir ve kuşun ağzı, bacakları, kanatları, kuyruğu vb. Örnekler de olabilir; daha detaylı bir üretken model oluşturmak istiyorsanız daha fazla türü daha detaylı tanımlayabilirsiniz. örnek.
Yukarıdaki fikirleri tanıttıktan sonra, modelin yapısı çok net. Yukarıdaki şekilde gösterildiği gibi, önce her bir durum otomatik olarak bir Derin Dikkat kodlayıcı (DAE) aracılığıyla öğrenilir ve ardından farklı parçalar "gizli bir alana" yansıtılır ve son olarak GAN ağı tarafından oluşturulur.
3. Deneysel sonuçlarNiceliksel karşılaştırma, DA-GAN'ın diğer yöntemlere kıyasla daha büyük bir gelişmeye sahip olduğunu göstermektedir.
Niteliksel karşılaştırma açısından üç tür vardır:
Resme Metin
nesne yapılandırması
morphing poz
Soldan sağa, kaynak kuş, hedef kuş ve DA-GAN tarafından üretilen kuşlar. Bir soru şudur: Kuş bacaklarının olmamasının sebebi nedir?
4. SonuçBu makale, daha yüksek kalitede çevrilmiş görüntüler elde etmek için daha ayrıntılı örnek düzeyinde GAN oluşturma yoluyla, denetimsiz bir görüntü dönüştürme yöntemi önermektedir. Deneysel sonuçlar, DA-GAN'ın diğer ağlara kıyasla performans gelişimini açıkça görebilir. Bununla birlikte, üretilen sonuçlarda hala bazı hataların olduğu unutulmamalıdır (yukarıda bahsedilen "eksik kuş bacakları" gibi) Bunun nedeni, modeldeki örneğin, tamdan farklı olan zayıf denetimli Dikkat mekanizması aracılığıyla öğrenilmesi olabilir. Denetimli öğrenmede hala belli bir boşluk var. Nasıl telafi edileceği, Fu Jianlong'un ekibinin bir sonraki çalışmasını beklemek zorunda kalabilir.
İlgili Makaleler:
DA-GAN teknolojisi: bilgisayarlar harika "yeni türler" yaratmanıza yardımcı olur
