Türler arası yaratma, AI zürafa resimlerini kuşlara dönüştürür ve ayrıca insanları ve makineleri kandırır
İnsanlar yapay zekanın görüntüleri üretme ve tespit etme yollarını incelerken, hepsinin bir araştırma konusunu açıklığa kavuşturması gerekir. Son zamanlarda, Cornell Üniversitesi'nden Daniel V. Ruiz, Gabriel Salomon ve Eduardo Todt'tan üç araştırmacı, zürafa resimlerini kuş resimlerine dönüştürmek için yapay zeka eğitmeye ve bu tür görüntüleri incelemek için yeni veriler oluşturmak için Generative Adversarial Networks (GAN) kullanmaya karar verdi. Görüntü dönüştürme (görüntüden görüntüye çeviri). Bu makale aynı zamanda Sahilde Bilgisayar (COTB'20) 2020 konferansında da oylandı.
Kağıt adresi: https://arxiv.org/abs/2001.03637
Şu anda, görüntüden görüntüye dönüştürme uygulaması, uydu görüntülerinden haritaların üretilmesi ve yalnızca ana hatlardan tam giysi görüntülerinin üretilmesi dahil olmak üzere nispeten kapsamlıdır. Bu makaledeki araştırma, bir zürafayı kuşa dönüştürmek aslında oldukça zordur çünkü iki hayvanın farklı boyutları, dokuları ve şekilleri vardır. InstaGAN adlı denetimsiz bir alanlar arası dönüşüm modelini eğittiler ve çok sayıda zürafa ve kuş resmi üzerinde eğittiler.
InstaGAN, Kore Bilim ve Teknoloji Akademisi ve Pohang Bilim ve Teknoloji Üniversitesi'nden araştırmacılar tarafından 2019 yılında önerildi ve ilgili makale "InstaGAN: Instance-Aware Image-to-Image Translation" da ICLR2019 tarafından kabul edildi.
Son olarak, bitmiş kuş ürünü, orijinal resmin düzenini ve arka planını korur, ancak zürafayı doğrudan bir kuşa dönüştürür. Oluşturulan kuşun olmadığı vurgulanmalıdır, bu sadece InstaGAN'ın sonucudur.
Yazarın kendi sözleriyle bu makalenin yenilikçi noktası, "Bu sefer elmaları portakallara değil, filleri muza dönüştürdük." Önceki denetimsiz görüntüden görüntüye dönüştürme nedeniyle, örneklerin çoğu ayakta duran bir aslanı midesinde yatmaya, kediyi köpeğe, atı zebraya vb. Dönüştürüyor. Bununla birlikte, bu eğitimler oran ve şekil bakımından benzerdir, bu nedenle zorluk biraz daha fazladır. fark.
Bunu nasıl yaptılar?
GAN'ı eğitmek ve ilgili görüntüleri oluşturmak için iki veri seti vardır: COCO (Bağlamdaki Ortak nesneler) ve Caltech-UCSD Birds 200. COCO veri setinde 91'den fazla türde 328.000 resim bulunmaktadır.Yazarlar, eğitim ve doğrulama için sırasıyla 2546 ve 101 zürafa resmini ve esas olarak 200'den fazla türü kapsayan başka bir kuş veri seti olan Caltech-UCSD'yi seçmiştir. Birds 200-2011'de puan 82,% 80 veya 9.414 kuş resmi eğitim için seçilir ve doğrulama için% 20 veya 374 kullanılır.
Her resimde zürafaların ve kuşların silüetlerini görebilirsiniz. Yapay zekanın ana işi iki yönlüdür, biri zürafayı kuşa dönüştürmek, diğeri de gördüğü resmin gerçek bir kuş mu yoksa sahte bir zürafa kuşu mu olduğuna karar vermektir.
Ardından eğitime başlayın. Parametrelerin çoğu orijinal InstaGAN kağıdındaki ile aynıdır. Zürafa ve kuş veri kümelerinin görüntü boyutunu 256x256'ya ayarlamak için çift doğrusal enterpolasyon kullanarak, GPU eğitimi yaklaşık 3 hafta sürdü (2 NVIDIA RTX 2080 GPU kullanırsanız, süre bir buçuka indirilebilir).
InstaGAN eğitiminde kullanılan kayıp fonksiyonları, nihai sonuçtaki önemlerine göre ağırlıklandırılan En küçük kareler GAN kaybı, döngü kaybı, içerik kaybı ve kimlik kaybını içerir. Döngü kaybı en yüksek ağırlığa sahiptir. Aynısı LSGAN için de geçerlidir, çünkü yakınsamayı geliştirir ve iyi görsel efektler elde etmek ve kaybı en aza indirmek için 100'den fazla dönem gerektiren kaybolan gradyan sorunlarını azaltır.
Üç haftalık eğitimin ardından sahte bir kuş atlası FakeSet aldılar. Aşağıdaki şekil, görüntüden görüntüye dönüştürme işleminin bazı örneklerini göstermektedir.
Orijinal görüntü ve maskenin yanı sıra dönüştürülen görüntü ve maskeyi de görebilirsiniz. Lütfen duruşun, mekansal düzenlemenin ve arka planın değişmediğini unutmayın. Diğer bir deyişle, InstaGAN görüntüleri dönüştürmeyi oldukça iyi öğrendi.Bu görüntülerde zürafalar neredeyse hiç engelsiz, hepsi yana doğru duruyor ve kuşlar artık aynı konumda üretiliyor. İlginç olan, InstaGAN'ın insanları ve makine ayrımcılarını daha iyi kandırabilmesi için açık renkli arka planların aksine karanlık kuşlar oluşturmak için ilginç bir "aldatma" yöntemi öğrenmiş olmasıdır.
Ardından, InstaGAN tarafından oluşturulan bitmiş görüntüye bir göz atalım.
Bazı dönüşümlerin etkileri etkileyicidir. InstaGAN, makro lens gibi görünmelerini sağlamak için üst kısımdaki manzarayı nasıl bulanıklaştıracağını öğrendi. Geçiş çok ipeksi olmasa bile, bir zürafanın omzu hala oradadır, ancak yapay zeka bunu ustalıkla bir taşa dönüştürmüştür. Umarım yapmazsınız Fark edecek.
Arka plan bulanıklığı etkisi fena değil Ön planı işlerken, InstaGAN bir kuşun habitatı olarak bir tahta parçası oluşturdu, dallar ve kaya çatlakları gibi ayrıntıları vurguladı ve yakındaki kuşun ayaklarını bulanıklaştırdı. Genel etki daha doğal. Ancak zürafanın göbeğini ve bacaklarını hafifçe görebileceğiniz birkaç resim var, bu yüzden InstaGAN onları yeşile çevirdi, belki de bir yaprak veya benzeri bir şeyle karıştırmayı umarak.
Elbette, çoğu zaman dönüşüm etkisi iyi değildir. Olağandışı arka planlardan etkilenme olasılığı nedeniyle yapay zeka görüntünün görünümünü değiştirmede başarılı olamadı. Burada ayrıca, yapay zekanın zürafaları ortadan kaldırmaya yönelik genel stratejisinin kuşun vücudunu kopyalayıp zürafanın kafasına, boynuna ve omuzlarına yapıştırmak ve ardından zürafanın bacaklarını gizlemeye çalışmak olduğu da açıktır. Bu fikirle yukarıdaki resimlere bakarsanız, zürafanın uzun bacaklarının hala orada olduğunu hemen göreceksiniz.Modelin çoklu hataları, zürafanın kapatılması zor olan bacaklarıyla ilgilidir.
Oluşturulan görüntülerin gerçekliğini ve kalitesini değerlendirmek için yazar, nitel ve nicel analizler yaptı. Niteliksel analiz, görüntüleri değerlendirmek için rastgele 335 FakeSet görüntüsü seçmektir Standart, dönüştürme kalitesi, kontur ve dokudur.Sadece iki seçenek vardır - "İyi" veya "Kötü". Her bir öznitelik için nihai puan, 0 ile 1 arasında bir puan olarak ifade edilen 335 görüntünün ortalama puanıdır (0, düşük kalite anlamına gelir, 1, iyi kalite anlamına gelir). Bir özniteliğin değeri 0.75'e eşitse, bu, resimlerin 3 / 4'ünün öznitelikte iyi performans gösterdiğini ve resimlerin 1 / 4'ünün kötü performans gösterdiğini gösterir. Ayrıntılar için aşağıdaki tabloya bakın.
Kantitatif analiz için, 2546 resmi analiz etmek için önceden eğitilmiş Maske Bölge tabanlı Evrişimli Sinir Ağı (Maske Bölge tabanlı Evrişimli Sinir Ağı) yeni oluşturulan veri seti FakeSet'i kullandılar. Değerlendirme sonucu, 289 resmin çöp olduğudur ( Kuşların varlığı bile tespit edilmedi), 717 çerçeve tatmin edici değildi (yaygın olarak kullanılan indeks F skoru 0.8'den düşüktü) ve 1.540 çerçeve tatmin ediciydi. F skoru çarpık normal dağılımı takip eder ve en iyi skor olma eğilimindedir.
Özetle, makalenin sonucu, FakeSet'in gerçek veri setine yakın algılama ve segmentasyon sonuçları elde ettiği şeklindedir.Çoğu görüntü tamamen gerçek olmasa da, doğru dönüşüm oranı da yüksektir ve algılama ve segmentasyon sonuçları da oldukça güvenilirdir (yüksek % 80'de). Bu, oluşturulan görüntünün çıplak gözle tespit edilmesi zor olsa da yeterince gerçekçi olduğunu ve en gelişmiş derin sinir ağının testine dayanabileceğini gösterir.
Lei Feng Ağı Lei Feng Ağı Lei Feng Ağı
