AAAI 2020 | Kuaishou: Görüntü estetiğinin değerlendirmesini yeniden inceleyin ve vurguların odağını bulun
Yazar | Kuaishou Editör | Camel
Bu makale, Kuaishou tarafından AAAI 2020'de yayınlanan iki makaleyi kısaca tanıtacak, bunlardan biri görüntü estetiği değerlendirmesiyle ilgili, diğeri ise hedef kitlenin nasıl bulunacağı ve vurgulanan segmentte odaklanmanın nasıl olacağıyla ilgili.
Kağıt 1: Görüntü estetiğinin değerlendirmesini yeniden gözden geçirin
Rev dır-dir Kendi Kendini Denetleyerek Görüntü Estetik Değerlendirmesini Yapmak dır-dir ed Özellik Öğrenimi (Kendi kendine denetlenen özellik öğrenimi yoluyla görüntü estetiği değerlendirmesini yeniden inceleyin)
Kağıt adresi: https://arxiv.org/pdf/1911.11419.pdf
Görüntü estetiği kalite değerlendirmesi, bilgisayarla görme alanında önemli bir araştırma konusudur. Son yıllarda araştırmacılar birçok etkili yöntem önermişler ve estetik değerlendirmede büyük ilerlemeler kaydetmişlerdir. Bu yöntemler temelde büyük ölçekli görüntü etiketlerine veya görsel estetikle ilgili niteliklere dayanır, ancak bu bilgiler genellikle etiketleme için büyük işçilik maliyetleri gerektirir. Manuel etiketlemenin maliyetini düşürmek için, "estetik ifadeyle görsel temsilleri öğrenmek için kendi kendini denetleyen öğrenmeyi kullanmak", araştırma değerinin bir yönüdür.
Bu yazıda, bu yönde basit ve etkili bir kendi kendini denetleyen öğrenme yöntemi öneriyoruz. Yöntemimizin temel motivasyonu şudur: Bir temsil alanı, farklı görüntü düzenleme işlemlerinin neden olduğu estetik kalitedeki değişiklikleri tanımlayamazsa, bu temsil alanı görüntü estetik kalite değerlendirme görevleri için uygun değildir. Bu motivasyondan yola çıkarak, iki farklı kendi kendini denetleyen öğrenme görevi öneriyoruz: biri, modelin girdi görüntüsüne uygulanan düzenleme işlemlerinin türünü tanımasını zorunlu kılmak için kullanılır; diğeri, modelin farklı kontrol parametreleri altında oluşturulan aynı işlem türünü ayırt etmesini gerektirir Görsel sunumun estetik kalitesindeki fark daha da optimize edilmiştir. Deneylerin ihtiyaçlarını karşılaştırmak için, önerilen yöntemi mevcut klasik kendi kendine denetlenen öğrenme yöntemleriyle (Renklendirme, Bölünmüş beyin, RotNet, vb.) Karşılaştırıyoruz.
Deneysel sonuçlar, yöntemimizin üç genel estetik değerlendirme veri setinde (yani AVA, AADB ve CUHK-PQ) rekabetçi performans elde edebileceğini göstermektedir. Ayrıca, yöntemimizin doğrudan ImageNet veya Places veri kümelerinin etiketlerini kullanarak temsilleri öğrenme yönteminden daha üstün olduğunu belirtmekte fayda var. Ayrıca, AVA veri kümesinde, yöntemimize dayalı modelin, ImageNet veri kümesinin etiketlerini kullanmadan en iyi yönteme eşdeğer performansa ulaşabildiğini de doğruladık.
Nesneleri Bulun ve Odaklanın Önemli Noktalar: Grafik Sinir Ağları aracılığıyla Video Vurgu Tespiti için Madencilik Nesne Semantiği (vurgudaki hedef kümesini ve odak noktasını bulun: video vurgulama tespiti için hedef semantik bilgileri araştırmak için grafik sinir ağını kullanın)
Makaleye bağlantı: https://pan.baidu .com / s / 1MHCSRXi75ED_2mr4HqcEBA
Video uygulamalarının ortaya çıkmasıyla, kullanıcılar her gün çok sayıda videoya maruz kalıyor ve videonun tamamına göz atmak zaman alıcı ve sıkıcı oluyor. Video vurgu algılama, videonun özünü çıkararak bu durumu büyük ölçüde hafifletir.
Mevcut video vurgulama algılama yöntemlerinde iki sorun vardır. Öncelikle, mevcut yöntemlerin çoğu yalnızca videonun genel görsel temsilini öğrenmeye odaklanır, ancak videodaki nesnelerin ve bunların etkileşimlerinin vurgular üzerindeki etkisini göz ardı eder. İkincisi, mevcut en iyi yöntem genellikle global bilgiyi kullanmadan ikili bir sıralama kaybı stratejisi benimser. Bu nedenle, nesneye duyarlı bir grafik oluşturmak ve küresel olarak nesneler arasındaki ilişkiyi modellemek için videonun öne çıkan kısmı için VH-GNN adlı yeni bir çerçeve öneriyoruz.
Hesaplama maliyetini düşürmek için videoyu iki tür grafikte modelliyoruz: her karedeki nesnelerin karmaşık etkileşimini yakalamak için kullanılan uzamsal grafikler. Zaman haritası: Her çerçevenin nesne bilgi temsilini elde edin ve global bilgileri yakalayın. Bu temelde, video kliplerin temsilini ve aralarındaki ilişkiyi öğrenmek için grafik sinir ağı operasyonları tasarladık.
Ayrıca modeli optimize etmek için çok aşamalı bir kayıp önerdik.İlk aşamada her video segmentinin puanını hesapladık ve sınıflandırma kaybı optimizasyonunu kullandık, daha sonra bir önceki aşamanın puanına göre zor örnek çiftini elde ettik ve sonucu kullandık. Modeli sıralama kaybı için optimize edin. Herkese açık iki veri seti üzerinde deneyler yaptık ve sonuçlar, yöntemimizin en iyi yönteme kıyasla önemli bir gelişme gösterdiğini gösterdi.
AAAI 2020 hakkında daha fazla bilgi, Değişim grubu "Bu süreçte gruba katılmanın yolu: Yapay zeka araştırma kulübünün (AIyanx dır-dir he2), "AAAI" deyin, gruba davet edin.
AAAI 2020 Bildirileri: AAAI 2020 Kağıt Yorumlama Toplantısı @ (PPT ile indir )
