Google, net ve güzel resimler seçmenize yardımcı olmak için derin CNN modeli NIMA'yı önerir
Annie, Google Araştırma Blogundan derlendi
Qubit Üretildi | Genel Hesap QbitAI
Dün, Google araştırmacıları, insanların teknik ve estetik olarak hangi görüntülerin iyi olduğunu düşündüğünü tahmin edebilen derin bir CNN-NIMA önerdi.
NIMA, insan algısıyla son derece ilişkilidir. Yalnızca görüntüleri puanlamak için kullanılamaz, aynı zamanda akıllı fotoğraf düzenleme, görsel kaliteyi optimize etme, kullanıcı katılımını geliştirme ve görüntü hatlarındaki görsel algı hatalarını azaltma gibi emek yoğun öznel görevlerde de rol oynar. .
NIMA: Nöral Görüntü Değerlendirmesi adlı makalede araştırmacılar, "gökyüzü" etiketli bir görüntünün estetik puanına bir örnek verdiler
Her resmin altında, NIMA puanı ve zemin doğruluğu (parantez içindeki puan) verilmiştir. NIMA'nın puanlama sonuçlarının yer gerçeğinden çok farklı olmadığı görülmektedir.
Görüntü kalitesi ve estetik değerlendirme
Görüntü kalitesi ve estetiğinin ölçülmesi, görüntü işleme ve bilgisayarla görmede bir sorundur.
Görüntü Kalitesi Değerlendirmesi (IQA), gürültü, bulanıklık, sıkıştırma bozulması, vb. Gibi piksel düzeyinde bozulma (bozulma) sorunlarıyla ilgilenir. Estetik değerlendirme, görüntüdeki duygu ve güzellikle ilgili anlamsal düzey özelliklerini çıkarmak içindir.
Genel olarak, görüntü kalitesi değerlendirmesi Tam Referans (FR) ve Referans Yok (NR) olarak sınıflandırılabilir.
Referans için ideal görüntü mevcutsa, tepe sinyal-gürültü oranı (PSNR) ve standart yapı benzerliği (SSIM) gibi görüntü kalitesi göstergeleri geliştirilmiştir. Referans görüntü mevcut olmadığında, referans olmayan yöntem görüntü kalitesini tahmin etmek için istatistiksel modele güvenmek için kullanılabilir.
İki yöntemin temel amacı, insan algısıyla ilişkili kalite puanını tahmin etmektir. Derin CNN görüntü kalitesi değerlendirme yönteminde, hedef sınıflandırmayla ilgili veri seti (ImageNet gibi) üzerine eğitim yoluyla ağırlık başlatılır ve ardından açıklamalı veriler, algısal kalite değerlendirme görevini tamamlamak için ince ayar yapılır.
NIMA
Eğitim verilerindeki her görüntü, tek bir ikili puan yerine insan derecelendirmelerinin histogramıyla ilişkilendirilse de, tipik estetik tahmin yöntemi, görüntüleri düşük kaliteli ve yüksek kaliteli olarak sınıflandırmaktır.
Puan histogramı, görüntünün genel kalitesinin bir ölçüsüdür ve aynı zamanda değerlendiriciler arasında bir anlaşmadır. Google araştırmacılarının yönteminde, NIMA modeli görüntüleri düşük / yüksek puan olarak sınıflandırmaz veya ortalama puana gerilemez, ancak herhangi bir görüntü için bir dağıtım seviyesi oluşturur. 1 ila 10 aralığında, NIMA Olası her puana bir değer atayın.
Bu, eğitim verilerini elde etmenin olağan yolu ile tutarlıdır.Diğer yöntemlerle karşılaştırıldığında, bu yöntemin sonuçları insan tercihlerini daha iyi tahmin edebilir.
NIMA vektör puanlarının (ortalama gibi) birçok işlevi vardır, örneğin fotoğrafları estetik olarak sıralamak için kullanılabilirler.
Aşağıda, NIMA tarafından AVA veri kümesindeki bazı resimlerin estetik derecelendirmeleri parantez içinde 200 kişinin ortalama puanıyla gösterilmektedir. Eğitimden sonra, NIMA tarafından bu fotoğrafların estetik derecelendirmeleri, insan değerlendiricilerin ortalama derecelendirmelerine çok yakın.
NIMA, AVA veri kümesindeki manzara etiketi görüntüsünü puanlar, iki değer NIMA puanı ve temel gerçektir
Araştırmacılar, NIMA'nın diğer veri setlerinde eşit derecede iyi performans gösterdiğini ve tahmin edilen kalite puanlarının insan puanlarına yakın olduğunu buldu.
NIMA puanları, aynı konunun farklı şekillerde bozulabilen ve yok edilebilen görüntü kalitesini karşılaştırmak için de kullanılabilir. Aşağıda gösterilen görüntü, 2013'teki TID2013 test setinin bir parçasıdır ve çeşitli görüntü bozulma türlerini ve düzeylerini içerir.
NIMA tahmin puanı
NIMA'nın bulanık ve bozuk görüntülere yüksek puan vermediği görülmektedir.
Algısal görüntü geliştirme
Google araştırmacılarının Learned Perceptual Image Enhancement adlı makalede gösterdiği gibi, kalite ve estetik puanları, görüntü iyileştirme işlemlerini algısal olarak ayarlamak için de kullanılabilir.
Başka bir deyişle, NIMA puanını kayıp işlevinin bir parçası olarak kullanmak görüntü algılama kalitesini artırabilir.
Aşağıdaki örnek, NIMA'nın ton geliştirme algoritmasını ayarlamak için bir eğitim kaybı olarak kullanılabileceğini göstermektedir. NIMA skorunun karşılaştırmalı olarak ayarlanmasının estetik skorun taban çizgisini iyileştirebileceği gözlemlenebilir. Bu nedenle, NIMA modeli, parlaklık, vurgular ve gölgeler gibi optimum parametre ayarlarına estetik olarak yakın bulmak için derin bir CNN filtresine rehberlik edebilir.
NIMA, görüntüyü geliştirmek için bir eğitim kaybı olarak / görüntünün yerel tonunu ve kontrastını geliştirmek için derin bir CNN ve NIMA'yı bir kayıp olarak eğiterek kullanılabilir.
gelecekteki gelişme
Araştırmacıların NIMA üzerine yaptığı araştırmalar, makine öğrenimine dayalı kalite değerlendirme modelinin yaygın olarak kullanılabileceğini gösteriyor. Örneğin, kullanıcıların galerideki en iyi resimleri kolayca bulmalarına olanak tanıyor ve resimleri iyileştirmek için kullanıcılara gerçek zamanlı geri bildirimler kullanabiliyor. Modeller, geliştirme işlemlerine rehberlik etmek için kullanılabilir. Daha iyi sonuçlar üretin.
Bununla birlikte, kalitenin ve estetiğin ne olduğunu daha iyi anlamak için modeller öğretmek, sürekli ve uzun süreli bir zorluktur.
Alakalı bilgiler
Google araştırma blogu tanıtım adresi:
https://arxiv.org/abs/1712.02864
NIMA: Nöral Görüntü Değerlendirmesi kağıt adresi:
https://arxiv.org/abs/1709.05424
Öğrenilmiş Algısal Görüntü İyileştirme kağıt adresi:
https://arxiv.org/abs/1712.02864
- Bitiş -
Samimi işe alım
Qubit, editörleri / muhabirleri işe alıyor ve merkezi Pekin, Zhongguancun'da bulunuyor. Yetenekli ve hevesli öğrencilerin bize katılmasını dört gözle bekliyoruz! Ayrıntılar için, lütfen QbitAI diyalog arayüzünde "işe alım" kelimesiyle yanıt verin.
Qubit QbitAI · Toutiao İmzalayan Yazar
' ' Yapay zeka teknolojisi ve ürünlerindeki yeni eğilimleri takip edin
