NTIRE2017 Super Resolution Challenge şampiyon programı, ResNet'in geliştirilmiş versiyonu en iyi performansı kazandı
1 Xinzhiyuan derlemesi
Kağıt indirme:
Özet
Derin evrişimli sinir ağlarının (DCNN) geliştirilmesiyle birlikte, görüntü süper çözünürlüğü üzerine yapılan son araştırmalar da ilerleme kaydetmiştir. Özellikle, artık öğrenme tekniği iyi performans gösterir. Bu araştırmada, performansı son teknoloji ürünü süper çözünürlük (SR) yöntemini aşan gelişmiş bir derin süper çözünürlük ağı (EDSR) öneriyoruz. Modelimiz, geleneksel artık ağdaki gereksiz modülleri kaldırarak optimize edilir ve önemli bir performans artışı sağlar. Eğitim sürecini stabilize ederken, modelin ölçeğini genişleterek modelin performansını daha da iyileştirdik. Ayrıca, tek bir modelde farklı yükseltme faktörlerini yüksek çözünürlüklü görüntülere yeniden yapılandırabilen yeni bir çok ölçekli derin süper çözünürlük (MDSR) ve eğitim yöntemi öneriyoruz. Önerdiğimiz yöntem, kıyaslama veri setinde mevcut son teknoloji yöntemlerden daha iyi performans gösteriyor ve NTIRE2017 Süper Çözünürlük Yarışmasını kazandı.
Giriş
Görüntü süper çözünürlüğü (SR) sorunu, özellikle de tek görüntü süper çözünürlüğü (SISR) sorunu, son on yılda giderek daha fazla araştırma ilgisi çekmiştir. SISR'nin amacı, tek bir düşük çözünürlüklü görüntü I'den (LR) yüksek çözünürlüklü bir görüntü I (SR) yeniden oluşturmaktır. Genel olarak, I (LR) ile orijinal yüksek çözünürlüklü görüntü I (HR) arasındaki ilişki, farklı durumlara göre farklıdır. Birçok çalışma, I (LR) 'nin I (HR)' nin iki kübik altörnekleme versiyonu olduğunu varsayar, ancak pratik uygulamalarda bulanıklık, azaltma veya gürültü gibi diğer bozunma faktörleri de dikkate alınabilir.
Son zamanlarda, derin sinir ağları, SR problemlerinde tepe sinyal-gürültü oranı (PSNR) için önemli performans iyileştirmeleri sağlamıştır. Bununla birlikte, böyle bir ağın mimari optimallik açısından sınırlamaları vardır. İlk olarak, sinir ağı modelinin yeniden yapılandırma performansı, mimarideki küçük değişikliklere duyarlıdır. Aynı model, farklı başlatma ve eğitim teknikleri altında farklı performans seviyelerine ulaşır. Bu nedenle, iyi tasarlanmış model mimarisi ve karmaşık optimizasyon yöntemleri, sinir ağlarının eğitimi için gereklidir.
İkinci olarak, mevcut SR algoritmalarının çoğu, farklı ölçeklendirme faktörlerinin süper çözünürlük problemini bağımsız problemler olarak ele alır ve SR'deki farklı ölçeklendirme arasındaki korelasyonu dikkate almaz ve kullanmaz. Bu nedenle, bu algoritmalar birçok ölçeğe özgü ağ gerektirir ve her birinin çeşitli ölçekleri işlemek için eğitilmesi gerekir. Bunun istisnası, VDSR'nin tek bir ağda aynı anda birden fazla ölçek süper çözünürlüğü işleyebilmesidir. VDSR modellerini eğitmek için birden çok ölçek kullanmak, ölçeğe özgü eğitimi aşarak performansı büyük ölçüde artırabilir, bu da ölçeğe özgü modellerde fazlalık olduğu anlamına gelir. Bununla birlikte, VDSR tipi mimari, giriş olarak çift kübik enterpolasyon görüntülerini gerektirir, bu da ölçeğe özgü yukarı örnekleme yöntemlerinden daha fazla hesaplama süresi ve depolama alanı gerektirir.
SRResNet, hesaplama zamanı ve bellek sorunlarını başarıyla çözer ve çok iyi bir performansa sahiptir, ancak sadece He ve diğerlerinin ResNet mimarisini kullanır ve çok fazla değişiklik önermemektedir. Bununla birlikte, orijinal ResNet, görüntü sınıflandırma ve algılama gibi üst düzey bilgisayar görme sorunlarını çözmeyi amaçlamaktadır. Bu nedenle, ResNet mimarisini doğrudan süper çözünürlük gibi düşük seviyeli görme problemlerine uygulamak optimal olmayabilir.
Bu sorunları çözmek için SRResNet mimarisine dayalı olarak, öncelikle bu mimariyi gereksiz modülleri analiz edip silerek optimize ediyoruz. Model çok karmaşık olduğunda eğitilmesi kolay değildir. Bu nedenle, ağı uygun bir kayıp işlevi ile eğitiyor ve dikkatli model değişiklikleri yapıyoruz. Deneylerimiz, değiştirilmiş şemanın daha iyi sonuçlar verebileceğini göstermektedir.
İkinci olarak, diğer ölçeklerde eğitilmiş modellerden bilgi aktaran model eğitim yöntemlerini araştırdık. Önceden eğitilmiş düşük ölçekli bir modelden yüksek ölçekli bir modeli eğitmek için eğitim sırasında ölçekten bağımsız bilgileri kullanın. Ek olarak, farklı ölçeklerdeki parametrelerin çoğunu paylaşan yeni bir çok ölçekli mimari öneriyoruz. Çoklu tek ölçekli modellerle karşılaştırıldığında, bu çok ölçekli model çok daha az parametre kullanır, ancak karşılaştırılabilir performansa sahiptir.
Modelimizi standart karşılaştırma veri kümesi ve yeni DIV2K veri kümesi üzerinde değerlendiriyoruz. Değerlendirme, önerilen tek ölçekli ve çok ölçekli süper çözünürlüklü ağlarımızın tüm veri kümelerinde PSNR ve SSIM'de en iyi performansı gösterdiğini göstermektedir. Yöntemimiz NTIRE 2017 Süper Çözünürlük Yarışmasında sırasıyla birinci ve ikinci sırayı kazandı.
Tek ölçekli SR yönteminin (EDSR) diğer yöntemlerle karşılaştırılması, 4 kat büyütülmüştür.
yöntem
İlk olarak, yakın zamanda yayınlanan süper çözünürlüklü ağı analiz ettik ve daha basit bir yapıya sahip olan ve hesaplama verimliliği açısından orijinal ağdan daha üstün olan artık ağ mimarisinin gelişmiş bir sürümünü önerdik. Ardından, belirli bir süper çözünürlük ölçeğini işleyen tek ölçekli bir mimari EDSR ve çeşitli ölçeklerdeki yüksek çözünürlüklü görüntüleri tek bir modelde yeniden yapılandıran çok ölçekli bir mimari MDSR öneriyoruz.
Orijinal ResNet, SRResNet ve önerdiğimiz gelişmiş artık ağdaki artık blokların karşılaştırması.
Tek ölçekli SR ağı (EDSR) mimarisi
× 4 modeli (EDSR) için önceden eğitilmiş × 2 ağı kullanmanın etkisi. Kırmızı çizgi, yeşil çizginin en iyi performansını temsil eder (sıfırdan eğitim). Eğitim sırasında doğrulama için 10 resim kullanılır.
Çok ölçekli SR ağı (MDSR) mimarisi
Deney
veri seti
DIV2K veri kümesi, görüntü geri yükleme görevleri için yeni piyasaya sürülen yüksek kaliteli (2K çözünürlüklü) bir görüntü veri kümesidir. DIV2K veri seti 800 eğitim görüntüsü, 100 doğrulama görüntüsü ve 100 test görüntüsü içerir. Test veri seti henüz yayınlanmadığından, doğrulama veri setindeki model performansını karşılaştırdık. Performansı diğer dört standart karşılaştırma veri setinde de karşılaştırdık: Set5, Set14, B100 ve Urban100.
(Eğitim ayrıntıları için lütfen orijinal belgeyi okuyun, kağıdı indirin: https://arxiv.org/abs/1707.02921v1)
Değerlendirme modeli
Önerilen ağımızı DIV2K veri kümesinde test ediyoruz. SRResNet'ten başlayarak, ayarları kademeli olarak değiştirdik. SRResNet kendimiz tarafından eğitilmiştir. İlk olarak, kayıp fonksiyonunu L2'den L1'e değiştiriyoruz ve ardından Tablo 1'de gösterildiği gibi önceki bölümdeki açıklamaya göre ağ mimarisini değiştiriyoruz.
Model ayarı
Tablo 2: DIV2K doğrulama setinde mimari performans karşılaştırması (PSNR (dB) / SSIM)). Kırmızı en iyi performansı, mavi ikinciyi gösterir. EDSR + ve MDSR +, sırasıyla EDSR ve MDSR'nin kendi kendine birleştirilmiş versiyonunu temsil eder.
Modelimiz ile diğer modeller arasında 4 kat (× 4) süper çözünürlükte kalitatif karşılaştırma
Tablo 3: Genel kıyaslama test sonuçları ve DIV2K doğrulama sonuçları (PSNR (dB) / SSIM)). Kırmızı optimum performansı, mavi ise ikinciyi gösterir. DIV2K doğrulama sonucunun yayınlanan demo kodundan elde edildiği unutulmamalıdır.
NTIRE2017 Süper Çözünürlük Yarışmasındaki yöntemimizin sonucu.
Tablo 4: Yöntemimizin NTIRE 2017 Super Resolution Challenge test veri setindeki performansı. Kırmızı optimum performansı, mavi ise ikinciyi gösterir.
sonuç olarak
Bu makalede, gelişmiş bir süper çözünürlüklü algoritma öneriyoruz. Gereksiz modülleri geleneksel ResNet mimarisinden kaldırarak, modeli kompakt hale getirirken daha iyi sonuçlar elde ettik. Büyük modelleri istikrarlı bir şekilde eğitmek için artık ölçeklendirme tekniklerini de kullanıyoruz. Önerdiğimiz tek ölçekli model, mevcut modelleri geride bıraktı ve son teknoloji performansa ulaştı.
Ek olarak, model boyutunu küçültmek ve eğitim süresini kısaltmak için çok ölçekli süper çözünürlüklü bir ağ da öneriyoruz. Ölçeğe bağlı modüller ve paylaşılan ana ağa sahip çok ölçekli model, birleşik bir çerçevede çeşitli süper çözünürlük ölçeklerini etkin bir şekilde idare edebilir. Çok ölçekli model, bir dizi tek ölçekli modele kıyasla kompakt kalsa da, tek ölçekli SR modeliyle karşılaştırılabilir performans gösterir. Önerdiğimiz tek ölçekli ve çok ölçekli modeller, hem standart karşılaştırma veri setinde hem de DIV2K veri setinde en iyi sonuçları elde etti.
Xinzhiyuan'ın işe alım bilgilerini görüntülemek için orijinal metni okumak için tıklayın
