CVPR 2019 | Adım adım! Yinelemeli bulanık çekirdek tahminiyle süper çözünürlük kalitesini iyileştirin
Yinelemeli bulanık çekirdek düzeltmesine dayalı kör süper çözünürlük yöntemi
Bu makale, CVPR2019'da CUHK (Shenzhen) ve Harbin Institute of Technology tarafından yayınlanan bir süper çözünürlüklü makaleyi yorumlamaktadır.Bu çalışma, son yıllarda birçok makale ile yakından ilgilidir.Makalenin ilgili bölümlerinde gerekli açıklamaları ve açıklamaları yaptım. Daha fazla ayrıntı için, daha fazla bilgi edinmek için lütfen makalenin sonundaki kağıt bağlantısına tıklayın.
1. Araştırma motivasyonu
Süper çözünürlüklü araştırma, karşılık gelen yüksek çözünürlüklü görüntüleri geri yüklemek için düşük çözünürlüklü görüntüleri kullanmayı amaçlamaktadır. Ters işlemi, görüntünün yüksek çözünürlükten düşük çözünürlüğe bozulması veya bozulmasıdır. Bu süreç genellikle şu şekilde soyutlanır:
LR'nin düşük çözünürlüklü görüntüleri ve HR'nin yüksek çözünürlüklü görüntüleri temsil ettiği yerlerde. Bu modelde 3 önemli bileşen vardır: 1) bulanık çekirdek k. 2) aşağı örnekleme işlemi s. 3) ek gürültü n. Düşük çözünürlüklü görüntü, bulanıklık çekirdeği tarafından dönüştürüldükten sonra düşük çözünürlüklü görüntü olarak kabul edilebilir ve daha sonra aşağı örnekleme ve gürültü girişiminden sonra elde edilebilir. Mevcut süper çözünürlük yöntemlerinin çoğu, bulanıklık çekirdeğinin bilindiğini ve sabitlendiğini varsayar, hatta sorunu basitleştirmek için onu çıkarır.Ancak, gerçek sahnelerde bulanıklık çekirdeği genellikle bilinmez ve karmaşıktır. Bulanık çekirdeğin doğru tahmini, süper bölümleme yöntemi için çok önemlidir. Bulanık çekirdeğin hipotez sapması, süper bölümleme modelinin performansını büyük ölçüde azaltacak ve Şekil 1'de gösterildiği gibi aşırı düzgün veya aşırı keskin sonuçlarla sonuçlanacaktır.
Şekil 1. Bulanık çekirdek tahmin sapmasının aşırı puan sonucuna etkisi Yatay eksen, düşürme işleminde kullanılan bulanık çekirdeği temsil eder ve dikey eksen, aşırı puan işleminde kullanılan bulanık çekirdeği temsil eder. Aşırı puanlama ve düşürme işleminde kullanılan bulanık çekirdekler, izotropik Gauss çekirdekleridir ve eksendeki sayı, Gauss çekirdeğinin standart sapma parametresini temsil eder.
Bilinmeyen bulanık çekirdeği tahmin etmek patolojik bir sorundur ve doğrudan tahmin etmek oldukça zordur. Yazar, bu amaçla, bulanık çekirdek k'yi düzeltmek için süper çözünürlüğün ara sonucunu kullanan ve yakınlaşana kadar birçok kez tekrarlayan yinelemeli bir tahmin yöntemi IKC'yi (Yinelemeli Kernel Düzeltme) önermektedir. Şekil 2'deki deneysel sonuçlar, çoklu yinelemelerin olduğunu göstermektedir. Üstünlük.
Şekil 2. Süper çözünürlüklü görüntünün PSNR indeksi ve SSIM indeksi, yineleme sayısı ile kademeli olarak artar
Bu yazının çalışması aşağıdaki iki noktada özetlenebilir:
Yinelemeli bir bulanık çekirdek tahmin çerçevesi IKC önerdi
Birden çok bulanık çekirdeği işleyebilen yeni bir süper bölme modeli SFTMD önerin
2. Yöntem
2.1 IKC genel çerçevesiIKC çerçevesi 3 bölümden oluşur:
Süper çözünürlüklü model F: Düşük çözünürlüklü görüntü girin ve çekirdeği bulanıklaştırın, süper çözünürlüklü görüntü çıktısı alın
Predictor P: Düşük çözünürlüklü resimler girin ve ilk bulanıklık çekirdeğini çıkarın
Düzeltici C: Mevcut dönemin bulanıklık çekirdeğini ve süper çözünürlüklü görüntüsünü girin ve bulanıklık çekirdeğinin düzeltilmiş kalıntısını çıkarın
Hiperbölme modelinde bulanıklık çekirdeği ve gürültünün etkisini dikkate almak için [Belge 1] (yazarın ekibinin önceki çalışması), bulanıklık çekirdeğini ve gürültü özelliklerini girdi görüntüsü ile aynı boyuta dönüştürebilen bir boyutsal genişletme yöntemi önerdi Özellik haritasının CNN'de kullanımı kolaydır ve işlem Şekil 3'te gösterilmektedir. Deneyler, yöntemin etkili olduğunu ve hesaplama performansının da iyi olduğunu kanıtlıyor.
Şekil 3. Literatür 1'de önerilen bulanık çekirdek germe yöntemi: Bulanık çekirdeği tek boyutlu bir vektöre gerin Boyutu t boyutuna indirmek için PCA kullanın Gürültü düzeyini birleştirin n Bir özellik haritasına genişletin. Son olarak elde edilen bozulmuş özellik haritası M'de, bir kanaldaki değerler eşittir ve gerilmeden önce vektör eleman değerlerine karşılık gelir.
Bulanık çekirdeğin tahmin ve hesaplama sürecini basitleştirmek için, yazar [Belge 1] 'in bulanık çekirdek uzayında PCA boyutsallık azaltma gerçekleştirme yöntemine atıfta bulunur ve orijinal bulanık çekirdek k'yi temsil etmek için indirgenmiş boyutlu h vektörünü kullanır. İşlem şu şekilde tanımlanabilir:
Yazar, fuzzy kernel k'yi temsil etmek için h'yi kullanır ve onu boyutsal genişletme yöntemini kullanarak ağa dahil eder. Bunlar arasında, ilk bulanık çekirdek gösterimi, tahminci P tarafından oluşturulur ve ilk tur süper bölme görüntüsü buna göre oluşturulur:
Bundan sonra, her adım aşağıdaki sürece göre yinelenir:
Bunlar arasında, ilk formül, düzeltici C'nin önceki süper çözünürlük sonuçlarına ve bulanık çekirdeğe dayanarak çekirdeğin düzeltme miktarını tahmin edeceği, ikinci formülün yeni bir çekirdek verdiği ve üçüncü formülün oluşturmak için yeni çekirdeği kullandığı anlamına gelir. Süper bölünmüş görüntü. Yineleme, düzeltme miktarı h yeterince küçük olana kadar döngü yaptığında, bu çekirdek tahmininin yeterince doğru olduğunu gösterir, yineleme bu anda durdurulabilir. Bu makalede, hiper bölme modeli F, öngörücü P ve düzeltici C, parametreli sinir ağlarıdır.
2.2 Süper çözünürlüklü modelSRMD, birden çok bulanık çekirdeği idare edebilen süper çözünürlüklü bir ağdır.Yazar, eksikliklerini iyileştirmiş ve SFTMD ağını önermiştir. Mimarileri aşağıdaki şekilde gösterilmiştir.
Şekil 4. SRMD ağ mimarisi
Şekil 5. Yükseltilmiş SFTMD ağ mimarisi
Ağ tasarımının temel sorunu, bulanık çekirdek bilgisinin nasıl etkin bir şekilde kullanılacağıdır.SFTMD, bu amaca SFT katmanını evrişimli katmanlar arasına ekleyerek ulaşır. SFT katmanı, önceki bilgileri CNN'ye entegre etmek için [Belge 2] tarafından önerilen bir yöntemdir. Öznitelik haritası üzerindeki önceki bilgilerin etkisini bir afin dönüşüm olarak modeller. Afin dönüşüm, ölçekleme, dönüştürme, Döndürme, çevirme ve kesme gibi temel dönüşümlerden oluşan bir kompleks. SFTMD'de, önceki bilgiler bulanık çekirdeğin H özellik haritasına atıfta bulunur ve SFT katmanı şu şekilde ifade edilebilir:
Bunlar arasında, eleman bazlı ürünü temsil eder ve ve sırasıyla, Şekil 5'te gösterildiği gibi küçük bir CNN'nin öğrenilmesiyle üretilen ölçekleme ve çeviri parametrelerini temsil eder.
SRMD ve SFTMD'yi karşılaştırdığımızda, ikisi arasında dört ana fark vardır:
SFT'nin ana ağ mimarisi saf CNN'den artık ağa yükseltildi ([Belge 3] 'de SRResNet ağ iskeleti kullanılarak)
SFTMD'nin bulanık çekirdeği öğrenilir (Blind SR), SRMD'nin bulanık çekirdeği giriş anında belirlenir (Non-Blind SR)
SFTMD'deki bulanık çekirdek, her ara katmana girilirken, SRMD'de yalnızca ilk katman girilir
SRMD, giriş görüntüsünü ve bozulma haritasını aynı anda işlemek için evrişimi kullanırken SFTMD, bozulma haritasının etkisini modellemek ve afin dönüşüm yoluyla süper çözünürlük sürecini etkilemek için bir alt dal kullanır.
Madde 3 ve 4, SRMD'nin sınırlamalarını ele almak için SFTMD tarafından yapılan iyileştirmelerdir. Üçüncü nokta ile ilgili olarak, bozulma grafiğinin evrişimli katman üzerindeki etkisi, ağ derinleştikçe daha da küçüleceğinden, SFTMD, bu sorunu çözmek için bulanıklık çekirdeğinin bilgilerini birden çok ara katmana girer. Dördüncü nokta için, bulanık çekirdek özellik haritasının bilgisinin görüntü ile hiçbir ilgisi olmadığından, görüntü kanalını ve bulanık çekirdek kanalını birbirine diktikten sonra evrişim işlemi görüntü özelliği çıkarımına müdahale edebilir.Bu nedenle SFTMD, ayrı modellemek için alt dal kullanır Bulanık çekirdeğin süper çözünürlük üzerindeki etkisi, daha makul bir afin dönüşümü biçiminde süper çözünürlüğün özellik çıkarma sürecini etkiler.
2.3 öngörücü ve düzelticiTahmin edici ve düzeltici, Şekil 6'da gösterildiği gibi parametreli CNN tarafından uygulanır.
Şekil 6. Öngörücü ve düzeltici mimarisi
Tahmin edici, 4 sıradan evrişimli katman ve bir global havuzlama katmanından oluşur. 4 evrişimli katman, bulanık çekirdek özellik haritasını tahmin etmek için düşük çözünürlüklü görüntüler kullanır.Global havuzlama katmanı, bulanık çekirdek vektörü h'yi elde etmek için özellik haritasının ortalamasını alır. Evrişimli katman, düşük çözünürlüklü görüntülerde bulanık özellikleri çıkarmak için kullanılır ve genel havuzlama, genel bulanıklık derecesini uzamsal olarak ortalayabilir.
Düzeltici, ilgili özellik haritalarını elde etmek için sırasıyla süper çözünürlüklü görüntü ve bulanıklık çekirdeği üzerinde özellik dönüşümü gerçekleştirir ve ardından bunları birleştirip bulanık çekirdek düzeltme miktarının özelliklerini tahmin etmek için çok katmanlı evrişimi kullanır.Örneğin, son olarak vektör temsilini elde etmek için genel ortalama havuzlamayı kullanın h. Süper çözünürlüğün ara sonuçları, bulanıklık çekirdeğinin hipotez sapması nedeniyle aşırı pürüzsüz veya aşırı keskinleştirilmiş özellikler üretecektir.Bu sapma özellikleri 5 evrişimli katman tarafından çıkarılır; yazarın hipotezinde h, bulanıklık çekirdeğinin PCA düşük boyutlu temsilidir. , Bu nedenle, her boyutun korelasyonu mümkün olduğunca düşük olmalıdır, bu nedenle burada h'nin dahili korelasyonunu öğrenmek için 2 tam bağlantılı katman kullanıyoruz. Düzeltici örtük olarak h'nin iç korelasyonunu çekirdeğin hipotez sapması olarak kabul eder (kişisel anlayış) . Yukarıdaki iki sapma eklendikten sonra, tahmin edici ile aynı yöntem kullanılarak bir global vektör temsiline dönüştürülürler.
3. Deney
Deneyde kullanılan yüksek çözünürlüklü görüntüler DIV2K ve Flickr2K veri setlerinden gelmektedir.Eğitim için kullanılan düşük çözünürlüklü görüntüler, farklı parametrelere sahip Gauss çekirdeği kullanılarak yüksek çözünürlüklü görüntülerden üretilmektedir, yani eğitim setindeki her bir LR görüntüsünün gerçek görüntü ve bulanıklık çekirdeği bilinmektedir. Eğitim sırasında, yapay veri seti süper çözünürlüklü ağ SFTMD'yi ayrı ayrı eğitmek için kullanılır ve amaç işlevi MSE'dir; SFMD ağı eğitildikten sonra, tahminci P ve düzeltici C dönüşümlü olarak eğitilir ve SFTMD'nin parametreleri sabitlenir. Alternatif eğitim, her turda, ilk olarak tahminci P'nin parametrelerinin güncellendiği ve ardından düzeltici C'nin parametrelerinin güncellendiği anlamına gelir. Parametrelerden biri güncellendiğinde, diğer parametre sabitlenir. Güncelleme işlevleri aşağıdaki gibidir:
SFTMD'nin temel katkısı, bulanık çekirdeğin süper çözünürlük süreci üzerindeki etkisini modellemek için afin dönüşümün kullanılmasıdır.Bu nedenle, yazar birkaç tasarım şemasını karşılaştırdı (SFT'ye karşı doğrudan ekleme, ilk katman ekleme ve her katman ekleme) kombine kontrol deneyleri, deneyler Sonuç, Şekil 7'de gösterilmektedir. Sonuçlar, SFTMD'nin yazarın SRMD'ye yaptığı iki temel modifikasyonun etkinliğini doğrulayan en yüksek sinyal-gürültü oranına sahip olduğunu göstermektedir.
Şekil 7. SFTMD kontrol deneyi, kırmızı ve mavi, en yüksek PSNR göstergelerine sahip iki modeli gösterir
3.2 IKC'nin DoğrulanmasıŞekil 8, IKC süper çözünürlüğünün ara sonuçlarını göstermektedir.İterasyon sayısındaki artışla birlikte süper çözünürlüklü görüntünün görsel algısının önemli ölçüde arttığı görülmektedir. Bu, IKC'nin birden çok yineleme kullanmasının meşruiyetini ve gerekliliğini gösterir.
Şekil 8. IKC yinelemesinin ara sonuçlarının görselleştirilmesi Yinelemelerin sayısı arttıkça görüntü kalitesi artar
Ayrıca yazar, NonBlind SR'nin temsili modeli olarak CARN'i ve Blind SR'nin temsili modeli olarak ZSSR'yi kullanarak IKC ve son teknoloji yöntemleri de karşılaştırdı. Adaleti karşılaştırmak için yazar, karşılaştırma öğelerinden biri olarak çapak giderme modelleri Pan ve CARN'in bir kombinasyonunu kullanır. Yazar, yinelemeli düzeltmenin (düzeltici) birden çok turunun önemini tekrar vurgulamak için, karşılaştırma öğesi olarak P + SFTMD'yi ekledi. Deneysel sonuçlar Şekil 9'da gösterilmektedir. Sonuçlar, IKC'nin ve zayıflatılmış varyantlarının karşılaştırma modelinden daha iyi olduğunu göstermektedir.
Şekil 9. IKC ve Son teknoloji modellerin karşılaştırılması
Ek olarak, ek deneyler, IKC'nin Şekil 10'da gösterildiği gibi bulanık çekirdek parametrelerinin değişikliğine belirli bir uygulanabilirliği olduğunu göstermektedir. Bu, PCA boyutsallığının azaltılmasından sonra bulanık çekirdeğin ağ öğrenme stratejisinden faydalanır IKC, PCA özellikleri (bulanık çekirdeğin doğrudan parametreleri yerine) ve süper çözünürlüklü görüntüler arasındaki ilişkiyi modellediğinden, belirli bir genelleme yeteneğine sahiptir.
Şekil 10. IKC, Gauss bulanıklığı çekirdeğinin genişlik değişimine iyi bir şekilde uyarlanabilir.
Yukarıdaki karşılaştırmalar, bilinen gerçek resimler koşullarında gerçekleştirilir.KC'nin performansını daha gerçek sahnelerde doğrulamak için, yazar, modeli test etmek için bilinmeyen HR görüntülerini kullanır.Her modelin süper çözünürlük sonuçları Şekil 11 ve Şekil 12'de gösterilmiştir.
Şekil 11. Gerçek görüntü süper çözünürlük örneği 1
Şekil 12. Gerçek görüntü süper çözünürlük örneği 2
İki örneğin karşılaştırmasında, IKC'nin etkisi en iyisi gibi görünüyor. Örnek 2'nin karşılaştırmasında SRMD'nin, düşük çözünürlüklü bir görüntü için yapay olarak bir bulanıklık çekirdeği oluşturmak için bir ızgara arama yöntemi kullandığını ve daha iyi bir etki elde ettiğini belirtmek gerekir. Aynı şey bulanık çekirdeği "tahmin etmektir". SRMD "kaba kuvvet" yöntemi kullanır ve IKC yinelemeli öğrenme yöntemi kullanır Bu örnekte, ikisinin etkileri benzer görünür ve IKC yalnızca biraz daha yüksektir. Bununla birlikte, IKC'nin hesaplama verimliliğinin pratik uygulamalarda grid aramasından daha yüksek olduğu açıktır.
4. Özet
Bu makalenin çalışmasının süper çözüme getirdiği rehberlik ve ilham, aşağıdaki dört noktada özetlenebilir:
Yinelemeli düzeltme yöntemi, bulanık çekirdeği daha doğru bir şekilde tahmin edebilir
Süper çözünürlük sürecinde SFT (Affine Transform) kullanmak, bulanık çekirdek bilgilerinin daha etkili kullanımını sağlayabilir.
Ağın orta katmanına bulanık çekirdek bilgisinin eklenmesi, ağın bulanık çekirdek bilgilerinin kullanım verimliliğini etkili bir şekilde artırabilir.
Bulanık çekirdekleri karakterize etmek için PCA kullanmak yalnızca hesaplama maliyetini düşürmekle kalmaz, aynı zamanda modelin bulanık çekirdek parametreleri için genelleme yeteneğini de geliştirebilir.
IKC, bulanık çekirdek tahmini için uygun bir yöntem sağlar, süper çözünürlük modellerinin uygulanabilirliğini geliştirir ve kör süper çözünürlük probleminde büyük bir adım atar. SFTMD, etkili ve başarılı bir uygulama olan afin dönüşüm şeklinde bulanık çekirdek bilgilerini ağa entegre etmek için SFT katmanını kullanır.
IKC etkilidir, ancak bazı dezavantajları da vardır. Örneğin, yinelemelerin sayısı manuel olarak ayarlanmalı ve pratikliğini etkileyecek ek hesaplamalar yapılmalı, ölçülmeli ve optimize edilmelidir. Ek olarak, şahsen süper çözünürlüğün görsel algısının çok önemli olduğunu ve PSNR endeksinin sınırlamalarının yaygın olarak bilindiğini ve inancı arttırmak için gerçek görüntülere dayalı daha fazla görsel karşılaştırmanın yapılması gerektiğini düşünüyorum. Bu çalışmanın odak noktası, bulanık çekirdeğin tahmin edilmesi ve bulanık çekirdek bilgisinin kullanılmasıdır, bu nedenle görüntü detay dokusunun restorasyonu veya oluşturulması için özel bir değerlendirme yapılmaz. Şekil 8'deki kuş kuyruğu örneğinden, çok sayıda yinelemeden sonra bile ağın tüylerin doku ayrıntılarını hala kurtaramadığı görülebilir. Belki de, IKC'deki süper bölme modelini daha güçlü hale getirmek ve daha iyi sonuçlar elde etmek için dokuyu geri yükleme deneyimini diğer SISR yöntemleriyle SFTMD'de birleştirebiliriz. Ek olarak, bulanık çekirdek tahmini kısmıyla ilgili olarak, kurs öğrenme ve GAN gibi çeşitli yeni ortaya çıkan eğitim yöntemlerini denemek isteyebilirsiniz.
İlgili literatürLiteratür 1: Çoklu Bozulmalar için Tek Evrişimli Süper Çözünürlüklü Ağ Öğrenme (CVPR 2018 | SRMD Modeli)
Literatür 2: Derin Uzaysal Özellik Dönüşümü ile Görüntü Süper Çözünürlükte Gerçekçi Doku Kurtarma (CVPR 2018 | SFT katmanı)
Literatür 3: Üretken Bir Çekişmeli Ağ Kullanan Foto-Gerçekçi Tek Görüntü Süper Çözünürlük (CVPR 2017 | SRGAN modeli / SRResNet mimarisi)
Yukarıdakiler şu şekilde yorumlanır: @ Orijinal olarak AI Araştırma Enstitüsü CVPR grubu tarafından yayınlanmıştır Makalede herhangi bir eksiklik varsa eleştirebilirsiniz ve düzeltebilirsiniz.Tüm yöntemlerin yorumlanması makalenin yazarına aittir.
Takip etmek için QR kodunu tarayın @
2019 Küresel Yapay Zeka ve Robotik Zirvesi
12-14 Temmuz 2019 , Lei Feng.com ve Hong Kong Çin Üniversitesi (Shenzhen) tarafından ortaklaşa düzenlenen ve Shenzhen Yapay Zeka ve Robotik Enstitüsü tarafından ortaklaşa düzenlenen Çin Bilgisayar Federasyonu (CCF) sponsorluğunda 2019 Küresel Yapay Zeka ve Robotik Zirvesi (CCF-GAIR 2019 olarak kısaltılmıştır) Shenzhen'de resmen açılacak.
O sırada Nobel Ödülü sahibi James J. Heckman, Çinli ve yabancı akademisyenler, Dünya Zirvesi Başkanı, tanınmış Fellow ve çok sayıda ağır konuk savaşta yer alacak. Yapay zeka ve robotik bilim, üretim ve yatırım alanlarında karmaşık hayatta kalma durumunu tartışmak.
Tıklamak Orijinali okuyun , Bu makalede daha fazlasını görün
