g u t x .com.tr İpek yolu - Çin'i anlamaya götürürüm

Genişletilmiş Evrişim (Genişletilmiş Evrişim): Karlı olan, ancak yararlı olmayan nedir

Orijinal kağıda bağlantı

https://arxiv.org/pdf/1705.09914.pdf

1. Kağıdın çekirdeği

"Genişletilmiş Artık Ağlar" makalesinin özü, ResNet'in her aşamada aynı miktarda parametreleri ve evrişimli katmanın görüş alanını koruyabilmesi için Genişletilmiş Evrişimi (Genişletilmiş Evrişim) yaratıcı bir şekilde önermektir. Katman ayrıca, küçük hedeflerin tespitini kolaylaştırmak ve modelin genel performansını iyileştirmek için daha büyük bir özellik haritası boyutu sağlayabilir. Spesifik olarak, ResNet evrişimin son katmanının genel adım boyutu 32 iken, DRN (Dilated ResNet) sadece 8'dir. Elbette, özellik haritalarının boyutu daha büyük olduğu için, hesaplama miktarı da artacaktır.Yazar, bir okuyucu olarak gazetede bundan bahsetmekten kaçınsa da, yine de iyi bilmesi gerekiyor.

İkincisi, içi boş evrişim nedir

Referans bağlantısı: Genişlemiş evrişim nasıl anlaşılır?

İki resim saniyeler içinde anlaşılabilir: çocuklar, bunu öğrendiniz mi?

Sıradan evrişim yani genişleme = 1

İçi boş evrişim yani genişleme = 2

İçi boş evrişim çekirdeğindeki nokta mesafesi 1'den genişleme değerine çıkarılır, yani orta genişleme-1'deki yer boştur Bu boş yer bir yandan evrişim parametrelerinin tek evrişim işlem miktarını korur Evrişim görüş alanını genişletirken değişiklik yok. Sözde kâr, iyi olan şeydir, ancak olmayan şey iyidir.

Çocuklar, öğrendiniz mi?

3. DRN tasarımı ve iyileştirmesi

İlk olarak, ResNet'e bakalım. Kabaca 6 aşamaya, yani conv1 ~ 5 artı son sınıflandırma katmanına ayrılabilir:

Bunların arasında, conv2 ~ 5, aynı yapı ve ölçekte 4 adet Artık Bloktur.Her aşama, adım = 2'nin aşağı örneklemesini gerçekleştirecektir ve etkileri şunlardır:

Özellik haritalarının boyutu uzunluk, genişlik ve uzunluk açısından yarıya indirilir Sonraki evrişim çekirdeğinin görüş alanı iki katına çıkarılır.

Nokta 2'yi korurken 1. nokta nasıl iptal edilir? DRN şu şekilde ele alınır:

Özetle şu noktalar:

Conv4 ve conv5 aşamalarında, alt örnekleme yoktur, yani, genel adım = 8 adım boyutu ve özellik haritalarının boyutu, conv3'e kıyasla değişmeden kalır. Orijinal ResNet'in conv4 görüş alanı, conv3'ün iki katı olduğundan ve conv5, conv3'ün dört katı olduğundan. Yukarıdaki şekilde gösterildiği gibi, görüş alanı kusurlarını telafi etmek için, DRN, konv4 genişleme = 2, konv5 genişleme = 4 ve evrişim çekirdek boyutunu ayarlar Hala 3x3 boyutundadır.

Bununla birlikte, bu tasarım modelin küçük nesneleri tanıma doğruluğunu model parametrelerinin miktarını artırmadan artırsa da, bariz sorunlar vardır.Yazar, aşağıdaki şekil (c) 'de gösterildiği gibi, buna, ayrıştırma diyor:

Yazar, içi boş evrişimin neden olduğu devre çözme etkisini ortadan kaldırmak için DRN'yi geliştirdi:

Yeşil dikey çizgi adım = 2'nin altörneklemesini gösterir Genel DRN altörneklemesinin sadece 3 kez olduğu görülebilir. Genel iyileştirmeler aşağıdaki gibidir:

DRN-B ve DRN-C'nin her ikisi de havuzlamayı iptal eder ve bunun yerine adım = 2 evrişimli katman kullanır. Çünkü yazar, aşağıdaki şekil (b) 'de gösterildiği gibi daha ciddi bir aşağılayıcı etkiye neden olacağını keşfetti.

2. DRN-B, sonunda 2, 1 (yani normal evrişim) genişlemesi olan iki Artık Blok ekler ve DRN-C, bu temelde ikisi arasındaki katman atlama bağlantısını iptal eder ve son olarak çıktı özelliğini yapar Haritalar, aşağıda (d) (e) 'de gösterildiği gibi ipeksi pürüzsüzdür.

Küçük bir soru, yukarıdaki resim nasıl çizilir? NIN'de tam bağlantılı katman çıktı sınıflandırması yerine AvgPooling + dönüşüm1x1 gösterimi var mı? Bu, model parametrelerinin miktarını büyük ölçüde azaltabilir ve modelin doğruluğunu artırabilir.Bu nedenle, birçok model tahmin sınıflandırmasını çıkarmak için bu yöntemi kullanır ve bu şekilde eğitilen model, AvgPooling'i iptal eder. Hxw boyutundaki özellik haritasındaki her nokta için, Yani şekli (1,1, c) olan tensör, yukarıdaki resmi elde etmek için orijinal conv1x1'i kullanır.Bu işlem aşağıdaki şekilde gösterilmiştir:

Dördüncüsü, DRN'nin performansı

DRN'nin performansı aşağıdaki şekilde gösterilmektedir: Nesne algılama görevinde, modelin nihai yüksek çözünürlüklü çıktısının özellik haritalarının son derece yüksek performans geliştirmeleri sağladığı görülebilir.