"ImageNet'e saygı" ResNet'in 6 ana çeşidi: He Yuming, Sun Jian, Yan Shuicheng son iki yılda lider bilgisayar vizyonu
Xinzhiyuan İşe Alım AI yaz ortasında, yıldız gemisi yelken açıyor. "Yeni Nesil Yapay Zeka Geliştirme Planı" yayınlandığında, Xinzhiyuan ayrıca Raycom Bilgi Merkezi'nin B Blokuna resmi olarak yerleşti ve kullanıma hazır hale geldi. Doğru zaman ve yer, yıldızlar ve deniz, sizi çağırıyoruz - yeni mürettebat katılmaya! COO, baş editör, baş yazar, içerik operasyonu, hesap yöneticisi, hesap yöneticisi, görsel yönetmen (yarı zamanlı) 7 ana pozisyon yeni açıldı . Makalenin sonundaki tıklayın Orijinali okuyun ayrıntılara bakınız.
ResNet 2015 yılında insanların ilgisini büyük ölçüde çekti. Aslında, ILSVRC2012 sınıflandırma yarışması kadar erken bir zamanda, AlexNet kazandı ve derin artık ağ (derin Artık Ağ), son birkaç yılda bilgisayar görüşü ve derin öğrenme alanında en çığır açan çalışma haline geldi. ResNet, yüzlerce hatta binlerce katman içeren ağları eğitmeyi mümkün kılar ve performans hala mükemmeldir.
Güçlü temsil yeteneği nedeniyle, ResNet, nesne algılama ve yüz tanıma gibi görüntü sınıflandırma görevleri dışında birçok bilgisayarla görme uygulamasında da büyük performans iyileştirmeleri elde etmiştir.
2015'ten bu yana, birçok çalışma ResNet mimarisini ayarladı ve geliştirdi. Burada, önce ResNet'e aşina olmayanlar için bazı arka plan bilgileri sağlarız; daha sonra, ResNet mimarisinin farklı varyantlarını ve bunlarla ilgili belgeleri sıralıyoruz. ResNeXt, He Kaiming ve diğerleri tarafından önerildi, DenseNet, Cornell Üniversitesi, Tsinghua Üniversitesi ve Facebook, Google MobileNet, Sun Jian ekibinden ShuffleNet ve yakın zamanda 2017 ImageNet şampiyonunu kazanan Yan Shuicheng ekibinin iki kanallı ağ DPN'si tarafından ortaklaşa önerildi. .
ResNet'i yeniden ziyaret etmek: bilgisayarla görmedeki en popüler mimarilerden biri
Evrensel yaklaşım teoremine göre, yeterli kapasite verildiğinde, tek katmanlı bir ileri besleme ağı, herhangi bir işlevi temsil etmek için yeterlidir. Bununla birlikte, bu katman çok büyük olabilir ve ağ, verilere gereğinden fazla uyma eğilimindedir. Bu nedenle, araştırma topluluğunda ağ mimarisinin daha derin olması gerektiğine dair ortak bir eğilim vardır.
AlexNet'in piyasaya sürülmesinden bu yana, son teknoloji CNN mimarisi daha da derinleşti. AlexNet yalnızca 5 evrişimli katmana sahip olsa da, sonraki VGG ağı ve GoogLeNet (ayrıca Inception_v1) sırasıyla 19 ve 22 katmana sahiptir.
Bununla birlikte, katmanları basitçe bir araya getirirseniz, ağın derinliğini artırmanın pek bir etkisi olmayacaktır. Bu, zor kaybolan gradyan probleminden kaynaklanmaktadır ve derin ağların eğitilmesi zordur. Gradyan önceki katmana geri yayıldığından, tekrarlanan çarpma gradyanı sonsuz derecede küçük yapabilir. Sonuç olarak, ağın katman sayısı derinleştikçe, performansı doygunluk eğilimi gösterir ve hatta hızla düşmeye başlar.
Artan ağ derinliği performansın düşmesine neden olur
ResNet'ten önce, gradyan kaybolması sorunuyla başa çıkmak için birkaç yöntem vardı. Örneğin, C. Szegedy ve diğerleri tarafından 2015 yılında önerilen GoogLeNet, orta katmana ek denetim olarak yardımcı bir kayıp ekler, ancak maalesef yok Bir yöntem bu sorunu gerçekten çözebilir.
ResNet'in temel fikri, aşağıdaki şekilde gösterildiği gibi bir veya daha fazla katmanı atlamak için bir "kimlik kısayol bağlantısı" sunmaktır:
Kalan blok
He Kaiming ve diğerleri tarafından 2015 yılında yayınlanan "Görüntü Tanıma için Derin Kalıntı Öğrenme" (Görüntü Tanıma için Derin Artık Öğrenme) makalesinde, yığılmış katmanların ağın performansını düşürmemesi gerektiğine inandılar, çünkü sadece mevcut ağı kullanabiliriz Yığın kimliği eşlemesi (katman hiçbir şeyi işlemez) ve ortaya çıkan mimari performans değişmeden kalır. Bu, daha derin modelin ürettiği eğitim hatasının, sığ modelin hatasından daha yüksek olmaması gerektiğini gösterir. Yazar, yığılmış katmanları artık bir eşlemeye sığdırmanın, bunları doğrudan gerekli temel eşlemeye sığdırmaktan daha kolay olduğunu varsayar. Yukarıdaki artık blok açıkça bunu yapmasına izin veriyor.
ResNet mimarisi
Aslında ResNet, kısayol bağlantılarını kullanan ilk yöntem değildir.R.Srivastava ve arkadaşları tarafından önerilen Karayolu Ağı, geçitli kısayol bağlantılarını da sunar. Bu parametreli kapılar, kısa devre kanalından (kısayol) ne kadar bilginin akmasına izin verileceğini kontrol eder. Benzer fikirler, bir sonraki zaman adımına ne kadar bilginin aktarılacağını kontrol eden parametreleştirilmiş bir "unutma geçidi" (unutma geçidi) olduğu Uzun Kısa Süreli Bellek (LSTM) biriminde de bulunabilir. Bu nedenle ResNet, Karayolu Ağlarının özel bir durumu olarak düşünülebilir.
Ancak deneyler, Highway Network'ün performansının ResNet kadar iyi olmadığını gösteriyor, çünkü Highway Network'ün çözüm alanı ResNet'i içeriyor, en azından ResNet kadar iyi performans göstermesi gerekiyor ki bu biraz garip görünüyor. Bu, bu "eğimli otoyolları" temiz tutmanın, daha geniş bir çözüm alanı peşinde koşmaktan daha önemli olduğunu göstermektedir.
Bu sezgiye göre, yukarıda bahsedilen "Görüntü Tanıma için Derin Kalıntı Öğrenme" nin yazarı, kalıntı bloğu geliştirdi ve gradyan herhangi bir başka önceki katmana herhangi bir engel olmaksızın bir kısayol aracılığıyla bağlanabilen bir kalıntı ön aktivasyon varyantı önerdi. . Aslında, bu çalışma, orijinal artık bloğu kullanarak, 1202 katmanlı bir ResNet eğitiminin, 110 katmanlı bir ResNet'ten daha kötü performans gösterdiğini göstermektedir.
Artık blok varyantı
Derin Artık Ağlarda Kimlik Eşleştirmelerinin yazarları, deneylerle, daha sığ varyantlarını aşmak için 1001 katman derinliğinde bir ResNet eğitebileceklerini kanıtladılar. Mükemmel sonuçları nedeniyle ResNet, çeşitli bilgisayarla görme görevleri için hızla en popüler mimarilerden biri haline geldi.
ResNet, araştırma topluluğunda giderek daha popüler hale geldikçe, mimarisi giderek daha fazla araştırma aldı.
Geniş Artık Ağ (WRN): İyileştirmek için "genişlik" ile başlayın
Geniş Artık Ağ (WRN), Sergey Zagoruyko ve Nikos Komodakis tarafından önerildi. Ağ daha derin gelişmeye devam etse de, doğrulukta küçük bir artış için bazen ağ katmanlarının sayısının iki katına çıkarılması gerekir, bu da özelliklerin yeniden kullanımını azaltır ve ayrıca eğitim hızını azaltır. bu nedenle Yazar "genişlik" perspektifinden yola çıktı ve WRN'yi önerdi. 16 katmanlı WRN performansı önceki ResNet'ten daha iyi. .
Yukarıdaki şekilde, a ve b, He Yuming ve diğerleri tarafından önerilen iki yöntemdir. B'nin hesaplanması daha ekonomiktir, ancak WDN'nin yazarı genişliğin etkisini görmek ister, bu nedenle a benimsenmiştir. Yazar, artık bloğu artırmak için 3 basit yol önermektedir:
1. Daha evrişimli katmanlar
2. Genişlet (daha fazla özellik düzlemi)
3. Evrişimli katmanın filtre boyutlarını artırın (filtre boyutları)
WRN yapısı yukarıdaki gibidir.Yazar, küçük filtrenin daha verimli olduğunu, bu nedenle 3x3'ü aşan bir evrişim çekirdeği kullanmaya hazır olmadığını söyledi.Geniş büyütme k ve evrişim katmanlarının sayısı l önerildi.
Yazar, parametrenin derinlikteki artışla doğrusal olarak arttığını, ancak genişliğin karesiyle büyüdüğünü buldu. Parametreler artacak olsa da evrişim işlemi GPU için daha uygundur. Parametrelerin artması, aşırı uyumu azaltmak için düzenlileştirmenin kullanılmasını gerektirir He Yuming ve diğerleri, parti normalizasyonu kullandı, ancak bu yöntem, yoğun bir artış gerektirdiğinden, yazar bırakmayı kullanıyor.
WRN 40-4 ve ResNet-1001'in sonuçları benzerdir ve parametre sayısı benzerdir, ancak eski trenler 8 kat daha hızlıdır. Yazar şu sonuca varmıştır:
1. Artırılmış genişlik performansı artırır
2. Parametre çok büyük olana ve düzenleme yeterli olmayana kadar derinliği ve genişliği artırmak faydalıdır.
3. Aynı parametrelerle genişlik derinlikten daha iyidir
ResNeXt: He Yuming ve diğerleri Facebook'ta ResNet'i yükseltti ve "derinlik" ve "genişliğin" ötesinde yeni bir sinir ağı boyutu önerdiler.
Şubat 2017'de Facebook'a katılan He Yuming ve S. Xie, "Derin Sinir Ağları için Birleştirilmiş Artık Dönüşümler" bölümünde ResNeXt adlı bir artık ağ varyantı önerdiler. Yapı taşları aşağıdaki gibidir:
Sol: ResNeXt'in yapı taşı; sağ: ResNeXt'in yapı taşı, taban = 32
Bu tanıdık gelebilir, çünkü GoogLeNet'in Başlangıç modülüne çok benzer. Hepsi "bölünmüş-dönüştürme-birleştirme" paradigmasını izler. Tek fark, ResNeXt varyantında, farklı yolların çıktılarının bir araya getirilerek birleştirilmesi ve GoogLeNet'teki farklı yolların çıktılarının derinlemesine bağlanmasıdır. Diğer bir fark, GoogLeNet'te her yolun birbirinden farklı olması (1x1, 3x3 ve 5x5 evrişim), ResNeXt mimarisinde ise tüm yolların aynı topolojiyi paylaşmasıdır.
ResNeXt'in yazarı, model kapasitesini ayarlamanın yeni bir yolunu sağlamak için "kardinalite" adı verilen bağımsız yolların sayısı olan bir hiperparametreyi tanıttı. Deneyler, ağı derinleştirerek veya genişleterek doğruluğu artırmaktansa "tabanı" artırarak doğruluğu artırmanın daha etkili olduğunu göstermektedir. Yazar, bir sinir ağının derinliğini ve genişliğini ölçmede kardinalitenin bir başka önemli faktör olduğunu belirtti. Yazar ayrıca, Inception ile karşılaştırıldığında, bu yeni mimarinin yeni veri setlerine / görevlere adapte edilmesinin daha kolay olduğunu çünkü basit bir paradigmaya sahip olduğunu ve ince ayar yapılması gereken tek bir hiperparametre olduğunu, Inception'ın ise birçok hiperparametre (her biri gibi Her yol için evrişimli katman çekirdeğinin boyutunun ince ayarlanması gerekir.
Bu yeni yapı taşı aşağıdaki üç eşdeğer forma sahiptir:
Pratikte, "bölümleme-dönüştürme-birleştirme" genellikle evrişimli katmanları nokta nokta gruplayarak yapılır.Girişi bazı özellik haritası gruplarına böler ve sırasıyla evrişim gerçekleştirir.Çıktı derinlemesine birleştirilir ve sonra 1x1 hacme beslenir. Kurmak.
ImageNet-1K veri setinde yazar, karmaşıklığı sürdürmenin kısıtlamaları altında bile, kardinaliteyi artırmanın sınıflandırma doğruluğunu iyileştirebileceğini gösterdi. Ayrıca kapasite artırılırken taban oranının daha derin veya daha geniş olması daha etkilidir. ResNeXt, 2016 ImageNet yarışmasında ikinci oldu.
DenseNet: Çıkışı eklemeden "faz paraleline" değiştirin
Yine 2016 yılında, Cornell Üniversitesi'nden Gao Huang ve Tsinghua Üniversitesi'nden Zhuang Liu ve diğerleri, Densely Connected Convolutional Networks makalelerinde DenseNet adlı yeni bir mimari önerdiler. Artık bir yapı oluşturmak için çıktı ve girdi ekleyen ResNet'in aksine, DenseNet, çıktı ve girdiyi paralel olarak bağlar, böylece her katman önceki tüm katmanların çıktılarını doğrudan alabilir.
DenseNet ayrıca, tüm katmanları doğrudan birbirine bağlayan kısayol bağlantılarından da yararlanır. Bu yeni mimaride, her katmanın girdisi, önceki tüm katmanların özellik haritalarından oluşur ve çıktı, sonraki her katmana aktarılır. Özellik eşleme ve derinlik-birleştirme toplama.
ResNet, bir kalıntı yapı oluşturmak için çıktı ve girdi ekler; DenseNet çıktı ve girdiyi paralel olarak bağlarken, her katman önceki tüm katmanların çıktılarını doğrudan alabilir.
Kaybolan gradyan problemiyle uğraşmanın yanı sıra, Aggregated Residual Transformations for Deep Neural Networks'ün yazarı, bu mimarinin özelliğin yeniden kullanımını teşvik edebileceğine ve böylece ağı yüksek oranda parametreleştirebileceğine inanıyor. Basit bir açıklama, Derin Artık Ağlarda Görüntü Tanıma ve Kimlik Eşleştirmeleri için Derin Artık Öğrenmede, Kimlik Haritalamanın çıktısının bir sonraki bloğa eklenmesidir.İki katmanın özellik haritalarının çok farklı dağılımları varsa, bu engel olabilir. Bilgi akışı. Bu nedenle, kademeli özellik haritaları tüm özellik haritalarını koruyabilir ve çıktının varyansını artırabilir, böylece özelliğin yeniden kullanımını teşvik edebilir.
Bu paradigmayı takiben, l'inci katmanın k * (l-1) + k_0 giriş özelliği haritalarına sahip olacağını biliyoruz, burada k_0, giriş görüntüsündeki kanal sayısıdır. Yazar, ağın çok genişlemesini önlemek için büyüme oranı (k) adı verilen bir hiperparametre ve pahalı 3x3 evrişimden önce özellik haritalarının sayısını azaltmak için bir 1x1 evrişim darboğaz katmanı kullanır. Genel yapı aşağıdaki tabloda gösterilmektedir:
DenseNet mimarisi
Google MobileNet: Görsel modelden mobile geçiş için hafif geliştirme
ResNet (ResNeXt) varyantlarından bahsetmişken, belirtilmesi gereken başka bir model daha var, yani Google'ın Mobil ve gömülü cihazlar için verimli bir görme uygulamaları modeli olan MobileNet, aynı etki altında hesaplama miktarı 1 / 30'a kadar sıkıştırılabilmektedir. .
MobileNet, hafif, derin bir sinir ağı oluşturmak için derinlemesine ayrılabilir evrişim kullanan modern bir mimariye dayanmaktadır. Yazar, gecikmeyi ve doğruluğu etkili bir şekilde dengelemek için iki basit global hiperparametre sunar. Bu hiper parametreler, model oluşturucuların, problemin kısıtlamalarına dayalı olarak uygulamaları için uygun ölçek modelini seçmelerine izin verir.
Xinzhiyuan daha önce MobileNet'in yazarlarından biri olan Google G-RMI ekibinden Zhu Menglong ile röportaj yapmıştı.
Zhu Menglong şunları tanıttı: "MobileNet'in en önemli özelliklerinden biri, derinlemesine evrişimin büyük ölçekli kullanımıdır. İki boyutlu derinlemesine evrişimi ve 1x1 eşleme evrişimini birleştirmek, sıradan üç boyutlu evrişime çok yakın olabilir. Yaygın olarak kullanılan 3x3 üç boyutlu evrişim için, derinlemesine ve 1x1 haritalama yerine hesaplama miktarını 8-9 kat sıkıştırabilir, kullanılan parametrelerin miktarı da büyük ölçüde azaltılır, ancak yine de benzer bir doğruluğu korur. Bu fikir, matris ayrıştırmasından gelir.Genel olarak, eğer bir matris düşük sıralıysa, onu iki veya daha fazla matrise ayırmanın birçok yolu vardır. Başka bir ilham kaynağı da, hesaplamaların çoğunun erken evrişimli katmanda üretilmesidir, bu nedenle MobileNet, hesaplama miktarını büyük ölçüde azaltmak için adım 2'yi daha önce benimsemiştir. MobileNet, ImageNet sınıflandırması görevinde VGG'ye benzer bir etki sağlayabilir, ancak parametreler ve hesaplama miktarı bir büyüklük sırasından daha azdır (yaklaşık 1/30). "
[İlgili Xinzhiyuan raporu]
Sun Jian ekibi SuffleNet: Google MobileNet'in Ötesinde
Face ++ Sun Jian ve diğerlerinin araştırma ekibi yakın zamanda "ShuffleNet: A Very Efficient Mobile Convolutional Neural Network" yayınladı.Yazar, düşük güçlü mobil cihazlar için daha verimli bir evrişim öneriyor. Model yapısı, yüksek bir tanıma doğruluğunu korurken, modelin hesaplama karmaşıklığını büyük ölçüde azaltır ve birden çok performans göstergesinde benzer yöntemleri önemli ölçüde geride bırakır.
ResNeXt'den esinlenen yazar, Grup noktasal evrişim (grup noktasal evrişim) Orijinal yapıyı değiştirmek için. Evrişim işleminin girdisini her bir grupla sınırlandırarak, modelin hesaplama karmaşıklığı önemli ölçüde azaltılmıştır. Bununla birlikte, bu aynı zamanda bariz sorunları da beraberinde getirir: çok katmanlı nokta nokta evrişim yığıldığında, modelin bilgi akışı gruplara ayrılır ve gruplar arasında bilgi alışverişi olmaz. Bu, modelin temsil kabiliyetini ve tanıma doğruluğunu etkileyebilir.
Şekil 1 Noktadan noktaya evrişim ve kanal yeniden düzenleme işlemleri
Bu nedenle, grup nokta evrişimi kullanırken, gruplar arasında bilgi alışverişi için bir mekanizma getirmek gerekir. Diğer bir deyişle, ikinci evrişim katmanı için, Şekil 1 (b) 'de gösterildiği gibi, her bir evrişim çekirdeğinin her bir grubun özelliklerini aynı anda girdi olarak alması gerekir. Yazar, bunu tanıtarak "Kanalın Yeniden Düzenlenmesi" (Kanal karıştırma, bakınız Şekil 1 (c)) Bu mekanizma kolayca uygulanabilir ve kanal yeniden düzenleme işlemi yönlendirilebilir olduğundan, uçtan uca öğrenmeyi sağlamak için ağ yapısına gömülebilir.
Yazar, nokta nokta evrişim ve kanal yeniden düzenleme işlemlerini gruplandırmaya dayanarak, Şekil 2'de gösterildiği gibi yeni bir ShuffleNet yapısal birimi önerir. Bu yapı, "ResNet" (ResNet) tasarım fikrini miras alır ve bu temelde, modelin verimliliğini artırmak için bir dizi iyileştirme yapılmıştır: İlk olarak, kullanın Kanal-kanal evrişim Şekil 2 (a) 'da gösterildiği gibi, evrişim işleminin uzamsal özelliklerini çıkarmanın karmaşıklığını azaltmak için orijinal 3x3 evrişimi değiştirin; daha sonra, orijinal yapıdaki iki 1x1 nokta nokta evrişim gruplanır ve iki katman arasına yerleştirilir. Arasına ekle Kanal yeniden düzenlenmesi Evrişim işleminin kanallar arası hesaplama miktarını daha da azaltma işlemi. Nihai yapısal birim, Şekil 2 (b) 'de gösterilmektedir. Benzer şekilde makalede başka bir yapısal birim önerilmiştir (Şekil 2 (c)), Özellik haritalarının altörneklemesine adanmıştır .
ShuffleNet yapısal biriminin yardımıyla, yazar eksiksiz bir ShuffeNet ağ modeli oluşturdu. Temelde ağın üç aşamasına ait olan 16 ShuffleNet yapısal biriminden oluşur.Her aşamadan sonra, özellik haritasının uzamsal boyutu yarıya indirilir ve kanal sayısı ikiye katlanır. Tüm model için toplam hesaplama miktarı yaklaşık 140 MFLOP'dur. Her katmandaki kanalların sayısını basitçe ölçeklendirerek, diğer rastgele karmaşıklık modelleri elde edilebilir.
Ek olarak, bulunabilir Evrişim işleminde grup sayısı fazla olduğunda modelin hesaplama miktarı daha düşüktür Bu, toplam hesaplama miktarı sabit olduğunda, daha fazla sayıda grubun daha fazla sayıda kanala izin verebileceği anlamına gelir.Yazar, bunun Ağın daha fazla bilgiyi kodlaması ve modelin tanıma yeteneğini geliştirmesi yararlıdır .
Yazar, hesaplama karmaşıklığını korurken aynı genel ağ düzenini kullanır ve ShuffleNet yapısal birimlerini VGG benzeri, ResNet, Xception benzeri ve ResNeXt'deki yapısal birimlerle değiştirir ve tamamen aynı eğitim yöntemini kullanır. Tablo 2'deki sonuçlar, farklı hesaplama karmaşıklığı altında ShuffleNet'in her zaman diğer ağlardan çok daha iyi olduğunu göstermektedir.
Tablo 2 Sınıflandırma hata oranlarının diğer ağ yapıları ile karşılaştırılması (yüzdelik sistem)
Yan Shuicheng'in ekibi çift kanallı ağ DPN: Artık ağın ve DenseNet'in avantajlarını birleştirerek, ImageNet 2017 hedef konumlandırma şampiyonunu kazandı
Singapur Ulusal Üniversitesi, Qihoo AI Araştırma Enstitüsü ile işbirliği yaptı ve ResNet'in DenseNet'in özel bir durumu olduğuna dikkat çekti ve yeni bir ağ topolojisi yapısı önerdi: Çift Yol Ağı. ImageNet-1k sınıflandırma görevinde: ağ yalnızca doğruluğu artırmakla kalmaz, aynı zamanda 200 katmanlı ResNet'in hesaplamasını% 57 azaltır ve en iyi ResNeXt (64x4d) hesaplamasını% 25 azaltır; 131 katmanlı DPN olur Yeni en iyi tek model ve gerçek ölçümde yaklaşık% 300 hızlanma.
Yazar, Artık Ağların aslında katmanlar arası parametre paylaşımında özel bir DenseNet durumu olduğunu buldu. Bu nedenle, artık ağın ve DenseNet'in avantajlarını birleştirdiler ve yeni bir çift kanallı ağ yapısı türü önerdiler: Çift Yol Ağı (DPN'ler).
DPN'ye özel ağ yapısı
Ana fikir, artık kanalı ve yoğun bağlı yolu bütünleştirerek birbirini tamamlamaktır. Odak noktası ayrıntıların nasıl belirlendiği değildir.
Yazar, DPN'yi "görüntü sınıflandırma", "nesne algılama" ve "nesne segmentasyonu" gibi üç ana görev üzerinde doğruladı. ImageNet 1000 sınıflandırma görevlerindeki performans Tablo 2'de gösterilmektedir:
Gerçek testte: DPN-98 ayrıca eğitim hızını önemli ölçüde artırır, bellek kullanımını azaltır ve daha yüksek bir doğruluk oranını korur. ImageNet-1k sınıflandırma görevinde: ağ yalnızca doğruluğu artırmakla kalmaz, aynı zamanda 200 katmanlı ResNet'in hesaplamasını% 57 azaltır ve en iyi ResNeXt (64x4d) hesaplamasını% 25 azaltır; 131 katmanlı DPN olur Yeni en iyi tek model ve gerçek ölçümde yaklaşık% 300 hızlanma.
Sadece bu hafta, ImageNet resmi web sitesi 2017 ImageNet Büyük Ölçekli Görsel Tanıma Yarışması 2017'nin (ILSVRC2017) sonuçlarını açıkladı.Hedef konumlandırma görevinde, Singapur Ulusal Üniversitesi ve Qihoo 360 tarafından önerilen DPN çift kanal ağı + temel toplama İlk olarak, konumlandırma hata oranı 0,062263'tür.
Sonuç
ResNet'in mimarisini gözden geçirdik ve son başarısının arkasındaki nedenleri kısaca anlattık. ResNet'in bazı ilginç varyantlarını da tanıttık. ResNet'e dayalı çift kanallı bir DPN ağı olan 2017 ImageNet rekabet şampiyon mimarisi, sadece iki yıl içinde 200 katmanlı ResNet hesaplamasını% 57 azalttı.
Bilgisayar görüşü, son iki yılda hızlı bir ilerleme kaydetti. ResNet, WRN, ResNeXt, MobleNet, ShuffleNet ve en son DPN'ye baktığımızda, son ImageNet yarışmasını takdir etmek ve gelecekte daha fazla ve daha iyi hafif vizyonları sabırsızlıkla bekliyoruz model. Aynı zamanda görsel anlayışa doğru yürüyelim.
ILSVRC, güle güle!
Bu makaledeki tüm resimler, kaynaklarda listelenen makalelerdendir.
Referanslar:
A. Krizhevsky, I. Sutskever ve G. E. Hinton Derin evrişimli sinir ağları ile Imagenet sınıflandırması Sinir bilgi işlem sistemlerindeki Gelişmelerde, sayfa 10971105,2012.
K. He, X. Zhang, S. Ren ve J. Sun.Görüntü tanıma için derin kalıntı öğrenme arXiv ön baskı arXiv: 1512.03385,2015.
K. Simonyan ve A. Zisserman Büyük ölçekli görüntü tanıma için çok derin evrişimli ağlar, arXiv baskı öncesi arXiv: 1409.1556, 2014.
C. Szegedy, W. Liu, Y. Jia, P. Sermanet, S. Reed, D. Anguelov, D. Erhan, V. Vanhoucke ve A. Rabinovich. Konvolüsyonlarla daha derine inmek. IEEE Konferansı Bildirilerinde Bilgisayar Görüsü ve Örüntü Tanıma, sayfalar 1-9, 2015.
R. Srivastava, K. Greff ve J. Schmidhuber. Eğitim Çok Derin Ağlar. ArXiv ön baskı arXiv: 1507.06228v2,2015.
S. Hochreiter ve J. Schmidhuber. Uzun kısa süreli bellek. Neural Comput., 9 (8): 1735-1780, Kasım 1997.
K. He, X. Zhang, S. Ren ve J. Sun.Kimlik Eşleştirmeleri Derin Artık Ağlarda. ArXiv ön baskı arXiv: 1603.05027v3,2016.
S. Xie, R. Girshick, P. Dollar, Z. Tu and K. He.
G. Huang, Z. Liu, K. Q. Weinberger ve L. Maaten. Densely Connected Convolutional Networks. ArXiv: 1608.06993v3,2016.
G. Huang, Y. Sun, Z. Liu, D. Sedra ve K. Q. Weinberger Stokastik Derinlikli Derin Ağlar arXiv: 1603.09382v3,2016.
N. Srivastava, G. Hinton, A. Krizhevsky, I. Sutskever ve R. Salakhutdinov Bırakma: Sinir Ağlarının Aşırı Uydurulmasını Önlemenin Basit Bir Yolu. Makine Öğrenimi Araştırmaları Dergisi 15 (1) (2014) 19291958.
A. Veit, M. Wilber ve S. Belongie. Artık Ağlar Nispeten Sığ Ağların Toplulukları Gibi Davranır. ArXiv: 1605.06431v2,2016.
Bu makalenin içeriğinin bir kısmı şu adrestedir: https://medium.com/towards-data-science/an-overview-of-resnet-and-its-varutors-5281e2f56035 Eser sahibi: Vincent Fung
İş ayrıntılarını görüntülemek için orijinal metni okumak için tıklayın ve katılmanızı dört gözle bekleyin ~
