Toplama-transfer çerçevesinden evrişimli sinir ağının mimari tasarımı hakkında konuşmak
Yapay zeka endüstrisi milyon düzeyinde bir yetenek açığıyla karşı karşıyadır. İlkbahar işe alım sezonu. Leifeng.com AI MOOC Academy ve Leifeng.com'un akademik kanalı AI Technology Review ve Tencent Classroom, AI iş avı hakkında ortak bir deneyim paylaşımı şöleni açtı "AI iş arama sezonu · AI mühendisi teklifi tren serisi canlı yayın" sütunu.
10 Nisan'da, Momenta'da gelişmiş görme algoritmaları araştırmacısı olan ilk konuk konuşmacı Li Xiang, "Otonom Bir Sürüş Yapmak Beyin-Okumayı Canlı İzleyin, Momenta'nın En İyi Teklifini Alın" ın canlı paylaşımını getirdi.
Xiang Li, PCALab, Nanjing Bilim ve Teknoloji Üniversitesi'nde doktora öğrencisi, Alibaba Tianchi'deki ilk büyük veri yarışmasının şampiyonu ve Didi Di-Tech'teki ilk büyük veri yarışmasının şampiyonu. DeepInsight sütununun yazarını tanıyın. Erken aşamada Momenta şerit hattı algılama ile ilgili modüllerden sorumluydu ve şimdi sinir ağı temel algoritmalarının araştırma ve geliştirilmesine odaklanıyor.
Aşağıda, Li Xiang tarafından Leifeng.com'un "Yapay Zeka İş Sezonu · Tren Serisi Canlı Yoluyla Yapay Zeka Mühendisi Teklifi" sütununda paylaşılan bir içerik seçkisi bulunmaktadır.
Bu Makale Okuma'da, bazı özel makalelere dikkat etmedik, ancak mevcut temsili evrişimli sinir ağı tasarımlarını özetlemek için bir perspektif kullandık.
Toplama-aktarım çerçevesi
Evrişimli sinir ağları genellikle birçok farklı hiyerarşik yapıdan oluşur. Yukarıdaki şeklin mavi kutu kısmı, genellikle iki kısımdan oluşan tanımlanmış L-katmanlı ağ birimidir: Toplama ve Transformatör. Spesifik olarak, toplama, şekilde gösterilen fonksiyonla temsil edilebilir.A kümeleme fonksiyonu, S toplam özelliğinin girdi olarak önceki L katmanında X'in bir alt kümesi seçilerek elde edildiğini temsil eder; transfer kısmı nispeten basittir, toplam özellik S, transfer fonksiyonu T ile elde edilir. L katmanının X'i.
Bu, toplama-transfer çerçevesinin perspektifidir.Bu perspektiften, mevcut evrişimli sinir ağı mimarisi yorumlanabilir.
Daha canlı anlamak için somut ve tanıdık bir örnek-DenseNet veriyoruz. DenseNet, CVPR 2017'nin en iyi kağıdıdır. Toplama geçiş çerçevesi (yukarıdaki iki ifade) perspektifinden bakıldığında, alt küme alt kümeleri tüm L katmanlarından önce X'e yakınlaşır; toplama işlevi A, kanal boyutlarının birleştirilmesi olarak somutlaştırılır ve birleştirme için iki dikey birleştirme kullanılabilir. Çizginin sembol işareti; bu, toplam parça için geçerlidir.
Transfer kısmı için, genellikle DenseNet'te, transfer fonksiyonu T genellikle sırayla iki kez BN + ReLU + Conv olarak yeniden ifade edilir.
Toplu alt küme
Daha sonra, alt kümelerin bileşimi ve toplama işlevi A ile başlayın ve sırasıyla mevcut ana akım biçimlerini tartışın.
Toplama işlevi A için ilk durum, alt kümenin yalnızca L-1 katmanında X'i seçmesidir. Bu mod, genellikle LeNet, AlexNet, VGG, GoogLeNet, InceptionV2 V3, MobileNetV1 tarafından temsil edilen erken ileri beslemeli sinir ağlarında görülür.
İkinci durum, alt kümenin, daha yaygın olan L katmanından önce tüm katmanların X'ini seçmesidir. Ana şaheserler, ResNet serisi, DenseNet serisi ve ResNet veya DenseNet tabanlı bazı ağ yapılarıdır.
DenseNet, yoğun bağlama için önceki tüm katmanları seçer, peki ya ResNet? ResNet bağlantıyı atlamıyor mu? Aşağıdakiler, ResNet ve DenseNet'in topolojideki eşdeğerliğini çıkaracak ve cevaplayacaktır.
İlk önce şekildeki (a) 'nın topolojik yapısını analiz edin. Bu topolojik yapı temelde DenseNet'in yapısıdır.Sembol ve toplama-transfer çerçevesi tutarlıdır, böylece kanal boyutlarının birleştirilmesi olarak somutlaştırılan matematiksel ifadesini yazabilirsiniz. , Tek adımlı bir transferin ardından, makalesinde de orijinal tanım olan DenseNet standart ifadesi elde edilir.
Şekilde standart bir atlama bağlantı yapısı olan (b) ResNet'in yapısına bakın. ResNet'in tanımına göre ifade (1) yazılabilir ve atlama bağlantısı ifadeye de yansıtılır; bu arada ifade (2) orta özellik X'in ifadesidir. İfade (1) ve ifade (2) elde edildikten sonra, ifade (1) sürekli olarak ifadeye (2) çevrilebilir ve son olarak çok ilginç bir ifade elde edilebilir.
Son olarak, iki ağın (a) ve (b) ifadelerini paralel olarak yazın ve ikisi arasındaki tek farkın toplama işlevi A olduğunu, (a) DenseNet yapısının kanal boyutlarının birleştirilmesiyle temsil edildiğini, (b) ResNet Yapı, eleman bazında bir ekleme olarak temsil edilir. Her ikisi de aynı yoğun topolojik bağlantı yapısını takip eder. Bu bölümün ayrıntıları Karma Bağlantı Ağı belgesinde bulunabilir.
Bundan bahsederken, biraz geçmişe bakmam gerekiyor. Hepimizin bildiği gibi, ResNet aslında önce ve sonra iki versiyondan bahsetti. İlk sürüm, aynı zamanda CVPR'nin en iyi makalesi olan "Görüntü Tanıma için Derin Kalıntı Öğrenimi" olan resim (a) ve ikinci sürüm, ilk makalenin yayınlanmasının ardından ikinci yılda yayınlanan bir makale olan resim (b) 'dir. "Derin Artık Ağlarda Kimlik Eşlemeleri" olarak adlandırılır. İki sürüm arasındaki en büyük fark, bağlantı atlandıktan sonra relu'ya bağlanılıp bağlanılmayacağıdır. İlk versiyon relu alır, eğer ilk versiyonu takip edersek, önceki türetmemiz tamamlanamaz. Deneysel açıdan bakıldığında, ilk sürümde bazı sorunlar var.Şekil o zamanki deneysel sonuçları gösteriyor.Ağ katmanlarının sayısı yüzden bine yükseldikçe, ResNet'in ilk sürümünün performansı düşüyor. . İkinci versiyona kadar bekleyin, Yoğun topoloji ile tamamen uyumludur, çünkü ağ çok derinleştikçe performans da giderek düşebilir. Bu aynı zamanda bize Dense topolojisinin bazı çok iyi özelliklere sahip olduğunu, RenseNet ve DenseNet'in mevcut ağlar temelinde önemli etkiye sahip olduğunu tam olarak söyler.
Yukarıdakiler, ResNet'in neden toplama için önceki tüm X katmanlarını seçtiğini açıklamak içindir.
Google'ın ağ mimarisi aramasının (NASNet ve ENASNet) bazı yeni çalışmaları, toplama için 2 L'den önce X katmanını örneklemek için RNN'yi kullanıyor. Temel fikirleri, Takviyeli Öğrenme fikrini otomatik mimari tasarıma sokmaktır. Özellikle, bazı temel bağlantı yapılarını örneklemek ve ağ performansını daha iyi hale getirmek için ilkel modüller oluşturmak için bir RNN kullanacaklar.
RNN'nin çıktısı temelde iki kategoriye ayrılır; biri önceki katmanı seçen katman kimliğidir; diğeri temel işlemdir. Şekildeki kırmızı kutu, her seferinde örneklenen iki katmanın X'idir. Ayrıntılar için lütfen orijinal kağıda bakın.
Toplama işlevi A
Daha sonra, toplam işlev A'nın birkaç temsili biçimi tanıtıldı. Birincisi, kimlik dönüşümü, yani Kimlik işlevi. Normal ileri beslemeli ağda, toplanan özellik, üst katmanın X özelliğini kullanır. Toplama işlemi sırasında, özellik üzerinde hiçbir işlem gerçekleştirilmez, ancak bir sonrakine aktarılır. katman.
İkincisi eleman bazlı eklemedir Bu tip işlem, PreResNet, ResNeXt, MobileNetV2, SEnet-ResNeXt gibi atlama bağlantılı ağ serilerinde yaygındır. Toplama yöntemi, alt kümenin boyutlarının, alt kümenin özelliği alındıktan sonra aynı olmasını sağlamak, her konumdaki öğeleri biriktirmek ve ardından aktarım bağlantısına girmektir.
Üçüncüsü, kanal üzerindeki eklemedir, temsili çalışma DenseNet'tir. Bu tür bir biçim, kanal boyutundaki tüm özelliklerin yükseltilmesidir. Genel olarak, DenseNet'in X özelliğinin boyutu nispeten küçüktür, büyüklüğü çok büyük tutmaz ve nihai özellik boyutunu belirli bir aralık içinde kontrol eder.
Son olarak, toplama ve birleştirme işlemini karıştıran iki işlemi tanıtacağım. Karıştırma, toplama sürecinde, yalnızca konum bazlı eklemeyi değil, aynı zamanda kanal boyutu birleştirmeyi de içerdiği anlamına gelir. Ana temsili çalışmaları DPN, MixNex ve ShuffleNet'tir. . DPN, iki yollu bir ağ olarak kabul edilebilir.Soldaki yol ResNet ve sağdaki yol DenseNet'tir.Özellik eklendikten sonra, aktarım süreci eleman bazında ekleme ve kanal boyutunda eklemeyi içerir. MixNet de prensip olarak benzerdir, ancak katı ResNet yolunu kaldırır ve tüm sürekli genişleyen özelliklere ortalama olarak öğe öğe ekler. ShuffleNet, altörnekleme yaparken ve altörnekleme dışında iki farklı işlem kullanır, böylece sonunda onları karıştırır.
Aktar
Aktarım daha ayrıntılı olarak bölünürse, birçok sınıflandırma yöntemi olabilir, ancak alan sınırlamaları nedeniyle, bu sefer yalnızca aktarım bölümünü iki yönden kısaca tanıtır, yani tek yollu aktarım ve çok yollu aktarım (Tek Yol ve Çoklu Yol) . Sıralı evrişim ve grup evrişimi gibi ilkel işlemlerle özellik aktarımını tamamlayan ağlar, tek yollu aktarım (SinglePath) olarak özetlenebilir. Birleştirilmiş özelliklere sahip olduktan sonra, birleştirme, BN, havuzlama, etkinleştirme işlevi gibi temel işlemleri ileri beslemeli (tek yönlü akış) tek yönde birleştirebilirsiniz.Bu tek yönlü kombinasyondan sonra, Transfer sonrası özellik. Tek kanallı ağlar arasında LeNet, AlexNet, VGG, PreResNet, ResNeXT, DenseNet, DPN, MixNet, ShuffleNet, MobileNetV1 V2 ve diğer mevcut ana akım ağlar yer alır.Küçük cihazlarda kullanılan mevcut ShuffleNet ve MobileNetV1 V2 ağlarının tümü tek kanallı aktarım tasarımlarıdır. Birden fazla transfer içermez.
Sıralı evrişim ve grup evrişimi gibi ilkel işlemlerle özellik transferini tamamlayan ağa ek olarak, diğer ağlar çoklu yollar (ÇokluYol) olarak özetlenebilir. Ana şaheser, GoogLeNet'in Inception serisidir. Başlangıç serisi, başlangıçta çok yollu bir fikir doğrultusunda tasarlanmıştır. Aynı özellik, alıcı alanın farklı derinliklerinde ve organizasyonel yollarından geçecek ve ardından V1'den V4'e bir dizi sürüm tasarlayacaktır. Yinelemeli süreçte, iç yapı gittikçe daha fazla değişir.Örneğin, büyük evrişim küçük evrişimlerin bir kombinasyonu ile değiştirilir ve ardından evrişim ayrıştırılır ve 3'e 3 ayrıştırma 3'e 1'e ve 1'e 3'e bölünür. ve daha fazlası. Bu serideki tek sabit, çok yönlü transfer tasarımıdır.
ImageNet 2017'de Momenta'nın kazanan mimarisi SENet'in, özellik aktarımı adımına birden fazla yol eklemek olarak görülebileceğini belirtmekte fayda var, biri kimlik, diğeri kanala küresel ilgi. Aslında, transfer kısmı da giderek daha derinlemesine bakış açılarından sınıflandırılabilir ve sıralanabilir.Bugün, herkese ilham vermeyi umarak sadece tek kanallı ve çok kanallı perspektiflerden biraz sıralama yaptık.
Yukarıdaki resim, mevcut ana akım mimariyi sıralayan bu paylaşımın bir incelemesidir. Alt küme seçimi açısından üç tasarıma ayrılabilir; agrega işlevi açısından dört tasarıma ayrılabilir; aktarım işlevi açısından basitçe iki tasarıma ayrılabilir.
Umarım bu tablo, alt kümeleri seçerken ve toplama işlevlerini ve aktarım işlevlerini tasarlarken size ilham verebilir. Örneğin, NASNet ve ENASNet gibi ağ mimarisi yardımıyla arama yapmak iyi bir yöndür, ancak belirli sınırlamaları vardır. Önce arama alanı tanımlanır. Temel birim araştırması yerinde olmadığında, arama alanı çok iyi tanımlanamayabilir ve hatta DPN ve MixNet gibi Google'ın Inception yapısı gibi arama alanında bulunamayan birçok yapı vardır. . Performans iyileştirmeleri, yapay olarak tasarlanmış yapılar kadar iyi bile olmayabilir. Bu nedenle, bir sonraki ağ tasarımı, ortak bir iyileştirme elde etmek için temel birim ile yapı araştırmasının aynı anda ilerlemesi, birbirini tamamlaması ve ilham vermesi kombinasyonuna dayanmalıdır.
