Academia | Frekans alanında gelişen evrişimli ağlar: OctConv, daha yüksek doğruluk elde etmek için daha düşük bilgi işlem gücü kullanır
AI Technology Review Press: Son günlerde, evrişimli ağların iyileştirilmesine ilişkin bir makale, büyük ilgi ve tartışma yarattı. Basitçe söylemek gerekirse, bu makale geleneksel evrişim işleminde basit bir genel iyileştirme yaptı ve aynı zamanda daha düşük hesaplama gücü tüketimi ve daha yüksek doğruluk elde etti. Tanınmış makine öğrenimi araştırmacısı ve "GAN'ların babası" Ian Goodfellow, Twitter'da bu makaleyi herkesin önünde övdü.
Makalelerden biri, şu anda Singapur Ulusal Üniversitesi'nde (NUS) son yıl doktora öğrencisi olan Chen Yunpeng, danışmanları Yardımcı Doçent Feng Jiashi ve Doçent Yan Shuicheng'dir. Bundan önce Yunpeng Chen, Huazhong Bilim ve Teknoloji Üniversitesi'nden bir lisans derecesi aldı ve Hong Kong Üniversitesi'nde yardımcı araştırmacı ve Facebook'un makine öğrenimi uygulama bölümünde (Facebook AML) stajyer araştırmacı olarak çalıştı. Singapur Ulusal Üniversitesi'nden mezun olduktan sonra Chen Yunpeng, bu yıl bir araştırma bilimcisi olarak resmi olarak Facebook'a katılacak.
Aşağıdaki Lei Feng Net AI Technology Review, makalenin ana içeriğini kısaca tanıtır.
(Bir oktavı azaltın: Octave Convoluation yoluyla evrişimli sinir ağlarında uzamsal fazlalığı azaltın)
Evrişimli Sinir Ağları (CNN), birçok bilgisayarla görme görevinde benzeri görülmemiş bir başarı elde etti ve yoğun model parametrelerindeki son gelişmeler ve özellik haritası kanal boyutlarının doğal fazlalığı ile CNN'nin verimliliği de devam etti. geliştirmek. Bununla birlikte, CNN tarafından oluşturulan özellik haritasında hala önemli bir uzamsal fazlalık vardır. Özellikle, özellik haritasındaki her bir konum yalnızca kendi özellik tanımlayıcısını bağımsız olarak depolar, ancak bitişik konumlar aslında bunların bir kısmını depolar. Bilgi; bu bilgiler birlikte saklanabilir ve işlenebilir.
Yukarıdaki Şekil 1- (a) 'da gösterildiği gibi, doğal bir görüntü, bir düşük uzaysal frekans bölümü ve bir yüksek uzaysal frekans bölümü olarak ayrıştırılabilir.Birincisi, yumuşak bir şekilde değişen yapıyı ve ikincisi, hızla değişen görüntü ayrıntılarını anlatmaktadır. Benzer şekilde, makalenin yazarları, evrişimli katmanın özellik haritası çıktısının farklı uzaysal frekanslara sahip parçalara ayrıştırılabileceğini öne sürdüler ve yüksek ve düşük frekansları farklı gruplarda saklayan yeni bir çok frekanslı özellik gösterimi önerdiler. Karakteristik diyagramı Şekil 1- (b) 'de gösterilmiştir. Bu şekilde, düşük frekans grubunun uzamsal çözünürlüğü güvenli bir şekilde azaltılabilir ve Şekil 1- (c) 'de gösterildiği gibi bitişik konumlar arasında bilgi paylaşılarak uzaysal artıklık azaltılabilir. Bu yeni özellik gösterimi yöntemiyle uyumlu olabilmek için, yazarlar orijinal evrişim işleminden genelleştirilmiş ve Octave Convolution (OctConv) önermiştir.Girişi, farklı frekansların tensörlerini içeren bir özellik haritasıdır ve daha sonra doğrudan Düşük frekans özelliği haritası, Şekil 1- (d) 'de gösterildiği gibi, bilgiyi yüksek frekansa geri kodlamadan çıkarır.
Orijinal evrişim işlemine bir alternatif olarak OctConv, önemli ölçüde daha az depolama ve bilgi işlem kaynağı tüketir. Aynı zamanda, OctConv, düşük frekanslı bilgileri işlerken karşılık gelen düşük frekanslı evrişimi kullanır Bu yaklaşım, orijinal piksel alanındaki algısal alanın boyutunu önemli ölçüde artırır, böylece tanıma performansını da geliştirebilir.
Yazarlar, OctConv'u mevcut evrişimli ağlarda evrişim işlemlerinin doğrudan yerine geçebilecek genel bir yöntem olarak tasarladılar. OctConv, özellik haritalarını farklı uzamsal frekanslarda işlemeye ve uzamsal fazlalığı azaltmaya odaklandığından, mevcut çeşitli iyileştirilmiş CNN ağ şemalarını başka bir yönde tamamlar; mevcut yöntemler daha iyi topolojileri içerir Yapı, evrişim özellik haritasında kanal fazlalığını azaltın, yoğun model parametrelerinin fazlalığını azaltın, vb.
Yazarlar ayrıca OctConv'un gruplama, önce derinlik ve 3B evrişim kullanım durumlarına nasıl entegre edileceğini tartıştılar. Ek olarak, çok ölçekli bilgileri kullanma girişimlerinin aksine, OctConv, ağ yapısını veya hiperparametre ayarını değiştirmeden orijinal evrişim işlemini kolayca değiştirebilir.
Makaledeki deneyler, orijinal evrişimi OctConv ile değiştirmenin ResNet, ResNeXt, DenseNet, MobileNet ve ImageNet üzerinde Se-Net dahil olmak üzere çeşitli popüler iki boyutlu CNN omurga ağlarının performansını istikrarlı bir şekilde artırabileceğini gösteriyor. Kinetics veri setinde iki boyutlu görüntü tanıma ve C2D ve I3D'nin üç boyutlu video eylem tanıma. OctConv'u kurduktan sonra, ResNet-152, en gelişmiş elle tasarlanmış ağın performansını elde edebilirken, depolama ve hesaplama tüketimi çok daha azdır.
Orijinal makale: https://arxiv.org/abs/1904.05049, ilgili kod yakın gelecekte GitHub'da açık kaynak olacaktır. Lei Feng Network AI Teknolojisi İnceleme Derlemesi
