"Google Brain Migration Learning", parametre ayarlamayı azaltır ve en iyi görüntü mimarisini doğrudan veri kümesinde öğrenir
1 Xinzhiyuan derlemesi
Bilgisayarla görme tarihinde, ImageNet'teki görüntü sınıflandırma görevi her zaman önemli bir kriter olmuştur. Krizhevsky ve arkadaşlarının ImageNet görüntü sınıflandırmasına katılmak için evrişimli mimariyi kullanması, derin öğrenmedeki en önemli buluşlardan birini temsil ediyor.
Mimarlık mühendisliğinin ayarlanması yoluyla, evrişimli sinir ağına dayalı yöntem, bu kıyaslamada sürekli olarak ilerlemeler kaydetti ve etkileyici ilerleme kaydetti.
Bu yazıda yazar, evrişimli mimarilerin verilerden nasıl doğrudan öğrenileceğini ve bu mimarilerin ImageNet sınıflandırma görevlerine nasıl uygulanacağını inceledi.
Yazar makaleye şunları yazdı: "ImageNet sınıflandırma görevine odaklanmamızın nedeni, bu görevi çözen ağdan türetilen özelliklerin bilgisayar görüşü alanında çok önemli olmasıdır. Örneğin, ImageNet sınıflandırma görevi iyi bir iş çıkarır. Ağdaki özellikler diğer görüntü görevlerine aktarıldığında, bu yerlerde genellikle yeterli etiket verisi olmamasına rağmen en iyi performans da elde edilebilir. "
Bu makalenin yöntemi, mimari yapılandırmayı optimize etmek için bir politika gradyan algoritması kullanan, yakın zamanda önerilen Sinir Mimarisi Arama (NAS) çerçevesinden türetilmiştir. Veri setinin boyutu göz önüne alındığında, NAS'ın doğrudan ImageNet veri seti üzerinde çalıştırılması hesaplama açısından pahalıdır. Bu nedenle yazar, daha küçük CIFAR-10 veri setinde iyi bir mimari aramak için NAS'ı kullanır ve mimariyi ImageNet'e taşır. Bu hareketlilik, mimarinin karmaşıklığının ağın derinliğinden ve giriş görüntüsünün boyutundan bağımsız olacağı şekilde arama alanını tasarlayarak elde edilir. Daha spesifik olarak, arama alanındaki tüm evrişimli ağlar, aynı yapıya ancak farklı ağırlıklara sahip evrişimli birimlerden oluşur. Bu nedenle, en iyi evrişimli mimari arayışı, en iyi birim yapısına kadar daraltılabilir. Evrişimli birimleri bu şekilde aramak çok daha hızlıdır ve mimarinin kendisinin diğer problemlere genelleşmesi daha olasıdır. Özellikle, bu yöntem CIFAR-10 kullanarak en iyi mimari arayışını önemli ölçüde hızlandırır (örneğin, 4 haftadan 4 güne kadar) ve ImageNet'e başarılı aktarım için mimariyi öğrenir.
Bu araştırmanın ana sonucu, CIFAR-10'da bulunan en iyi mimarinin ImageNet sınıflandırmasında çok fazla değişiklik yapmadan en yüksek doğruluğa ulaşmasıdır. ImageNet'te, öğrenilen en iyi birimlerden oluşan mimari en iyi performansı elde eder. ImageNet'in ilk 1 görevindeki doğruluk oranı% 82,3'e ve ilk 5 doğruluk oranı% 96,0'a ulaştı. İlk 1'de, insanlar tarafından yaratılan en iyi mimariye kıyasla, doğruluk oranı% 0,8 arttı ve aynı zamanda FLOPS 9 milyar daha az.
CIFAR-10'un kendisinde, mimari, karşılaştırılabilir performansa sahip mimarilerden daha az parametreye sahip olan% 96,59 doğruluğa sahiptir.
Konfigürasyon birimindeki evrişim birimlerinin sayısını ve filtre sayısını değiştirerek, farklı hesaplama gereksinimlerine sahip evrişim mimarileri oluşturulabilir. Özellikle, aynı veya daha küçük hesaplama bütçesi altında, tüm insan yapımı buluş modellerinden daha iyi doğruluk sağlayan bir model serisi oluşturmak mümkündür. Öğrenim modelinin en küçük sürümünün, ImageNet'te ilk 1'de% 74,0 doğruluk elde ettiğini belirtmekte fayda var ki bu, mobil ve gömülü görüntü görevleri için önceki mühendislik tasarımlarından% 3,1 daha iyi.
Özet
En iyi performans gösteren görüntü sınıflandırma modelini geliştirmek genellikle çok sayıda mimari mühendislik ve ayarlama gerektirir. Bu yazıda, mimari projelerin sayısını azaltmak için Sinirsel Mimari Aramayı kullanmaya çalışıyoruz.Mimari geliştirme modülleri küçük bir veri setinden öğrenilebilir ve büyük bir veri setine aktarılabilir
Bu yöntem, özyinelemeli bir ağda özyinelemeli bir hücre (CELL) yapısını öğrenmeye benzer. Deneyimizde, CIFAR-10 veri setinde en iyi evrişim birimini arıyoruz ve daha sonra aynı birimden daha fazlasını istifleyerek bunları ImageNet veri kümesine uyguluyoruz. Üniteler doğrudan ImageNet üzerinde öğrenilmese de, öğrenilen en iyi birimlerden oluşan mimari hala en iyi performansı elde etmektedir. ImageNet'in ilk 1 görevindeki doğruluk oranı% 82,3'e ve ilk 5 doğruluk oranı% 96,0'a ulaştı. İlk 1'de, insanlar tarafından yaratılan en iyi mimari ile karşılaştırıldığında, doğruluk oranı% 0,8 arttı ve aynı zamanda FLOPS 9 milyar azaldı.
Bu birim, iki boyutu daha da azaltabilir: en iyi birimden öğrenilen daha küçük bir ağ mimarisi, ilk 1 görevin doğruluk oranı% 74'e ulaşır ve bu, mobil (telefon) platformunda aynı ölçekten daha yüksektir En iyi modelin doğruluğu% 3,1 daha yüksektir.
Makalenin dört yazarı: Barret Zoph, Vijay Vasudevan, Jonathon Shlens, Quoc V. Le.
Kağıt adresi: https://arxiv.org/pdf/1707.07012.pdf
Yöntem: Sinir Mimarisi Araması
Bu araştırma, 2016-Neural Architecture Search'te Zoph ve Le tarafından önerilen çerçeveyi genişletiyor.
NAS'ın eğitim süreci kısaca şu şekilde özetlenebilir: Denetleyici olarak yinelemeli olarak tasarlanmış bir ağ kullanılır ve çeşitli mimarilerde alt ağlar örneklenir.Eğitimden sonra, tutulan bir doğrulama veri setinde en iyiyi elde etmek için alt ağlar toplanabilir. Doğruluk. Bu süreçte elde edilen doğruluk, denetleyicinin sürekli tekrarlamayla daha iyi bir mimari oluşturması için denetleyiciyi yükseltmek için kullanılır. Kontrolörün ağırlığı, bir strateji gradyanı yöntemi kullanılarak ayarlanır.
Şekil 1: Sinir Mimarisi Aramasına Genel Bakış. Bir kontrolörün RNN'si, S arama uzayından A mimarisini tahmin etmek için P olasılığını kullanır. A mimarisine sahip bir alt ağ, elde edilen doğruluk R'yi birleştirmek için eğitilmiştir. P'nin gradyanını genişletmek için R'yi kullanın ve ardından RNN denetleyicisini yükseltin.
Şekil 2: Görüntü sınıflandırmanın ölçeklenebilir mimarisi, Normal Hücre ve İndirgeme Hücresi olarak adlandırılan iki yinelenen konu içerir. Bu sınıflandırma yöntemi, CIFAR-10 ve ImageNet'in model mimarisini vurgular. Redüksiyon Hücresindeki Normal Hücre, yani N cinsinden istiflenme sayısı değiştirilebilir.
İş ayrıntılarını görüntülemek için orijinal metni okumak için tıklayın ve katılmanızı dört gözle bekleyin ~
