"RNN'yi eğitim CNN'si kadar hızlı eğitin" Yeni RNN uygulaması, optimize edilmiş LSTM'den 10 kat daha hızlıdır
1 Xinzhiyuan raporu
Proje açık kaynaklıdır: https://github.com/taolei87/sru
Genel bir anlayış elde etmek için önce makalenin özetine bakın:
Başlık oldukça doğrudandır ve birçok insanın ulaşmak istediği şeydir - "RNN'yi CNN'i eğitmek kadar hızlı eğitin":
Özet
Durum hesaplamasının kendine has özellikleri nedeniyle RNN'nin paralelleştirilmesi zordur ve bu nedenle genişletilmesi zordur. Örneğin,
Basit döngü birimi SRU, basitleştirilmiş durum hesaplaması, CNN kadar hızlı
Derin öğrenmedeki son gelişmelerin çoğu, model kapasitesindeki artıştan ve buna karşılık gelen bilgi işlem gücündeki artıştan kaynaklanmaktadır. Model kapasitesindeki artış genellikle daha büyük ve daha derin ağların kullanılmasını içerir ve bu ağlar karmaşık hiperparametre ayarları ve ayarlamaları gerektirir. Bu nedenle, sürekli artan model ve hiperparametre sayısı aynı zamanda eğitim süresini de büyük ölçüde artırır.
Açıkçası, bilgi işlem gücü derin öğrenme araştırmalarında büyük bir darboğaz haline geldi. Yanıt olarak, araştırmacılar paralel hesaplamanın potansiyelini daha derinlemesine incelemeye başladılar ve birçok kişi derin öğrenmeyi genişletmek için eğitimi hızlandırmak için GPU kullanıyor. Bununla birlikte, evrişim ve dikkat gibi işlemler çok iş parçacıklı / GPU hesaplama için çok uygun olsa da, tekrarlayan sinir ağları (RNN) paralelleştirme için hala uygun değildir. Tipik bir RNN uygulamasında, çıkış durumunun hesaplanmasının, başlayabilmesi için hesaplamanın tamamlanmasını beklemesi gerekir. Bu, bağımsız hesaplamaları engeller ve dizi işlemeyi büyük ölçüde yavaşlatır.
Şekil 1, cuDNN ile optimize edilmiş LSTM işlem süresini ve conv2d kullanılarak kelime düzeyinde evrişimi göstermektedir. İkisi arasındaki farkın çok açık olduğu görülebilir Optimize edilmiş LSTM bile 10 kattan daha yavaş çalışabilir.
Şekil 1: cuDNN ile optimize edilmiş LSTM'nin işlem süresi ve conv2d kullanılarak kelime düzeyinde evrişim: Optimize edilmiş LSTM bile 10 kattan daha yavaş çalışabilir
Bu nedenle, yazar "Basit Yinelenen Birim" (SRU) önerdi ve makalede hesaplama hızının mevcut döngü uygulamasından önemli ölçüde daha hızlı olduğunu belirtti. SRU durum hesaplama sürecini basitleştirir, böylelikle CNN, dikkat ve ileri beslemeli ağlarla aynı paralelliği sergiler.
Spesifik olarak, SRU'nun dahili durum ct'sinin güncellenmesi hala önceki durum ct-1 ile ilişkili olsa da, artık döngü adımına bağlı değildir. Bu nedenle, SRU'daki tüm matris çarpımı (yani gemm) ve eleman bazlı işlemler, farklı boyutlarda ve adımlarda paralelleştirilebilir.
SRU uygulaması: otoyol bağlantısını ve değişken kesintiyi artırın
Peki, SRU nasıl elde edilir?
Yazar, LSTM ve GRU gibi mevcut en iyi performans gösteren RNN'lerin bilgi akışını kontrol etmek ve gradyan kaybolması (veya patlama) sorununu hafifletmek için sinir kapılarını kullandığına dikkat çekti.
Bu nedenle, yolluk birimini bu temelde ayarladılar. Yazar özellikle iki yeni özellik ekledi: İlk olarak, döngü katmanları arasına bir otoyol bağlantısı eklediler , Çünkü önceki araştırmalar, derin ağları eğitirken otoyol bağlantıları gibi bağlantıların atlanmasının çok etkili olduğunu kanıtlamıştır; İkincisi, RNN'yi düzenlerken, Standart bırakmaya ek olarak varyasyonel bırakma eklediler , Varyasyonel bırakma, adım t ve bırakmada aynı maskeyi kullanır.
Daha sonra yazar, döngü hesaplamasını hızlandırmak için bu şekilde adım t'deki sinir geçidi ile tüm bağlantıları atar. Aksine, mevcut RNN, önceki çıkış durumu kullanılarak uygulanır.
Bu iyileştirmelerden sonra, SRU, mevcut derin öğrenme kitaplıkları için 5 kattan fazla hızlanma sağlayabilir. Ardından, yazar ayrıca CUDA düzeyinde optimizasyon gerçekleştirdi ve SRU'nun etkisini değerlendirmek için bir dizi farklı kıyaslama üzerinde test etti.
Deneysel değerlendirme sonuçları: görüntü sınıflandırma, konuşma tanıma ve makine çevirisi gibi görevler daha hızlı eğitim alırken daha iyi performans sağlar
Yazar ayrıca SRU'yu sınıflandırma, soru cevaplama, dil modelleme, çeviri ve konuşma tanıma gibi bir dizi farklı görevde değerlendirdi.
Deneysel sonuçlar, bu görevler için döngüsel (veya evrişim) kıyaslama modeline kıyasla SRU'nun etkinliğini onaylar, SRU daha hızlı eğitim yaparken daha iyi performans elde eder.
-
Görüntü sınıflandırması
-
Stanford SQuAD metin işleme
-
Dil modelleme
-
Konuşma tanıma
-
makine çevirisi
-
Kağıt adresi: https://arxiv.org/pdf/1709.02755.pdf
-
Github adresi: https://github.com/taolei87/sru
Not: Makale hakem tarafından incelenmedi, burada daha fazla tartışma var: https://www.reddit.com/r/MachineLearning/comments/6zduh2/r_170902755_training_rnns_as_fast_as_cnns/
İş ayrıntılarını görüntülemek için orijinal metni okumak için tıklayın ve katılmanızı dört gözle bekleyin ~
