Amazon AWS Makine Öğrenimi Direktörü Alex Smola: Ölçeklenebilir bir derin öğrenme çerçevesi oluşturmak için MXNet nasıl kullanılır? AAAI 2017
MXNet, geçen yıl Kasım ayında Amazon AWS'nin resmi açık kaynak platformu oldu. Amazon AWS'de Makine Öğrenimi Direktörü Alex Smola, bugünkü AAAI 2017'de konuyu paylaştı ve ölçeklenebilir bir derin öğrenme çerçevesi oluşturmak için MXNet'in nasıl kullanılacağını anlattı. Leifeng.com'un Yapay Zeka Teknolojisi İncelemesi tüm süreci bildirdi.
Alex Smola, MXNet Li Munun CMUdaki PhD süpervizörünün ana yazarıdır. Smola, Amazona katıldığında AWSde MXNet geliştirme ve derin öğrenme uygulamaları üzerinde çalışmaktadır. Smolanın konuşması için ilk teşekkür listesinin olması şaşırtıcı değildir. İsim Li Mu.
Peki, Amazon'un resmi açık kaynak platformu olarak, MXNet "hızlı ve iyi" hedefine nasıl ulaşıyor?
Smola, verimliliği ve kişiselleştirmeyi bütünleştiren böyle bir çerçeve oluşturmak için, gizli değişken modelinin tasarımının kaçınılmaz olarak önce dahil edildiğine dikkat çekti. Gizli değişken modeli, açık değişkenden farklı olan ve doğrudan gözlemlenemeyen ve dolaylı verilerle yansıtılması gereken indeksi ifade eden yapısal bir eşitlik modelidir. Ve aşağıdaki iki tezahürü vardır:
-
İlki, alışveriş, beğeniler, uygulama kullanımı, e-posta, reklam tıklamaları, sorgu ve puanlama vb. Dahil olmak üzere zaman serisi gözlemidir.
-
İkincisi, kullanıcı davranışını açıklamak için gizli durumu kullanmaktır. Bunlardan biri parametrik olmayan modellere dayalı bir yöntemdir.Sistem, verilere dayalı olarak kullanıcı portreleri oluşturabilir ve hatalı çıkarımları ortadan kaldırabilir; ikincisi, derin sinir ağlarına ve LSTM ve GRU gibi yöntemlere dayalı RNN'dir.
Bir sonraki ilginç şey ise Smola'nın Toutiaonun haber uygulamasını örnek olarak kullanıcı etkileşiminin nasıl modelleneceğini tanıtmak için kullanmasıdır. Bu, esas olarak günlük ve haftalık ortalama kullanıcı sayısı gibi dinamik ve sürekli kullanıcı verilerinin toplanmasını içerir; Aktif kullanıcı sayısı ve kayıtlı kullanıcı sayısı vb. Bunlar şunları içerir:
1. Kullanıcının aktif olmaktan "zombi hayranı" konumuna geçmesi durumu.
2. Kullanım sırasında model kullanıcılardan geri bildirim.
3. Gerçek duruma göre, kullanıcıların kullanım sıklığını etkileyebilecek önemli olaylar, kullanıcıların günlük kullanım alışkanlıkları ve önceki okuma tercihleri gibi başka faktörler de vardır.
Ardından, kullanıcılar tarafından kullanılan eksiksiz bir sürece göre aşağıdaki çerçeve yapısını tasarlayabiliriz:
Smola, karmaşıklığı farklı modellerin tahmin sonuçlarına göre karşılaştırır.Sonuçlar, DNN ve LSTM'nin daha düşük puanlara sahip olduğunu, bu da modelin karmaşıklığının daha düşük olduğunu gösterir.
"Tahmin" kelimesi geleceğe atıfta bulunsa da, Smola, gerçek eğitim sürecinde geliştiricilerin muhtemelen böyle bir hata yapacağını, yani tahmin etmek için geçmiş verileri kullanabileceğini vurgulamak için Bruce Willis'in Zor Ölümünü örnek olarak kullanıyor Geçmişte kaldı. Smola, bu sorunu çözmek için kullanıcıların profesyonelliği ve ilgisinin yanı sıra filmlerin yeniliği ve çekiciliğini de dikkate alması gerektiğini belirtti.
Film reytingleri açısından bakıldığında, eğer film Altın Küre Ödülü'ne aday gösterildiyse veya o dönemde başka film ödülleri kazandıysa, filmin reytingi kısa vadede biraz yükselecek, ancak birkaç ay içinde ortalama seviyeye dönecektir. Bu, veri tahminlerinde bulunurken, sistemin doğruluğu artırmak için anormallikleri ortadan kaldırması gerektiğini ve bu aynı zamanda tahmin modelini daha verimli ve kullanımı kolay hale getirmenin bir yolu olduğunu gösterir.
Öyleyse, yararlı bir derin ağ için hangi koşulların karşılanması gerekiyor? Smola şu noktalara değindi:
Birincisi, daha ucuz GPU'lar açıkça daha rekabetçi ve ağ daha yavaş çalışıyor.
İkinci olarak, çalışma hızı da aşağıdaki iki faktörden etkilenir:
-
Makinelerin ve GPU'ların doğrusal genişlemesi;
-
C ++ ile yazılmış tek bir makinenin çalışma verimliliği;
Son nokta basitliktir. Bildirim temelli programlamayı ve zorunlu programlamayı karıştıran bir sistem, her ikisinin avantajlarını birleştirebilir.
"Evrişimli sinir ağlarını eğitme sürecinde, MXNet kullanmak yalnızca 50 satır kod gerektirirken, caffe 1.000 satır gerektirir."
Peki, Google Inception v3 modelini birden çok MXNet üzerinde çalıştırırken nasıl bir performans sergiliyor? Smola, tek bir makineden 47 makineye çıkma sürecinde 10'dan fazla makine olduğunda V'nin TensorFlow'dan iki kat daha hızlı çalışabildiğini, ayrıca grafikten 100 GPU'da Tensorflow'un da görülebileceğini söyledi. İşlem hızı önemli ölçüde yavaşladı.
MXNet'in pek çok avantajını söyledikten sonra, bu yükselen çalışma eğrisi "düzgün seyir" değildir. Koordinat ekseninin ölçeğini büyütürseniz, GPU'lar senkronize edildiğinde çalışma hızının kısa bir süre için düşeceğini göreceksiniz.
Son olarak Smola, Amazon platformunu temel alan iki geliştirme aracını tanıttı ve olay yerinde gösteriler yaptı.
Derin Öğrenme için Amazon Machine Image;
Derin Öğrenme için AWS CloudFormation Şablonu.
Hızlı ve iyi ölçeklenebilir bir derin öğrenme çerçevesi nasıl oluşturulur? Lei Feng.com, Smola'nın zihnindeki cevabın "sadece MXNet kullan" olması gerektiğine inanıyor.
AAAI 2017'de başka hangi harika konuşmaları bilmek ister misiniz? Leifeng.com ve AI Technology Review'dan gelen ilgili raporlar için bizi izlemeye devam edin.
