g u t x .com.tr İpek yolu - Çin'i anlamaya götürürüm

Yapay zeka teknolojisindeki patlamanın arka planı altında, açık kaynak derin öğrenme çerçevelerinin gelişme eğilimi nedir?

Yazarlar Zhou Zhihu, Zhao Yongbiao

Düzenle Zhu Haobing

2016, yapay zeka (AI) teknolojisinin patladığı bir yıldı. AI alanının önemli bir kolu olan derin öğrenme, AI ile eşanlamlı hale geldi.İnsanlar AI'yı düşündüğünde, derin öğrenmeyi düşünmeleri gerekiyor. Bu makale okuyucuların derin öğrenmenin performansını iyileştirmeleri için üç yol sunar: dikey genişleme, yatay genişleme ve füzyon genişletme ve ardından ana akım açık kaynak derin öğrenme çerçevelerini tanıtır ve okuyucuların açık kaynak derin öğrenme anlayışını derinleştirmek için geliştirme eğilimi tahmin analizi yürütür. Çerçeve bilgisi ve anlayışı.

Önüne yaz

Derin Öğrenme kavramı 2006 yılında Toronto Üniversitesi'nden Profesör Geoffrey Hinton, Kanada ve diğerleri tarafından önerildi. Esasen bir sinir ağı algoritmasıdır. Prensibi, insan beynini simüle ederek analiz etmek ve öğrenmektir. Algoritma manuel müdahale olmadan eğitilebilir. , Yani denetimsiz bir makine öğrenimi algoritmasına da aittir. Derin öğrenme kavramının bugüne kadar ortaya konulmasının üzerinden on yıl geçti.Bu on yılda, ister Google, Microsoft, Baidu, ister dünyanın dört bir yanındaki büyük akademik araştırma kurumları olsun, bu on yıl içinde büyük insan ve finansal kaynaklara yatırım yaptılar. Teori ve endüstriyel düzeydeki uygulamaların araştırılmasında, yapay zekayı (AI) büyük ölçüde destekleyen karakter tanıma (OCR), görüntü sınıflandırma, konuşma tanıma, insansız otomatik kontrol, doğal dil işleme vb. Gibi birçok alanda atılımlar yapılmıştır. )geliştirilmesi.

Şekil 1: Derin öğrenmenin tipik uygulama senaryolarına örnekler

2012'de, Stanford Üniversitesi'nden Profesör Andrew Ng ve Jeff Dean tarafından ortaklaşa yürütülen Google Brain projesi, sistemin kedileri otomatik olarak öğrenmesine ve tanımasına izin vermek için derin öğrenmeyi kullandı. Bu proje araştırması, akademi ve endüstride büyük bir sansasyon yarattı ve dünyayı uyandırdı Derin öğrenmenin patlamasıyla ilgili kapsam araştırması, "New York Times", genel halka derin öğrenmenin ilk anlayışını veren Google Brain projesini açıkladı. Mart 2016'da Google'ın DeepMind şirketi tarafından geliştirilen AlphaGo, dünya Go şampiyonu ve profesyonel dokuz danlık oyuncu Li Shishi'yi toplam 4: 1 puanla mağlup ederek insanların yapay zeka (AI) anlayışını yeni bir aşamaya taşıdı.

Derin öğrenmenin birçok alanda başarılı bir şekilde uygulanması, akademi ve endüstrinin teknolojiye olan açık tutumundan ayrılamaz. Derin öğrenmenin gelişiminin başlangıcında, ilgili kodlar açık kaynaklıydı ve derin öğrenmeyi "sıradan insanların evlerine uçarak" büyük ölçüde azalttı. Akademik araştırma ve endüstriyel kullanım için eşik. Bu makale, derin öğrenme algoritmalarının gelişim eğilimini analiz etmeyi değil, mevcut ana akım açık kaynak derin öğrenme çerçevesinin gelişim eğilimini analiz etmek için algoritma seviyesinin ötesine geçmeyi amaçlamaktadır.

Açık kaynak derin öğrenme çerçevesi

Bilgisayar görüşü alanında, görüntü sınıflandırma ve tanıma gibi problemleri çözmek için her zaman sinir ağı algoritmaları kullanılmıştır.Akademide kullanılan algoritma araştırma araçları genellikle Matlab ve Python'dur.Matlab ve Python'a dayalı birçok derin öğrenme araç takımı vardır ve kullanımdadır. Görüntülerle bir derin öğrenme algoritma modeli eğitirken, tek bir makine CPU'sunun sınırlı hesaplama gücü nedeniyle, algoritma modelinin hızını artırmak için genellikle özel bir grafik işleme birimi (GPU) kullanılır.

Bununla birlikte, endüstriyel uygulamalarda, Matlab, Python ve R dillerinin performans sorunları nedeniyle, algoritmaların çoğu C ++ dilinde uygulanacak ve doğal dil işleme, konuşma tanıma ve diğer alanlarda derin öğrenmenin geniş uygulamasıyla, özel GPU'lar da yavaştır. Yavaş yavaş Genel Amaçlı GPU'ya (GPGPU) dönüştü. İşlemci yalnızca görüntüleri işlemek ve işlemek için değil, aynı zamanda tek bir makinenin işlem kapasitesini artıran büyük miktarda bilimsel hesaplama işlemesi gereken sahneler için de kullanılır Yöntem, Ölçek Arttırma'ya aittir.

Büyük veri çağının ortaya çıkmasıyla birlikte, büyük veri işleme teknolojisinin olgunlaşması, derin öğrenme modeli eğitiminin zaman alıcı sorununu çözmek için önemli bir gelişme yönü sağlar. Bu nedenle, derin öğrenme modellerinin büyük veri yoluyla nasıl eğitileceği yaygın ilgi gördü. : Eğitim numunelerinin veya model parametrelerinin sayısının artırılması veya aynı anda eğitim numunelerinin ve model parametrelerinin sayısının artırılması, nihai sınıflandırmanın doğruluğunu büyük ölçüde artırabilir. Hadoop, kurumsal düzeyde büyük veri altyapısı oluşturmak için fiili standart haline geldiğinden, Hadoop ekosisteminde birçok dağıtılmış derin öğrenme algoritması çerçevesi oluşturulmuştur. Dağıtılmış kümeler aracılığıyla işleme yeteneklerini iyileştirmeye yönelik bu genişletme yöntemine yatay genişletme ( Ölçeklendirme).

Derin öğrenme algoritmalarını eğitmek için Spark gibi platformların kullanılması eğitim hızını büyük ölçüde artırabilse de, son yıllarda depolama cihazlarının ve ağların performansı Şekil 2'de gösterildiği gibi CPU'lardan çok daha fazla gelişti.

Şekil 2: Depolama sistemi, ağ ve CPU'nun performans değişikliklerinin karşılaştırması

CPU performans darboğazı, dağıtılmış bir ortamda tek bir düğümün işlem hızını büyük ölçüde sınırlar. Bu sorunu çözmek için, birçok mükemmel açık kaynak derin öğrenme çerçevesi, kümedeki her makinenin işleme performansını artırarak derin öğrenme algoritma modellerinin eğitimini hızlandırmak için Spark ve GPGPU gibi açık kaynaklı büyük veri işleme teknolojisi çerçevelerini birleştirmeye çalışıyor. 3, SparkNet mimarisinin şematik diyagramıdır. Yatay genişlemeyi ve dikey genişlemeyi birleştirerek işleme kapasitesini iyileştirmenin bu yöntemine yakınsak genişletme denir. Şekil 4, derin öğrenmenin performansı iyileştirme yollarını özetlemektedir. Şekil, yatay genişleme, dikey genişleme ve füzyon genişlemesi için tipik açık kaynak derin öğrenme çerçevelerini göstermektedir.

Şekil 3. SparkNet'te Ölçek Büyütme ve Genişletme

Şekil 4. Derin öğrenme performansı nasıl artırır

Aşağıdakiler, GPU tabanlı tek makineli açık kaynak derin öğrenme çerçeveleri ve GPU'ları entegre eden açık kaynak dağıtılmış derin öğrenme çerçeveleri dahil olmak üzere bazı mükemmel açık kaynak derin öğrenme çerçevelerini tanıtacaktır. Herkesi mevcut ana akım açık kaynak derin öğrenme çerçevelerine alıştırırken, aynı zamanda açık kaynak dağıtılmış derin öğrenme çerçevelerinin geliştirme yönünü daha da keşfedebilirler.

Bağımsız açık kaynak derin öğrenme çerçevesi

Şu anda dünyanın en iyi üniversiteleri, California Üniversitesi, Berkeley gibi birçok akademik kurum ve Google, Microsoft ve diğer açık kaynak derin öğrenme araçları gibi İnternet devleri bulunmaktadır. Daha olgun GPU tabanlı bağımsız açık kaynak derin öğrenme çerçeveleri şunları içerir:

Theano: Derin öğrenme açık kaynak araçlarının yaratıcısı. 2008 yılında Montreal Teknoloji Enstitüsü tarafından geliştirildi ve açık kaynaklı. Çerçeve Python'da geliştirildi. Akademi ve endüstrideki birçok etkili derin öğrenme çerçevesi Theano üzerine inşa edilmiştir ve yavaş yavaş ünlü Keras, Lazanya ve Blokları içeren kendi ekosistemini oluşturmuştur.

Torch: Facebook ve Twitter tarafından desteklenen açık kaynaklı bir derin öğrenme çerçevesi, Google ve birçok üniversite araştırma kurumu da Torch kullanıyor. Torch, performans değerlendirmeleri için geliştirme dili olarak nispeten niş bir dil (Lua) kullanır ve şu anda ses, görüntü ve video işlemede çok sayıda uygulamaya sahiptir. Ünlü Alpha Go, Torch temel alınarak geliştirildi, ancak Google'ın açık kaynaklı TensorFlow'dan sonra Alpha Go, TensorFlow'a taşınacak.

TensorFlow: Google'ın C ++ dilinde geliştirilmiş açık kaynaklı derin öğrenme aracı ve üst katman Python API sağlar. Açık kaynaktan sonra, sektörde ve akademide büyük şok yarattı çünkü TensorFlow bir zamanlar ünlü Google Brain projesinin bir parçasıydı. Google Brain projesinin başarısı birçok bilim insanı ve araştırmacıyı derin öğrenmeye çekmiştir. İçeriye atlayın, bu da bugün derin öğrenmenin bu kadar başarılı olmasının önemli bir nedenidir ve TensorFlow'un etkisini gösterir. TensorFlow, özellikle daha sonra tanıtılacak olan Spark platformuna geçerek, dağıtılmış bir yönde gelişmektedir.

Caffe: Caffe, University of California, Berkeley'deki Berkeley Vision and Learning Center (BVLC) tarafından sağlanan bir dizi derin öğrenme aracıdır. C / C ++ ile geliştirilmiştir ve üst katmanda bir Python API'si sağlar. Caffe, ünlü Caffe On Spark projesi gibi dağıtılmış rotayı da kullanıyor.

CNTK: CNTK (Hesaplamalı Ağ Araç Seti) Microsoft'un açık kaynaklı derin öğrenme aracıdır.Şimdi Microsoft Bilişsel Araç Seti olarak yeniden adlandırılmıştır.Ayrıca Python API geliştirmek ve sağlamak için C ++ dilini kullanır. Şu anda, bilgi işlem görme, finans ve doğal işleme alanlarında yaygın olarak kullanılmaktadır.

DeepLearning4J'in resmi web sitesinde, bu ana akım derin öğrenme çerçevelerinin avantaj ve dezavantajlarının ayrıntılı bir analizini ve karşılaştırmasını sağlayan "DL4J'ye karşı Torch'a karşı Theano'ya karşı Caffe'ye karşı TensorFlow" adlı bir makale bulunmaktadır. İlgilenen okuyucular, görüntülemek için tıklayabilirler.

Dağıtılmış açık kaynak derin öğrenme çerçevesi

Google araştırmacısı Jeffy Dean, 2012 yılında dağıtılmış ortamlarda derin öğrenme algoritmalarının tasarım ilkeleri üzerine bir "Büyük Ölçekli Dağıtılmış Derin Ağlar" adlı bir makale yayınladı ve dağıtılmış ortamlarda derin öğrenme için iki farklı uygulama fikri verdi: Model paralelliği ve veri paralelliği (Model Paralelliği). Model paralelleştirme, eğitilen modeli böler ve onu her çalışan düğümüne gönderir; veri paralelleştirme, verileri böler ve ardından modelin bir kopyasını her bir çalışan düğümüne gönderir ve eğitim parametrelerini parametre sunucusu (Parametre Sunucusu) aracılığıyla günceller. Spesifik ilke Şekil 5'te gösterilmektedir.

Şekil 5. Derin öğrenmenin paralelleştirilmesinin iki yolu: model paralelleştirme (sol) ve veri paralelleştirme (sağ)

Şu anda, açık kaynak dağıtılmış derin öğrenme çerçevelerinin çoğu veri paralelleştirme şeklinde tasarlanmıştır. Şu anda iki kategori bulunmaktadır: çerçevenin kendisi dağıtılmış model eğitim yeteneklerine sahiptir; Hadoop ekosisteminde yerleşiktir; derin öğrenme modeli eğitimi, dağıtılmış dosya sistemi (HDFS), kaynak planlama sistemi (Yarn) ve Spark hesaplama platformu aracılığıyla gerçekleştirilir. Bunlar arasında, dağıtılmış model eğitim yeteneklerine sahip açık kaynak derin öğrenme çerçeveleri şunlardır:

DSSTNE: Amazon'un açık kaynaklı derin öğrenme araçları seti, tam İngilizce adı, seyrek veri senaryolarında derin öğrenme sorunlarını çözmek için C ++ dilinde uygulanan Derin Ölçeklenebilir Seyrek Tensör Ağ Motorudur (DSSTNE). Amazon'un açık kaynak yolunu tutup tutmama konusunda çırpındığını belirtmekte fayda var ... Açık kaynak DSSTNE, Google ve Facebook gibi devlerin açık kaynak derin öğrenme alanında yükselişe geçmesinin ardından çaresiz bir hamle gibi görünüyor.

Paddle: Baidu'nun C ++ dili tarafından uygulanan ve Python API sağlayan açık kaynaklı paralel dağıtılmış derin öğrenme çerçevesi (PArallel Dağıtılmış Derin Öğrenme, PADDLE). Paddle çerçevesi, arama reklamlarında tıklama oranı tahmini (CTR), resim sınıflandırması, optik karakter tanıma (OCR), arama sıralaması, bilgisayar virüsü tespiti vb. Dahil olmak üzere Baidu içindeki birden fazla ürün grubu tarafından test edilmiştir.

Hadoop ekosistemi, kurumsal düzeydeki büyük veri pazarının çoğunu işgal ettiğinden, birçok açık kaynaklı dağıtılmış sistem şu anda Hadoop ekosistemine taşınıyor. Bunların arasında Caffe, TensorFlow ve Baidu's Paddle var. Hadoop / Spark ekosisteminde oluşturulan derin öğrenme çerçevesinin uygulama şematik diyagramı aşağıdaki gibidir:

Şekil 6. Hadoop ekosisteminde dağıtılmış derin öğrenme algoritmasının uygulama ilkesi

Şu anda Hadoop / Spark'a dayalı etkili açık kaynak dağıtılmış derin öğrenme çerçeveleri şunlardır:

SparkNet: 2015 yılında AMPLab tarafından açık kaynaklı, alt katman Caffe ve Tensorflow'u kapsüller ve merkezi bir parametre sunucusu kullanılarak uygulanır. Spesifik uygulama ilkeleri ve mimarisi için, "SPARKNET: SPARK'TA DERİN AĞLARI EĞİTİM" belgesine bakın.
Deeplearning4J: 2014 yılında Skymind tarafından geliştirilen ve açık kaynaklı bir dağıtılmış derin öğrenme projesi. Java'da uygulanmaktadır ve Scala'yı da destekler. Kullandığı parametre sunucusu modu IterativeReduce'tur.
Caffe On Spark: Yahoo'nun 2015'teki açık kaynaklı dağıtılmış derin öğrenme çerçevesi, Java ve Scala dillerinin bir karışımı kullanılarak, performansı garantilemek için Spark + MPI mimarisini kullanarak uygulanır ve parametre sunucusu, eşler arası (Eşler Arası) bir uygulama benimser. Büyük ölçekli dağıtılmış ortamlarda derin öğrenme sorunlarını çözmek için Caffe'yi Hadoop / Spark ekosistemine dahil ederek, Caffe On Spark'ı Spark SQL, Spark ML / MLlib, Spark Graphx ve Spark Streaming'den sonraki beşinci bileşen haline getirmeyi amaçlıyor.
Spark üzerinde Tensorflow: 2014 yılında Arimo tarafından TensorFlow'u Spark platformuna taşımak için oluşturuldu.
TensorFrames (Spark Dataframes üzerinde TensorFlow): Databricks açık kaynak dağıtılmış derin öğrenme çerçevesi; amaç, DataFrame'in mükemmel özelliklerini kullanarak Google TensorFlow'u Spark DataFrames'e aktarmaktır, gelecekte birleştirilebilir
Spark'ın Yapı Akışı, derin öğrenme modellerini gerçek zamanlı olarak eğitir.
Inferno: Melbourne'daki La Trobe Üniversitesi'nde doktora öğrencisi olan Matthias Langer tarafından geliştirilen Spark platformuna dayalı bir derin öğrenme çerçevesi. Yazar, Inferno'nun uygulama ilkesi üzerine bir makale harmanlayıp yayınlıyor ve ayrıca makale yayınlandıktan sonra GitHub'daki kodu açık kaynak olarak sunacağına söz verdi.
DeepDist: Facebook'ta kıdemli bir veri bilimcisi olan Dr. Dirk Neumann tarafından sağlanan açık kaynaklı bir Spark platformu tabanlı derin öğrenme çerçevesi seti, Deep Belief Networks modellerinin eğitimini hızlandırmak için kullanılıyor. Uygulanması "Büyük Ölçekli Dağıtılmış" kağıt olarak görülebilir. "Derin Ağlarda" Sağanak Stokastik Gradyan İniş (SGD) algoritmasının açık kaynaklı bir uygulaması.
Angel: Tencent, 2017'de açık kaynak dağıtılmış bir makine öğrenimi bilgi işlem platformu açmayı planlıyor. Angel, Caffe, TensorFlow ve Torch gibi açık kaynak dağıtılmış öğrenme çerçevelerini destekleyebilir ve her çerçeve için bilgi işlem hızlandırma sağlayabilir. Angel, Tencent'in üçüncü nesil makine öğrenimi bilgi işlem platformuna aittir. Birinci nesil, Hadoop'a dayanır ve yalnızca çevrimdışı bilgi işlem senaryolarını destekler. İkinci nesil, Spark / Storm'u temel alır ve hem çevrimiçi analizi hem de gerçek zamanlı hesaplama senaryolarını destekleyebilen YARN'in yerine kendi geliştirdiği Gala planlama platformunu kullanır. , Üçüncü nesil, Tencent'in kendi geliştirdiği platformuna aittir. HDFS kullanan temel dosya sistemi dışında, kaynak planlama ve hesaplama motorlarının tümü Tencent'in kendi geliştirdiği ürünlerdir.

SparkNet, Deeplearning4J ve Caffe On Spark gibi Spark platformunda oluşturulan derin öğrenme çerçevelerinin performans, kullanım kolaylığı ve işlevlerinin ayrıntılı karşılaştırmaları için, bkz. "Hangisi Derin Öğrenme Çerçevelerinin Daha Derin Karşılaştırması Spark Atop Spark", "cehennemde ölçeklenebilir- kıvılcımla derin öğrenme ".

Son yıllarda büyük veri teknolojisinin olgunluğu ve popülerliği nedeniyle, Hadoop, Spark, Kafka ve Hive gibi JVM dillerine (çoğunlukla Java ve Scala) dayalı büyük veri işleme çerçeveleri neredeyse büyük veri teknolojisinin gelişimine öncülük etmiştir. Yön, Hadoop ekosisteminde giderek daha fazla açık kaynak derin öğrenme çerçevesinin oluşturulacağına ve Java veya Scala diline dayalı olarak uygulanacağına inanıyorum.

Özet ve görünüm

Bu makale ilk olarak performansı artırmak için derin öğrenmenin üç yolunu tanıtır: dikey genişleme (makineye GPU'ları ekleme), yatay genişletme (küme eğitim modelleri aracılığıyla) ve füzyon genişletme (dağıtılmış olarak, her kümeye Çalışan düğümleri ekleme) GPU) ve ardından ana akım açık kaynak derin öğrenme çerçevesini tanıttı. Bu açık kaynak derin öğrenme çerçevelerinin anlaşılması sayesinde, açık kaynak derin öğrenme çerçevelerinin mevcut gelişiminin aşağıdaki eğilimlere sahip olduğunu görebiliriz:

Dağıtılmış derin öğrenme çerçeveleri, özellikle Hadoop ekosisteminde oluşturulanlar (Java veya Scala diline dayalı olarak uygulananlar) giderek daha popüler hale gelecek ve entegrasyon ve genişleme yoluyla derin öğrenme algoritma modellerinin eğitimini hızlandıracaktır.
Dağıtılmış derin öğrenme açısından, büyük verinin özü, sıkça bahsedilen 4V özelliğine ek olarak, Çevrimiçi olan başka bir önemli özün olmasıdır.Veriler herhangi bir zamanda güncellenebilir ve uygulanabilir ve verilerin doğası gereği doğal akış özellikleri vardır, bu nedenle Gerçek zamanlı çevrimiçi ve model güncelleme algoritmalarına sahip bir derin öğrenme çerçevesi, aynı zamanda gelecekteki gelişimin yönüdür.
Eğitilecek çok sayıda derin öğrenme algoritma modeli parametresi olduğunda, Spark ve açık kaynaklı dağıtılmış bellek dosya sistemi Tachyon kombinasyonu, performansı iyileştirmenin etkili bir yoludur.

Yapay zeka alanının önemli bir kolu olarak derin öğrenme, yapay zeka ile eşanlamlı hale geldi.İnsanlar yapay zeka hakkında konuştuğunda derin öğrenmeyi düşünmelidir.Gelecekte büyük veri ve derin öğrenme teknolojisinin sürekli gelişimi ile daha fazla olağanüstü uygulamanın insanları yenilemeye devam edeceğine inanıyorum. AI ile ilgili olarak, yaklaşan "tekillik" i dört gözle bekleyelim.

Yazar hakkında

Zhou Zhihu, Çin Elektronik Bilimi ve Teknolojisi Üniversitesi Bilgisayar Bilimi Yüksek Lisansı. Araştırma yönü bilgisayarla görme ve makine öğrenimidir. Yurtiçi ve yurtdışındaki temel dergilerde makine öğrenimi üzerine birkaç makale yayınlamıştır. Şu anda Greentown China'nın kıdemli veri platformu mimarı ve profesyonel müdürü olup, esas olarak gayrimenkul sektöründe çalışmaktadır. Veri uygulaması.

Yongbiao Zhao, Uygulamalı Matematik Yüksek Lisansı, Ningbo Üniversitesi, 11 yıllık İnternet deneyimi, şu anda sektördeki büyük veri uygulamalarına odaklanan Hangzhou Yishu Technology Co., Ltd.'nin CTO'su ve kurucu ortağıdır, kamu güvenliği ve emlak endüstrileri.

Bugün önerilen numara