Tsinghua'nın `` Jitu Tu '' ve `` Tianyuan''ı hor görmesi açık kaynaklı!
Kaynak: CSDN
Bu makale hakkında 3141 kelime, Önerilen Okuma 7 dakika.
Bu makale, Tsinghuanın geniş ilgi gören açık kaynak derin öğrenme çerçevesi Jittor'u (Jitutu) tanıtıyor. Megviinin birçok işini ve başarısını destekleyen derin öğrenme çerçevesi MegEngine (Tianyuan) da yakın gelecekte açık kaynaklı olacak.
1956'da Amerika Birleşik Devletleri'ndeki Dartmouth Konferansı, yapay zeka tarafından başlatılan bir dönüm noktası olayı haline geldi. Aynı yıl, Çin'in ilk kendi kendine üretilen otomobil grubu olan Jiefang marka otomobiller, Çin'in otomobil üretememe geçmişini sona erdiren Changchun No. 1 Otomobil Fabrikası'ndaki fabrikadan ayrıldı.
2020'de Çin'in otomobil üretimi ve satışı, arka arkaya yıllarca dünyada ilk sırada yer aldı. Aynı zamanda, yapay zeka teknolojisinin araştırması ve uygulaması Çin'in her yerinde çiçek açtı ve Megvii, Shangtang, Yitu ve Cambrian dahil olmak üzere çok sayıda temsili AI start-up şirketi ortaya çıktı.
Yapay zeka çağının işletim sistemi olarak, derin öğrenme çerçevesi Google'ın TensorFlow ve Facebook'un PyTorch'unun hakimiyetindedir.Bu nedenle, derin öğrenme çerçevelerinin yerelleştirilmiş değişimi de hükümet, endüstri, akademi ve araştırma çevrelerinde ilgi odağı haline geldi.
Son zamanlarda, Tsinghua'nın açık kaynaklı derin öğrenme çerçevesi Jittor geniş ilgi gördü.Megvii'nin birçok işini ve başarısını destekleyen derin öğrenme çerçevesi MegEngine (Tianyuan) da yakın gelecekte açık kaynaklı olacak. Huawei'nin kendi derin öğrenme çerçevesini de açacağı bildirildi. Baidu'nun PaddlePaddle (uçan kürek) ile birleştiğinde, yerel derin öğrenme çerçevesinin gelişimi parlak bir anda başladı.
1.0'dan 3.0'a: Statikten dinamiğe, dinamik ve statik birleştiren derin öğrenme çerçevelerinin evrimsel geçmişi
Derin öğrenme çerçevesinin teknolojik gelişim geçmişi tek bir cümleyle açıklanabilir: statikten dinamiğe. Dinamik hesaplama veya statik hesaplama arasındaki farka göre, bu birçok derin öğrenme çerçevesi iki gruba ayrılabilir: statik grafik mekanizması TensorFlow 1.0 ile temsil edilir ve dinamik grafik mekanizması PyTorch tarafından temsil edilir.
Görüntü yetkilendirildi
Statik hesaplama, program derlendiğinde ve yürütüldüğünde önce sinir ağının yapısının oluşturulacağı ve ardından ilgili işlemin gerçekleştirileceği anlamına gelir.Tanımlanır ve sonra çalıştırılır.Tekrar çalıştırıldığında, hesaplama grafiğini yeniden oluşturmaya gerek yoktur, dolayısıyla hız Dinamik grafiklerden daha hızlı olacaktır.
Dinamik hesaplama, programın komutları yazdığımız sırada yürütüleceği anlamına gelir. Bu mekanizma hata ayıklamayı kolaylaştıracak ve aynı zamanda beynimizdeki fikirleri gerçek koda dönüştürmemizi kolaylaştıracak.
Genel olarak konuşursak, statik grafik mekanizması, performansın iyileştirilmesine daha elverişli olan bütünün derlenmesini ve optimizasyonunu optimize edebilir.Daha az kaynak gerektirir ve dağıtımı kolaydır, bu da endüstriyel dağıtım uygulamalarının ihtiyaçlarını karşılar; dinamik grafik ise kullanıcıların programda hata ayıklaması için çok uygundur, basit ve esnektir Bilimsel araştırma ve keşif ihtiyaçları doğrultusunda kullanımı kolaydır.
Dinamik grafiklerin esnekliği ve kullanım kolaylığı araştırmacılara büyük bir ilgi gösterdiğinden, TensorFlow 2.0 ve Tsinghua's Jittor gibi daha fazla çerçeve dinamik grafikleri desteklemeye başladı.
Bununla birlikte, eğitim verimliliği ve ölçeği her zaman sektördeki en önemli konulardır ve dinamik grafikler altındaki performans optimizasyonu sorunlarının da çözülmesi gerekir. Bu nedenle, her çerçevenin yakınsaması açıktır ve ön uç kullanım kolaylığı, hesaplama verimliliği ve çerçeve kararlılığı, sürekli optimizasyonun yönü haline gelmiştir.
Bu eğilim aynı zamanda dinamik ve statik birleşiminin 3.0 çağında bir çözüm haline geldiği anlamına geliyor.
Örnek olarak Megvii tarafından açık kaynaklanacak olan MegEngine'i ele alalım.Runtime yönetim katmanı, çekirdek zamanlama ve bellek yönetimi ve optimizasyonu olmak üzere iki modül içerir. Bellek yönetimi ve optimizasyon modülünde MegEngine, dinamik ve statik bellek tahsisinin bir arada varlığını kullanır, böylece hem dinamik hem de statik görüntü modlarını destekleyebilir.
Bu nedenle, MegEngine dinamik grafiklerin ve statik grafiklerin ilgili avantajlarını entegre eder.Dinamik grafik modeli eğitiminin avantajlarından tam olarak yararlanılırken, üretim ve dağıtım, dinamik ve statik modellerin tek tıklamayla dönüştürme işlevi aracılığıyla statik grafikler şeklinde tamamlanır; ayrıca MegEngine ayrıca dinamik ve statik Karma programlama, daha fazla esneklik. Megvii araştırmacıları bir röportajda, yeni öğrencilerin bile bir aydan kısa bir süre içinde hızla başlayabileceklerini söylediler.
Araştırmadan devreye almaya, derin öğrenme çerçevesi rekabeti
Görüntü yetkilendirildi
TensorFlow: Google tarafından üretilen ve 2015 yılında açık kaynaklı, mevcut ana derin öğrenme çerçevelerinden biridir. Geliştirici grubu çok büyük, uygulama olgunlaşmış ve dağıtım verimliliği ve heterojen aygıt desteğinde olağanüstü performansa sahip. Bununla birlikte, TensorFlow 2.0'ın piyasaya sürülmesinden bu yana, API'lerin kafa karışıklığından ve birçok sorunun çözülmemiş sorunlarından kaynaklanan tartışmalar oldu ve rakipler baskınlığına meydan okuyor.
Keras : Google mühendisi François Chollet'in çalışması, yeni başlayanlar için uygun olan, Python ile yazılmış açık kaynaklı bir yapay sinir ağı kitaplığıdır. Keras, 2017'den beri Tensorflow ekibi tarafından destekleniyor ve bileşenlerinin çoğu Tensorflow'un Python API'sine entegre edildi. Tensorflow 2.0.0'ın 2018'de halka açılmasından sonra, Keras resmi olarak tf.keras adıyla yüksek seviyeli bir Tensorflow API olarak kuruldu.
MxNet: AWS AI'nın baş bilim adamı Li Mu'nun çalışması dinamik grafikleri destekler, Python, R, Scala ve C ++ gibi dilleri destekler ve Gluon serisi araçlara sahiptir. Bununla birlikte, TensorFlow ve PyTorch ile karşılaştırıldığında, açıkça daha az geliştirici ve kullanıcı vardır ve yüksek özelleştirme ihtiyacı olan şirketler ve araştırmacılar için daha uygundur.
PyTorch: Facebook tarafından üretilen geliştirme topluluğu çok aktif ve geliştiricilerin fikirlerini dinlemede çok iyi. Dinamik grafikler için destek nedeniyle, PyTorch'un esnekliği, özellikle algoritmaların hızlı doğrulanması ve kopyalanması için TensorFlow'a kıyasla büyük ölçüde geliştirildi, bu nedenle akademik topluluk tarafından tercih ediliyor. Endüstride, uyumluluk ve dağıtım sorunlarını dikkate alma ihtiyacı nedeniyle, PyTorch ayrıca üretim ortamı için tasarlanmış Caffe2'yi orijinal bazda entegre etti, ancak gerçek etkisinin daha fazla doğrulanması gerekiyor.
CNTK: Microsoft tarafından üretilen tüm API'ler C ++ tasarımına dayalıdır, bu nedenle hız ve kullanılabilirlik açısından çok iyidir. Kullanıcı tabanı küçüktür ve öğrenme eğrisi diktir. Kullanmanın ana yolu ithal keraslardır.Keras artık gelecekte birden fazla platformu desteklemeye odaklanmayacağından CNTK'nın etkilenmesi bekleniyor.
PaddlePaddle (uçan kürek) : Baidu tarafından üretildi, 2016'da açık kaynaklı. Kapsamlı bir derin öğrenme geliştirme kitine yükseltildi. Çekirdek çerçeveye ek olarak, eksiksiz bir derin öğrenme aracı bileşenleri seti ve VisualDL, PARL, AutoDL, EasyDL ve AI Studio gibi hizmet platformları açıldı.
Yukarıdaki derin öğrenme çerçevelerine ek olarak, yakında çıkacak olan açık kaynak MegEngine de dikkate değer. MegEngine mimarisi özellikle beş katmana ayrılmıştır: hesaplama arayüzü, grafik gösterimi, optimizasyon ve derleme, çalışma zamanı yönetimi ve bilgi işlem çekirdeği.
Görüntü yetkilendirildi
- En üst düzey bilgi işlem arayüzünde MegEngine, farklı çerçeve öğrenme arayüzleri ve yeniden üretilmesi zor modeller sorununu çözmek için C ++ ve Python arayüzleriyle donatılmıştır.
- Grafik sunum katmanında, MegEngine, geliştiricilerin programlama için dinamik grafik ve statik grafik modlarını karıştırmasını destekleyen yerleşik bir dinamik ve statik dönüştürme işlevine sahiptir.
- Optimizasyon ve derleme katmanında MegEngine, otomatik türetme, grafik optimizasyonu ve grafik derleme işlevleri dahil olmak üzere API tarafından ifade edilen hesaplamaları daha da optimize etmek ve derlemek için verimli kullanıcı etkileşimini desteklemek için bir çekirdek hesaplama grafiği oluşturur.
- Çalışma zamanı cihaz yönetiminde, MegEngine iki modülü yapılandırır: hesaplama planlama ve bellek yönetimi Hesaplama planlama modülü, cihazı bir yürütme akışına ayırır ve planlayıcı aracılığıyla akıllı programlamayı gerçekleştirir.Bellek optimizasyonu açısından Tianyuan hem dinamik hem de statik belleği kullanır. Tahsisatın bir arada bulunması, otomatik alt doğrusal bellek optimizasyonunu destekler.
- MegEngine'in alt katmanı, heterojen bir mimariye ve yerleşik yüksek verimli bilgisayarla görme operatörlerine dayalı bir bilgi işlem çekirdeğine sahiptir ve X86 ve CUDA gibi ana akım donanım cihazlarına akıllıca uyum sağlama yeteneğine sahiptir. Ayrıca MegEngine, çok makineli çoklu kart, büyük ölçekli, dağıtılmış algoritma eğitimi elde etmek için kullanıcıları farklı makineler ve bilgi işlem kartları arasında yüksek performanslı iletişimle desteklemek için yüksek performanslı heterojen bir iletişim kitaplığı ile donatılmıştır.
TensorFlow ve PyTorch gibi derin öğrenme çerçeveleri şu anda endüstriden çok ilgi görse de, Çin'in AI uygulama senaryoları çok çeşitlidir ve birçok alt bölüme ayrılmış ihtiyacın daha fazla karşılanması gerekir. Baskın bir tane olabileceğini söylemek zordur, bu nedenle gelecek Çinli kullanıcıların ihtiyaçlarına daha yakın olacaktır. Gelecekte çerçeve öğrenmek için de büyük fırsatlar var.
İyi yapmak istiyorsan, önce aletlerini keskinleştirmelisin
Derin öğrenme çerçevelerinin geliştirilmesi boyunca, geliştiriciler için eşiği düşürmek için çabalar sarf edilmektedir. Bununla birlikte, her çerçevenin özellikleri farklı olduğundan ve sürekli olarak geliştiklerinden, geliştiricilerin çerçeveyi daha azıyla daha fazlasını yapmak için gerçek ihtiyaçlarına veya şirketin gerçek ihtiyaçlarına göre seçmeleri gerekir.
Birincisi, öğrenmesi kolay olmalı ve öğrenme eğrisi çok dik olmamalıdır; ikincisi, modelin konuşlandırılmasına ve inişine gerçekten yardımcı olabilmelidir.
MegEngine'in MegEngine, Pythonic API'ye sahip olduğundan ve PyTorch Modülü işlevini desteklediğinden, modeli doğrudan içe aktarabilir, bu nedenle başlamak daha hızlıdır ve öğrenme ve geçiş maliyeti daha düşüktür. Ayrıca MegEngine, dinamik grafiklerin ve statik grafiklerin avantajlarını da entegre ederek onu daha esnek hale getiriyor.
MegEngine aynı zamanda araştırmacıların algoritma eğitimi yapmalarına destek olamayan eğitim ve muhakeme entegrasyonunu da destekler ve aynı zamanda eğitimle elde edilen modeller ve ürünler doğrudan ürün muhakeme ve paketleme için kullanılabilir, hız ve doğruluğun kayıpsız geçişini ve ayrıca dağıtım sırasında gerçekleştirebilir. Otomatik model optimizasyonunu gerçekleştirmek için fazlalık kodlar otomatik olarak silinebilir.
Ve MegEngine ayrıca, kullanıcıların paralel olarak modelleri kurması ve çalıştırması için uygun olan ilkel düzeyde destek sağlar. Son olarak, model paralelliği veri paralelliği ile karıştırılabilir. Derin öğrenme çerçevesi tarafından dağıtılmış hesaplamanın doğuştan gelen desteği ile MegEngine, yüksek düzeyde eğitim ve çıkarım verimliliğine ulaştı.
Geliştiriciler için MegEngine iyi bir deneme olabilir.
Fragman: Bir Şey Daha
Aslında MegEngine, en son araştırma ve geliştirmeyi küçümsemenin bir ürünü değil, 2014'te doğdu ve birçok işletmenin testine dayandı.
2013 yılında, Theano gibi erken açık kaynaklı çerçeveler "simya" verimliliği talebini karşılayamadı. 2014'ün başında Megvii Araştırma Enstitüsü'nden üç stajyer kodun ilk satırını yazdı.Yarım yıldan kısa bir süre içinde MegEngine'in kendi geliştirdiği derin öğrenme çerçevesinin ilk versiyonu resmen doğdu. 2015 yılının ortalarında Megvii, kendi geliştirdiği çerçevenin şirketin tüm dahili işleriyle entegrasyonunu tamamladı ve şirketin iş kollarındaki tüm modeller, kendi geliştirdiği çerçeveyle eğitilmiş sürümlerle değiştirildi.
Kendi kendine kullanımdan açık kaynağa, yapay zekanın evrensel değerini ifade etme niyetinden nefret etmek. Yapay zeka her zaman güçlü bir Matthew etkisine sahip bir endüstri olmuştur. Refahın arkasında aslında İnternet devleri ve Megvii, Shangtang, Yitu ve Cambrian gibi yıldız yapay zeka şirketleri ve yıldız yapay zeka şirketlerinin arkasında desteklenmektedir. Genellikle bir birey veya küçük bir grup dahi tarafından desteklenir. Az sayıda birinci sınıf yetenek, az sayıda ana akım AI şirketini destekliyor ve güçlü olanın güçlü kalacağı yönünde bir eğilim var. Öte yandan, geleneksel üreticiler ve küçük ve orta ölçekli işletmeler susuzluklarını gidermek için yapay zeka arıyorlar.Ar-Ge maliyetleri yüksek, yapay zeka yetenekleri mevcut değil ve algoritma araştırma ve geliştirmeye yoğun bir şekilde yatırım yapmaya kararlı değiller.
Bu nedenle, AI teknolojisinin uygulanmasını hızlandırmak için Megvii, 2019'da Brain ++ platformunun temel derin öğrenme çerçevesini açık kaynak yapmaya hazırlamaya başladı ve ayrıca özel olarak Çinli bir isim olan MegEngine'i Tianyuan olarak adlandırarak daha fazla geliştirici ve kurumsal kullanıcıya izin veriyor Maliyetleri düşürmek ve verimliliği artırmak için AI "kaynak gücünü" kullanabilir.
-Bitiş-
Tsinghua-Qingdao Veri Bilimi Enstitüsü'nün resmi WeChat kamu platformunu takip edin " AI Veri Pastası "Ve kız kardeş numarası" Veri Pastası THU "Daha fazla ders avantajı ve kaliteli içerik elde edin.
