PyTorch'u kıyaslayan Tsinghua ekibi, kendi geliştirdiği bir AI çerçevesi olan "Planlama" | AI Teknolojisi Ekoloji Teorisi'ni başlattı
"AI Teknolojisi Ekolojik Teorisi" Karakter röportajı sütunu, CSDN tarafından başlatılan AI girişiminin önemli bir parçasıdır. Yapay zeka ekoloji uzmanları, girişimciler ve endüstri KOL'leri ile yapılan görüşmeler sayesinde, sektör hakkındaki düşüncelerini, gelecekteki eğilimlerle ilgili yargıları, teknik uygulamaları ve büyüme deneyimlerini yansıtıyor.
2020'de CSDN, 1000'den fazla kişiyle bir dizi röportaj gerçekleştirecek ve AI ekolojisi ile AI endüstrisinin panoramasındaki en etkili kişileri özetleyecek. Bu makale, "AI Teknolojisinin Ekolojisi" röportajları serisinin üçüncü sayısıdır.
Yazar | Just
Baş resmi | Visual China'dan CSDN indirmesi
Üretildi | AI Teknolojisi Ana Kampı (ID: rgznai100)
Makine öğrenimi çerçeveleri alanında, Pytorch ve TensorFlow, akademi ve endüstride en yaygın kullanılan iki oyuncu haline geldi ve Keras, Caffe / Caffe2 ve MXNet gibi aşağıdaki çerçeveler de benzersizlikleri nedeniyle ilgili geliştiriciler tarafından tercih edildi. Favori.
Bugün, yapay zeka açık kaynak çerçeve savaşı yeni katılımcılar ekliyor.
Bildiğiniz gibi yeni derin öğrenme teknolojilerinin ortaya çıkmasıyla birlikte görev karmaşıklığı artmaya devam ediyor.Mimarlık tasarımı ve sürekli genişleme nedeniyle sistem karmaşık, mimari optimizasyonu ve transplantasyonu zorlaşıyor ve yeni modelin gerçek performansının iyileştirilmesi gerekiyor.
Bir Tsinghua Üniversitesi ekibi, daha esnek ve verimli bir derin öğrenme çerçevesi geliştirmeye karar verdi. Kısa süre önce, meta-operatör füzyonu ve dinamik derleme teknolojisini kullanan, derinlemesine optimize edilmiş belleği kullanan, sistemin işletim performansını ve çok yönlülüğünü etkili bir şekilde iyileştiren, uygulama ve optimizasyonun ayrılmasını sağlayan ve uygulama geliştirmenin esnekliğini büyük ölçüde artıran açık kaynak Jittor'u (Graphics) duyurdular. Ölçeklenebilirlik ve taşınabilirlik.
Github adresi:
https://github.com/Jittor/Jittor
Jittor'un Ar-Ge ekibi, Tsinghua Üniversitesi Bilgisayar Bilimleri Bölümü'nün grafik laboratuvarıdır.Şimdi başkan, uzun zamandır görsel medya akıllı işleme araştırmalarıyla uğraşan Profesör Hu Shimin'dir. 2006'dan 2015'e kadar laboratuvar, bilişsel hesaplama, makine öğrenimi, geometrik hesaplama ve görsel medyada akıllı algoritmalar üzerine araştırma yapmak için Ulusal 973 Programından iki aşamalı fon aldı.
Laboratuvar, 2009 yılından beri sistem yazılımı araştırması gerçekleştirmiş ve kademeli olarak yapay zeka platformu araştırma ve geliştirmesini devreye almıştır. Laboratuvar, dönem boyunca grafik ve görüntü uygulamaları, makine öğrenimi algoritmaları ve altta yatan sistem yazılımlarında üç avantaj sağladı. 2018 yılında Profesör Hu Shimin liderliğinde Liang Dun, Yang Guoye, Yang Guowei ve Zhou Wenyang gibi bir grup doktora öğrencisi ana güç olacak. Ekip, Jittor platformunu oluşturmaya başladı. Jittor ekibinin çekirdek geliştirme üyesi Liang Dun, AI Technology Base Camp'e (ID: rgznai100) 2019'un sonunda Jittor'un temel işlevlerini tamamladıklarını söyledi. Dahili testlerden sonra, 20 Mart'ta resmi olarak piyasaya sürüldü ve açık kaynaklı hale getirildi.
Nöral ağ hesaplama birimlerini ifade etmek için meta operatörleri kullanan ve tamamen dinamik derlemeye (Just-in-Time) dayanan bir derin öğrenme çerçevesi olan Jittor, üç yeni tasarım konsepti altında geliştirildi:
1. Kullanımı kolay ve özelleştirilebilir: Kullanıcılar, yeni operatörler ve modeller tanımlamak için yalnızca birkaç satır koda ihtiyaç duyarlar.Kullanımı kolay olsa da özelleştirilebilirliklerini kaybetmezler.
Derin öğrenmede kullanılan evrişimli sinir ağı, operatörlerden oluşan bir bilgi işlem ağıdır. Mevcut derin öğrenme çerçevesi 2000 kadar operatöre sahiptir. Jittor ayrıca, 20'den fazla elemanlı operatör kapanışından daha düşük seviyede üç tip oluşturan operatör operasyonlarını ayrıştırır Şu anda, sinir ağlarının ortak operatörleri, eleman operatörlerinin bir kombinasyonu ile ifade edilebilir.
Meta operatörü nedir? Liang Dun, meta operatörlerin Jittor'un temel operatörleri olduğunu ve esasen üç türü içerdiğini açıkladı: bire çoğa bir ilişki olan yeniden indeksleme operatörleri (doldurma, segmentasyon vb.); Basitleştirme operatörlerini yeniden indeksleme (yorgun gibi) Çarpma, biriktirme vb.) Çoka bir ilişkidir; öğe düzeyinde operatörler (ortak öğe düzeyinde toplama, çıkarma, çarpma ve bölme vb.) Çoktan çoğa bir ilişkidir.
Evrişim, havuzlama, toplu normalleştirme vb. Gibi yaygın sinir ağı operatörleri, öğe operatörlerinin bir kombinasyonu ile ifade edilebilir. Önerilen meta operatör temel olarak sinir ağı operatörlerinin artan talebini karşılamaktır, böylece yeni operatörün optimizasyonu meta operatörün füzyonuna ve optimizasyonuna ayrılabilir, yeni operatörün bağımsız optimizasyonundan kaçınarak, gerçekleştirme ve optimizasyonun ayrılmasını sağlama ve iyileştirme Ölçeklenebilirlik.
Jittor, eleman operatörü füzyonu yoluyla derin sinir ağı modeli uygular 2. Gerçekleştirme ve optimizasyonun ayrılması: Kullanıcılar, ön uç arabirimi aracılığıyla gerçekleştirmeye odaklanabilir ve gerçekleştirme, arka uç tarafından otomatik olarak optimize edilir. Böylelikle, ön uç kodunun okunabilirliğini ve arka uç optimizasyonunun sağlamlığını ve yeniden kullanılabilirliğini iyileştirir. 3. Her şey anında gerçekleşir: Jittor'un kendisi dahil tüm Jittor kodu anında derlenir ve çalıştırılır. Kullanıcılar, Jittor'un tüm kodunu istedikleri zaman değiştirebilir ve dinamik olarak çalıştırabilir.
Derin öğrenme çerçevesinin gelecekteki gelişim trendiyle yüzleşen Jittor, optimizasyon için birleşik bir hesaplama grafiği önermek için meta-operatör kombinasyon ifadesinin avantajlarını kullanır ve alttan yeni bir dinamik derleme mimarisi tasarlar.
Jittor ekibi, mimarinin birden çok derleyiciyi desteklediğini, uygulama ve optimizasyonun ayrılmasını sağladığını ve uygulama geliştirme esnekliğini, ölçeklenebilirliğini ve taşınabilirliği büyük ölçüde geliştirdiğini söyledi.Diğer ana çerçevelerle karşılaştırıldığında, bir dizi gelişmiş özelliğe sahiptir.
Bu önde gelen özellikler nasıl yansıtılıyor?
Liang Dun, sinir ağlarını ifade etmek için eleman operatörü kombinasyonunun avantajlarına dayanarak, Jittor'un yüksek performanslı hesaplama sağlamak için statik hesaplama grafiklerini ve dinamik hesaplama grafiklerini birleştiren birleşik bir hesaplama grafiği önerdiğini ortaya koydu: ileri ve geri hesaplama grafiklerinin birleşik yönetimi ve otomatik olarak herhangi bir yüksek düzeyi destekler Türev hesaplama; büyük modellerin eğitimini desteklemek için CPU ve GPU belleğinin birleşik zamanlaması; birleşik eşzamanlı ve eşzamansız işlem arabirimi, böylece veri okuma, bellek kopyalama ve model hesaplama aynı anda gerçekleştirilebilir; çapraz yinelemeyi elde etmek için birden çok hesaplama grafiğinin birleşik yönetimi Füzyon optimizasyonu.
Buna dayanarak Jittor ekibi, platform üzerinde ResNet, VGG, SSD, DeepLab ve LSGAN gibi çoklu ağ modellerini hayata geçirdi.Sağladıkları verilere göre, Jittor'un çıkarım ve eğitim hızı, Pytorch ile karşılaştırıldığında% 10 -% 50 performans artışına ulaştı. .
Liang Dun, Jittor'un performans gelişiminin temel olarak Jittor tarafından önerilen, hesaplamaları optimize eden, hesaplama kaynaklarını koruyan ve bellek erişim verimliliğini artıran meta-operatör füzyonu ve birleşik hesaplama grafiğinden kaynaklandığını söyledi. Aynı zamanda, Jittor tarafından tasarlanan yeni derleme mimarisi, meta operatörleri dinamik olarak yüksek performanslı C ++ / CUDA kodunda derler ve LLVM ile uyumlu derleyici geçişini, hesaplama cihazlarına uygun çalıştırılabilir kod üretmek için daha da optimize eder.
Jittor çekirdek geliştirme ekibinin resmi çapındaki gelişmiş özelliklerden veya performans iyileştirmelerinden bahsediyor olsun, şüphesiz endüstrinin en yaygın derin öğrenme çerçevesi Pytorch'u hedef alacaklar.
Jittor açık kaynak haberleri yayınlandıktan sonra, geliştiriciler sosyal medya platformlarında övgüyle doluydu, ancak Pytorch ile rekabet etmek için daha uzun bir yol olduğu açık.
"Çin, yapay zeka endüstrisinin geliştirilmesi ve uygulanması için en büyük pazar olduğundan, yapay zeka ekosisteminin tüm endüstriyel zincirinde yer almalıyız."
Ulusal teknoloji stratejisi perspektifinden Liang Dun, yapay zeka teknolojisi üssüne Çin'in mevcut derin öğrenme araştırma ve uygulamasının esas olarak yabancı platformlara dayandığını ve aslında takılıp kalma riskiyle karşı karşıya olduğunu söyledi. Bu nedenle, bazı yerli BT şirketleri de Jittor'u umarak kendi platformlarını başlattı. Çin'in yapay zeka endüstrisinin gelişimine katkıda bulunmak için yerli meslektaşlarla birlikte çalışın.
Son olarak, Jittor hakkında ne düşünüyorsunuz? AI Technology Base Camp, iş uzmanlarını daha fazla yorum için davet edecek ve mesaj alanında görüşlerinizi ifade etmeye hoş geldiniz.
[AI Teknolojisi Ekolojik Teorisi] Aşama 1: Yeni tacın küresel yayılması, AI + büyük veri insanlığı kurtarmak için ne yapabilir?
[Yapay Zeka Teknolojisi Ekolojik Teorisi] Aşama II: Yatırım hacmi en az 40 trilyon yuan Sıradan insanlar yeni altyapıyı nasıl "ele geçirebilir"?
