Tsinghua Hu Shimin ekibi, meta operatör ve dinamik derlemeye dayalı bir derin öğrenme çerçevesi yayınladı: Jittor
Kaynak: Tsinghua Üniversitesi Bilgisayar Bölümü Mezunlar Derneği
Bu makale hakkında 802 kelime, Önerilen Okuma 3 dakika.
Bu makale, Tsinghua Üniversitesi Bilgisayar Bilimleri Bölümü'nden Profesör Hu Shimin'in araştırma ekibi tarafından önerilen yeni bir derin öğrenme çerçevesi olan Jittor'u tanıtmaktadır.
Derin öğrenme teknolojisi, bilgisayar görüşü, makine çevirisi, doğal dil işleme, akıllı robotlar gibi çeşitli yapay zeka alanlarında yaygın olarak kullanılmaktadır ve benzeri görülmemiş atılımlar gerçekleştirmiştir. Şu anda, bir yandan yeni derin öğrenme teknolojilerinin ortaya çıkması ve görev karmaşıklığının artmasıyla birlikte, verimli bir mimariyi sürdürürken kolay genişletme bir gelişme trendi haline geldi; diğer yandan Çin'in yapay zeka endüstrisi hızla gelişiyor ve kendi açık kaynaklı derin öğrenme ekosistemini kurmak acil. .
Tsinghua Üniversitesi Bilgisayar Bilimleri Bölümü'nden Profesör Hu Shimin'in araştırma ekibi yeni bir derin öğrenme çerçevesi önerdi - Jittor . Jittor, sinir ağı hesaplama birimlerini ifade etmek için meta operatörleri kullanan ve tamamen dinamik derlemeye (Just-in-Time) dayanan bir derin öğrenme çerçevesidir.
Şekil 1 "Grafiklerin hesaplanması", eleman operatör füzyonu yoluyla derin sinir ağı modelini gerçekleştirir
Derin öğrenmede kullanılan evrişimli sinir ağı, operatörlerden oluşan bir hesaplama ağıdır. Mimari tasarım ve sürekli genişleme nedeniyle, mevcut derin öğrenme çerçevesi 2000 kadar operatöre sahiptir, sistem karmaşıktır ve optimizasyon ve transplantasyon zordur. Jittor ayrıca, 20'den fazla elemanlı operatör kapamasından daha düşük seviyeli üç tip oluşturmak için operatör operasyonlarını ayrıştırır Şu anda, sinir ağlarının ortak operatörleri, eleman operatörlerinin bir kombinasyonu ile ifade edilebilir. Derin öğrenme çerçevesinin gelecekteki gelişim trendiyle yüzleşen Jittor, optimizasyon için birleşik bir hesaplama grafiği önermek için meta-operatör kombinasyon ifadesinin avantajlarını kullanır ve alttan yeni bir dinamik derleme mimarisi tasarlar. Mimari, birden çok derleyiciyi destekler, tam zamanında derlemeyi ve tüm kodların dinamik çalışmasını gerçekleştirir, uygulama ve optimizasyonun ayrılmasını sağlar ve uygulama geliştirme esnekliğini, ölçeklenebilirliğini ve taşınabilirliğini büyük ölçüde iyileştirir.
Şekil 2 "Hesaplama Grafiği" ve diğer platformların hesaplama grafiği özelliklerinin karşılaştırması
Uluslararası genel platformlarla karşılaştırıldığında, Jittor bir dizi gelişmiş özelliğe sahiptir (Şekil 2). Şu anda, ResNet, VGG, SSD, DeepLab, LSGAN gibi çoklu ağ modelleri Jittor platformunda uygulanmıştır ve kullanıcıların kullanımına sunulmuştur. Aynı çerçeve türüyle karşılaştırıldığında, Jittor, aynı yakınsama doğruluğu altında çıkarım hızında% 10 -% 50 performans artışı elde etti (Şekil 3).
Şekil 3 Jittor ve PyTorch çıkarımının ve eğitim hızının karşılaştırılması
Jittor'un araştırma ve geliştirme çalışmaları, Çin İnovasyon Grubu Projesi Ulusal Doğa Bilimleri Vakfı, Bilgi Bilimi ve Teknolojisi Ekibi Projesi için Pekin Ulusal Araştırma Merkezi ve Tsinghua-Tencent Ortak Laboratuvar Projesi tarafından finanse edildi. Jittor'un akademik topluluk ve endüstri için esnek ve verimli bir derin öğrenme platformu sağlaması, yapay zeka araştırmalarını ve uygulamasını teşvik etmesi ve yapay zeka endüstrisini güçlendirmesi bekleniyor.
-Bitiş-
Tsinghua-Qingdao Veri Bilimi Enstitüsü'nün resmi WeChat kamu platformunu takip edin " AI Veri Pastası "Ve kız kardeş numarası" Veri Pastası THU "Daha fazla ders avantajı ve kaliteli içerik elde edin.
