Ücretsiz V100 bilgi işlem güç kartı Baidu ilk olarak PaddlePaddle panoramasını duyurdu, 11 yeni modül yayınlandı
23 Nisan'da ilk WAVE SUMMIT 2019 Derin Öğrenme Geliştirici Zirvesi Pekin'de yapıldı. Baidu, Intel, Tsinghua Üniversitesi vb. Binden fazla geliştirici ve bilim insanı çerçeve ve derin öğrenmeyi ayrıntılı olarak tartıştı. WAVE'de Baidu, modelleme, eğitimden devreye almaya kadar ilk kez PaddlePaddle panoramasını duyurdu.
PaddlePaddle'ın yeni özellikleri tam PPT: https://pan.baidu.com/s/100iWwz-JDvX1dQ2XcJMJQg
Çıkarma kodu: 9cxi
Ayrıca Baidu, geliştiricilere toplam 100 milyon yuan ücretsiz bilgi işlem gücü sağlayacağını duyuran devasa bir bilgi işlem gücü destek programı başlattı. Ücretsiz bilgi işlem gücü temel olarak iki modda sağlanır: Birincisi, bir kişi-bir-kart modudur. V100 eğitim kartı, 16G video belleği ve 2T'ye kadar depolama alanı içerir. Diğeri uzak küme modudur. PaddlePaddle, geliştiricilerin ücretsiz olarak kullanması için yüksek performanslı kümeler sağlar. En çekici olanlardan biri kişi başına bir kart ve Tesla V100 GPU gibi güçlü bilgi işlem kaynakları sağlayan bir bilgi işlem güç kartımız var.
Bu hashrate kartı bir davetiye kodu sağlar. 48 saatlik temel V100 hashrate değerini almak için AI Studio'nun bağımsız modunda davetiye kodunu girin ve kart, diğer taraf her kabul ettiğinde artırılacak 3 yeni davetiye kodu alabilir. 24 saat boyunca V100 bilgi işlem gücü. Yani genel olarak bu hashrate kart 120 saatlik Tesla V100 kullanım süresi alabilir.
Şimdi bu hashrate card, Heart of Machine okuyucularına ücretsiz olarak veriliyor ~ En çok beklenen PaddlePaddle güncellemesi veya iyileştirmesi için WeChat'te bir mesaj bıraktığınız sürece, 26. günü öğlen 12'den itibaren, en çok beğenilen mesaj bu hashrate kartını alacaktır. .
PaddlePaddle panorama
Tıpkı Baidu'nun Derin Öğrenme Teknoloji Platformu Departmanı Direktörü Ma Yanjun'un dediği gibi: "PaddlePaddle, geçen yıldan bu yana temel felsefesini değiştirdi, bu da onu sadece bir çerçeve değil, uçtan uca bir derin öğrenme platformu olarak konumlandırmak." PaddlePaddle, temel çerçeve ve model kitaplığından bunlara dayalı çeşitli araçlara, eksiksiz bir geliştirme ve hizmet platformuna kadar, tüm süreç uçtan uca olmalıdır ve "akıllı çağda bir işletim sistemi" dir. "
Toplantıda Baidu, üç seviyeden birçok araç ve bileşeni içeren PaddlePaddle panoramasını ilk kez duyurdu. Bu DALGADA, Baidu birçok yeni araç ve modül yayınladı.Aşağıdaki sarı kutudaki bileşenler bu sürümün odak noktasını oluşturuyor.
PaddlePaddle genel olarak temel çerçeveyi, araç bileşenlerini ve hizmet platformunu entegre eden uçtan uca bir açık kaynak derin öğrenme platformudur. Bu kez PaddlePaddle, PaddleNLP, Video Tanıma Araç Seti, Paddle Sunumu, PaddleSlim ve derin öğrenme geliştirme, eğitim ve tahmin için diğer kullanışlı yöntemler dahil 11 yeni özellik ve hizmet yayınladı.Ayrıca, belirli alanlar için PaddleHub ve Otomatik Tasarım da içeriyor. Verimli cihazlar.
Baidu'nun ayrıca WAVE sitesinde, kullanıcıların Tesla V100 ücretsiz kullanım süresi sağlayarak daha güçlü bilgi işlem gücü elde etmelerine yardımcı olan "100 milyon yuan" AI Studio bilgi işlem gücü destek planını duyurduğunu da belirtmek gerekir. Son olarak Baidu, PaddlePaddle'ın Çince adını "Fei Paddle" olarak duyurdu. Bu, "PaddlePaddle mükemmel performansa sahip, hızla büyüyen bir derin öğrenme platformudur" anlamına geliyor.
Yeni özelliklere genel bakış
PaddlePaddle tarafından yayınlanan yeni özellikler beş bölüme ayrılabilir: geliştirme, eğitim, tahmin, araçlar ve hizmetler. Geliştirme, esas olarak daha özlü ve anlaşılması kolay bir yazma yöntemi gerektiren derin bir öğrenme süreci oluşturmaktır. Eğitim ve tahminin ana arayışı "hızlıdır", yani performansı etkilemeden eğitim ne kadar hızlı olursa, tahmin o kadar iyi ve hızlı olursa o kadar iyidir. İkinci araç, belirli sorunlara bir dizi çözüm önerir ve böylece geliştirme sürecini basitleştirir.
1. Geliştirme:
KürekNLP
Video tanıma araç seti
PaddleNLP, Baidu tarafından yayınlanan eksiksiz bir NLP araç setidir.NLP alanındaki geliştiriciler, temel modeli kolayca yeniden oluşturabilir veya kendi sorunlarını çözmek için ikincil geliştirme gerçekleştirebilir. Baidu tarafından yayınlanan video tanıma aracı seti, geliştiricilere videoyu anlama, video düzenleme ve video oluşturma gibi bir dizi görev için çözümler sağlayabilir. Bu araç seti 7 ana akım video tanıma modelini içerir.Aşağıdaki şekilde sarı ile işaretlenmiş 3 model, Baidu'ya özgü mükemmel modellerdir.
PaddlePaddle video tanıma araç seti.
Baidu'nun NLP araştırmalarına her zaman özel ilgi gösterdiğini biliyoruz.Bu sefer PaddleNLP birçok NLP modelini bir dizi paylaşılan iskelet kodu yaptı, böylece farklı modeller çalıştırmak bir dizi API ve model kullanabilir.
PaddleNLP, aşağıdaki şekilde gösterildiği gibi mevcut resmi modellerin piyasaya sürülmesine ek olarak, ön işleme ve son işleme dahil olmak üzere bir dizi görev için işleme araçları da sağlar ve bu işlev, Baidu'nun geliştirmeye devam ettiği noktadır.
2. Eğitim:
Dağıtılmış eğitim
Sektör düzeyinde veri işleme
İlki, birden çok makine ve birden çok kart için kapsamlı ve çok yönlü destek; CPU altında büyük ölçekli seyrek parametre sunucusu ve çeşitli kapsayıcılar altında yüksek hızlı büyük ölçekli dağıtılmış eğitim dahil olmak üzere büyük ölçekli dağıtılmış eğitimle ilgili yetenek yükseltmesidir. İkinci olarak, endüstriyel düzeyde veri işleme esas olarak veri çıkışına odaklanır Baidu, dağıtılmış IO'yu optimize etti ve uzaktan dosya sistemi akış okuma yeteneklerini artırdı.
Aşağıdakiler, farklı iş parçacığının veri çıkış kapasitesini göstermektedir, bunlar yaklaşık olarak doğrusal büyümedir, bu özellik ölçeklenebilirlik için çok önemlidir.
3. Tahmin:
Kürek Sunumu
PaddleSlim
Çoklu donanım desteğine dayalı olarak, yeni çıkan Paddle Sunumu sunucu tarafında hızlı dağıtımı zaten desteklemektedir. Paddle Serving şu anda birçok Baidu ürün serisinde kullanılmaktadır ve çok eksiksiz bir çevrimiçi hizmet yeteneği sağlar. İkincisi, PaddleSlim, küçük bir doğruluk kaybıyla verimli bir şekilde model hesaplaması ve hacim sıkıştırması gerçekleştirebilen bir model sıkıştırma aracı kitaplığıdır.
Aşağıda, çevrimdışı ve çevrimiçi olmak üzere iki temel uygulamaya bölünmüş Paddle Serving'in genel mimarisi gösterilmektedir. Sunucu tarafında farklı donanım çıkarım motorları konuşlandırılmıştır. Ek olarak, Paddle Serving ayrıca eksiksiz bir model dağıtım çerçevesi olan temel bir Yerleşik ön işleme yürütücüsüne sahiptir.
4. Araçlar:
AutoDL Tasarımı
PARL
PaddleHub
Resmi olarak piyasaya sürülen AutoDL Design, sinir ağı mimarisi aramasını uygulamak için takviye öğrenmeyi kullanır.Arama sonuçları, birçok özel senaryoda insan tarafından tasarlanmış ağlardan daha iyidir.Baidu ayrıca açık kaynaklı 6 otomatik aranan modele sahiptir. PARL, pekiştirmeli bir öğrenme aracıdır. Bu yükseltme, algoritma kapsamı, yüksek performanslı iletişim ve paralel eğitimde birçok destek ve genişleme sağlamıştır.
Piyasaya sürülen son araç olan PaddleHub, önceden eğitilmiş tek noktadan yönetim platformudur ve kullanıcıların büyük modellere dayalı geçiş öğrenimi yapmasını kolaylaştırmak için çok iyi bir paket sağlar. Genel olarak, aktarım öğrenimini bir kez uygulamak ve bunu kendi görev senaryolarımıza uygulamak yalnızca yaklaşık 10 satır kod alır.
AutoDL Design tarafından tasarlanan ağ, CIFAR-10'da mevcut en iyi% 98.01 doğruluk oranına ulaştı.
Son hizmet esas olarak AI Studio aracılığıyla ücretsiz bilgi işlem gücünü destekler.Tek bir kartın (Tesla V100) güçlü bilgi işlem gücünü elde edebiliriz ve ayrıca uzak küme modunda ücretsiz bilgi işlem gücü elde edebiliriz.
Yukarıdakiler yalnızca PaddlePaddle'ın yeni özelliklerine genel bir bakış niteliğindedir ve bunların çoğu ayrıntılı bir tanıtımı hak etmektedir. Aşağıda, geliştiricilerin bakış açısından PaddleSlim, PaddleHub ve dinamik hesaplama grafiklerinin yeni özelliklerini öğreneceğiz.
Şık bir model sıkıştırma modülü PaddleSlim
PaddleSlim, ilk olarak PaddlePaddle 1.4 sürümünde piyasaya sürülen PaddlePaddle çerçevesinin bir alt modülüdür. Bu modül, yalnızca performansı garanti etmekle kalmayan, aynı zamanda kullanım kolaylığını da hesaba katan ve yalnızca birkaç satır kodla çalışabilen çok zarif bir model sıkıştırma araç takımıdır.
PaddleSlim, genel olarak görüntü etki alanı modellerini sıkıştırmak için kullanılan mevcut genel ağ budama, niceleme ve damıtma üç sıkıştırma stratejisini uygular. Sonraki sürümlerde Baidu, daha fazla sıkıştırma stratejisi ekleyecek ve NLP alan modeli için desteği geliştirecek.
PaddleSlim örnekleri ve belgeleri: https://github.com/PaddlePaddle/models/tree/develop/PaddleSlim
Yukarıda gösterildiği gibi, bu en yaygın üç sıkıştırma yönteminin tümü, daha iyi sıkıştırma sağlamak için karmaşık bir altyapı üzerine inşa edilmiştir. Sağdaki resimde gösterildiği gibi, çok akıcı bir MobileNet bile önemli bir sıkıştırma etkisi elde edebilir. Altta yatan katman daha karmaşık olmasına rağmen, pratikte kullanımı çok basittir.Otomatik model sıkıştırma yeteneklerini çağırmak için sadece birkaç satır koda ihtiyacımız var.
Aşağıda bir budama örneği verilmiştir: Spesifik işlem için lütfen önceki PaddleSlim belge adresine bakın. Doğrudan sıkıştırma betiğini çağırabilir ve ilgili sıkıştırma yapılandırmasını verebiliriz, PaddlePaddle eğitim sürecinde modeli otomatik olarak sıkıştırabilir.
# duyarlılık filtresi budama için
# ---------------------------
dışa aktar CUDA_VISIBLE_DEVICES = 0
python compress.py \
--model "MobileNet" \
--pretrained_model ./data/pretrain/MobileNetV1_pretrained \
--compress_config ./configs/filter_pruning_sen.yaml
PaddleSlim'in kullanımı çok basittir, ister hesaplama miktarını (FLOPS) azaltmak istesek de model boyutunu (ağırlıkların kapladığı alan) küçültmek istesek de, hızlı bir şekilde yapılabilir.
Roman PaddleHub
Şimdi, PaddlePaddle'a dayalı bir ön eğitim modeli yönetim aracı olan yeni bir araç olan PaddleHub'ı tanıtın. Geçiş öğrenimi işini daha rahat bir şekilde gerçekleştirmek için önceden eğitilmiş modelleri kullanabilir.
PaddleHub proje adresi: https://github.com/PaddlePaddle/PaddleHub
Aşağıda PaddleHub'ın eksiksiz mimari şeması gösterilmektedir: Baidu, bir dizi NLP ve CV veri setini kapsüller ve ayrıca Reader'ın verileri hızlı ve kolay bir şekilde işlemesini sağlar. Veri setine ek olarak, hemen kullanılan Transformer ve hedef tespit modelleri dahil olmak üzere daha önceden eğitilmiş modeller vardır. Ek olarak, transfer öğrenimi, metin sınıflandırması, sıra etiketleme ve görüntü sınıflandırması dahil olmak üzere farklı görevler için uygulanabilir.
Paddlehub'ı pip ile kurduktan sonra, PaddleHub'ın komut satırı işlevlerini kod ve tek tıklamayla tahmin olmadan hızlı bir şekilde deneyimleyebiliriz:
# Kelime segmentasyonu için Baidu LAC kelime analizi aracını kullanın
$ hub run lac --input_text "Bugün güzel bir gün"
# Cümleleri tahmin etmek için Baidu Senta duyarlılık analizi modelini kullanın
$ hub run senta_bilstm --input_text "Bugün güzel bir gün"
# Resim üzerinde hedef tespiti yapmak için SSD tespit modelini kullanın ve tespit sonucu aşağıdaki şekilde gösterilmektedir
$ wget --no-check-certificate https://paddlehub.bj.bcebos.com/resources/test_img_bird.jpg
$ hub ssd_mobilenet_v1_pascal --input_path test_img_bird.jpg çalıştır
Komut satırı aracılığıyla, önceden eğitilmiş modeli hızlı bir şekilde tahminler yapmak için kullanabiliriz. Aynı zamanda PaddleHub Finetune API yardımı ile az miktarda kod ile migrasyon öğrenimi tamamlanabilir. Örneğin, sınıflandırma görevini tamamlamak için PaddleHub Finetune API ve görüntü sınıflandırma eğitim öncesi modelini kullanabiliriz.Tabii ki, sadece birkaç hiperparametreyi de ayarlayabiliriz.
--batch_size: Parti boyutu, lütfen video belleği durumuna göre ayarlayın Video belleği yetersizse, lütfen bu parametreyi uygun şekilde düşürün. Varsayılan 16'dır
--num_epoch: İnce ayar yinelemesinin raund sayısı. Varsayılan 1
--module: Finetune'un özellik çıkarıcısı olarak hangi Modülün kullanılacağı Komut dosyası {resnet50 / resnet101 / resnet152 / mobilenet / nasnet / pnasnet} gibi modelleri destekler. Varsayılan, resnet50'dir
--checkpoint_dir: model kaydetme yolu, PaddleHub otomatik olarak en iyi performans gösteren modeli doğrulama setine kaydedecektir. Varsayılan, paddlehub_finetune_ckpt'dir
--dataset: İnce ayar için kullanılacak veri kümesi, komut dosyası desteği {flowers / dogcat / stanforddogs / Indoor67 / food101} şeklindedir. Varsayılan çiçek
--use_gpu: Eğitim için GPU kullanılıp kullanılmayacağı. Makine GPU'yu destekliyorsa ve PaddlePaddle'ın GPU sürümü yüklüyse, bu anahtarı açmanızı öneririz. Varsayılan olarak kapalı
Beklenen dinamik hesaplama grafiği
Konferansta tanıtılan yeni özelliklere ek olarak, Paddle Fluid 1.4 belgesinin son sürümünde yeni bir dinamik hesaplama grafik modülü DyGraph bulduk. Şu anda DyGraph hala önizleme aşamasındadır, ancak PaddlePaddle'ın hem statik hem de dinamik hesaplama grafiklerini hesaba katmaya başladığını gösterir.
DyGraph belge adresi:
Genel olarak statik hesaplama grafiklerinin verimli eğitim ve dağıtımda büyük avantajlara sahip olduğuna, dinamik hesaplama grafiklerinin ise geliştirme verimliliği ve kullanım kolaylığı açısından yeri doldurulamayacağına inanıyoruz. Sadece dinamik hesaplama grafiği ile statik hesaplama grafiği arasındaki uyumluluğu iyi hale getirerek, eğitim hızı ve basitliğinin iki özelliğini hesaba katabiliriz.
Genel olarak, PaddlePaddle'ın DyGraph modu, tüm grafiği oluşturmadan sonuçları anında yürütebilen dinamik bir grafik yürütme mekanizmasıdır. Aynı zamanda, önceki statik yürütme hesaplama grafiklerinden farklı olarak, DyGraph modundaki tüm işlemleriniz, oluşturulan tüm hesaplama grafiklerinin tamamlanmasını beklemeden anında yürütme sonuçlarını elde edebilir, bu da PaddlePaddle altında daha sezgisel olarak derin öğrenme görevleri oluşturmanıza olanak tanır. , Ve modelin hata ayıklaması, aynı zamanda statik hesaplama grafikleri oluşturmak için kullanılan büyük miktarda kodun azaltılması, ağın yazılması ve hata ayıklama sürecini daha kolay hale getirir.
Aşağıda DyGraph'ın cazibesini kısaca deneyimleyebiliriz, DyGraph modunu kullanarak ağı Fluid.dygraph.guard bağlamında çalıştırabiliriz, DyGraph geçmiş PaddlePaddle yürütme modunu değiştirecek, şimdi bu kodlar hemen çalıştırılabilir ve hesaplama sonuçları döndürülür Python'a. Aşağıda gösterildiği gibi, sonunda kayıp fonksiyonunun gradyanını yazdırırken, sonuç doğrudan elde edilebilir:
x = np.ones (, np.float32)
Fluid.dygraph.guard ile:
inputs =
Aralık içindeki _ için (10):
inputs.append (akışkan.dygraph.base.to_variable (x))
ret = flu.layers.sums (girdiler)
kayıp = akışkan.layers.reduce_sum (ret)
kayıp. geri
baskı (loss.gradient)
Şu anda DyGraph hala önizleme aşamasındadır. PaddlePaddle, dinamik grafiklerin temel işlevlerini iyileştirmeyi ve bu yılın Temmuz ayında ardışık düzen paralel yetenekleri eklemeyi planlamaktadır.Aynı zamanda, video belleği kullanımı ve statik hesaplama grafiklerinin eğitim hızını da optimize edecektir. PaddlePaddle, dinamik grafik ile statik grafik arasındaki esnek dönüşümü bu yılın Kasım ayında tamamlamayı ve dinamik grafiğin eğitim hızını tamamen optimize etmeyi planlıyor.
Bu nedenle, PaddlePaddle'ın daha da geliştirilmesi için hala sabırsızlanıyoruz.
