DeepMind'in özel ürünleri halka açıktır ve dağıtılmış makine öğrenimi kitaplıkları zorlanır, TensorFlow ve Keras kullanılabilir
İçbükey tapınaktan Guo Yipu
Qubit Raporu | Genel Hesap QbitAI
DeepMind kısa süre önce TensorFlow 2.0 için kendi araçlarını feda etti:
TF-Çoğaltıcı Başlangıçta dahili kullanım için bir yazılım kitaplığı, hiç dağıtılmış sistemler yapmamış araştırmacıların TensorFlow modellerini çoklu GPU / bulut TPU'larına kolayca dağıtmalarına olanak tanır ve Keras için de geçerlidir.
Şu anda, TF-Replicator'ın programlama modeli TensorFlow'daki tf.distribute.Strategy'nin bir parçası olarak açık kaynaklı.
Twitter'daki bir mühendis şunları söyledi: Bu, TensorFlow 2.0'daki gizli bir hazine!
nasıl kullanılır
TF-Replicator ile yazılan kod, TensorFlow'daki tek bir cihaz için yazılan koda benzer ve kullanıcıların kendi model çalışma döngülerini özgürce tanımlamalarına olanak tanır.
Kullanıcının yalnızca iki bölüm tanımlaması gerekir:
1. Kamusal veri setinin girdi işlevi;
2. Model mantığının adım fonksiyonu.
1 # TpuReplicator ile bir model dağıtma. 2repl = tf_replicator.TpuReplicator ( 3 çalışan_sayısı = 1, num_tpu_cores_per_worker = 84) Repl.context () ile: 6 model = resnet_model () 7 base_optimizer = tf.train.AdamOptimizer () 8 optimize edici = repl.wrap_optimizer (base_optimizer) 910 # ... çoğaltma input_fn ve step_fn'yi tanımlamak için kod. 1112per_replica_loss = repl.run (step_fn, input_fn) 13train_op = tf.reduce_mean (per_replica_loss) 14 Oturum olarak tf.train.MonitoredSession () ile 15: 16 repl.init (oturum) Xrange'de i için 17 (num_train_steps): 18 session.run (train_op) 19 repl.shutdown (oturum)GAN'ı deneyin
Şimdi, TF-Replicator'ın etkisini test etmek için GAN kullanıyoruz. ImageNet üzerinde eğitilmiş spektral normalleştirilmiş GAN (SN-GAN, arXiv: 1802.05957) burada kullanılır.
Tek bir GPU üzerinde eğitim ile karşılaştırıldığında, dağıtılmış eğitimin TF-Replicator ile birden fazla GPU üzerinde etkisi çok daha iyidir.
Örneğin, portakalların bir resmini oluşturmak için bu, parti boyutu 8 ve parti boyutu 16:
Turuncu olduğunu pek söyleyemem.
Parti boyutu 32 ve parti boyutu 64 daha iyidir. Bunların portakal oldukları görülebilir, ancak biri tüylü, diğeri tokat gibi görünür:
Turuncu hamurlu parti boyutu 128 ile, parti boyutu 256 nispeten normal bir şekle sahiptir:
Örnekte en yüksek parti boyutu 512'dir. Portakalın şekli neredeyse gerçek portakal ile aynıdır.Pulpa ve yapraklar arasındaki beyaz da görülebilir.Portakal kalitesi kalın kabuk dışında sorun teşkil etmez.
Skorlar açısından bakıldığında, parti boyutu 64'ten 512'ye yükseltildiği sürece, gerçek skor yaklaşık% 50 oranında artırılabilir.
Etkisi iyidir, umarım DeepMind kendi kendine kullanım için bazı iyi ürünleri açıklamaya devam eder.
Portal
Son olarak, ilgili resmi belgeleri ekleyin:
TensorFlow belgeleri
https://www.tensorflow.org/alpha/guide/distribute_strategy
Colab not defteri
https://colab.research.google.com/github/tensorflow/docs/blob/master/site/en/r2/guide/distribute_strategy.ipynb
GitHub not defteri
https://github.com/tensorflow/docs/blob/master/site/en/r2/guide/distribute_strategy.ipynb
DeepMind blogu
https://deepmind.com/blog/tf-replicator-distributed-machine-learning/
kağıt
https://arxiv.org/abs/1902.00465
- Bitiş -
Samimi işe alım
Qubit, editörleri / muhabirleri işe alıyor ve merkezi Pekin, Zhongguancun'da bulunuyor. Yetenekli ve hevesli öğrencilerin bize katılmasını dört gözle bekliyoruz! Ayrıntılar için, lütfen QbitAI diyalog arayüzünde "işe alım" kelimesiyle yanıt verin.
Qubit QbitAI · Toutiao İmzalayan Yazar
' ' Yapay zeka teknolojisi ve ürünlerindeki yeni eğilimleri takip edin
