"Değerlendirme" Hangi GPU eğitim makine öğrenimi modeli daha iyidir? AWS ve Google Cloud dahil 6 platformun karşılaştırması
Google Google Compute Engine sunucu odası, Google teknoloji altyapısı Kıdemli Başkan Yardımcısı Urs Hölzle'nin önünde. Görüntü kaynağı: ExtremeTech
Xinzhiyuan Derlemesi
Kaynak: rar-technologies.com
Yazar: Shiva Manne
Derleyici: Wen Qiang, Siming
Xin Zhiyuan Rehberi Rare Technologies, resmi verileri ve Krediyi kullanarak, kısa bir süre önce AWS, Google Cloud ve IBM dahil olmak üzere altı GPU donanım platformunu yapılandırmadan eğitim süresine, doğruluğuna ve fiyata kadar karşılaştıran ultra büyük ölçekli bir makine öğrenimi karşılaştırması yayınladı. AWS ve Google iyi bir entegrasyon performansına sahip olsa da fiyat / performans oranı LeaderGPU gibi yeni şirketlere göre hala daha üstün. Aynı zamanda, daha ucuz GPU'lar, daha pahalı GPU'lardan daha uygun maliyetlidir, bu da eğitim süresindeki azalmanın toplam maliyetteki artışı dengelemediğini gösterir.
Giderek daha modern makine öğrenimi görevleri GPU'ların kullanımını gerektirdiğinden, farklı GPU satıcılarının maliyet ve performans dengesini anlamak çok önemli hale geldi.
Başlangıç Rare Technologies kısa süre önce GPU'lara odaklanan ve makine öğrenimi maliyeti, kullanım kolaylığı, kararlılık, ölçeklenebilirlik ve performans açısından birçok popüler donanım sağlayıcısının performansını karşılaştıran bir hiper ölçekli makine öğrenimi karşılaştırması yayınladı.
6 GPU donanım platformunda, Twitter duyarlılık sınıflandırma görevlerini gerçekleştirmenin maliyeti (yaklaşık 1,5 milyon tweet, 4 dönem), iki yönlü LSTM eğitimi. Yukarıdaki şekilden de görülebileceği gibi, Özel sunucu, maliyet kontrolü için en iyi seçimdir.
Bu kıyaslama testi, aşağıdaki donanım platformlarını yatay olarak karşılaştırır: Amazon AWS EC2 , Google Google Cloud Engine GCE , IBM Softlayer , Hetzner , Kağıt alanı , Ve LeaderGPU , Bu donanım sağlayıcıları bu test sırasında kredi ve destek sağlamıştır. Kıyaslama çıktığında Microsoft Azure resmen yanıt vermedi, dolayısıyla maalesef karşılaştırmaya dahil edilmedi.
Bununla birlikte, bu test hala çeşitli GPU platform türlerini kapsamaktadır: sanal makineler (AWS, GCE), çıplak metal altyapı (Softlayer), özel sunucular (Hetzner) ve GPUaaS (LeaderGPU, Paperspace). Çok kapsamlı. Araştırmacılar ayrıca, yüksek kaliteli GPU'ların daha değerli olup olmadığını görmek için testleri geçmeyi umduklarını söylediler.
Önce sonuçlardan bahsedeyim. Bu testten sonra şunu buldular:
* Bunlar, çoklu GPU örneklerinin sonuçlarıdır.Multi_gpu_model'in multi_gpu_model işlevi, modeli tüm GPU'larda eğitmek için kullanıldı.Daha sonra, birden fazla GPU kullanımının yetersiz olduğu bulundu.
** Yukarıdaki nedenlerden dolayı, bu GPU modelleri eğitim için yalnızca birden çok GPU türünden birini kullanır.
+ Hzzner aylık ücret alır ve özel sunucular sağlar.
Karşılaştırma ayarı: Twitter metin duyarlılığı sınıflandırma görevi
Daha sonra, tüm platformları ve test durumunu ayrıntılı olarak tartışacağız ve karşılaştıracağız.
görev Bu kıyaslama, duyarlılık sınıflandırma görevini kullanır. Özellikle, Twitter tweetlerinin ikili sınıflandırmasını yapmak için iki yönlü bir LSTM eğitimi. Algoritma seçimi çok önemli değil Yazar Shiva Manne, bu kıyaslama için kendisinin tek gerçek gerekliliğinin, görevin GPU yoğun olup olmaması olduğunu söyledi. GPU'nun maksimum kullanımını sağlamak için CuDNN (CuDNNLSM katmanı) tarafından desteklenen Keras hızlı LSTM uygulamasını kullandı.
veri seti Twitter Duyarlılık Analizi Veri Kümesi (Twitter Duyarlılık Analizi Veri Kümesi) 1.578.627 sınıf dışı tweet içerir.Her satır "1" ile olumlu duygu olarak işaretlenir ve "0" olumsuz duyguyu temsil eder. Model, 4 dönem için% 90 (karıştırılmış) veriler üzerinde eğitildi ve geri kalan% 10, model değerlendirmesi için kullanıldı.
Liman işçisi Tekrarlanabilirlik için, bu kıyaslamayı yeniden çalıştırmak için gereken tüm bağımlılıkları ve verileri içeren bir Nvidia Docker görüntüsü oluşturdular. Dockerfile ve gerekli tüm kodlar bu Github deposunda bulunabilir.
Sipariş ve kullanım: LeaderGPU, AWS, Paperspace özellikle yeni başlayanlar için uygundur
LeaderGPU ve Paperspace'de sipariş verme süreci, herhangi bir karmaşık ayar olmaksızın çok pürüzsüzdür. AWS veya GCE ile karşılaştırıldığında, Paperspace ve LeaderGPU'nun tedarik süresi biraz daha uzundur (birkaç dakika).
LeaderGPU, Amazon ve Paperspace ücretsiz Derin Öğrenme Makine Görüntüleri (Derin Öğrenme Makine Görüntüleri) sağlar. Bu görüntüler Nvidia sürücüleri, Python geliştirme ortamı ve Nvidia-Docker ile önceden yüklenmiştir ve deneyler neredeyse anında başlatılabilir. Bu, özellikle makine öğrenimi modellerini denemek isteyen yeni başlayanlar için işleri çok daha kolaylaştırır. Ancak, özel örneklerin bireysel ihtiyaçları karşılamanın ne kadar kolay olduğunu değerlendirmek için, Manne sıfırdan başladı (LeaderGPU hariç) ve her şeyi ayarladı. Bu süreç sırasında, çeşitli platformlarda NVIDIA sürücüsü ile kurulu gcc sürümü arasındaki uyumsuzluk gibi bazı yaygın sorunlar buldu veya sürücü yüklendikten sonra, programın çalıştığına dair hiçbir kanıt yoktu, ancak GPU kullanım oranı% 100'e ulaştı.
Beklenmedik bir şekilde, düşük kaliteli bir Paperspace örneğinde (P6000) Docker çalıştırmak bir hataya neden oldu. Bunun nedeni, kaynak optimizasyonu (MSSE, MAVX, MFMA) tarafından oluşturulan Docker'daki Tensorflow'du ve Paperspace örneği bunu desteklemiyor. Docker'ı bu optimizasyonlar olmadan çalıştırmak bu sorunu çözebilir.
İstikrar konusunda tüm şirketler çok iyi performans gösterdi ve herhangi bir sorunla karşılaşmadı.
Maliyet: Özel sunucu, maliyet kontrolü için en iyi seçimdir; daha ucuz GPU daha uygun maliyetli
Tahmin edildiği gibi, özel sunucular, maliyet kontrolü için en iyi seçimdir. Bunun nedeni, Hetzner'ın aylık ücret almasıdır, bu da saatlik fiyatın çok düşük olduğu ve bu rakamın orantılı olduğu anlamına gelir. ve bu yüzden, Sunucunun boşta kalmaması için yeterli göreviniz olduğu sürece, özel bir sunucu seçmek doğrudur .
Sanal makine satıcıları arasında Paperspace açık ara kazanandır. Düşük kaliteli GPU alanında, Paperspace'deki eğitim modellerinin fiyatı AWS'den iki kat daha ucuzdur (1,6 $ - 3,3 $). Paperspace ayrıca, yüksek kaliteli GPU segmentinde benzer uygun maliyetli bir modelin olduğunu göstermektedir.
Bu resmi şimdi görmüş olabilirsiniz, ancak burada tartışılan konuya tekrar bakın:
Karşılaştırma sonuçları: Çeşitli GPU donanım platformlarında Twitter duyarlılık sınıflandırma görevlerinde (yaklaşık 1,5 milyon tweet, 4 periyot) iki yönlü LSTM eğitiminin maliyeti.
AWS ve GCE arasında, düşük kaliteli GPU, AWS'den biraz daha pahalıdır (3,3 ABD Doları - 2,4 ABD Doları), ancak bunun tersi, üst düzey GPU alanında (3,3 ABD Doları karşısında 3,4 ABD Doları). Bunun anlamı, Üst düzey GPU seçin, AWS daha iyi olabilir ve ödenen ekstra ücret ödüllendirilebilir .
IBM Softlayer ve LeaderGPU'nun, esas olarak çoklu GPU eşgörünümlerinin yetersiz kullanımı nedeniyle pahalı göründüğü belirtilmelidir. Bu kıyaslama testi Keras çerçevesini kullanır, bu nedenle çoklu GPU uygulamasının verimliliği şaşırtıcı derecede düşüktür, hatta bazen aynı makinede çalışan tek bir GPU'dan bile daha kötüdür. Bu platformların hiçbiri tek bir GPU örneği sağlamaz. Softlayer'daki kıyaslama testi çalıştırması, multi_gpu_model'in multi_gpu_model işlevini kullanarak mevcut tüm GPU'ları kullanırken, multi_gpu_model'deki test yalnızca bir kullanılabilir GPU kullanıyordu. Bu, kaynakların yetersiz kullanımına yol açarak birçok ek maliyete neden olur.
Ek olarak, LeaderGPU daha güçlü GPU'lar GTX 1080 Ti ve Tesla V100 sağlar, ancak fiyatı GTX 1080 ve Tesla P100 ile aynıdır (dakika başına). Bu sunucularda çalıştırmak kesinlikle genel maliyetleri düşürecektir. Özetle LeaderGPU'nun çizelgesinde alt uç GPU maliyeti aslında oldukça makul. Keras dışı çerçeveleri kullanmayı planlıyorsanız, birden çok GPU'dan daha iyi yararlanırken bunları aklınızda bulundurmanız önemlidir.
Bir de büyük trend var. Daha ucuz GPU'lar, daha pahalı GPU'lardan daha uygun maliyetlidir, bu da eğitim süresindeki azalmanın toplam maliyetteki artışı dengelemediğini gösterir. .
Çoklu GPU eğitim modeli yapmak için Keras'ı kullanın: hızlanmayı tahmin etmek zordur
Çoklu GPU modellerini eğitmek için Keras'ı kullanmaktan da bahsettiğinden, birkaç kelime daha söyleyeyim.
Akademi ve sektördeki birçok kişi, derin öğrenme modellerini uygulamak için Keras gibi gelişmiş API'leri kullanmayı sever. Keras'ın kendisi de yüksek kabul ve hızlı yineleme güncellemeleri ile oldukça popülerdir.Kullanıcılar Keras kullanmanın herhangi bir ek işlem gerektirmediğini ve çoklu GPU modellerine dönüşümü hızlandırabileceğini düşüneceklerdir.
Ancak aşağıdaki şekilde görüldüğü gibi durum böyle değil.
Hızlanma oldukça öngörülemez. "Çift P100" sunucusundaki tek GPU eğitimi ile karşılaştırıldığında, "çift GTX 1080" sunucunun açıkça bir ivmesi var, ancak çoklu GPU eğitimi daha uzun sürüyor. Bu durum bazı bloglarda ve Github sorunlarında gündeme gelmiş olup, aynı zamanda maliyetlerin araştırılması sürecinde Manne'nin karşılaştığı kayda değer bir sorundur.
Model doğruluğu, donanım fiyatlandırması, nokta değerlendirmesi ve en son deneyim
Model doğruluğu
Eğitimin sonunda modelin nihai doğruluğu üzerinde bir tamlık testi yaptık Tablo 1'den, temeldeki donanım / platformun eğitim kalitesi üzerinde hiçbir etkisinin olmadığı ve kıyaslama ölçütünün doğru ayarlandığı görülmektedir.
Donanım fiyatlandırması
GPU fiyatları sık sık değişir, ancak AWS tarafından sağlanan mevcut K80 GPU (p2 bulut sunucusu), 1 saniyelik artışlarla faturalandırılan 0,9 ABD dolarından başlarken, daha güçlü ve daha yüksek performanslı Tesla V100 GPU (p3 bulut sunucusu) 3,06'dan başlar USD / saat. Veri aktarımı, esnek IP adresleri ve EBS için optimize edilmiş örnekler gibi ek hizmetler ek ücretler gerektirir. GCE ekonomik bir alternatiftir, sırasıyla 0,45 USD / saat ve 1,46 USD / saat fiyattan K80 ve P100 sağlayabilir. Bu masraflar bir saniyelik artışlar halindedir ve indirime dayalı kullanım yoluyla önemli ödülleri vardır. AWS'den farklı olsalar da, bir CPU bulut sunucusuna eklenmeleri gerekir (n1-standard-1, 0,0475 ABD doları / saat fiyatına).
Paperspace, GCE ile düşük maliyetli bir ittifakta rekabet eder; Quadro M4000 gibi özel GPU'larla saatte 0,4 dolar ve Tesla V100 saatte 2,3 dolarla çalışır. Normal saatlik ücrete ek olarak, aylık bir ücret de (ayda 5 ABD doları) alırlar ve hizmet, depolama ve bakımı içerir. Milisaniye tabanlı kağıt alan faturaları için, ek maliyetlerle ek hizmetler elde edilebilir. Hetzner, her ay yalnızca GTX 1080 ile donatılmış bir özel sunucu sağlar ve ek bir kurulum ücreti öder.
IBM Softlayer, piyasadaki çıplak metal sunuculara aylık ve saatlik olarak GPU'lar sağlayan birkaç platformdan biridir. Saatte 2.8 dolardan başlayan 3 GPU sunucusu (Tesla M60'lar ve K80'ler dahil) sağlar. Bu sunucular statik olarak yapılandırılmıştır, bu da özelleştirme olanaklarının diğer bulut sağlayıcılarına kıyasla sınırlı olduğu anlamına gelir. Saatler içindeki yumuşak hesaplama sonuçları da çok kötüdür ve kısa süren görevler için daha pahalı olabilir.
LeaderGPU nispeten yeni bir oyuncu ve çeşitli GPU'lar (P100s, V100s, GTX1080s, GTX1080Ti) için özel sunucular sağlıyor. Kullanıcılar saatlik veya dakika saniye fiyatlandırmadan yararlanabilirler. Sunucunun en az 2 GPU'su ve maksimum 8 GPU'su var ve fiyat 0,02 Euro / dakika ile 0,08 Euro / dakika arasında değişiyor.
Spot / ilk örnek
Bazı platformlar, yedek bilgi işlem kapasitelerinde (AWS spot bulut sunucuları ve GCE öncelikli bulut sunucuları) önemli indirimler (% 50 -% 90) sunar, ancak beklenmedik bir şekilde herhangi bir zamanda sona erdirilebilirler. Bu, yüksek düzeyde tahmin edilemeyen eğitim süresine neden olabilir çünkü örneğin yeniden ne zaman başlayacağına dair bir garanti yoktur. Bu, bu tür terminalleri idare edebilen ancak birçok görevi olan uygulamalar için harikadır, ancak zaman kısıtlı projeler bu durumda harika olmayacaktır (özellikle boşa harcanan emek süresini düşünüyorsanız).
Önleme amaçlı örnekte görevlerin çalıştırılması, örneğin sonlandırılması ve yeniden başlatılması için ek kod gerektirir (kontrol noktası / verileri kalıcı diske depolamak, vb.). Ek olarak, fiyat dalgalanmaları, maliyetlerin büyük ölçüde kıyaslama çalışması sırasında kapasite arz ve talebine bağlı olmasına neden olabilir. Bu, ortalama maliyet için birden fazla çalıştırma gerektirir. Kıyaslamayı tamamlamak için harcanan sınırlı zaman göz önüne alındığında, canlı / ilk örneği bir kıyaslama olarak kullanmadım.
Deneyim incelemeleri
Paperspace, performans ve maliyet açısından bir adım önde görünüyor ve özellikle derin öğrenme teknolojisinin başka bir kıyaslamada benzer sonuçlara ulaşabileceğini ümit eden deneyler için uygundur.
Tahsis edilmiş sunucular (LeaderGPU tarafından sağlananlar gibi) ve çıplak metal sunucular (Hetzner gibi), bu kaynakları (doh) uzun süreli kullanmayı düşünen kullanıcılar için uygundur. Ancak, sunucuyu özelleştirmedeki zayıf esneklik nedeniyle, paranın karşılığını gerçekten hissetmek için lütfen görevinizin çok CPU / GPU yoğun olduğundan emin olun.
Paperspace ve LeaderGPU gibi yeni oyuncular kovulmamalıdır, çünkü maliyetlerin çoğunu azaltmaya yardımcı olabilirler. Şirketler ilgili atalet ve anahtarlama maliyetleri nedeniyle sağlayıcıları değiştirme konusunda isteksiz olabilir, ancak bu küçük platformlar kesinlikle dikkate alınmaya değer.
AWS ve GCE, diğer hizmetlerle (AI entegrasyonu - Amazon Rekognition, Google'ın Bulut AI'si) entegre etmek isteyen kullanıcılar için harika seçeneklerdir.
Görevi tamamlamak için birkaç gün ayırmayı planlamıyorsanız, düşük kaliteli tek bir GPU örneğine bağlı kalmak en iyi seçenektir.
Daha yüksek uç GPU'lar daha hızlı çalışır, ancak aslında yatırımın geri dönüşü daha kötüdür. Bu seçenekler yalnızca daha kısa eğitim süresi (daha az geliştirme döngüsü) donanım maliyetinden daha önemli olduğunda seçilmelidir.
Orijinal bağlantı:
https://rare-technologies.com/machine-learning-benchmarks-hardware-providers-gpu-part-2/
Referans malzemeleri:
https://github.com/RaRe-Technologies/benchmark_GPU_platforms
