Derin öğrenme için hangi Nvidia GPU'yu seçmelisiniz? Uygun maliyetli bir sıralamaya sahip olmak yeterli değildir!
"Geleneksel" AI algoritmalarıyla karşılaştırıldığında, derin öğrenmenin (DL) hesaplama performans gereksinimlerinin tamamen başka bir büyüklükte olduğu söylenebilir.
GPU seçimi, derin öğrenme deneyiminizi temelden belirleyecektir. Öyleyse, bir DL geliştiricisi doğru GPU'yu nasıl seçmelidir? Bu makale bu konuyu derinlemesine tartışacak, Şimdi Intel yardımcı işlemcisi Xeon Phi ile başlamanın gerekip gerekmediğinden bahsedelim ve referans olarak her ana akım grafik kartının performans ve maliyet performansının net bir karşılaştırma tablosunu oluşturalım.
Derin öğrenme araştırması için bir GPU seçmenin önemi hakkında konuşalım. Daha hızlı GPU'lar, yeni gelenlerin pratik deneyimi daha hızlı biriktirmesine, teknik temel konularda daha hızlı ustalaşmasına ve bunları yeni görevlere uygulamasına yardımcı olabilir. Hızlı geri bildirim olmadan, hatalardan ders almak çok pahalıya mal olur ve derin öğrenme, mide bulandırıcı ve göz korkutucu bir deneyime dönüşebilir.
Doka'ya ihtiyacınız var mı?
40Gbit / s InfiniBand köprüsüyle bağlantılı Doka'nın geri dönüşü olmadığı ilk heyecandan yola çıktım, mini bir GPU "kümesi" oluşturdum ve Doka'nın daha iyi olup olamayacağını test etmek için çok heyecanlandım Verim.
Ancak çok geçmeden, sinir ağlarının birden fazla kart üzerinde verimli paralel işlem yapmasını sağlamanın aslında kolay olmadığını keşfettim. Özellikle daha yoğun sinir ağları için, performans artışı "ama öyle" olarak tanımlanabilir. Veri paralelleştirme yoluyla, küçük sinir ağları paralel olarak verimli bir şekilde işlenebilir, ancak büyük olanlar bunu yapamaz. Örneğin, Kaggle yarışmasında "Kısmen Güneşli Hashtag Şansı" nda derin öğrenme yöntemiyle ikincilik kazandım ve Doka'nın temelde hızlandırma etkisi yok.
Ondan sonra, Doka ortamında derin öğrenmenin nasıl oynanacağını keşfetmeye devam ettim.
Özellikle yoğun veya tam bağlantılı katmanlar için model paralelleştirmesi 32 bit yönteminden çok daha verimli olan yepyeni bir 8 bit sıkıştırma teknolojisi geliştirdim. Ancak paralelleştirmenin sizi son derece hayal kırıklığına uğratabileceğini de buldum - paralel algoritmaları bir dizi sorun için saf bir şekilde optimize ettim ve optimize edilmiş özel kodla bile çoklu GPU paralelleştirmesinin, özellikle yatırım göz önüne alındığında hala etkili olduğunu buldum. Çok fazla enerji.
Paralelleştirmeye başlamadan önce, paralelleştirmeden yararlanıp yararlanamayacağınızı tahmin etmek için donanımınızı ve bununla derin öğrenme algoritmaları arasındaki karşılıklı desteğin derecesini bilmeniz gerekir.
Bu benim bilgisayarım. Gördüğünüz şey üç Titan ve InfiniBand köprü kartı. Ancak bu yapılandırma derin öğrenmeye uygun mu?
O zamandan beri, GPU paralelliği desteği gittikçe daha yaygın hale geldi, ancak verimli bir şekilde çalışmak şöyle dursun, hala popüler olmaktan çok uzak. Şimdiye kadar, çok kartlı ve çok makineli bir ortamda verimli algoritmalar uygulayabilen tek derin öğrenme çerçevesi CNTK'dır. Microsoft'un 1 bit nicemleme (yüksek verimlilik) ve blok momentumlu (çok verimli) özel paralel algoritmasını kullanır.
CNTK'yi 96 kartlı bir GPU kümesinde çalıştırırsanız, doğrusal hızın 90 ila 95 katına ulaşması beklenir. PyTorch, çok makineli paralelleştirmeyi verimli bir şekilde destekleyebilecek başka bir çerçeve olabilir, ancak henüz yerinde değil. Bir cihazda paralelleştirme yaparsanız, seçiminiz temelde CNTK, Torch veya PyTorch olacaktır. Bu çerçeveler iyi hızlandırma performansına (3,6-3,8 kat) sahiptir ve dört kartlı bir makine için (en fazla) önceden tanımlanmış algoritmalar vardır. Paralelleştirmeyi destekleyen diğer kitaplıklar ve çerçeveler de mevcuttur, ancak bunlar çok yavaştır (TensorFlow gibi, yalnızca iki ila üç kat daha hızlı); veya çoklu kart ortamında (Theano gibi) kullanımı zordur; veya her ikisinin de eksiklikleri vardır .
Paralelleştirme sizin için önemliyse Pytorch veya CNTK kullanmanızı tavsiye ederim.
Çoklu kart, ancak paralel yok
Doka'nın bir başka avantajı da, algoritmayı paralelleştirmeseniz bile, aynı anda birden fazla algoritma ve deney çalıştırabilirsiniz - her algoritma ayrı bir GPU'da çalışır. Hızlanmayacaksınız, ancak aynı anda farklı algoritmalar veya parametreler kullanarak, performans hakkında daha fazla bilgi alacaksınız. Ana hedefiniz mümkün olan en kısa sürede derin öğrenme deneyimi biriktirmekse, bu çok faydalıdır. Bu aynı zamanda yeni bir algoritmanın farklı versiyonlarını denemesi gereken araştırmacılar için de yararlıdır.
Bu Doka'nın psikolojik değeridir. Bir görevi işleme koymak ile sonuç geri bildirimini almak arasındaki süre ne kadar kısa olursa, beyin ilgili bellek parçalarını o kadar iyi organize edebilir ve görevin bilgi grafiğini oluşturabilir. Veri seti büyük değilse ve aynı anda iki GPU üzerinde iki evrişimli ağı bu verilerle eğitirseniz, "her şeyin yolunda gittiğini" ne kadar iyi hissettiğini yakında anlayacaksınız. Çapraz doğrulama hatalarını daha hızlı bulacak ve makul bir şekilde açıklayacaksınız. Hangi parametrelerin veya katmanların eklenmesi, kaldırılması veya ayarlanması gerektiğini bilmenizi sağlayacak bazı ipuçları bulabilirsiniz.
Genel olarak, hemen hemen tüm görevler için bir GPU'nun temelde yeterli olduğunu söyleyebilirsiniz. Ancak derin öğrenme modellerini hızlandırmak için Doka'yı kullanmak giderek daha önemli hale geliyor. Amacınız derin öğrenmeye hızlı bir şekilde başlamaksa, birden fazla ucuz grafik kartı da iyidir. Şahsen ben nükleer bomba yerine çok sayıda zayıf GPU seçmeyi tercih ediyorum, bu araştırma deneyleri için de geçerli.
Hangi hızlandırıcıyı seçmeliyim - NVIDIA GPU, AMD GPU veya Intel Xeon Phi?
NVIDIA'nın standart algoritma kitaplığı, CUDA'daki ilk derin öğrenme kitaplıklarını oluşturmayı çok kolaylaştırır. Ancak AMD OpenCL için bu kadar güçlü bir standart kitaplık mevcut değil. Gerçek şu ki, A kartının yararlı bir derin öğrenme kitaplığı yoktur - bu nedenle çoğu insan yalnızca N kartını seçebilir. İleride bir OpenCL kütüphanesi olsa bile, N kartını kullanmaya devam edeceğim. Nedeni basit: GPU genel amaçlı bilgi işlem veya GPGPU topluluğu, temelde CUDA etrafında dönüyor ve pek çok insan OpenCL'e girmiyor. Bu nedenle, CUDA topluluğunda, hemen iyi açık kaynak çözümleri ve kod önerileri alabilirsiniz.
Ayrıca, derin öğrenme için, teknoloji ve endüstrisi henüz emekleme döneminde olsa bile, Nvidia'nın tam bir saldırı olduğu söylenebilir. Huang'ın yatırımı boşuna değildi. Şu anda sadece sermaye ve enerji yatırımı yapmış olan ve geç başladıkları için derin öğrenme trendini yakalamak isteyen şirketler, Nvidia'dan biraz daha uzakta. Şu anda, derin öğrenmeyi oynamak için NVIDIA-CUDA dışındaki herhangi bir yazılım ve donanım kombinasyonunu kullanmak, kasıtlı olarak kendinizle geçinmeye çalışmaktır.
Intel Xeon Phi'ye gelince, resmi tanıtım, standart C dil kodunu kullanabileceğiniz ve kodu hızlandırılmış Xeon Phi koduna kolayca dönüştürebileceğinizdir. Bu işlev kulağa hoş geliyor - devasa C dili kaynaklarını kullanabileceğinizi düşünebilirsiniz. Ancak gerçek durum, yalnızca çok az sayıda C dili kodunun desteklendiği ve mevcut C kodlarının çoğunun çok çok yavaş olacağıdır. Bu nedenle aslında oldukça tatsızdır.
Bir keresinde bir Xeon Phi küme iş istasyonu üzerinde araştırma yaptım. Bu süre zarfında bunu düşünmeye dayanamadım ve acı bir yırtık:
Xeon Phi MKL, Python Numpy ile uyumlu olmadığı için birim testleri çalıştıramıyorum; Kodun çoğunu yeniden düzenlemem gerekiyor çünkü Xeon Phi derleyicisi, anahtar deyimleri gibi şablonlara uygun indirimler yapamıyor; C'yi değiştirmem gerekiyor Arayüz, çünkü Xeon Phi derleyicisi bazı C ++ 11 özelliklerini desteklemiyor.
Tüm bunlar beni hayal kırıklığı içinde kodu yeniden yazmaya zorladı ve birim testi yok. Bu süreç son derece uzundur ve cehennem gibi bir deneyim olarak adlandırılabilir.
Kodum sonunda başarıyla yürütülene kadar, ancak her şey çok yavaş. Bazı problemler var.Bunun bir hata mı yoksa iş parçacığı zamanlayıcı mı olduğunu bilmiyorum Kısacası tensör boyutu ardı ardına değişirse performans büyük ölçüde azalacak. Örneğin, farklı boyutlarda tamamen bağlı katmanlarınız veya çıkış katmanlarınız varsa, Xeon Phi CPU'dan daha yavaştır. Sorunu bağımsız matris çarpımında yeniden oluşturdum ve Intel'e gönderdim, ancak yanıt gelmedi.
Yani, gerçekten derin öğrenmeye katılmak istiyorsanız, Xeon Phi'den ne kadar uzaklaşırsanız o kadar iyidir.
Sınırlı bir bütçeyle bir GPU nasıl seçilir?
Derin öğrenme için bir GPU seçmeyi düşündüğünüzde, aklınıza gelen ilk soru muhtemelen şudur: En önemli performans parametreleri nelerdir? Cuda çekirdek numarası? Sıklık? Video bellek boyutu?
hiçbiri.
Derin öğrenme performansı üzerinde en büyük etkiye sahip olan parametre, video bellek bant genişliğidir.
Basitçe söylemek gerekirse, GPU, bellek okuma süresi, yani gecikme pahasına video bellek bant genişliği için optimize edilmiştir. CPU tam tersidir - yalnızca küçük bir bellek miktarı söz konusuysa, tek basamaklı sayılar arasında çarpma (3 * 6 * 9) gibi hesaplamaları çok hızlı yapabilir. Ancak matris çarpımı (A * B * C) gibi büyük miktarda bellek üzerindeki işlemler için CPU çok yavaştır. Yüksek bellek bant genişliği nedeniyle, GPU'lar bu tür sorunları çözmede çok iyidir. Tabii ki, sadece çok önemli olan CPU ve GPU arasında ince farklar var.
Bu nedenle, derin öğrenme için hızlı bir GPU satın almak istiyorsanız, önce bellek bant genişliğine bakmalısınız.
GPU'yu bellek bant genişliğinden değerlendirin
Son yıllarda CPU ve GPU bant genişliğinin karşılaştırılması
Aynı nesil mimaride, GPU bant genişliği doğrudan karşılaştırılabilir. Örneğin, Pascal GTX 1080 ile GTX 1070. Yalnızca video bellek bant genişliğine bakarak, derin öğrenmedeki performans farklarını doğrudan değerlendirebilirsiniz: GTX 1080 (320 GB / sn), gerçek durumla ilgili olan GTX 1070 (256 GB / sn) bant genişliğinden% 25 daha hızlıdır.
Ancak Pascal GTX 1080 ve Maxwell GTX Titan X gibi farklı mimariler arasında bant genişliği doğrudan karşılaştırılamaz. Bunun nedeni, farklı üretim süreçlerinin farklı bellek bant genişliği kullanmasıdır. Bu, GPU'lar arasındaki karşılaştırmayı biraz zorlaştırır. Ancak öyle olsa bile, sadece bant genişliğine bakmak, yine de GPU'nun derin öğrenme hızını kabaca tahmin edebilir.
Dikkate alınması gereken bir diğer faktör de cuDNN ile uyumluluktur. Tüm GPU mimarileri destek sağlamaz. Neredeyse tüm derin öğrenme kitaplıkları, GPU seçeneklerini Kepler Kepler veya daha sonraki mimarilerle, yani GTX 600 serisi veya daha yenisiyle sınırlayan evrişim işlemleri için cuDNN kullanır. Ek olarak, Kepler GPU'ları çoğunlukla yavaştır. Bu nedenle, ideal performansı elde etmek için bir GTX 900 veya 1000 serisi GPU seçmelisiniz.
Derin öğrenmedeki her bir grafik kartının performans farkı hakkında size kaba bir tahmin vermek için basit bir çubuk grafik oluşturdum. Bu resmi okumak için duruş çok basit. Örneğin, bir GTX 980'in hızı yaklaşık olarak 0.35 Titan X Pascal'dır veya bir Titan X Pascal, GTX 980'den neredeyse üç kat daha hızlıdır.
Leifeng.com bana bu grafik kartlarının hepsine sahip olmadığımı ve her birinde derin öğrenme kıyaslamaları yapmadığımı hatırlatıyor. Bu performans karşılaştırmaları, grafik kartı parametreleri ve hesaplama değerlendirmesinden (şifre madenciliği gibi derin öğrenme ile aynı seviyedeki hesaplama görevleri) elde edilir. Bu nedenle, bunlar yalnızca yaklaşık tahminlerdir. Gerçek sayı biraz değişecek, ancak hata çok küçük olmalı ve sıralamayı etkilemeyecektir.
Unutulmaması gereken bir diğer nokta da, GPU performansını yetersiz kullanan küçük sinir ağlarının, karşılaştırıldığında daha güçlü GPU'nun zarar görmesine neden olacağıdır. Örneğin, küçük bir LSTM çalıştırma (128 gizli katman; toplu iş boyutu > 64), GTX 1070'den çok daha hızlı değil. Aşağıdaki şekildeki sayıları elde etmek için 1024 gizli katman LSTM (toplu iş boyutu) gibi daha büyük bir sinir ağı çalıştırmanız gerekir. > 64).
GPU kaba performans karşılaştırması
Maliyet analizi
Yukarıdaki şekildeki grafik kartının performansını fiyata göre bölersek her bir kartın aşağıdaki şekil olan maliyet performans endeksini elde ederiz. Kurulum tavsiyemizi bir ölçüde yansıtır.
Uygun maliyetli karşılaştırma
Yeni kartın fiyatı Meiya'dan, eski kart ise eBay'den geliyor. Leifeng.com, şekildeki rakamların birçok yönden biraz önyargılı olduğunu hatırlattı. Her şeyden önce, video bellek boyutunu dikkate almaz. Normal koşullar altında, derin öğrenmeyi oynamak için GTX 1050 Ti'den daha fazla video belleğine ihtiyacınız vardır. Bu nedenle, listedeki en iyi grafik kartlarından bazıları uygun maliyetlidir, ancak pratik değildir.
Benzer şekilde, dört küçük GPU kullanmak, büyük bir GPU kullanmaktan çok daha zordur, bu nedenle küçük GPU'ların bir dezavantajı vardır. Ayrıca 16 GTX 1050 Ti satın alarak dört GTX 1080 Ti'nin performansını elde etmek imkansız, 3 adet daha satın almanız gerekiyor. Bunu hesaba katarsak, yukarıdaki resim şöyle görünmelidir:
Bu revize edilmiş GPU uygun maliyetli çubuk grafiği, diğer PC donanımlarının maliyetini hesaba katıyor - 4 GPU ile uyumlu bir üst düzey PC platformunun maliyeti 1500 ABD doları olarak belirlendi. Bu durumda, çok sayıda GPU satın almak istiyorsanız, şaşırtıcı olmayan bir şekilde, üst düzey GPU'ların bir avantajı olacaktır, çünkü PC platformu + grafik kartının genel maliyet etkinliği daha yüksektir.
Ama aslında bu hala önyargılı. Dört GTX 1080 Tis ne kadar uygun maliyetli olursa olsun, sıradan insanlar için mantıklı değil - çünkü karşılayamıyorlar. Bu nedenle, geliştiricilerin gerçekten ilgilendiği şey, sınırlı bir bütçe dahilinde fiyat / performans oranı olmalıdır. Bütçeniz için en iyi sistem seçeneği nedir? Ayrıca başka soruları da göz önünde bulundurmanız gerekir: Bu GPU'yu ne kadar süreyle hizmette tutmayı planlıyorsunuz? Birkaç yıl içinde, GPU'yu yükseltecek misiniz yoksa tüm makineyi mi yükselteceksiniz? Gelecekte, eski GPU'yu satmak, maliyetin bir kısmını geri kazanmak ve yeni bir tane satın almak ister misiniz?
Birden fazla düşünceyi dengeleyebilirseniz, nihai sonuç aşağıdaki önerilere dikkat etmelidir.
GPU önerilir
Genel olarak GTX 1080 Ti, GTX 1080 veya GTX 1070'i tavsiye ederim. Bütçeniz bir GTX 1080 Ti satın almaya yetiyorsa tereddüt etmeyin. GTX 1070 biraz daha ucuz, ancak yine de önceki nesil GTX Titan X'ten (Maxwell) daha hızlı. GTX 980 Ti ile karşılaştırıldığında, tüm bu kartlara daha büyük video belleği nedeniyle öncelik verilmelidir: 11 GB, 6 GB yerine 8 GB. 8GB video belleği pek kulağa hoş gelmeyebilir, ancak birçok görev için fazlasıyla yeterlidir. Kaggle yarışmasındaki görüntü veri kümelerinin çoğu, derin stil ve doğal dil anlama görevleri için temelde sorunlarla karşılaşmayacaksınız.
Derin öğrenmeyi ilk kez deniyorsanız ve yalnızca ara sıra Kaggle yarışmalarına katılıyorsanız, GTX 1060 giriş için en iyi GPU'dur. Ancak 3GB video belleğe sahip GTX 1060'ı önermem.
Maliyet performansı açısından 10 serisi grafik kartı oldukça iyidir. GTX 1050 Ti, GTX 1060, GTX 1070, GTX 1080 ve GTX 1080 Ti ön planda. GTX 1060 ve GTX 1050 Ti yeni başlayanlar içindir, GTX 1070 ve GTX 1080 yeni başlayan şirketler için çok yönlüdür ve ayrıca bazı akademik araştırma ve endüstri çevreleri için de uygundur. GTX 1080 Ti, çok yönlü bir üst düzey seçenektir.
Genelde yeni piyasaya sürülen Titan Xp'i önermiyorum, performansına kıyasla GTX 1080 Ti'yi seçmek çok pahalı. Ancak büyük veri kümeleri veya video verileriyle uğraşan bilgisayar görüşü araştırmacıları için Titan Xp'in hala bir pazarı var. Bu alanlarda, her GB video belleğinin bir değeri vardır ve Titan Xp, GTX 1080 Ti'den 1 GB daha fazladır. Bu ikisiyle Titan X'i (Pascal) tavsiye etmem.
Zaten GTX Titan X'e (Maxwell) sahipseniz ve Titan Xp'ye yükseltmek istiyorsanız. Benim önerim şu: Yeni nesli satın almak için tasarruf edin, buna değmez.
Sınırlı bir bütçeniz varsa ve 12 GB RAM'e ihtiyacınız varsa, ikinci el bir GTX Titan X (Maxwell) satın almayı düşünebilirsiniz.
Bununla birlikte, çoğu araştırmacı için en iyi seçenek hala GTX 1080 Ti'dir. Ekstra 1GB Titan'ın çoğu durumda hiçbir etkisi yoktur.
Şahsen, araştırma için birden fazla GTX 1070 veya GTX 1080 seçerdim. Daha hızlı bir test yerine birkaç daha yavaş test yapmayı tercih ederim. NLP'de bellek gereksinimleri bilgisayar görüşü kadar yüksek değil ve tek başına bir GTX 1070 / GTX 1080 benim için yeterli. Başa çıkmam gereken görevler ve nasıl deney yapılacağı, benim için en iyi seçeneği belirledi, ister GTX 1070 ister GTX 1080 olsun.
Dar bütçeli geliştiriciler için seçenekler çok sınırlıdır. AWS'de bir GPU kiralamanın fiziksel fiyatı zaten çok yüksek ve kendi GPU'nuzu satın almak daha uygun maliyetli. GTX 970'i önermiyorum. Sadece yavaş değil, ikinci el fiyatı yeterince uygun değil, aynı zamanda video belleği başlatma sorunları da var. Benim önerim daha hızlı olan, daha fazla belleğe sahip ve problemsiz olan GTX 1060'a biraz para eklemek. GTX 1060 bütçenizi aşarsa, 4GB GTX 1050 Ti sürümünü öneririm. 4GB video belleği gerçekten sınırlıdır, ancak modeli değiştirirseniz, yine de kabul edilebilir performans elde edebilirsiniz. Çoğu Kaggle yarışması için GTX 1050 Ti uygundur ve az sayıda yarışma rekabet gücünüzü etkileyebilir.
Derin öğrenmeyi yalnızca özel olarak oynuyorsanız ve ciddiye almayı planlamıyorsanız, GTX 1050 Ti uygun bir seçimdir.
sonuç olarak
Bu makaledeki tüm bilgilerle, makul bir satın alma kararı vermek için muhtemelen bellek boyutu, bant genişliği ve fiyat gibi birçok faktörü dengeleyebilirsiniz. Şimdi önerim, bütçe yeterliyse GTX 1080 Ti, GTX 1080 veya GTX 1070 kullanmak. Derin öğrenmeye yeni başladıysanız ve sınırlı bir bütçeniz varsa, GTX 1060'ı seçin. Bütçe gerçekten sınırlı, bu yüzden GTX 1050 Ti. Bilgisayar görüşü araştırmacılarının Titan Xp'ye ihtiyacı olabilir.
Lei Feng.com tarafından derlenen Tim Dettmers aracılığıyla
"TensorFlow ve Sinir Ağı Algoritması Gelişmiş Uygulama Sınıfı" başladı!
Temelden ileri düzeye, teori + gerçek savaş, TensorFlow'un tek noktadan derinlemesine anlaşılması!
Bu kurs, derin öğrenme geliştiricilerine yöneliktir ve TensorFlow'un görüntü tanıma ve metin analizi gibi belirli sorunları çözmek için nasıl kullanılacağını öğretir. Kurs 10 haftayı kapsıyor.TensorFlow'un ilkeleri ve temel pratik becerileriyle başlayacak ve öğrencilere TensorFlow'da adım adım CNN, kendi kendine kodlama, RNN, GAN ve diğer modellerin nasıl oluşturulacağını öğretecek ve son olarak TensorFlow'a dayalı eksiksiz bir derin öğrenme geliştirme setinde ustalaşacak. beceri.
İki öğretim görevlisi Tong Da ve Bai Fachuan, ThoughtWorks'ün kıdemli teknik uzmanlarıdır ve büyük veri platformları ve derin öğrenme sistemi geliştirme projeleri oluşturma konusunda zengin deneyime sahiptir.
Saat: Her Salı ve Perşembe gecesi 20: 00-21: 00
Kurs süresi: Toplam 20 saat, 10 haftaya bölünmüş, haftada 2 kez, her seferinde 1 saat
Çevrimiçi öğretim adresi:
