Derin öğrenmeyi hızlandırmak için GPU kullanma: Windows, CUDA + TensorFlow öğreticisini yükleyin
Leifeng.com basını: Bu makalenin yazarı Assam, bu makale ilk olarak yazarın Zhihu sütunu "Veri Teorisi" nde yayınlandı ve Leifeng.com bunu yayınlama yetkisine sahipti.
arka fon
Windows'ta derin öğrenme için GPU kullanımı hiçbir zaman yaygın olmamıştır.Genellikle derin öğrenme işletim sistemi olarak Linux'u tercih ediyoruz. Ancak birçok arkadaş sadece derin öğrenmeyi öğrenmek istiyorsa, ikili sistemler kurmaya veya Linux'a geçmeye gerek yok gibi görünüyor. Gerçek hayatta, okul veya şirket bilgisayarlarını kullanan birçok arkadaşın sistemi değiştirme yetkisi yoktur. Öyleyse bir derin öğrenme çerçevesi oluşturmak ve Windows sisteminde derin bir öğrenme modeli geliştirmek mümkün müdür?
İyi haber şu ki, giderek daha fazla derin öğrenme çerçevesi Windows'u desteklemeye başlıyor ve bu da Windows'ta öğrenme sürecini hızlandırmak için GPU'nun kullanılmasını mümkün kılıyor. Birçok arkadaş çok güçlü bir grafik kartına sahip olmasa da, GPU'da daha düşük bir maliyetle derin öğrenme modellerini çalıştırma sürecini de anlayabilirler. Sevindirici olan, çoğu Nvidia GeForce serisi grafik kartının CUDA'yı kullanabilmesi ve benzersiz grafiklere sahip çoğu dizüstü bilgisayarın teorik olarak "derin öğrenme" için GPU'yu kullanabilmesidir. Hızlandırma etkisi açık olmasa bile, çoğu giriş seviyesi grafik kartı TensorFlow'da hala kullanılabilir ve bu, en azından herkesin bu çerçeveyi anlamasına ve tanımasına yardımcı olabilir.
Lütfen bütçe eksikliğinin veya sistem uyumsuzluğunun keşif için engel ve bahane olmasına izin vermeyin.
Keşif ruhu içinde, CUDA (GPU olarak adlandırılırdı) ve TensorFlow (Google tarafından geliştirilmiş bir derin öğrenme aracı kitaplığı) iki Windows bilgisayara kurmaya ve bu işlemi kaydetmeye ve sizinle paylaşmaya çalıştım.
Başlamadan önce, Windows'a CUDA ve TensorFlow'u kurmanın birçok tehlikesi olduğunu herkese tekrar hatırlatmak isterim. Çeşitli yazılım sürümleri ve sistem ayarları için gereksinimler çok zor olarak tanımlanabilir ve "tuzağa düşmek" kolaydır. Hataları önlemek için lütfen işletim prosedürlerimi sıkı bir şekilde kontrol edin. Çok resimli ve uzun metin uyarısı! ! ! Öğreticiyi kullanırken, bilgisayar tarafında okumanız tavsiye edilir, resmi büyütebilirsiniz.
Hazırlık adımları
Yedekleme için aşağıdaki yazılımı indirmek için lütfen talimatları takip edin Özel kurulum süreci ikinci bölümde anlatılmaktadır.
Basitçe söylemek gerekirse, Windows 7/8/10, Server 2012/2016 + Python 3.5 + Visual Studio 2015 + CUDA 8.0 + CuDnn 6.0'a ihtiyacımız var.
1. İşletim sistemi gereksinimleri ve donanım gereksinimleri:
-
Windows sürümü: Windows 7, Windows 8, Windows 10, Windows Server 12/16
-
Grafik kartı sürümü: Lütfen NVIDIA tarafından sağlanan CUDA destekli grafik kartı listesine bakın.İngilizce sürümü görüntülemeniz önerilir. Grafik kartınızın sürümünü bilmiyorsanız, "Aygıt Yöneticisi" üzerinden görüntüleyebilir veya üçüncü taraf yazılım GPU-Z'yi kullanabilirsiniz. Lütfen AMDnin grafik kartlarının NVIDIA tarafından geliştirilen CUDAyı kullanamayacağını unutmayın ...
-
Çin listesi: CUDA-NVIDIA'yı destekleyen CUDA-GPU
-
İngilizce listesi: CUDA GPU'lar
2. Python sürümü: Python 3.5'in 64 bit sürümü. Python 3.6 ve 2.7'nin yapamayacağını unutmayın. Adres ve sürüm aşağıdaki şekilde gösterilmiştir. Yanlış Python sürümünü kullanırsanız, TensorFlow'u yükleyemezsiniz!
3. Visual Studio sürümü:
-
CUDA8.0 kullanıyoruz Visual Studio 2017 desteklenmez ve VS2017 kullanılırken bir hata bildirilir.
-
Visual Studio 2015 için en son sürüm Güncelleme 3 ile Visual Studio 2015 , İnternetteki bazı kişiler Güncelleme 3'ün kullanılamayacağını söylüyor, ancak kişisel testime göre, Güncelleme 3 ile VS2015 kullanılabilir. Ücretsiz Topluluk sürümünü indirin: https://imagine.microsoft.com/en-us/Catalog/Product/101. Bu bağlantı ISO sürümüdür, ayrıca yüklemek için EXE sürümünü de seçebilirsiniz. VS2015'in Enterprise veya Professional gibi diğer sürümleri de mevcuttur.Aslında, test ettiğimde Enterprise sürümünü kurdum.
-
Belgelere göre Visual Studio 2013 de tanıtılabilir, ancak ben gerçekten test etmedim ve tavsiye edilmiyor.
Bilgisayarınıza VS2017 veya VS2013 kurduysanız, aynı anda VS2015'i indirip kurabilirsiniz, çakışma olmaz.
4. CUDA sürümü: TensorFlow tarafından desteklenen CUDA sürümü bugün itibariyle (1 Ekim 2017) CUDA 8.0'dır. NVIDIA'nın resmi web sitesindeki varsayılan sürümün CUDA 9.0 olduğunu unutmayın, lütfen bu sürümü indirip yüklemeyin.
Doğru 8.0 sürümü indirme adresi: CUDA Toolkit 8.0-Şub 2017. İyi bir ağa sahip arkadaşlar, yerel sürüm yerine ağ kurulum sürümünü indirmenizi önerir.
5. CuDnn sürümü: CuDnn 6.0 CUDA8.0 için. Bu, kullanılabilen tek sürümdür. Lütfen indirirken işletim sisteminiz için uygun sürümü seçin.
CuDnn'yi indirmeden önce NVIDIA topluluğunun bir üyesi olarak kayıt olmanız gerektiğini lütfen unutmayın.İngilizce olmasına rağmen çok basittir. Doğru indirme sürümü aşağıda gösterilmiştir:
6. Gerekli tüm belgeler:
Kurulum adımları (bir yönetici hesabı kullanmanız önerilir)
Lütfen bu makaledeki kurulum sırasına göre yüklemeyi deneyin, aksi takdirde çalışmayabilir! En önemli şey, Visual Studio'yu kurduktan sonra CUDA'yı kurmanız gerektiğidir ve bu iki sipariş değiştirilemez.
1. Python'u yükleyin
Python'un yerel kurulum paketini doğrudan kullanmanız önerilir ve kurulum sırasında sistem yoluna Python Ekle'yi kontrol etmeniz önerilir.
Kurulum tamamlandıktan sonra, Python sürümünü ve PiP3 sürümünü kontrol edin, yani sistem yolundaki varsayılan Python 3.54'tür ve Pip3 sürümü 8.01'den büyüktür.
Algılama yöntemi yukarıdaki şekilde gösterildiği gibidir.Komut satırını açın ve sırasıyla "python -V" ve "pip3 -V" girin.Doğru çıktı yukarıdaki şekilde gösterildiği gibidir.
2. Visual Studio 2015'i yükleyin
VS2015 kurulumunda zorluk yok, Yalnızca bir seçeneğin özelleştirilmesi gerekiyor , Diğer seçenekler varsayılan değerleri kullanabilir . VS2015'in varsayılan yüklemesi C ++ derleyicisini içermez.Visual C ++ 'yı manuel olarak kontrol etmelisiniz, aksi takdirde sonraki CUDA derleme hatalarıyla karşılaşırsınız.
Bunun ana nedeni, VS2015'in varsayılan olarak CL.exe olan C ++ derleyicisini yüklememiş olmasıdır. Aşağıdaki yazımda, Visual C ++ kurulu değilse hataları nasıl bildireceğime değineceğim.
3. CUDA'yı yükleyin
CUDA'yı kurmadan önce, lütfen VS2015'in başarıyla kurulduğundan emin olun! Şu anda, CUDA'yı yüklemeniz gerekiyor, indirdiğimiz kurulum dosyasına çift tıklayın ve varsayılan olarak her şeyi seçin.
Kurulum başarılı olduktan sonra aşağıdaki resmi göreceksiniz:
4. CUDA kurulumunun başarılı olduğunu doğrulayın:
4.1. Komut satırını açın , Cmd olan ve "nvcc -V" girin, kurulum doğruysa, şu çıktıyı görmelisiniz:
Çıktı, CUDA sürümünün 8.0 sürümü olduğunu gösteriyor.
4.2. Test dosyalarını derlemek için VS ve CUDA kullanın
"C: \ ProgramData \ NVIDIA Corporation \ CUDA Samples \ v8.0" klasörüne gidin ve "Samples vs2015" dosyasını açmak için çift tıklayın.
Tüm dosyaları 1_Utilities içinde derlemeyi ve oluşturmayı seçin. Spesifik işlem, 1_Utilities'e sağ tıklamak ve Build'i seçmek, 64-bit'e dikkat etmek ve kırmızı kutuda Release yapmaktır:
Şu anda bir derleme hatasıyla karşılaşabilirsiniz.Eğer hata mesajının CUDA.prop'un bulunamadığını fark ederseniz, bu bir CUDA kurulum hatasıdır.CUDA versiyonunu kontrol etmeniz ve yeniden kurmanız önerilir.
Bu iki hatayı görüyorsanız:
-
TRK0005: Bulunamadı: "CL.exe". Sistem belirtilen dosyayı bulamıyor. Sistem CL.exe'yi bulamıyor ve dosyayı derleyemiyor. Bu hatayla karşılaştığınızda, Visual C ++ 'ı seçmediniz ve yeniden yüklemeniz gerektiğinde bu bileşeni seçmeniz gerekiyor.
-
MSB8036: Windows SDK 8.1 bulunamadı. Windows SDK 8.1 yüklemediğinizi belirten bu hatayı da görüyorsanız, Bu, C ++ Yeniden Dağıtımı yükleyerek de çözülebilir.
Derleme hatalarıyla karşılaşmazsanız, 5 dosyanın başarıyla derlendiğini gösteren aşağıdaki şekli görmelisiniz:
Başarılı olduktan sonra, "C: \ ProgramData \ NVIDIA Corporation \ CUDA Samples \ v8.0 \ bin \ win64 \ Release" klasöründe bir sürü dosya bulacaksınız. Esas olarak deviceQuery ve bandwidthTest'e ihtiyacımız var.
4.3. DeviceQuery ve bant genişliği Testi doğrulaması
Az önce derlediğimiz deviceQuery.exe dosyasını çalıştırın, yani bu dosyayı cmd cinsinden çalıştırın.Aşağıdaki şekilde sol alttaki kırmızı kutu sonuc = pass'ı gösterir, bu da kurulum testinin başarılı olduğu anlamına gelir. Sağ alttaki kırmızı kutu grafik kartı modelinizdir. Lütfen modelin doğru olduğundan emin olun. Tesla K80, herkes için farklı olabilecek benim makinemin sadece modelidir.
Az önce derlediğimiz bandwidthTest.exe dosyasını çalıştırın, yöntem aynıdır, ancak sonucun = PASS olup olmadığına da dikkat edin.
5. CuDnn'yi yükleyin
İndirdiğimiz CuDnn dosyasını açın ve 3 klasör alın: bin, include, lib. Aşağıdaki şekilde gösterildiği gibi, bu üç klasörü "C: \ ProgramData \ NVIDIA GPU Computing Toolkit \ v8.0" klasörüne kopyalayın.
6. Sistem ortam değişkenlerini onaylayın (Ortam Değişkenleri)
Python3.5.4 ve Pip3'ün sistem ortamı değişkenlerinde olduğunu ve yukarıda kontrol yönteminin tanıtıldığını doğrulayın.
Sistem ortamı değişken ayarlarını açın, örnek olarak Win10'u alın, lütfen Baidu Deneyiminin tanıtımına bakın (
CUDA_PATH ve CUDA_PATH_V8.0'ın zaten var olduğunu onaylayın
"C: \ ProgramData \ NVIDIA GPU Computing Toolkit \ v8.0 \ bin" öğesini Path'e manuel olarak ekleyin.
7. TensorFlow'un GPU sürümünü yükleyin
Cmd'yi açın ve "pip3 install tensorflow-gpu" yazın
Ben zaten kurdum, bu yüzden kurulu olduğunu gösteriyor. Burada dikkat edilmesi gereken üç nokta var:
-
Pip yerine pip3 kullanın
-
Tensorflow'u değil tensorflow-gpu'yu yüklemek için
-
Kurulum başarısız olursa, Python sürümünüz 3.5 değildir veya pip3 sürümü çok düşükse, pip3'ü yükseltmek için "pip3 install --upgrade pip3" kullanabilirsiniz.
İlk TensorFlow programı!
Tebrikler, zaferden bir adım uzaktayız :) Yüklü TensorFlow'umuzun GPU'yu kullanabildiğini doğrulayalım!
Cmd'yi açın ve python'un etkileşimli kabuğunu açmak için aşağıdaki komutu girin.
İlk ithalat tensorflow:
tensorflow'u tf olarak içe aktar
Ardından her seferinde bir kod satırı girin ve Enter tuşuna basın, GPU'nuzun zaten çalıştığını gösteren aşağıdaki şekli görmelisiniz ~
a = tf.constant (, şekil =, ad = 'a')
b = tf.constant (, şekil =, ad = 'b')
c = tf.matmul (a, b)
sess = tf.Session (config = tf.ConfigProto (log_device_placement = True))
yazdırma sess.run (c)
Aşağıdaki şekilde gösterildiği gibi, TensorFlow'u içe aktarırken bir hatayla karşılaşabilirsiniz. Bunun nedeni CuDnn ayarınızın yanlış olmasıdır, düzeltmek için sistem ortam değişkenlerini (Ortam Değişkenleri) onaylamak için lütfen bu makaleye bakın.
Sonuna yaz
Pratik, gerçeği test etmek için tek kriterdir, zaman da öyle. Bugün herkes derin öğrenmeyi şiddetle savunuyor, hoşunuza gitse de gitmese de umarım kendiniz deneyebilir ve hissedebilirsiniz :)
Gerçek hayatta, sınırlı grafik kartı bütçesi gibi sistem sürümü kısıtlamaları gibi hepimizin çeşitli kısıtlamaları vardır. Bu öğreticiyi yazmanın amacı da budur.Bu nedenlerin keşif ve araştırmanızı engelleyeceğini ummuyorum. Umarım bu makalem derin öğrenme yolunuza küçük bir katkı sağlamıştır.
Derin öğrenme dünyasına hoş geldiniz
