Makine www.jqbxx.com'u öğrenmiyor: Derin toplu makine öğrenimi, derin öğrenme algoritmaları ve teknik mücadele

ILSVRC olarak anılan ImageNet Büyük Ölçekli Görsel Tanıma Mücadelesi, görüntü sınıflandırma alanında bir yarışmadır. Yılda bir kez düzenlenmektedir. Aşağıdaki şekil, yıllık ödüllü modelleri ve bunların ilk 5 hata oranlarını göstermektedir. Bu makale esas olarak bu modellerin yapısını sıralıyor:

Bir, LeNet-5

LeNet-5, LeCun ve diğerleri tarafından 1998'de belge tanımaya uygulanan Gradient tabanlı öğrenme makalesinde önerilen el yazısı tanıma için bir evrişimli sinir ağı modelidir. Evrişimli sinir ağlarının öncü çalışmasıdır. Model yapısı, mevcut popüler ağdan biraz daha basittir, ancak bileşenleri, evrişimli katman, havuzlama katmanı ve tamamen bağlı katman, daha sonraki CNN ağının bir parçasıdır. Bununla birlikte, hesaplama gücünün sınırlandırılması ve destek vektör makinesinin o zamanki sınıflandırma yeteneği nedeniyle, kapsamlı derinlemesine araştırma ve ilgiye neden olmadı. İlk önce yapı şemasına bakın:

• GİRİŞ: giriş, 32 × 32 tek kanallı resim piksel değeri matrisidir;
• C1: Evrişim katmanı, toplam 6 evrişim çekirdeği, evrişim çekirdeklerinin boyutu 5 × 5, evrişim işlemi adım boyutu 1 ve 6 × 28 × 28 özellik haritaları elde edildi;
• Ö2: Havuzlama katmanı, havuzlama penceresi boyutu 2 × 2, maksimum havuzlama, 6 × 14 × 14 harita elde edildi;
• C3: Evrişimli katman, evrişim çekirdeğinin boyutu 5 × 5 ve evrişim işlemi adımı 1'dir. Kilit nokta, S2'nin 6 katmana ve C3'ün 16 katmana sahip olmasıdır Orta nasıl değiştirilir? İşte bir Yerel Olarak Bağlan yöntemi;

Birkaç örnek vermek gerekirse, C3 katmanının 0. haritası, S2 katmanının 0, 1 ve 2 haritalarını 3 filtreyle vb. Ekleyerek elde edilir.

• S4: Havuzlama katmanı, havuzlama penceresi boyutu 2 × 2, maksimum havuzlama, 16 × 5 × 5 harita elde edildi;
• C5: Evrişim katmanı, evrişim çekirdeğinin boyutu 5 × 5, evrişim işleminin adım boyutu 1 ve 1201 * 1 harita elde edildi;
• F6: Tamamen bağlantılı katman, 84 nöron.
• ÇIKTI: Çıkış katmanı nöron çekirdek işlevi (eylem işlevi), girdi bilgilerini uzamsal bir haritalamaya dönüştüren bir Gauss işlevidir ve son olarak çıktı, her bir kategorinin dağılımına aittir (toplam 10).

RBF sinir ağı ile BP sinir ağı arasındaki fark nedir?

İki, AlexNet

AlexNet, sessizlikten refaha derin öğrenmenin ortak noktasıdır. 2012 ImageNet görüntü sınıflandırma yarışmasında, AlexNet'in ilk 5 hata oranı, bir önceki yılın şampiyonuna göre yüzde on düşüşle yılın ilk yılını çok aştı. İki. Ağ yapısı şeması aşağıdaki gibidir:

Ağ yapısının basitleştirilmiş bir versiyonu aşağıdaki gibidir:

AlexNet'in başarılı olmasının ve derin öğrenmenin tarih aşamasına geri dönebilmesinin nedeni şudur:

ReLU

Bırakmak

Veri büyütme

Lokal Tepki Normalleştirme Katmanı: Birinci ve ikinci evrişimli katmanların aktivasyon fonksiyonlarının arkasında bulunur.Bu katmanı tanıtmanın temel amacı, aşırı uyumu önlemek ve artırmaktır. Modelin genelleme yeteneği. Geçerli katmanın çıktı sonucunu düzleştirin. Bu strateji,% 1,2'lik İlk 5 hata oranına katkıda bulundu. Ön ve arka katmanlar (konumlara karşılık gelen noktalar), orta katmanda bir yumuşatma kısıtlaması oluşturur. Hesaplama yöntemi:

Örtüşen Havuzlama: Örtüşme, örtüşme olduğu anlamına gelir, yani Havuzlamanın adım uzunluğu, Havuzlama Çekirdeğinin karşılık gelen tarafından daha küçüktür. Bu strateji, İlk 5 hata oranına% 0,3 katkıda bulundu.

Büyük veri eğitimi: milyonlarca ImageNet görüntü verisi

Çoklu GPU eğitimi: AlexNet'in bir bölümünü paralel olarak ve her bir GPU'da ayrı ayrı çalıştırın (örneğin, 4096 nörondan oluşan tam olarak bağlı bir katmanı, ilk evrişimli katman olan 2048 nörondan oluşan iki paralel tam bağlı katmana bölün. 96 özellik haritası ve bir GPU'da yalnızca 48 özellik haritası vardır, vb.), İki GPU yalnızca belirli bir katmanda etkileşim kurar.

Öğrenme oranı azalması:

Xiaomi yeni yılın ilk büyük etkinliğini duyurdu! Redmi yeni bağımsız bir marka oldu 48 milyon amiral gemisi burada

Tek başına oyun oynamak daha iyidir, i36100 + GTX1050 konfigürasyon ekranı

Makine şunları öğrenmiyor: LSTM / RNN'deki Dikkat mekanizmasını anlama

Bugünün stadyum botlarının takdiri: George, PG2.5 giyiyor ve irfanını vuruyor

Okuma: Milli antrenman takımının yapısı profesyonel lige tamamen güvenmiyor

Makine öğrenmiyor: derin öğrenme sinir modülü ağı ve çıkarım öğrenme

Makine öğrenmiyor: Varlık tanıma ve ilişki çıkarmada derin öğrenme uygulamasının analizi

Her yerde ışıklar var, MSInın anakart hayali iyi bir ışık fabrikası olmak gibi görünüyor

Ma Huateng, Tencent'in büyük isimlerini Apple genel merkezine getirdi ve verdikleri hediyeler parlaktı.

Sadece iki yıl içinde ilk üç Çin İnternet markası arasında yer aldı! 360 cep telefonlarının büyümesini aydınlatmak

Kullanıcıların yüklemesi için iyi bir seçim, Toshiba A100240G katı hal sürücü deneyimi

Makine öğrenmiyor: CNN + RNN, iki tanrı, sonsuz güç, en iyi NN modeline giriş