Makineler öğrenmez: doğrusal sınıflandırıcılardan derin sinir ağlarına kadar derin öğrenme notları
Makine www.jqbxx.com'u öğrenmiyor: Derin toplu makine öğrenimi, derin öğrenme algoritmaları ve teknik mücadele
Doğrusal Modelin Sınırı
- Ayarlanması gereken birçok parametre var
N Sınıfı ve K Etiketi varsa ayarlanması gereken (N + 1) K parametresi vardır.
- Doğrusal Model doğrusal olmayan problemlerle baş edemez
- Doğrusal Modelin Faydaları
- GPU'lar büyük matrisleri çarpmak için tasarlanmıştır, bu nedenle Doğrusal Modeli hesaplamak için çok etkilidirler
- Kararlı: Girişteki küçük değişiklikler çıktıyı büyük ölçüde etkilemeyecektir
- Uygun türetme: doğrusal türetme sabittir
- Parametre fonksiyonunun doğrusal olmasını istiyoruz, ancak modelin tamamı doğrusal değil
- Bu nedenle, her doğrusal modelin doğrusal olmayan bir kombinasyonunu yapmalıyız
- En basit doğrusal olmayan kombinasyon: parçalı doğrusal fonksiyon (RELU)
Sinir ağı
- Bir RELU'yu aracı olarak, bir Doğrusal Modelin çıktısını girdi olarak ve çıktısını başka bir Doğrusal Modelin girdisi olarak kullanın, böylece doğrusal olmayan problemleri çözebilir.
- Sinir ağlarının tıpkı nöronlar gibi çalışması gerekmez
- Zincir Kuralı: Bileşik fonksiyon türev yasası
- Çok sayıda veri yeniden kullanımı ve uygulaması kolay (basit bir veri hattı)
- Geri yayılma
- Tren_kaybı hesaplanırken, veri ileri yönde akar ve eğim hesaplanırken geriye doğru hesaplama
- Gradyanı hesaplamak için gereken hafıza ve hesaplama süresi, tren_kaybı hesaplamanın iki katıdır
Derin Sinir Ağı
Mevcut iki katmanlı sinir ağı:
optimizasyon:
- RELU'yu (gizli katman) daha geniş optimize edin
- Doğrusal katmanı artırın, katman daha derin
- Performans: daha derine göre birkaç parametre
- Seviye yükseldikçe, elde edilen bilgi ne kadar kapsamlı olursa, hedefle o kadar uyumludur.
T-modeli hakkında
- t-modeli yalnızca büyük miktarda veri olduğunda etkilidir
- Bugün verimli bir büyük veri eğitim yöntemine sahibiz: Daha İyi Düzenleme
- Soruna uyum sağlamak için sinir ağının ölçeğine karar vermek zordur, bu nedenle genellikle daha büyük bir ölçek seçin ve aşırı uyumu önleyin
Fazla Takmaktan Kaçının
Erken sonlandırma
- Eğitim sonucu ve doğrulama seti uygun olduğunda, eğitimi durdurun
Yönetmelik
- Sinir ağına bazı sabitler ekleyin, bazı kısıtlamalar yapın ve serbest parametreleri azaltın
- L2 normalleştirme
Tren kaybını hesaplarken, yeni bir kayıp olarak bir l2 normu ekleyin, burada bu yeni terimin değerini ayarlamak için (Hiper parametresi) ile çarpmanız gerekir.
Hiper parametre: baş parametresini patlatın _
- L2 modülünün türevinin hesaplanması kolaydır, yani W'nun kendisi
- Bırakmak
- Sadece son zamanlarda ortaya çıktı, etkisi son derece iyi
- Bir katmandan diğerine olan değere aktivasyon denir
- Bir katmanı başka bir katmanın değerine aktarın, verilerin yarısını rastgele 0'a alın, bu da aslında verilerin yarısını doğrudan atıyor
- Veri eksikliğinden dolayı, sinir ağı, kayıplara ek olarak gereksiz bilgiyi öğrenmek zorunda kalır.
- Sinir ağında kayıp kısmına ek olarak her zaman başka kısımlar olduğu için, nihai sonuç hala iyidir.
- Daha sağlam ve fazla takmayı önler
- Bu yöntem işe yaramazsa, daha büyük bir sinir ağı kullanılabilir.
- Sinir ağlarını değerlendirirken, DropOut gerekli değildir çünkü kesin sonuçlar gereklidir.
- Tüm Aktivasyonların ortalaması, değerlendirme temeli olarak alınabilir
- Eğitim sırasında rastgele verilerin yarısını çıkardığımız için, doğru Aktivasyon seviyesinin ortalama değerini almak istiyorsak, silinmeyen verileri ikiye katlamamız gerekir.
Transfer: https://www.cnblogs.com/hellocwh/p/5497786.html
