Çok fazla yol yok, sadece faydalı! Aşırı uydurma sorununu çözmek için Bırakma'yı kullanın
Resim kaynağı: unsplash.com/@mlightbody
Bırakma, bir modeli eğitirken aşırı uyum sorununu çözmek için ilginç bir yöntemdir. Dropout'un arkasındaki kavram çok basit olsa bile, modelin eğitilmesinin getirdiği iyileştirmeler hafife alınmamalıdır. Bu makale Dropout'u sizin için en kısa ve öz dille açıklamaya çalışmaktadır.
Dropout'un arkasındaki nesnel gerçekliği açıklamanın yanı sıra, sinir ağlarına nasıl uygulandığını ve Keras üzerindeki uygulamasını da içerir.
Aşırı uyum nedir?
Sinir ağlarını eğitmek zor bir sorundur. Modelin, mevcut verilerden öğrenmek ve bilinmeyen verilere genellemek için yeterince eksiksiz olduğu unutulmamalıdır. Genelleştirilmiş modellerin eksikliği, esas olarak aşırı uyum adı verilen bir sorundan kaynaklanmaktadır.
Kısacası, aşırı uyum, modelin ilk eğitim verilerinde son derece yüksek doğruluk, ancak yeni bilinmeyen veriler üzerinde son derece düşük doğruluk elde ettiği anlamına gelir. Öğretmenin her zaman aynı soruları sorması gibi, öğrencilerin yüksek puan alma olasılığı daha yüksektir, çünkü öğrenciler için sadece cevapları hatırlamaları gerekir. Bu nedenle, yüksek puanlar burada iyi bir gösterge değildir. Tehlikeli sonuç, öğrencilerin dersi inceleme zahmetine girmemeleridir.
Aşırı uyum için birçok teknik türetilmiştir ve Bırakma bunlardan biridir.
Dropout'un arkasındaki nesnel gerçekler
Resim kaynağı: unsplash.com/@sammcghee
Bir TV programının bir yarışmacıya, bir sunucuya ve bir grup izleyiciye ihtiyacı olduğunu varsayalım. Program akışı aşağıdaki gibidir:
1. Oyunun başında, sunucu rastgele bilinmeyen bir filmi oyunun teması olarak seçer.
2. Sunucu, her aşamada seçilen filmin yalnızca bir bölümünü oynatacaktır.
3. Ardından, şu anda yayınlanan kliplere yanıt olarak, filmdeki olaylarla ilgili bir soru sorun.
4. Her seyirci cevap verecektir.
5. Yarışmacı son cevap olarak izleyicilerden birini seçecektir.
6. Cevap doğruysa, katılımcı ve izleyicinin her biri 50 $ alacak.
7. Cevap yanlışsa her biri 100 $ ödeyecek.
Katılımcının, izleyicilerden birinin her zaman doğru cevap verdiğini fark ettiğini varsayalım. Oyun ilerledikçe, yarışmacılar seyircide güven inşa edecek ve diğer izleyiciler tarafından verilen cevapları görmezden gelecektir.
Bu stratejiyle ilgili bazı sorunlar da var. Yarışmacıların güvendiği seyirci, oyunun ilk aşamalarında daha iyi performans gösterebilir ancak oyunun ilerleyen aşamalarında doğru oran düşer. Her zaman yalnızca bir kişi (veya küçük bir grup) seçilirse, diğer izleyiciler kendilerine değer verilmediğini hissedecek ve oynatılan film klibine artık dikkat etmeyeceklerdir.
Oyunun ilerleyen safhalarında, güvenilir kişiler bir rol oynamayacak ve diğer izleyiciler artık yayına dahil olmadıkları için olayların sırası karışıyor ve cevap başarısız oluyor. Bu nedenle, bir kişiye güvenmek mümkün değildir ve kaçınılmaz olarak başarısız olacaktır.
Bu sorunu nasıl çözebiliriz? Akıllıca strateji her zaman başkalarının söz sahibi olmasına izin vermektir. Bu şekilde yarışmacılar, her bir kişinin güçlü yönlerini anlayacak ve soru kategorisine göre kime soracaklarını bilecekler. Ek olarak, bu yaklaşım her izleyiciyi sorumluluklarının farkına varacak ve oyuna katılmak zorunda hissettirecektir.
Sinir ağında kayıp
Dropout ve sinir ağları arasındaki ilişkinin ne olduğunu sorabilirsiniz. Ardından aşağıdaki ağa bakın:
Sinir ağının basit bir örneği
Giriş katmanı (yeşil) taraftar tarafından sorulan soru olarak kabul edilir, gizli katmandaki (mavi) her nöron izleyicide bir kişi olarak kabul edilir ve çıkış katmanı (kırmızı) seçilen izleyici tarafından verilen cevap olarak kabul edilir. . Çıktı katmanı belirli bir nöronun her zaman en iyi cevabı verdiğini bulursa, diğer nöronları görmezden gelebilir ve yalnızca o nörona dikkat edebilir.
Önceki analize göre, bazı nöronların cevap vermesini yasaklamayı ve diğer nöronlara fırsat vermeyi seçen bu yöntem, dengeyi sağlayacak ve tüm nöronları öğrenmeye zorlayacaktır. Bu, Bırakma kavramıdır. Teknik açıdan şu şekilde çalışır:
1. Katılmayan nöronların yüzdesini temsil eden bir bırakma oranı belirtin (örneğin, nöronların% 20'si).
2. Her aşamada, önceden belirlenmiş bir yüzdeye göre rastgele nöronlar çıkarılır.
3. Kalan nöronların sonuçlarının kombinasyonuna dayalı olarak nihai çıktıyı hesaplayın.
Bu tekniği kullanarak, tüm nöronların oy verme şansı vardır ve model kaybını azaltmak için doğru yanıt vermeleri gerekir.
Aşağıdakiler, Dropout'u kullanmadan önce ve sonra sinir ağındaki değişikliklerin örnekleridir:
Resim kaynağı: Bilgisayarla Görme için Derin Öğrenme
Keras'ta Bırakma Uygulaması
Bırakma'yı Keras'ta uygulamak hayal edilenden daha kolaydır. Yeni bir Bırakma katmanı nesnesini içe aktarın ve oluşturun ve ardından bunu ağ yapısının ilgili konumuna ekleyin.
keras'tan içe aktarma modelleri, katmanları model = modeller.Sequential () model.add (layer.Dense (32)) model.add (layer.Dropout (0.5)) model.add (layer.Dense (1))Genellikle, çıktı bırakma oranı = 0.5 (% 50) 'den önce, bırakma katmanı, tamamen bağlı Yoğun katmandan sonra eklenir. Son zamanlarda, evrişimli katmanın aktivasyon fonksiyonunun uygulanması veya döngü Bırakma oranı = 0.2 (% 20) sonrasında başka yöntemler de benimsenmiştir.
Yorum Beğen Takip Et
AI öğrenme ve geliştirmenin kuru mallarını paylaşalım
Tam platform yapay zeka dikey öz medya "temel okuma" yı takip etmeye hoş geldiniz
(Taze yapay zekalı kuru ürünleri tartışmak için çevreye katılın)
(Daire kartı buraya eklendi, lütfen görüntülemek için Toutiao istemcisine gidin)
