"Hafta Sonu Yapay Zeka Sınıfı" Sinir Ağına Genel Bakış (Teori) Makine öğreniminde karşılaşacağınız "Çukur"
Evrensel yaklaşım teoremi (Evrensel yaklaşım teoremi):
En az bir gizli ezme işlevi katmanına sahip ileri beslemeli bir sinir ağı. Yeterince gizli nöron varsa, herhangi bir tanıma yaklaşabilir.
Sınırlı sürekli işlevi.
Evrensel yaklaşım teoremine göre, nöron sayısını artırarak sinir ağının kapasitesini ve karmaşıklığını genişletebiliriz. Gizli nöronların sayısını artırmanın iki yolu vardır:
- Ağın genişliğini artırın, yani gizli katmanda bulunan nöron sayısını artırın
- Ağın derinliğini artırın, yani gizli katmanların sayısını artırın
Modelin derinliğini artırmanın genişlikten daha etkili olduğu kanıtlanmıştır. Bir yandan, uygulama, basitçe genişliği artırmanın tüm ağın elde edilmesini zorlaştırabileceğini ve aynı hatayı elde etmek için derinliği artırmanın daha az nöron gerektirdiğini kanıtlamıştır.Diğer bir deyişle, daha derin bir model daha geniş bir modelin maliyetini düşürür. Nöronlara ihtiyaç vardır; Öte yandan teori, derin öğrenmenin, özellikleri öğrenerek modeli geliştirdiğini ve karmaşık temsilleri temsil etmek için daha basit temsiller kullandığını gösterir.Yaklaşılması gereken işlevler, birçok basit işlevin sürekli bileşimleridir. Derinliğin artması basitliğe karşılık gelir. Temsilin çoklu rekombinasyonu, genişliğin artırılması, karmaşık gösterimin bir kerelik çıkarımına karşılık gelir.
"Torbalama entegrasyonu ve istifleme entegrasyonu" na göre, sinir ağına entegrasyon perspektifinden bakıyoruz. Algılayıcıda yalnızca bir gizli katman olduğunu varsayarsak, gizli katmanların sayısı temel öğrenenlerin sayısını temsil eder. Genişliği artırmak, artmak anlamına gelir. Temel öğrenci sayısı, ancak bu entegrasyon yöntemi torbalama ile tam olarak aynı değil. Torbalama entegrasyonunda, her öğrenci bağımsızdır, ancak çok katmanlı bir algılayıcıda, temel öğrenci önceki katmanın ağırlığını paylaşır katsayı. Derinliği arttırırsanız, istifleme entegrasyonunu torbalamaya eklersiniz.Bir yandan, katman sayısındaki artışın, paylaşılan ağırlık katsayılarının çeşitliliğini artırdığı, bu da torbalama temel öğrenenlerin çeşitliliğini artırdığı ve nihai entegrasyon etkisinin daha iyi olabileceği anlaşılabilir. Tabii ki, istifleme yoluyla entegre edilen temel öğrenicide bir artış olarak da anlaşılabilir.
Fizikte, mikro düzey kanunlardan makro düzeydeki kanunlara geçtiğimizde, pek çok insan dünyanın bir ya da birkaç derin kanuna göre yönetilmesi gerektiğini düşünerek (Einstein dahil) indirgemeci bir tutum sergileyecektir. Şu anda baskın, parçacık fiziği en temel şey gibi görünüyor, kimya çok cisim fiziğinden başka bir şey değil ve moleküler biyoloji kimyadan başka bir şey değil. Fizikçi P.M. Anderson tarafından ortaya atılan bakış açısı "Daha fazlası farklıdır". Her parçacığın basit etkileşimini bilseniz bile, çok sayıda parçacığın bir araya gelmesiyle, davranışları sözde temel yasaları çok aşıyor. İndirgemeciliğe karşılık gelen Anderson, farklı seviyelerin farklı hukuk seviyelerine sahip olması gerektiğini ve yoğun madde fiziğinin başarısının tabakalaşma teorisinin bir tezahürü olduğunu savunuyor.
Sinir ağları hakkında bazı önemli sezgiler vermek için topluluk öğrenmeyi kullanabiliriz, ancak karmaşık torbalama ve istiflemeden sonra, sinir ağlarının çalışma mantığını entegrasyon prensibinden açıklamak zordur. Temsil öğrenme fikriyle sinir ağlarını anlamaya başladığımızda, Aslında yeni bir düzeyde kanunlar oluşturmaya çalışıyor. Aynı zamanda derinliği artırmak daha etkili bir yol olsa da optimize edilmesi zor problemler getirecektir.
Makine öğrenimi modeli perspektifinden, modelin Kayıp fonksiyonunun aşırı uyumunun nasıl önleneceği, hiperparametrelerin nasıl ayarlanacağı ve eğitim etkisi ve hızının nasıl sağlanacağı, doğal olarak bu konuları tartışmamız gerekir. Ancak vurgulamak istediğim şey, buna ek olarak, karşılaştığımız daha sorunlu sorunun, sinir ağının kendisinin özelliğidir.Sinir ağımızda karşılaştığımız bir dizi sorun, nihayetinde sinir ağının yapısal tasarımıyla ilgilidir:
- Makro açıdan bakıldığında, ağda kaç katman bulunmalı, her katmanda kaç nöron olmalı ve katmanlar nasıl bağlanmalıdır?
- Mikro seviyeden, gizli birimin türü nedir ve çıktı birimi nasıl belirlenir
Bu problemleri çözmek için, sinir ağının doğasına göre cevap vermeliyiz, ancak nadiren toplu öğrenme perspektifinden cevap vermeliyiz. Özellikle, iki kategoride özetlenebilirler:
- Daha iyi bir temsil nasıl yapılır
- Daha iyi optimizasyon nasıl yapılır
Temsili öğrenme ve bahsettiğimiz özellik seçimi ve boyutsallık azaltma arasındaki en büyük fark, ilkinin neredeyse hiç manuel müdahale gerektirmemesi, ikincisi ise manuel tasarım gerektirmesidir. İstatistiksel öğrenmede, iyi bir özellik alanının makine öğrenimi görevlerimiz üzerinde büyük bir etkisi olacağını zaten biliyoruz. Tipik bir örnek, önceki kursta doğrudan ayrılmaz bir doğrusal özelliği birleştiren Kernel PCA boyutlarını azaltma yöntemini tanıtmış olmamızdır. Uzay doğrusal olarak ayrılabilir bir özellik uzayına dönüştürülür ve bu dönüşüm bir temsildir.
Sinir ağında, bir otomatik kodlayıcı teknolojisi kullanacağız, yapısı nispeten basittir, giriş orijinal verilerdir, çıktı ayrıca kodlama için girdiden gizli katmana, çıktıdan gizli katmana orijinal veri olmayı umar. Kod çözme için gizli katman, orijinal verilerin bir temsilini içerir. Kısacası, umarız:
Otomatik kodlayıcıya L1 düzenlileştirme ekleriz, ardından seyrek bir gösterim elde ederiz. Gizli katman boyutunu, gizli katmandaki girdiden daha küçük olacak şekilde sınırlandırırız, ardından boyutsallık azaltma amacına ulaşılır. Girişe gürültü eklenirse ve çıktı Gürültü yoksa, gürültü azaltma yeteneği elde edersiniz.
Resim bir otomatik kodlayıcı örneğidir, sıkıştırılmış gösterim istediğimiz temsildir
Olağanüstü bir teknoloji, resmin yerel korelasyonunu hesaba katan, son derece kullanışlı özellikler elde etmek için evrişim işlemlerini kullanan ve görüntü tanıma alanında büyük başarı elde eden özellikleri daha da birleştirmek için havuzlamayı kullanan Convolutional Neural Network'dür (CNN). . Bu temelde, insanlar evrişim çekirdeğinin boyutunu, sayısını ve şeklini daha da değiştirir ve aynı zamanda yenilikçi bir şekilde gruplandırılmış evrişim, alt kanal ağırlıklı evrişim gerçekleştirir ve aynı anda farklı boyutlarda evrişim çekirdekleri kullanır. Gizli katmanda daha iyi bir temsil elde edilir.
Şekil, elle yazılmış rakam tanımanın bir sinir ağı görselleştirmesidir. Evrişim ve havuz işlemleri daha iyi temsil içindir.
Aynı zamanda, yaygın olarak kullanılan bir diğer teknoloji, konuşmanın zamansal korelasyonunu hesaba katan ve gizli katmanı dinamik bir sistem olarak gören Tekrarlayan Sinir Ağı (RNN) 'dir.Aynı gizli katmandaki nöronlar, mevcut durumu oluşturmak için birbirine bağlanır. Gelecekteki durumu etkileyebilir. Bu temelde, insanlar iki yönlü bir dolaşım yolu ekleyebilirler, böylece gelecekteki durum da bugünü etkileyebilir.
Şekilde gösterildiği gibi, bu RNN'nin temel formlarından biridir.Gizli katmanlarda, nöronlar arasındaki ağırlık katsayılarını ekliyoruz.Nöral ağın, iyi bir temsil elde etmek için zamanlama ile ilgili bilgileri kullanabileceğini umuyoruz.
SGD, Adam, RMSProp gibi gradyan tabanlı optimizasyon algoritmalarını daha önce tanıttık ve Loss fonksiyonunun derin öğrenmede dışbükey bir fonksiyon olarak davranması gerekmediğini vurguladık, çünkü optimizasyonun amacı artık global minimumu bulmak değil. Bunun yerine, genelleme hatası kabul edilebilir aralıkta olan parametreleri bulun.
Bununla birlikte, optimizasyonun zorluğu kısmen gradyan tahmininden kaynaklanmaktadır Basitçe söylemek gerekirse, sigmoid fonksiyonunun türevi sol ve sağ uçlarda sıfır olma eğiliminde olacaktır.
Bu sorunu önlemek için, gizli birimler sigmoid işlevini ve tanh işlevini kullanamazlar, ancak ağın aktivasyonu çok küçük olduğunda iyi performans gösterirler. Şu anda, ReLU (doğrusal düzeltme birimi) genellikle etkinleştirme işlevi olarak kullanılmaktadır:
ReLU'nun optimize edilmesi kolaydır, ancak sıfırdan küçük konumlarda relu'nun türevi hala sıfırdır, bu nedenle maxout birimi, Leakly ReLU gibi birçok genişletme olmuştur. Ancak nasıl değiştirilirse değiştirilsin, gizli birim, optimize etmesi mümkün olduğunca kolay olacak şekilde tasarlanmıştır ReLU'nun popülaritesinin büyük bir kısmı, yaklaşık olarak doğrusal ve optimize edilmesinin çok kolay olmasıdır, ancak aynı zamanda evrensel yaklaşım teoremine de uygundur.
Ancak ReLU kullansak bile, optimizasyon hala zordur.Bu büyük ölçüde, RNN'de her seferinde gradyan sonucunu büyütecek veya azaltacak çok yaygın uzun vadeli bağımlılık sorunu gibi çoklu ağırlıkların sonuçlarından kaynaklanmaktadır. Temel olarak iki kategoriye ayrılmıştır.Bir yandan, ResNet ve DenseNet gibi yeni katman ve katman bağlantı yöntemlerinin yeniliği, böylece derin ağ optimizasyonu da tatmin edici sonuçlar elde edebilir.Özel bir LSTM türü de RNN'ye eklenebilir Yapı, uzun vadeli bağımlılık problemini çözmektir, öte yandan, katman operasyonunun yeniliği, parti standardizasyonunun ortaya çıkması, her katmanın çıktısı standartlaştırılır ve orijinal derinlikteki katmanlar sığ katmanlar olarak ele alınır.
Bu makale esas olarak iki benzersiz derin ağ tasarımı fikrini sıralıyor; biri daha iyi temsil elde etmek, diğeri daha iyi optimizasyon elde etmektir. Güçlü bir makine öğrenimi yöntemi olarak, kaçınılmaz olarak modelin Kayıp işlevine, aşırı uydurmanın nasıl önleneceğine, hiperparametrelerde nasıl hata ayıklanacağına ve diğer sorunlara sahip olacak, ancak bir sonraki öğrenme sürecinde, okuyucuların yukarıdaki ikisini hala kavrayabileceğini umuyorum. Ana fikir derin öğrenme yöntemlerini anlamaktır.
