"İnfografik" Sinir Ağı Hayvanat Bahçesi Önsözü: Hücre ve Katman arasında nasıl bağlantı kurulur
1 Yeni Zhiyuan derlemesi
Bilgi Görseli: Sinir Ağı Temel Birimi
Neural Network Zoo, farklı sinir ağı temel birimleri ve çeşitli sinir ağı katmanları arasındaki bağlantıları gösterir. Ancak, her bir temel birimin nasıl çalıştığını gerçekten göstermez. Birçok temel birim türü için, başlangıçta ağı ayırt etmek için farklı renkler verdim, ancak şimdi bu temel birimlerin aşağı yukarı aynı şekilde çalıştığını, dolayısıyla onu tanımlamak için yalnızca temel birim görüntülerinin gerekli olduğunu görüyorum. .
Temel bir sinir ağı birimi Çok basit ve bu, normal ileriye dönük bir mimaride göreceğiniz türden. Ünite ağırlık olarak diğer nöronlara bağlıdır yani bir önceki katmandaki tüm nöronlara bağlanabilir. Her bağlantının kendi ağırlığı vardır ve bu genellikle rastgele bir sayıdır. Ağırlık negatif, pozitif, çok küçük, çok büyük veya sıfır olabilir. Her temel birim bağlantısının değeri, ilgili bağlantı ağırlığı ile çarpılır ve elde edilen tüm değerler eklenir. Ayrıca önyargı da eklenir. Sapma, ünitenin sıfır çıktı durumunda takılıp kalmasını önleyebilir ve bazı işlemleri hızlandırarak sorunu çözmek için gereken nöron sayısını azaltabilir. Sapma da bir sayıdır, bazen bir sabittir (genellikle -1 veya 1) ve bazen bir değişkendir. Daha sonra bu toplam aktivasyon fonksiyonundan geçer ve sonucun değeri hücrenin değeri olur.
Evrişim birimi İleri beslemeli birimlere çok benzer, ancak bunlar genellikle önceki katmandaki birkaç nörona bağlanırlar. Genellikle uzamsal bilgileri depolamak için kullanılırlar çünkü birkaç rastgele birime değil, belirli bir mesafedeki tüm birimlere bağlıdırlar. Bu, onları görüntüler ve ses dalgaları (ancak çoğunlukla görüntüler) gibi birçok yerel bilgi içeren veriler için çok yararlı hale getirir. Ters evrişimsel birimler tam tersidir: bir sonraki katmana yerel olarak bağlanarak uzamsal bilgiyi çözme eğilimindedirler. Bu iki birim genellikle bağımsız olarak eğitilmiş birçok klona sahiptir; her klonun kendi ağırlığı vardır, ancak bağlantı yöntemi tamamen aynıdır. Bu klonlama birimlerinin, aynı yapıya sahip ayrı ağlarda bulunduğu düşünülebilir. Her ikisi de temelde normal birimlerle aynıdır, ancak farklı şekillerde kullanılırlar.
Havuzlama ve enterpolasyon birimi Genellikle evrişim birimi ile birleştirilir. Bu birimler gerçek birimler değil, daha ilkel işlemlerdir. Havuzlama ünitesi gelen bağlantıları alır ve hangi bağlantının geçebileceğine karar verir. Bir görüntüde bu, görüntüyü küçültmek olarak düşünülebilir, artık tüm pikselleri göremezsiniz ve hangi pikselleri saklayıp hangilerini atacağınızı anlamanız gerekir. Enterpolasyon birimleri ters işlemi gerçekleştirir: bazı bilgiler alırlar ve daha fazla bilgi ile eşlerler. Ekstra bilgi, tıpkı küçük çözünürlüklü bir resmin üzerine yerleştirildiği gibi, onun tarafından üretilir. İnterpolasyon birimleri, havuzlama birimlerinin tek tersi işlemi değildir, ancak uygulaması basit oldukları için nispeten yaygındır. İkisi sırasıyla evrişim ve ters evrişim birimleri olarak bağlanır.
Ortalama ve standart sapma birimi (İkisi neredeyse sadece olasılık biriminde bir çift olarak görünebilir) olasılık dağılımını temsil etmek için kullanılır. Ortalama, ortalama değerdir ve standart sapma, ortalamadan ne kadar uzakta olduğunu gösterir (her iki yönde). Örneğin, bir görüntünün olasılık birimi, belirli bir pikselde ne kadar kırmızı olduğu hakkında bilgi içerebilir. Örneğin, ortalama 0,5 ve standart sapma 0,2 olabilir. Bu olasılık birimlerinden örnekleme yaparken, bu değerleri Gauss rasgele sayı üretecine girebilirsiniz. 0,4 ile 0,6 arasındaki herhangi bir değer çok olası bir sonuçtur. 0,5'ten uzak değerler daha nadir olacaktır (ancak yine de mümkündür) ). Genellikle üst veya alt katmana tamamen bağlıdırlar ve sapmaları yoktur.
Döngüsel birim Bağlantı sadece seviyelerde değil, aynı zamanda zamanla da kendini gösterir. Her birim önceki değerini dahili olarak saklayacaktır. Temel hücreler gibi güncellenir, ancak ek ağırlık ile: hücreye bağlı önceki değerler de çoğu zaman aynı katmandaki tüm hücrelere bağlanır. Mevcut değer ile saklanan önceki değer arasındaki bu ağırlıklar, iki özelliği belirli bir "durum" ile miras alan geçici bir belleğe (RAM gibi) çok benzer ve beslenmezse kaybolur. Önceki değer aktivasyon fonksiyonundan geçen değer olduğundan ve her güncelleme bu aktivasyon değerini diğer ağırlıklarla birlikte aktivasyon fonksiyonundan geçtiği için bilgiler kaybolmaya devam edecektir. Aslında, tutma oranı o kadar düşüktür ki, dört veya beş yinelemeden sonra neredeyse tüm bilgiler kaybolur.
Uzun kısa süreli hafıza birimi Döngüsel birimdeki hızlı bilgi kaybı sorununu çözmek için kullanılır. LSTM birimi, bir bilgisayar için bir depolama biriminin nasıl tasarlanacağından kopyalanan bir mantık döngüsüdür. İki durumu depolayan RNN ünitesi ile karşılaştırıldığında, LSTM ünitesi dört tane depolar: çıktının mevcut ve son değeri ve "depolama ünitesi" durumunun mevcut ve son değeri. Üç "geçitleri" vardır: giriş, çıkış, unutma, ayrıca sadece normal girişleri vardır. Bu kapıların her birinin kendi ağırlığı vardır, yani bu tür bir üniteye bağlanmak için dört ağırlığın (tek bir ağırlık yerine) ayarlanması gerekir. Bir kapının işlevi, bir çit kapısı değil, bir akış kapısı gibidir: her şeyin geçmesine izin verebilir ya da sadece biraz bilgi geçebilir ya da hiçbir şey geçemez. Bu, giriş bilgisinin eşik değerinde saklanan 0 ile 1 arasındaki bir değerle çarpılmasıyla elde edilebilir.
Ardından, giriş geçidi, hücre değerine ne kadar giriş eklenmesine izin verileceğini belirler. Çıkış kapısı, ağın geri kalanı tarafından kaç tane çıkış değerinin görülebileceğini belirler. Unutma geçidi, çıkış biriminin önceki değerine değil, depolama biriminin önceki değerine bağlıdır. Son depolama biriminin durumunun ne kadarının tutulacağını belirler. Çıkışa bağlı değildir, bu nedenle daha az bilgi kaybı olacaktır, çünkü döngüye herhangi bir aktivasyon fonksiyonu yerleştirilmemiştir.
Kapı döngüsü ünitesi LSTM biriminin bir varyasyonudur. Ayrıca bilgi kaybını ortadan kaldırmak için kapıları kullanırlar, ancak yalnızca iki kapıya ihtiyaçları vardır: güncelleme ve yeniden başlatma. Bu onları biraz daha az etkileyici hale getirir, ancak aynı zamanda daha az bağlantı kullandıkları için biraz daha hızlıdır. Temelde, LSTM birimleri ve GRU birimleri arasında iki fark vardır: GRU birimleri, çıkış kapıları tarafından korunan gizli bir birim durumuna sahip değildir ve giriş ve unutma kapılarını tek bir güncelleme geçidinde birleştirirler. Buradaki fikir, çok sayıda yeni bilgiye izin vermek istiyorsanız, eski bilgilerin bazılarını unutabilmenizdir.
Zemin
Bir grafik oluşturmak için nöronları bağlamanın en temel yolu, her şeyi birbirine bağlamaktır. Bu, Hopfield ağında ve Boltzmann makinesinde görülebilir. Elbette bu, bağlantı sayısının katlanarak arttığı anlamına gelir, ancak performans beklendiği gibi olmayabilir. Buna tam (veya tam) bağlantı denir.
Bir süre sonra, ağı farklı katmanlara bölmenin yararlı bir özellik olduğu keşfedildi; burada katman tanımı, birbirine bağlı olmayan, ancak yalnızca diğer gruplardan nöronlarla ilişkili olan bir grup veya nöron gruplarıdır. Bu kavram Boltzmann makinelerinin sınırlandırılmasında kullanılır. Katmanları kullanma fikri artık herhangi bir sayıda katmana yaygın olarak uygulanmaktadır ve hemen hemen tüm mevcut mimarilerde bulunabilir. (Belki kafa karıştırıcı) Buna, tamamen bağlantılı veya tamamen bağlı olarak da adlandırılır, çünkü gerçekte tamamen bağlantılı ağlar yaygın değildir.
Evrişimsel olarak bağlı katmanlar, tamamen bağlantılı katmanlardan daha kısıtlıdır : Her bir nöronu yalnızca yakınlardaki diğer gruplardaki nöronlara bağlarız. Bilgi doğrudan ağa bire bir beslenirse (örneğin, piksel başına bir nöron kullanılarak), görüntülerde ve ses dalgalarında bulunan bilgi miktarı çok büyük olacaktır. Evrişimli bağlantılar fikri bir gözlemden gelir: bilgiyi korumak için alan önemli olabilir. Aslında bu iyi bir tahmindir, çünkü görüntülere ve ses dalgalarına dayalı birçok sinir ağı uygulamasında kullanılmaktadır. Bununla birlikte, bu düzenleme, tamamen bağlı katmanlardan daha az anlamlı. Özünde, hangi yakından gruplanmış bilgi paketlerinin önemli olduğunu belirleyen "önemli" bir filtreleme yöntemidir; evrişimli bağlantılar, boyut azaltma için çok uygundur. Nöronların hala bağlanabileceği mesafe, gerçekleştirmeye bağlıdır, ancak nadiren 4 veya 5 nöron aralığı kullanılır. "Uzay" ın genellikle iki boyutlu bir alanı ifade ettiğine dikkat edin, bu nedenle görüntü bağlantılarının çoğu üç boyutlu nöron parçalarıdır; bağlantı aralığı tüm boyutlara uygulanır.
Diğer seçenek elbette rastgele bağlanmış nöronlardır. Bu aynı zamanda iki ana değişikliği de beraberinde getirir: tüm olası bağlantıların bir kısmına izin vererek veya bazı nöronları farklı katmanlar arasında bağlayarak. Rastgele bağlantılar, ağın performansını doğrusal olarak düşürmeye yardımcı olur ve tam bağlı katmanın performans sorunlarıyla karşılaştığı büyük ağlarda yararlı olabilir. Bazı durumlarda, biraz daha fazla nörona sahip seyrek olarak bağlanmış bir katman, özellikle büyük miktarda bilginin depolanması gerektiğinde, ancak çok fazla bilginin değiş tokuş edilmesi gerekmediğinde daha iyi performans gösterebilir (evrişimli bağlantı katmanının etkinliğine biraz benzer, Daha sonra randomize edildi). ELM, ESN ve LSM'de gösterildiği gibi çok seyrek bağlı sistemler (% 1 veya% 2) da kullanılacaktır. Özellikle hızlandırılmış ağlar söz konusu olduğunda, bu çok önemlidir, çünkü bir nöronun ne kadar çok bağlantısı varsa, her ağırlık o kadar az enerji taşır, bu da daha az yayılma ve tekrarlayan kalıplar anlamına gelir.
Zaman geciktirme bağlantısı Önceki katmandan bilgi almayan (genellikle aynı katmandan veya hatta kendilerine bağlı), ancak geçmiş katmandan (esas olarak önceki yineleme) nöronlar arasındaki bağlantıdır. Bu, ilgili bilgilerin (zaman, sıra veya sıra) geçici olarak saklanmasına izin verir. Bu tür bağlantılar genellikle ağın "durumunu" temizlemek için sık sık manuel sıfırlama gerektirir. Normal bağlantılardan temel farkı, ağ eğitimli olmasa bile bu bağlantıların sürekli değişmesidir.
Aşağıdaki şekil, yukarıdaki türden bazı küçük örnek ağları ve bunların bağlantılarını göstermektedir. Bağlantının ne olduğunu bulmak istediğimde, onu kullanacağım (özellikle LSTM veya GRU hücrelerini kullanmakla ilgili):
İş ayrıntılarını görüntülemek için orijinal metni okumak için tıklayın ve katılmanızı dört gözle bekleyin ~
