Sinir ağı hiç zor değil, sinir ağı çok sevimli
Yazar: Wang Xiaolong (neredeyse yazarı bilir)
https: // www. zhihu .com / soru / 22553761 / answer / 36429105
Orijinal başlık: Bir sinir ağının ne olduğu basit, canlı ve ilginç bir şekilde nasıl açıklanır?
Metin:
Sinir ağları hiç zor değil, sinir ağları çok tatlı! ! !
Sinir ağı sınıflandırması
Sinir ağlarının en önemli kullanımı sınıflandırmadır.Herkese sezgisel bir sınıflandırma anlayışı kazandırmak için birkaç örneğe bakalım:
İstenmeyen posta tanıma: Artık bir e-posta var, içinde görünen tüm sözcükleri çıkarın ve bir makineye gönderin Makinenin e-postanın istenmeyen posta olup olmadığını belirlemesi gerekir.
Hastalık kararı: Hasta, çok sayıda karaciğer fonksiyonu ve idrar testi yapmak için hastaneye gider ve test sonuçlarını bir makineye gönderir.Makinenin hastanın hasta olup olmadığına ve ne tür bir hastalığı olduğuna karar vermesi gerekir.
Kedi ve köpek sınıflandırması: Çok sayıda kedi ve köpek fotoğrafı var ve her fotoğraf bir makineye gönderiliyor ve makinenin bu fotoğraftaki şeyin kedi mi yoksa köpek mi olduğunu belirlemesi gerekiyor.
Girişi otomatik olarak sınıflandırabilen bu tür makinelere sınıflandırıcı adı verilir.
Sınıflandırıcının girdisi, özellik (vektör) adı verilen sayısal bir vektördür.
İlk örnekte, sınıflandırıcının girişi, sözlükteki her bir kelimenin vektör (1,1,0,0,0 ...) gibi e-postada görünüp görünmediğini gösteren bir grup 0 ve 1 değeridir. ) Bu e-postada yalnızca iki kelimenin terk edildiği ve anormal göründüğü anlamına gelir;
İkinci örnekte, sınıflandırıcının girdisi bir grup test göstergesidir;
Üçüncü örnekte, sınıflandırıcının girişi bir fotoğraftır. Her fotoğraf 320 * 240 piksellik kırmızı, yeşil ve mavi üç kanallı renkli fotoğrafsa, sınıflandırıcının girişi 320 * 240 * 3 = 2 uzunluğundadır. 30 400 vektör.
Sınıflandırıcının çıktısı da sayısaldır.
İlk örnekte, çıktı 1, e-postanın spam olduğunu belirtir ve çıktı 0, e-postanın normal e-posta olduğunu belirtir;
İkinci örnekte, çıktı 0 sağlık anlamına gelir, çıktı 1 hepatit A anlamına gelir, çıktı 2 hepatit B anlamına gelir, çıktı 3 bisküviler vb anlamına gelir;
Üçüncü örnekte, 0 çıkışı resmin bir köpek olduğunu ve 1 çıkışı bunun bir kedi olduğunu belirtir.
Sınıflandırıcının amacı, doğru sınıflandırma oranını olabildiğince yüksek yapmaktır. Genel olarak, önce bazı örnekleri toplamamız, doğru sınıflandırma sonuçlarını yapay olarak etiketlememiz ve ardından bu etiketli verileri sınıflandırıcıyı eğitmek için kullanmamız gerekir; eğitimli sınıflandırıcı yeni özellik vektörü üzerinde çalışabilir.
Nöronlar
Sınıflandırıcının girdisinin bir şekilde elde edilen iki değer olduğunu ve çıktının sırasıyla kedi ve köpek gibi 0 ve 1 olduğunu varsayalım. Şimdi bazı örnekler var:
Bir düşünün, bu iki özellik vektörü kümesini ayırmanın en kolay yolu nedir?
Tabii ki, iki veri setinin ortasına, solda köpek ve sağda kedi olacak şekilde dikey bir çizgi çizin ve sınıflandırıcı tamamlandı. Daha sonra yeni vektörle birlikte, çizginin soluna düşenlerin tamamı köpek, sağ tarafa düşen ise kedilerdir.
Düz bir çizgi, düzlemi ikiye böler, bir düzlem üç boyutlu alanı ikiye böler ve n-1 boyutlu bir hiper düzlem, n boyutlu uzayı ikiye böler. İki taraf iki farklı türe aittir. Bu sınıflandırıcıya sinir denir yuan.
Herkes bilir bir düzlemdeki düz bir çizginin denklemi
, Denklemin sol tarafı sırasıyla sıfırdan büyük ve sıfırdan küçük noktaları gösterir
Çizginin bir tarafında veya diğer tarafında, bu formülü n boyutlu uzaya genelleştirin. Çizginin yüksek boyutlu formu hiper düzlem olarak adlandırılır ve denklemi:
Nöron, h 0'dan büyük olduğunda 1 çıktısı veren ve h, 0'dan küçük olduğunda 0 çıktısı veren bir modeldir. Özellik alanı iki yarıya bölünmüştür ve iki yaprak iki kategoriye ait olarak kabul edilir. Korkarım ki bundan daha basit bir sınıflandırıcı asla düşünmeyeceksiniz. 1943'te McCulloch ve Pitts tarafından oluşturuldu.
Bu model biraz insan beynindeki bir nörona benziyor: birden çok reseptörden elektrik sinyalleri alıyor
İşlemek için
(Ağırlıklı toplama biraz kaydırılır, yani girdinin belirli bir düz çizgide olup olmadığı
Yan)
, Bir elektrik sinyali gönderin (sağ tarafa 1 gönderin, aksi takdirde sinyal göndermez, 0 olarak düşünülebilir), bu yüzden buna nöron denir.
Elbette yukarıdaki resimde sadece Tanrı'nın bakış açısından biliyorduk "Dikey bir çizgi iki türü ayırabilir" Nöronların gerçek eğitiminde, özelliklerin nasıl bir araya getirildiğini bilmiyoruz. Nöron modelinin bir öğrenme yöntemine Hebb algoritması denir:
Önce rastgele bir doğru / düzlem / hiper düzlem seçin ve sonra örnekleri birer birer alın.Eğer doğru bölünmüşse nokta yanlış tarafa bölünmüş demektir.Düz çizgiyi örneğe biraz daha yaklaştırın ve geçmeye çalışın. Bu numuneyi geçirin ve düz çizginin sağ tarafına koşmasına izin verin; eğer düz çizgi doğruysa, geçici olarak duracaktır. Bu nedenle, nöronları eğitme süreci, bu düz çizginin sürekli dans etmesi ve sonunda iki sınıf arasındaki dikey çizgiye atlamasıdır.
Nöral ağlar
MP nöronlarının birkaç önemli dezavantajı vardır. Birincisi, düz çizginin bir tarafını 0'a ve diğer tarafını 1'e değiştirir. Bu, farklı değildir ve matematiksel analize elverişli değildir.
İnsanlar, 0-1 adım işlevine benzer bir işlev kullanır, ancak onu değiştirmek için daha yumuşak Sigmoid işlevi kullanır (Sigmoid işlevi, nöronların hiper düzlemden farklı mesafelerdeki noktalara tepkisini kontrol edebilen bir ölçek parametresiyle birlikte gelir, bu burada yok sayılır), O zamandan beri, sinir ağının eğitimi, iyi bilinen geri yayılma algoritması olan gradyan iniş yöntemi kullanılarak oluşturulabilir.
Nöronun bir başka kusuru da şudur: sadece bir kesik yapabilir! Aşağıdaki iki kategoriyi bir bıçakla nasıl ayırabileceğinizi söyleyin.
Çözüm, çok katmanlı bir sinir ağıdır ve düşük seviyeli nöronların çıktısı, daha yüksek seviyeli nöronların girdisidir. Ortadan yatay olarak kesebiliriz, dikey olarak kesebiliriz ve sonra sol üstünü koyabiliriz ve Sağ alt Sağ üst kısımla birlikte bölün Sol alt Bölüm; ayrıca önce bu kısmı kazmak için sol üst köşenin kenarına 10 bıçak kesebilir ve sonra Sağ alt Açı birleştirme.
Her kesim için aslında bir nöron kullanılır, Farklı kesik yarım düzlemlerde kesişim ve birleştirme işlemleri gerçekleştirmek, bu nöronların çıkışını girdi olarak kullanmak ve daha sonra bir nöronu bağlamaktır. Bu örnekte, özelliğin şekli XOR olarak adlandırılır Bu durumda, bir nöron bunu kaldıramaz, ancak iki nöron katmanı onu doğru şekilde sınıflandırabilir.
Yeterince bıçak kesebildiğiniz ve sonuçları bir araya getirebildiğiniz sürece, herhangi bir garip şekilli sınır sinir ağı temsil edebilir, böylece sinir ağı teorik olarak çok karmaşık işlevleri / uzamsal dağılımları temsil edebilir. Bununla birlikte, gerçek sinir ağının doğru konuma geçip geçemeyeceği, ilk ağ değeri ayarına, örneklem boyutuna ve dağıtıma bağlıdır.
Sinir ağının büyüsü, bileşenlerinin her birinin çok basit olmasıdır - alanı kesin + bir tür aktivasyon işlevi (0-1 adım, sigmoid, maksimum havuz), Ancak katman katman basamaklandırılabilir. Giriş vektörü birçok nörona bağlıdır ve bu nöronların çıktısı bir grup nörona bağlıdır.Bu işlem birçok kez tekrarlanabilir.
Bu, insan beynindeki nöronlara çok benzer: Her nöronun giriş olarak bazı nöronları vardır ve ayrıca diğer nöronların da girişi Sayısal vektör, farklı nöronlar arasında iletilen bir elektrik sinyali gibidir. Bir nöron, yalnızca belirli koşullar yerine getirildiğinde sonraki nöron katmanına bir sinyal gönderir.
Elbette, insan beyni sinir ağı modelinden çok daha karmaşıktır: yapay sinir ağları genellikle bir halka yapısına sahip değildir; insan beyin nöronlarının elektrik sinyalleri yalnızca güçlü veya zayıf değil, aynı zamanda yapay sinirlerde Mors kodu gibi zaman açısından da kritiktir. Ağda böyle karmaşık bir sinyal modeli yoktur.
Sinir ağı eğitimi, geri yayılma algoritmasına dayanır : Başlangıçta, girdi katmanı özellik vektörünü girer ve ağ katmanı çıktıyı hesaplar.Çıktı katmanı, çıktının doğru sınıf numarasından farklı olduğunu bulur. Şu anda, son nöron katmanının parametreleri ayarlamasına izin verir ve son nöron katmanı yalnızca kendilerini ayarlamakla kalmaz Parametreler, ona bağlı sondan bir önceki nöron katmanını ayarlamak için de sipariş edilecek ve katmanlar geriye doğru ayarlanacaktır. Ayarlanan ağ örnek üzerinde devam edecek Ölçek , Çıkış hala yanlışsa, geri gelmeye devam edin ve ağ çıkışı tatmin olana kadar ayarlayın. Bu, Çin edebi sistemine çok benziyor Wu Mei Niang'ın efsanevi ekibi ağdaki bir nörondur ve parametreler yakın zamanda ayarlanmıştır.
Büyük sinir ağı
Ağımızda 10 katman nöron varsa ve 8. katman 2015 nöronu olup olmadığını merak etmeden duramayız, bu ne anlama geliyor?
Yedinci katmandaki çok sayıda nöronun çıktısını girdi olarak aldığını ve yedinci katmandaki nöronların girdi olarak altıncı katmandaki çok sayıda nöron kullandığını biliyoruz, bu nedenle bu özel sekizinci nöron katmanı, Bir tür soyut kavramı temsil ediyor mu?
Tıpkı beyninizin ses, görme ve dokunma sinyallerini işlemekten sorumlu çok sayıda nörona sahip olması gibi Farklı bilgilere farklı sinyaller gönderecekler.Böyle bir nöron (veya küçük bir nöron grubu) olacak mı? Bu sinyalleri toplayın, soyut bir kavrama uyup uymadıklarını analiz edin ve daha spesifik ve soyut kavramlardan sorumlu diğer nöronlarla etkileşime geçin.
2012'de Krizhevsky ve Toronto Üniversitesi'nden diğerleri, 9 katman, toplam 650.000 nöron ve 60 milyon parametre içeren çok büyük bir evrişimli sinir ağı inşa ettiler.
Ağın girdisi resimlerdir ve çıktı, böcekler, jaguarlar, cankurtaran botları ve benzeri gibi 1000 kategoridir.
Bu modelin eğitimi çok sayıda görüntü gerektirir ve sınıflandırma doğruluğu da önceki tüm sınıflandırıcıları ezicidir.
New York Üniversitesi'nden Zeiler ve Fergusi, bu ağdaki belirli nöronları seçtiler ve ortak yönlerini görmek için bu giriş görüntülerini özellikle büyük yanıtlarla bir araya getirdiler. Orta katmandaki nöronların bazı çok soyut özelliklere yanıt verdiğini buldular.
İlk nöron tabakası
Renkleri ve basit dokuları belirlemekten esas olarak sorumludur
İkinci katmandaki bazı nöronlar
Kumaş desenleri, ölçekler ve yaprak desenleri gibi daha ayrıntılı dokuları tanımlayabilir.
Üçüncü katmandaki bazı nöronlar
Karanlık gecede sarı mum ışığını, yumurta sarısını ve yüksek ışığı hissetmekten sorumludur.
Dördüncü katmandaki bazı nöronlar
Sevimli köpeğin yüzünün, uğur böceğinin ve bir sürü yuvarlak nesnenin varlığını tespit etmekten sorumludur.
Beşinci katmandaki bazı nöronlar
Çiçekleri, kubbeleri, klavyeleri, kuşları ve koyu halkalı hayvanları tanıyabilir.
Buradaki kavram, tüm ağın çıktısı değil, sonraki nöronlara hizmet eden ağın orta katmanındaki nöronların tercihleridir. Her nöron aptal olmasına rağmen (sadece bir kesik) 650.000 nöronun öğrenebileceği şey gerçekten çok derin.
