Derin sinir ağı (DNN), insan beyin korteksinin yapısını simüle ediyor mu?
Yazar: Harold Yue
Çin Bilimler Akademisi Üniversitesi | Bilişsel Sinirbilim
Qubit, düzenleme ve yayınlama yetkisine sahiptir
Biyoloji lisans öğrencisiyim ve bilişsel sinirbilim öğrencisiyim, boş zamanlarımda programlamayı ve makine öğrenimini tercih ediyorum. Derin öğrenme ve sinirbilim arasındaki bağlantıyı kendi bakış açıma göre tanımlamaya çalışıyorum.
Derin öğrenme ve sinirbilimin iki konusu şu anda çok büyük. Deneyimim hala sığ. Yanlış bir şey bulursanız, beni düzeltmeye hoş geldiniz, teşekkür ederim!
Sonra aşağıdan yukarıya konuşacağız.
Nöronlar
Derin öğrenme alanında, nöronlar en düşük seviyeli birimdir. Algılayıcı modelini kullanırsak, wx + b artı bir aktivasyon fonksiyonu her şeyi oluşturur. Girdi ve çıktı sayılardır.Araştırma bir yana, daha nettir. Parametreler bilindiğinde girdi ile çıktı hesaplanabilir, çıktı ile girdi hesaplanabilir.
Ancak sinirbilim alanında nöronlar en alt düzey birim değildir, örneğin bazı insanlar nöron zarlarındaki iyon kanallarıyla ilgili çalışmalar yapmaktadır. Bir nöronun girdisi üç bölüme ayrılabilir:
-
Diğer nöronlardan elektriksel sinyal girişi
-
Kimyasal sinyal girişi
-
Hücrede kodlanmış sinyaller de vardır (heyecan, inhibisyon tipi, burada aktivasyon fonksiyonuna benzer olabilir mi?)
Çıktı da üçtür:
-
Elektrik çıkışı
-
Kimyasal çıktı
-
Kendi durumunu değiştirin (LTP uzun vadeli geliştirme, LTD uzun vadeli inhibisyon)
Nöronlar hakkında yeterince bilgimiz var mı? Ben şahsen bundan çok şüphe duyuyorum Birkaç gün önce, nöronlarda, nöronların sadece tek bir sinyale yanıt veremeyeceği sonucuna varan bir ilerleme gördüm. . Ayrıca sinyallere belirli bir aralıkta tepki verebilir. . Nöronların altında yatan kodlama yeteneği aslında daha güçlüdür. . . Sinirbilimimiz çok uzun süredir gelişiyor ve belki de nöronları gerçekten çözemedik.
Burada başka bir şey söyle. Derin sinir ağlarında, düğümlerin çoğu aynıdır, ancak insan sinir ağlarında durum böyle değildir.Beyin bölgeleri içinde bile farklı beyin bölgeleri, V1'dekiler gibi çok farklı nöron morfolojilerine sahip olabilir. Altı katman, nöron morfolojisinin ayrımına dayanmaktadır.
Bu açıdan bakıldığında, insan sinir sistemi daha karmaşıktır. Kişisel olarak, her nöron türünün farklı başlatma parametrelerine sahip düğümlerle değiştirilebileceğini inkar etmiyorum, ancak şu anda karmaşıklık hala derin sinir ağlarından daha yüksek.
Sinyal kodlama yöntemi
Kodlama yönteminden bahsedelim. Sinirbilimdeki nöronlar 0-1 aksiyon potansiyeli üretecek ve karşılık gelen sinyaller, aksiyon potansiyellerinin frekansı (beynin çoğu böyledir, çevrede başka formlar vardır) ve yapay sinirler tarafından kodlanır. İnternet? Duyduğumuz ve gördüğümüz şeylerin çoğu bu şekilde kodlanmamalıdır, ancak sinir ağları yükseliyor.
Sinir ağının yapısı
Mevcut derin sinir ağının temel olarak üç yapısı vardır: DNN (tamamen bağlı), CNN (evrişim) ve RNN (döngüsel). Örneğin bazı çok garip şeyler de var. . . Dikkat? Üzgünüm, makaleyi henüz okumadım, bu yüzden saçma sapan konuşmaya cesaret edemiyorum. . .
Bir nokta haritası yerleştirin:
DNN
Resim:
CNN
AlexNet'ten resim
RNN
Resim:
Nörobilimdeki ağ yapısı, işte V1 örnek olarak:
Resim:
Resim:
Bir öncekinden çok daha iyi olan yeni bir resim sağladığı için @ to sayesinde bu resim hiyerarşik yapıyı daha iyi ifade ediyor.
Herkesin düşündüğünün aksine, V1, V2, V3, V4, V5 (MT), üzerinde FFA ve daha gelişmiş işlevlerden sorumlu bazı beyin bölgelerini görsel olarak ayırt eder. Küçük görsel korteksin her birinde, birbirine bağlı nöronlardan oluşmaz ve hala farklı hiyerarşik yapılar mevcuttur. Burada bir resim bulmak için Google'a gittim, belirli makaleden bağımsız olarak, esas olarak V1'in ince yapısını ve bağlantı ilişkisini açıklıyor. V1'in ana işlevi, noktaları ve çizgi parçalarını farklı açılardan belirlemektir (Hubel ve W, 1950'lerde kediler üzerinde çalıştı), ancak bundan daha fazlasıdır.V1'in ayrıca belirli bir renk algısı vardır.
Bu seviyede karşılaştırırsanız, benim anlayışım, insan sinir ağının DNN + CNN + RNN artı kodlama yöntemi olarak nabız olduğudur. Katmanlar daha çok DNN'lere benzer ve katmanlar CNN'lere benzer ve zaman içinde genişlediklerinde RNN'lerdir.
Tamam, devam edelim.
Eğitim yöntemi
Derin sinir ağının eğitim yöntemi esas olarak çıktı katmanından ilk katmana geri yayılımdır ve her katman sürekli olarak ortaya çıkan hataları düzeltir. Ancak beyinde benzer bir geri yayılım mekanizması yoktur En basit açıklama, nöron sinyal iletiminin yönlü olması ve sinyali önceki katmana geri döndürme şansının olmamasıdır.
Örneğin, elimdeki bardağı elime almak ve görsel olarak sağa kaydırıldığını fark edersem, doğal olarak tüm kolumu sola hareket ettirir ve sonra bardağı tekrar tutmaya çalışırım. Görünüşe göre kimse parmakları, elleri ve sonunda kolları bardağa doğru hareket ettirmiyor ve hatta birkaç kez başarılı olabilir. Burada bir sonraki makalede yer alan rakamı aktarıyorum.
Kaynak makale: https://arxiv.org/abs/1702.07097
Beynimiz daha çok son DFA ilkesine benziyor. Bir şeyler ters giderse, hatayı girişe daha yakın bir yere gönderin ve ardından yeniden eğitin.
Hafıza ve unutma
Bellek söz konusu olduğunda, buradaki ana şey LSTM'dir LSTM'nin belleği her düğümün ağırlığında depolanır ve unutma oranını kontrol etmek için özel bir unutma geçidi vardır. Bunlar dijital biçimde saklanır. Sinir sisteminde hafıza, bazı beyin bölgelerinde sinapsların oluşması ve kaybolması ile depolanır.
Aslında ortak noktaları, eğitim sürecinde hepsinin kademeli olarak değişmesidir. Geri yayılma mekanizması ve sinir sisteminin biyolojik doğası sayesinde, eğitim sürecinde ve sürekli öğrenme sürecinde ancak nispeten yavaş bir oranda değişebilirler.Öğrenme hızı açısından nispeten benzerdirler. .
Sonra unutmaktan bahsediyoruz. Unutma, LSTM'de kapılar tarafından kontrol edilir. Sinir sisteminde, bunun STDP ile ilgili olduğunu düşünüyorum. Bu, Hebb hipotezine dayanıyor. Ateş Birlikte, Birlikte Bağla, aynı anda ateşleyen nöronlar daha güçlü bir bağlantı kurma eğilimindedir. . STDP, iki nöronun ateşlenme sırasının etkisini hesaba katarak bu noktayı genişletir.
Resim:
Basitçe söylemek gerekirse, sinaptik öncesi nöron sinaptik sonrası nörondan önce ateşlenirse (nöronun sinyal iletimi, sinaptik öncesi ile sinaptik sonrası arasında yönlüdür), bu sinaps LTP'nin uzun vadeli potansiyalizasyon durumuna girecektir, Ön uyumlamalardan gelen sinyallere daha güçlü bir yanıt verecektir.
Tersine, sinaptik öncesi nöron sinapstan sonra boşalırsa, uzun vadeli bir engelleme durumuna girecektir (sinyali aynı kaynaktan almadıklarını ve sinyallerin ilişkili olmadığını gösterir) ve bir süre için yanıt daha zayıf olacaktır.
Derin sinir ağındaki kapının ağırlığı da geri yayılımla eğitilir ve aynı zamanda kademeli değişim doğasına sahiptir.Hızlı değişen uyaranlar için belirli bir gecikme olduğunda. Bu perspektiften, İnsan sinir sistemi daha esnektir ve kısa sürede durum değiştirebilir.
Sanırım muhtemelen söylemek istediğim şey bu, çünkü kendi araştırmam görsel dikkat ve insanlar üzerinde daha çok şey yapıyorum, bu yüzden orta döngü düzeyindeki araştırmaya özellikle aşina değilim. Devam edersek, insan serebral korteksinin çalışması söz konusu olduğunda, kişisel olarak yapabileceklerimizin çok sınırlı olduğunu hissediyorum. Çoğu beyin bölgesi için nasıl çalıştıklarını bilmiyoruz, ancak farklı beyin bölgelerini farklı işlevlerle ilişkilendirebiliriz ( Henüz kesin değil ...). Bu açıdan benzerlikleri ve farklılıkları hakkında konuşmak çok sorumlu değil. . . Yüzüne kolayca tokatlanır.
Daha sonra, döngünün bir sonraki seviyesi hakkında konuşmak için birkaç arkadaşı davet etmeye çalışacağım. . Ardından, hataları ve ekleri seçmeme yardımcı olacak başka meslektaşları bulacağım. . . . . Pek çok şey hafızaya göre yazılır. . Bazı şeyler mutlaka doğru değildir. .
Son olarak kendi görüşlerinizden bahsedelim
Anahatta belirtildiği gibi. Doğru cevaplar genellikle benzerdir, ancak yanlış cevaplar farklıdır. Yeryüzündeki pek çok ileri yaşam benzer altta yatan ağ yapılarına sahiptir ve bunlardan biri çok büyük bir uygarlık geliştirmiştir Sinir ağı yapısının en azından bizim tarafımızdan etkili bir form olduğu kanıtlanmıştır. Ancak bu, istihbarat biçiminde küresel bir optimal çözüm mü? Şahsen şüpheciyim.
Sinir ağı etkili bir yapı, bu yüzden herkesin bu yapıyı iyi sonuçlar almak için kullanmasına şaşırmadım. Fakat simülasyon hakkında konuşursanız, sadece bu yöne eğilmeye çalışın. Bu noktada şahsen bu yaklaşım konusunda pek iyimser değilim.
Yarasalardan ses konumlandırmayı kullanmayı öğrendik ve geliştirilen sonar, mesafe ve etki açısından yarasalarınkinden çok daha fazla. Yarasaları geçebilmemizin nedeni, teknolojimizin geniş olmasıdır.Altında yatan ilkelerin ortak olması şartıyla, mühendislik ve mekanik problemleri o kadar kolay çözemiyoruz, ancak birkaç kilometre hatta onlarca kilometre de tespit edebiliyoruz. İkinci sebep, ihtiyacımız olması ama yarasaların ihtiyacı yok, her gün mağarada uyuyorlar. . Onlarca kilometrelik bir mesafeyi tespit etmesi gerekmez ve onu yiyemez. .
Aslında insan beyni çok benzer, beyin evrimsel bir üründür. Sürekli olarak çevre tarafından şekillenir, neden insanlar ihtiyaç duymadıkları için bilgisayar gibi bilgi işlem gücünü geliştirmediler. Ama aslında sohbetin bazı ortak yönleri de var Beyinde de bazı şeylere ihtiyacımız yok. Binlerce yıldır açlığın sonundan itibaren yağ alımı ihtiyacını ve çocuklukta şeker alımına olan talebi geliştirdik. . Bununla birlikte, beynin çapaklarını temizleyip özü almamız daha iyi olmaz mıydı?
Yukarıda bahsettiğim ideal bir durum, hangisini çıkaracağımızı ve hangisini tutacağımızı bildiğimiz beyni tam olarak anlıyoruz. . ama şimdi. . . Bir simülasyon yolu izlemesi gerekebilir. . . .
Muhtemelen manzara budur. Özetlersek, Derin sinir ağlarının serebral korteks ile ortak bir yanı vardır, ancak bunlar simülasyon olarak kabul edilemez. Sorunu anlamak için herkes aynı fikri bulmuştur.
Okuduğunuz için teşekkürler, umarım daha değerli yorumlar sağlayabilirsiniz.
Bitiş
Bir uyarı
Qubit'ler, otonom sürüşle ilgili alanlarda çalışan öğrenciler veya ön saflardaki mühendisler için otonom bir sürüş teknolojisi grubu oluşturuyor. Herkese qubit WeChat (qbitbot) eklemeye hoş geldiniz, ha'ya katılmak için başvurmak için "otomatik sürüş" diyor ~
İşe Alım
Qubit, editörleri, muhabirleri, operasyonları, ürünleri ve diğer pozisyonları işe alıyor ve çalışma yeri Pekin, Zhongguancun'da bulunuyor. İlgili ayrıntılar için lütfen şu yanıtı verin: resmi hesabın diyalog arayüzünde "İşe Alım".
