MIT'nin en son algoritması, iki yönlü yayılım, BP'den 25 kat daha hızlı
Xinzhiyuan Derlemesi
Geri yayılım (BP) algoritması, derin sinir ağlarını eğitmek için "fiili" bir yöntem olarak kabul edilir. Çıktı katmanının hatasını doğru bir şekilde gizli katmana geri yaymak için ileri besleme ağırlıklarının aktarımını kullanır. Bununla birlikte, bazı insanlar bunun biyolojik olarak mantıksız olduğuna inanırlar, çünkü biyolojik sinir sisteminde, hata sinyallerinin doğru girdi ağırlıklarıyla geri yayılmasının imkansız olduğu kabul edilir. Nörobilim ve BP'ye benzer asimetrik yöntemlerle ilgili literatüre dayanan bu çalışmada, araştırmacılar biyolojik olarak makul bir sinir yapısı paradigması önerdiler. Özellikle, araştırmacılar eğitilebilir ileri besleme ve geri bildirim ağırlıklarına sahip iki yönlü öğrenme algoritması önerdiler. İleri besleme ağırlıkları, aktivasyonu girişten hedef çıkışa aktarmak için kullanılır. Geri besleme ağırlığı, hata sinyalini çıktı katmanından gizli katmana aktarır. BP'ye benzer diğer asimetrik yöntemlerin aksine, geri bildirim ağırlıkları da çerçevede çok değişkendir ve ileriye dönük aktivasyonu yaklaşık olarak belirlemek için eğitilmiştir. Ön sonuçlar, çalışma tarafından önerilen modelin, MNIST ve CIFAR-10 veri setlerinde BP'ye benzer diğer asimetrik yöntemlerden daha üstün olduğunu göstermektedir.
Tez Rehberi
Backpropagation (BP) algoritması, ters mod otomatik farklılaştırma ve en dik iniş yönteminin bir kombinasyonudur ve derin sinir ağlarının (DNN) eğitimi için bir yöntem olarak kabul edilir. Hatayı çıktı katmanından kesin bir şekilde giriş katmanına katman katman geri yayar. Bununla birlikte, bazı insanlar biyolojik olarak beyindeki hassas simetrik arka kanalları içeren öğrenmenin imkansız olduğuna inanıyor.
Derin öğrenmenin ilk aşamalarında, Boltzmann makinesi denetimsiz ön eğitim için kullanılır ve daha sonra ince ayar için BP kullanılır, simetrik ağırlıkları içermez ve biyolojik mekanizmalara dayanır. Son zamanlarda, biyolojik olarak uygun ve pratik BP alternatiflerinin geliştirilmesi üzerine giderek daha fazla araştırma yapılmıştır.
Öte yandan, nörobilim literatürüne bağlı olarak, uzun vadeli güçlendirme (LTP), insan hafızası ve öğrenmesinde önemli bir adım olarak kabul edilir. LTP'de tanıtıldığı gibi, nöronlar arasındaki güçlü bağlantı, bir nöronun dendritlerinin zarına daha fazla iyon reseptörü taşıdığı bir nöromodülasyon adımı ile başlar. Sonuç, daha fazla iyonun yakalanması ve bu da elektriksel nabzın yükselmesidir.
LTP ilkesine ve geri bildirim ağırlıklarının değişken olduğu varsayımına dayanarak, biyolojik düzeyde daha makul bir algı paradigması ve iki çift yönlü öğrenme modeli öneriyoruz. Bu iki yönlü öğrenme modellerinde, ileri besleme ağırlıkları pozitif aşamada ayarlanır ve geri bildirim ağırlıkları geri aşamada öğrenilir. Önerdiğimiz model, geribildirim ağırlıklarının rastgele ve sabit olması gerektiği varsayımını ortadan kaldırır. Geri bildirim ağırlıkları, eğitim sırasında ileri aktivasyonu yaklaşık olarak belirlemek için eğitilir. Kıyaslama veri seti üzerindeki deneyler, modelimizin hata sinyallerini iletmek için sabit geri besleme ağırlıkları kullanan FA (geri besleme-hizalama modeli) ve DFA'dan (doğrudan geri besleme-hizalama modeli) üstün olduğunu göstermektedir. Ayrıca, hata sinyallerini iletmek için uyarlanabilir ağırlıkların kullanılmasının sabit ağırlık kullanmaktan neden daha iyi olduğuna dair bir ön analiz sunuyoruz. Bildiğimiz kadarıyla bu, uyarlanabilir asimetrik geri bildirim kanallarının DNN'de rastgele ve sabit geri bildirim kanallarından daha etkili olduğunu gösteren ilk araştırma girişimidir.
Şekil 1: BP (Geri yayılım), FA (geri bildirim-hizalama) ve DFA (doğrudan geri bildirim-hizalama) modelleri. Siyah ok, pozitif aktivasyon yolunu temsil eder. Kırmızı ok, hata (gradyan) yayılma yolunu gösterir.
Rastgele ve sabit geribildirim ağırlıklarına sahip FA ve DFA, biyolojik olarak BP'den daha makul olsa da, beyindeki geribildirim ağırlıkları da çok değişkendir. Önceki çalışmalar, FA'da kullanılan ileri ağırlıkların geri besleme rastgele ağırlıklarını taklit etmeyi öğrendiğini göstermiştir.
Burada ele aldığımız DNN'nin 2 gizli katmanı vardır. Önceki katmanı i-inci gizli katmana bağlayan ağırlıktır (absorpsiyon Önyargıları); uygun boyutlara sahip sabit bir rastgele ağırlık matrisidir.
BP, FA ve DFA ile geleneksel DNN'ler tek yönlüdür, yani yalnızca girdiyi hedef çıktı olarak nasıl göstereceklerini öğrenirler. Nörobilimin ilgili literatürüne dayanarak, bu araştırma biyolojik olarak makul bir bilgisayar bilişsel model önermekte ve ardından çift yönlü geribildirim hizalaması (BFA) ve çift yönlü doğrudan geribildirim hizalaması (BDFA) önermektedir. ) Model, nöronları ileri ve geri süreçler için eğitilebilir iki set ağırlık ile birleştirir.
Biyolojik olarak sağlam bilişsel bilgi işlem modeli
Gradyan iniş algoritmalarıyla eğitilmiş klasik bilişsel hesaplama modellerinin, biyolojik sinir sisteminde imkansız olduğu düşünülen doğru ileri beslemeli nöron sinaptik ağırlıklarına dayalı olarak hata sinyallerini geri yayması gerekir. Öte yandan, uzun vadeli güçlendirme (LTP), biyoloji ve bilişsel bilimlerde öğrenmenin temel bir öğesi olarak kabul edilir.
-
Uzun vadeli iyileştirme
Biyolojik nöronlar, aksonlar ve dendritler dahil olmak üzere nöron sinapsları ile bağlanır Aksonlar sinyaller yayar ve bir sonraki nöronun dendritleri aksonlar tarafından yayılan sinyalleri alır. Bununla birlikte, aksonlar ve dendritler sinaptik yarıklarla ayrılır Aksonlar, sinaptik yarığa iyon bırakarak elektrik darbeleri gönderir ve iyonlar, dendritik hücre zarı üzerindeki reseptörler tarafından yakalanır. Yapı aşağıdaki gibidir:
Şekil 2: Aksonlar ve dendritler arasındaki sinirsel bağlantı mimarisi
Sinapslar sinir sinyallerini nörondan nörona ilettiğinde, nöron daha fazla iyon yakalamak için dendritler üzerinde daha fazla reseptör salgılar. Bu süreç, arasındaki sinaptik yarıkta iyon birikimini azaltır ve böylece
Daha fazla iyon salabilir. Bu şekilde LTP süreci nedeniyle nöronlar arasında daha güçlü bir bağlantı kurulur. LTP, nöronlar arasındaki bağlantıları ayarlar ve hafıza oluşumu ve öğrenmede önemli bir rol oynar.
-
Biyolojik olarak sağlam bilişsel bilgi işlem modeli
Nöronlar arasındaki belirgin uyumun ilk adımı ve dendritlerindeki algılayıcıların sayısını ayarlamaktır, bu LTP sürecinden gözlemlediğimiz önemli bilgilerdir. Bu ilkeye dayanarak, biyolojik olarak daha makul bir bilişsel hesaplama modeli öneriyoruz.
BioPP modelinin bileşenleri aşağıdaki gibidir:
Sinyal
BioPP mimarisinde iki dizi sinyal vardır: ileri beslemeli sinyaller - sinyaller, çıkarım görevleriyle başa çıkmak için ağda ileriye doğru yayılır; hata sinyalleri - sinyaller sinaptik ağırlıkları ayarlamak için geriye doğru yayılır
Ağırlıklar
Ağırlık, bilişsel hesaplama modelinin girişten veya komşu nöronlardan yakalamaya karar verdiği sinyallerin sayısını temsil eder. Bilişsel hesaplama modelinin kullandığı hata sinyallerinin sayısının da kendisi tarafından belirlendiği belirtilmelidir. BioPP, girişteki hata sinyaline göre kendi ağırlığını ayarlayacak ve ardından hata sinyalini diğer nöronlara gönderecektir.
Aktivasyon ve sapma
Aktivasyon ve önyargı tanımları, BP ile eğitilmiş standart DNN'deki tanımlarla aynıdır.
BioPP'nin mimarisi, yeşil dairelerin nöron olduğu, mavi eğrilerin ileri sinapsları ve kırmızı eğrilerin geri sinapsları temsil ettiği Şekil 3'te gösterilmektedir. Mavi kare ve kırmızı kare, sırasıyla ileri ve geri sinapsların sensörleridir. BioPP'nin tanımına göre ağırlığın algılayıcı tarafından ayarlandığını belirtmekte fayda var.
Şekil 3: 2 BioPP arasındaki nöron bağlantısının mimarisi
BioPP'nin üç sınırlaması vardır:
Ağırlık girildiğinde, akson potansiyeli sinir sinyalini tek yönlü olarak ilettiği için hata sinyali hesaplanamaz;
Dahili veya harici hata sinyallerine dayanarak, nöronlar ağırlıklarını yerel olarak öğrenebilir;
Tüm girdi ağırlıkları uyarlanabilir olmalıdır.
FA ve DFA'da önerilen nöral model ve BioPP'nin ilkeleri (bazı ağırlıklar sabittir) tamamen tutarlı değildir. Aşağıda, FA ve DFA'nın geri bildirim ağırlıklarını optimize etmek için BioPP ilkesini kullanıyoruz ve modeli kıyaslama veri setinde test ediyoruz.
BioPP ağının iki yönlü eğitimi
Hem FA hem de DFA, sinir ağlarını eğitmek için hata sinyallerini iletmek için sabit rastgele ağırlıklar kullanır. BioPP'de ağırlıkları normal girdi ağırlıkları kadar uyumlu hale getiriyoruz.
Şekil 4: İki yönlü geribildirim karşılaştırması (BFA). Siyah ok, ileri aktivasyon yolunu temsil eder. Kırmızı ok, hata (gradyan) yayılma yolunu gösterir.
BFA'nın genel süreci Şekil 4'te gösterilmektedir. BFA'nın ana fikri, bir dizi ağırlık eğitildiğinde, hata sinyalinin ağdaki diğer ağırlık kümeleri aracılığıyla katman katman iletilmesidir. BFA, BioPP'nin ilkelerini ve sınırlamalarını karşılar. BFA ve hedef yayılma (TP) arasındaki fark, BFA'nın giriş özelliklerini öğrenmesi ve hata sinyalini katman katman yaymasıdır. TP'deki katmanlar, önceki katmanın girişini öğrenmek için hala Autoencoder'ı kullanıyor.
Şekil 5: İki yönlü doğrudan geribildirim karşılaştırması (BDFA). Siyah ok, ileri aktivasyon yolunu temsil eder. Kırmızı ok, hata (gradyan) yayılma yolunu gösterir.
BDFA'nın genel süreci Şekil 5'te gösterilmektedir. BDFA modelinin genel fikri, her gizli katman için kaybı ayrı ayrı hesaplamak ve gizli katman ile giriş katmanını birbirine bağlayan karşılık gelen geri bildirim ağırlık matrisini güncellemektir.
Daha sonra araştırmacılar, iki yönlü eğitim modeline uygulanan uyarlanabilir geri bildirim ağırlıklarının neden genel olarak sabit geri bildirim ağırlıklarından daha iyi performans gösterdiğini analiz ettiler ve geri bildirim ağırlıklarının girdi özelliklerini ve çıktı özelliklerini tanımlamayı daha iyi öğrenebileceğini kanıtladılar. Genel performans iyileştirilecektir. Daha sonra araştırmacılar, BFA ve BDFA'nın performansının, farklı hiperparametre ayarları altında kıyaslama veri setinde FA ve DFA'yı geçip geçmediğini belirlemiştir.
Makalenin sonunda araştırmacılar, bu araştırmanın adaptif asimetrik geri bildirim kanallarının DNN'de rastgele sabit kanallardan daha etkili olduğunu göstermek için bildikleri ilk araştırma girişimi olduğuna dikkat çekti. Beynin bu özel uyarlanabilir geribildirim biçimini uygulayıp uygulamadığı net olmasa da, araştırma, beynin hata sinyallerinden öğrenmeyi nasıl desteklediğini daha iyi anlamaya yönelik önemli bir adımdır.
Orijinal bağlantı: https://arxiv.org/abs/1702.07097
Xinzhiyuan İşe Alım
Pozisyon: Baş yazar
Pozisyon yıllık maaşı: 250.000-360.000 yuan (Maaş + ikramiye)
İş yeri: Pekin-Haidian Bölgesi
Bölüm: Yayın Bölümü
Raporlama nesnesi: baş editör
Astların sayısı: 4
Yaş gereksinimi: 25 ila 35 yaş arası
Cinsiyet gereksinimleri: sınırsız
Çalışma hayatı: 3 yıl
Dil: İngilizce seviye 6 ve üstü
Eğitim gereksinimleri: yüksek lisans derecesi ve üstü
iş tanımı:
Yapay zeka ve medya kariyerlerini sevin ve AI alanında zengin kaynaklara sahip olanlar puan katacak;
Finans, teknoloji ve diğer medyada 3 yıldan fazla orijinal yazma deneyimi, bir dizi konu seçimini bağımsız olarak planlayıp uygulayabilme;
TMT alanını derinlemesine anlayın, endüstri trendleri hakkında benzersiz içgörüler ve mükemmel bilgi madenciliği ve sıralama yetenekleri;
Mükemmel İngilizce okuma, yazma, mülakat ve müşteri iletişim becerileri;
Hızlı devreye alma hızına uyum sağlayabilen, basınca ve kendi kendine sürüşe karşı güçlü direnç.
