Derin sinir ağı kara kutusunu açın: modüler mi? Grafik kümeleme algoritması şifre çözme ağırlık yapısı
İçbükey tapınaktan on üç Qubit Raporu | Genel Hesap QbitAI
Derin sinir ağının kara kutusunun daha net bir taslağı var gibi görünüyor.
Hepimiz derin sinir ağlarının performansının çok güçlü olduğunu biliyoruz, ancak neden belirli efektler bu kadar iyi ve ağırlıklar neden bu kadar dağılmış? Belki "tasarımcı" bile bunu nasıl açıklayacağını bilmiyordur.
Son zamanlarda, UC Berkeley ve Boston Üniversitesi'nden yapılan bir çalışma bu kara kutunun şifresini daha da çözdü:
Eğitimli ve ağırlığı azaltılmış Çok katmanlı algılayıcı (MLP), aynı ağırlık dağılımına sahip rastgele ağlarla karşılaştırıldığında, genellikle daha modülerdir.
Başka bir deyişle, belirli koşullar altında, Derin sinir ağları modülerliktir .
Araştırmacılar inanıyor:
Sinir ağlarının modüler yapısını anlamak, araştırmacıların sinir ağlarının iç işleyişini anlamalarını kolaylaştırabilir.
Bu araştırma ICML 2020'ye gönderildi ve ayrıca GitHub'da açık kaynaklı (makalenin sonundaki "Portal" bölümüne bakın).
Sinir ağını modüler hale getirin
Derin sinir ağlarını incelemek için neden modülerlik kullanılıyor?
Birincisi, modüler sistem, sistemi analiz eden araştırmacıların tek tek modüllerin işlevlerini incelemelerine ve tek tek modüller hakkındaki anlayışlarını tüm sistemi anlayacak şekilde birleştirmelerine olanak tanır.
İkinci olarak, sinir ağı farklı katmanlardan oluşur.Ağın tanımlanması sırasında farklı katmanlar ayrı ayrı konfigüre edilebilir.
Araştırmacılar deneyler sayesinde şunları buldu:
Derin bir sinir ağı modülerdir, bölünebilir Nöron koleksiyonu , Her nöron koleksiyonunun yüksek oranda bağlantılı olduğu, ancak koleksiyonlar arasındaki bağlantının çok düşük olduğu yer.
Daha spesifik olarak, araştırmacılar şunu kullanır: Grafik kümeleme algoritması Eğitimli ağı kümelere ayırın ve her kümeyi bir "modül" olarak değerlendirin.
Kullanılan kümeleme algoritmasına Spektral kümeleme (spektral kümeleme), bir bölümü hesaplamak ve bir kümenin n-kesimini değerlendirmek için kullanın.
Genel olarak konuşmak gerekirse:
Önce verileri grafiğe dönüştürün.Tüm veriler uzayda noktalar olarak kabul edilir ve noktalar kenarlarla birleştirilir. Daha uzak olan iki nokta, aralarındaki kenar için daha düşük bir ağırlık değerine sahiptir ve daha yakın olan iki nokta arasındaki kenar daha yüksek bir ağırlık değerine sahiptir.
Ardından, grafiği kesmek için n-cut işlemini gerçekleştirin. Amaç, grafik kesildikten sonra farklı alt grafikler arasındaki "kenar ağırlık toplamını" mümkün olduğunca düşük ve alt grafik içindeki "kenar ağırlık toplamını" mümkün olduğunca yüksek yapmaktır.
Peki deneysel sonuçlar ne olacak?
Deney, esas olarak 3 veri seti kullanır; MNIST , Fashion-MNIST ile CIFAR10 , Ve her veri setinde 10 kez eğitildi.
MNIST testinin doğruluğunun% 98, Fashion-MNIST'in doğruluğunun% 90 ve CIFAR-10'un doğruluğunun% 40 olduğu görülmektedir. Kısaltılmış ağ genellikle rastgele ağdan daha iyi kümeleme özelliklerine sahiptir.
Aşağıdaki şekil, budama öncesi ve sonrası tüm eğitimli ağların n-cut ve test doğruluğu sonuçlarını göstermektedir.
Bu n-cut değerlerini açıklamaya yardımcı olmak için, araştırmacılar ayrıca 200 rastgele başlatılmış ağı kümelemişlerdir. N-kesimlerin dağılımı aşağıdaki şekilde gösterilmiştir.
Tabii ki, yazar ayrıca bu çalışmanın tanımının, modelin çıktı veya aktivasyon dağılımını değil, veri dağılımını değil, yalnızca ağın öğrenilen ağırlığını içerdiğini belirtti.
Modüller arasındaki önem ve bağımlılıklar
Peki bu modüller arasındaki ilişki nedir?
Araştırmacılar ayrıca değerlendirdi Farklı modüller arasındaki önem ve ilişki .
Nörobilim alanında, beynin belirli bir bölgesinin işlevini belirlemek için, bu bölgeye kaza sonucu hasar veren hastaların davranışlarını incelemenin bir yolu vardır. Hasar testi (lezyon deneyi).
Benzer şekilde, araştırmacılar da bu yöntemi benimsedi:
Modülün nöron aktivasyonunu 0'a ayarlayarak modülün önemini inceleyin ve ağın girişi doğru şekilde nasıl sınıflandırdığını gözlemleyin.
Bu deneyde, "hasar" ın atomik birimi, her modülün ve "alt modül" olarak adlandırılan her gizli katmanın kesişimidir.
önem
Her bir alt modül için, gelen kurucu nöronların tüm ağırlıklarını 0'a ayarlayın ve ağın geri kalanını değiştirmeden tutun.
Ardından, hasarlı ağın test seti doğruluğunu, özellikle de tüm ağın doğruluğundan ne kadar düşük olduğunu belirleyin.
Yukarıdaki şekilde gösterildiği gibi, önemli alt modül önce katman numarası ve ardından modül numarası ile işaretlenecektir. Yatay eksen, alt modüldeki bu katmandaki nöronların oranını temsil eder ve dikey eksen, alt modülün hasar görmesi nedeniyle doğruluktaki azalmayı temsil eder.
Bu deney, birçok alt modülün önemli modüller olarak sayılamayacak kadar küçük olduğunu ve birçok alt modülün istatistiksel olarak önemli etkileri olduğunu, ancak pratikte önemli olmadığını göstermektedir. Bununla birlikte, bazı alt modüller, ağın çalışması için açıkça büyük önem taşımaktadır.
Bağımlılık
Artık hangi alt modüllerin önemli olduğunu bildiğinize göre, bu önemli alt modüllerin birbirine nasıl bağlı olduğunu anlamak daha iyidir.
Bunu yapmak için araştırmacılar, X ve Y olarak adlandırılan farklı katmanlardaki iki farklı önemli alt modülü yok ettiler.
Deneyler sayesinde araştırmacılar şu sonuçlara ulaştı:
X, Y üzerinde önemli bir koşul değilse ve Y, X için önemli bir koşul değilse, X'ten gelen tüm bilgiler Y'ye aktarılır.
X, Y'yi önemli bir koşul olarak almazsa ve Y, X'i önemli bir koşul olarak alırsa, X tüm bilgilerini Y'ye gönderir ve Y ayrıca diğer alt modüllerden de bilgi alır.
Y, X'e koşullandırılan önemli bir koşul değilse, ancak X, Y'ye koşullandırılmış önemli bir koşulsa, Y'nin tüm bilgilerini X'ten aldığı ve ardından X'in bilgileri diğer alt modüllere gönderdiği kabul edilir.
X ve Y karşılıklı olarak önemli koşullar ise, sonuç çıkarılamaz.
yazar hakkında
Daniel Filan, Berkeley Kaliforniya Üniversitesi'nde doktora öğrencisidir. Avustralya Ulusal Üniversitesi'nde pekiştirmeli öğrenme teorisi, matematik ve teorik fizik eğitimi alan lisans eğitimi.
Shlomi Hod, Boston Üniversitesi Bilgisayar Bilimleri Bölümü'nde doktora öğrencisidir. İlgi alanı sorumlu yapay zeka, özellikle algoritmaların ve makine öğrenimi sistemlerinin toplum üzerindeki etkisidir.
Portal
Kağıt adresi: https://arxiv.org/abs/2003.04881
GitHub proje adresi: https://github.com/nn-surprisingly-modular-icml-2020/nn_modularity
- Bitiş -
Qubit QbitAI · Toutiao İmzalı
Bize dikkat edin ve en son teknolojideki en son gelişmeleri alın
