Sinir Ağı Turing Makinesi: Derin Öğrenmede Bellek ile Etkileşimde Temel Yöntem
Lei Feng Net Not: Bu makale, Lei Feng'in altyazı grubu tarafından derlenen teknik bir blogdur.Orijinal başlık Nöral Turing Makineleri: derin öğrenmede belleğe erişim için temel bir yaklaşım ve yazar Jonathan Hui'dir.
Tercüme | Zhao Pengfei Redaksiyon | Fan Jiang
Bellek, beynin ve bilgisayarın ana bileşenidir. Pek çok derin öğrenme alanında, derin ağların yeteneklerini bellekle eşleştirerek genişletiyoruz.Örneğin, sormak ve cevaplamak için önceden işlenmiş bilgileri ezberliyor veya saklıyor ve sonra bu bilgileri soruları cevaplamak için kullanıyoruz. Nöral Turing Makinesi (NTM) kağıdından (https://arxiv.org/pdf/1410.5401.pdf):
Sinir ağını harici depolama kaynaklarına bağlayarak sinir ağının işlevini genişletiyoruz ve bu kaynaklarla bellek işlemi aracılığıyla etkileşime giriyoruz.
Bir meslekten olmayan kişinin bakış açısından, genellikle bir dizi olan bir bellek yapısı yaratırız ve bellek yapısına veri yazarız veya buradan veri okuruz. Kulağa basit geliyor: ama değil. Öncelikle karşılaştığımız resim veya sesleri saklayabileceğimiz sınırsız depolama alanımız yok.Bilgiye benzerlik veya korelasyon yoluyla (tam bir eşleşme değil) erişiyoruz. Bu makalede, bilgileri işlemek için NTM'nin nasıl kullanılacağı tartışılmaktadır. Bu makaleyle ilgileniyoruz çünkü esas olarak NLP ve meta-öğrenme dahil birçok araştırma alanında önemli bir başlangıç noktasıdır.
Bellek yapısı
Hafıza yapımız Mt, N satır ve M öğeleri içerir. Her satır bir bilgi parçasını (bellek) temsil eder, örneğin kuzeninizle ilgili tanımınız.
Okuyun
Normal programlamada Mt kullanırız Hafızaya erişin. Ancak yapay zeka için benzerlik yoluyla bilgi alıyoruz. Bu yüzden ağırlıkları kullanan bir okuma mekanizması geliştirdik, yani elde ettiğimiz sonuç ağırlıklı bir hafıza toplamıdır.
Tüm sahiplik değerlerinin toplamı 1'e eşittir.
Bunun amacının ne olduğunu hemen sorabilirsiniz. Bir örnekle açıklayalım. Bir arkadaşınız size bir bardak içecek verir. Tadı biraz çaya benzer ve süt gibi hissedilir.Çay ve sütün hafıza verilerini çıkararak, doğrusal cebir yöntemini kullanarak: inci süt çayıdır. Kulağa harika geliyor ama kelime dalışında ilişkilerle başa çıkmak için aynı doğrusal cebiri de kullanıyoruz. Sorular ve cevaplar gibi diğer örneklerde, birikmiş bilgiye dayalı bilgileri birleştirmek çok önemlidir. Bir hafıza ağı, hedeflerimize iyi bir şekilde ulaşmamızı sağlayacaktır.
Bu ağırlıkları nasıl yaratıyoruz? Elbette derin öğrenmeye güvenmemiz gerekiyor. Kontrolör, giriş bilgilerinden özelliği (kt) çıkarır ve bunu ağırlığı hesaplamak için kullanırız. Örneğin aradığınızda karşınızdaki kişinin sesini hemen söyleyemezsiniz. Bu ses kuzeninize çok benziyor ama bazıları kardeşinize benziyor. Doğrusal cebir yoluyla, ses tam olarak hatırladığınız gibi olmasa bile, onun lise sınıf arkadaşınız olduğunu söyleyebiliriz.
W ağırlığını hesaplayarak ve kt ile hafızalarımızın her biri arasındaki benzerliği karşılaştırarak, kosinüs benzerliğini kullanarak bir K puanı hesapladık.
Burada u, kt'yi çıkardığımız özellik miktarıdır ve v hafızamızdaki her satırı temsil eder.
W ağırlığını hesaplamak için softmax fonksiyonunu K skoruna uygularız. Puanlardaki farkı büyütmek veya azaltmak için t eklenir. Örneğin, 1'den büyükse farkı büyütün. w İçerik adresleme dediğimiz benzerliğe dayalı bilgileri alın.
Yazmak
Bilgiyi hafızaya nasıl yazıyoruz? LSTM'de, bir bellek hücresinin dahili durumu, önceki durum ve mevcut giriş değeri tarafından belirlenir. Aynı durumu ödünç alarak, hafıza yazma süreci de önceki durum ve yeni girdiden oluşur. Burada önce önceki durumlardan bazılarını temizliyoruz:
et açık bir vektördür. (Hesaplama süreci LSTM'deki giriş kapısı gibidir)
Sonra yeni bilgiler yazıyoruz.
at, eklemek istediğimiz değerdir.
Burada w üreten kontrolör aracılığıyla hafızaya bilgi yazabilir veya okuyabiliriz.
Kaynak https://arxiv.org/pdf/1410.5401.pdf
Adresleme mekanizması
Denetleyicimiz, bilgiyi çıkarmak için w'yi hesaplar, ancak bilgileri çıkarmak için benzerlik (içerik adresleme) kullanmak yeterince güçlü değildir.
ek
w hafızamızdaki mevcut odağı (dikkati) temsil eder. İçerik adreslemede, odak noktamız sadece yeni girdilere dayanmaktadır. Ancak son zamanlarda karşılaştığımız sorunları açıklamaya yetmiyor bu. Örneğin, sınıf arkadaşınız size bir saat önce bir mesaj gönderdiyse, sesini kolayca hatırlayabilmelisiniz. Yeni bilgi alırken önceki dikkatimizi nasıl kullanırız? Birleştirme ağırlığını mevcut odak ve önceki odak temelinde hesaplıyoruz. Evet, bu biraz LSTM veya GRU'daki unut kapısı gibi geliyor.
Önceki odak ve mevcut girdiye göre g'yi hesaplayın.
Evrişim dönüşümü
Evrişim dönüşümü odak dönüşümünü tamamlar. Derin öğrenme için özel olarak tasarlanmamıştır. Bunun yerine, NTM'nin kopyalama ve sıralama gibi temel algoritmaları nasıl gerçekleştirdiğini açıkladı. Örneğin, w'ye erişmek yerine, her odağı 3 satır hareket ettirmek istiyoruz, yani w w.
Evrişim dönüşümünde, gerekli odağı belirtilen çizgiye, yani w Evrişim (w, w, w). Genel olarak, evrişim, satırların doğrusal ağırlıklı toplamıdır: 0.3 × w + 0.5 × w + 0.2 × w.
Bu, odak dönüşümünün matematiksel formülüdür:
Birçok derin öğrenme modelinde, bu adımı yok sayarız veya s (0) = 1 dışında s (i) 'yi 0 olarak ayarlarız.
Keskinleştir
Evrişim değişimimiz, evrişim bulanıklaştırma filtresi gibidir. Bu nedenle, gerektiğinde, bulanıklık efekti elde etmek için ağırlık için keskinleştirme teknolojisini kullanacağız. , odağı keskinleştirirken kontrolör tarafından çıkarılan başka bir parametre olacaktır.
özet
Hafızadan bilgi almak için w ağırlığını kullanırız. w şu faktörleri içerir: mevcut girdi, önceki kesişim, olası dönüşüm ve bulanıklık. Burada, kontrolörün farklı aşamalarda w hesaplamasında kullanılan gerekli parametreleri çıkardığı sistem blok şeması bulunmaktadır.
Orijinal blog sitesi https://medium.com/@jonathan_hui/neural-turing-machines-a-fundamental-approach-to-access-memory-in-deep-learning-b823a31fe91d
Daha fazla makale için Leifeng.com'u takip edin, Leiphonefansub WeChat hesabını (leiphonefansub) arkadaş olarak ekleyin
Yapay Zeka Gönüllüsü Olmak İçin "Katılmak istiyorum" açıklaması
Lei Feng Ağı Lei Feng Ağı
