Google Brain evrensel bir kalıcı bellek modülü geliştirdi ve sinir ağı hayat boyu öğrenmeyi ilk kez gerçekleştirdi
Xinzhiyuan Derlemesi
Hafızalı gelişmiş sinir ağı, yeni bir araştırma etkin noktası. Birçok çalışma, standart tekrarlayan sinir ağlarında belleğin genelleştirilmesi için bir bellek bileşeni tasarlamıştır. Özyinelemeli bir ağda, zaman içinde bir noktadan diğerine geçen durum, mevcut örneğin ağ belleği temsili olarak yorumlanabilir. Belleğin sabit uzunlukta vektör gösteriminden daha büyük ve daha çeşitli formlara geçmek, bu çalışmalarda kullanılan temel yöntemdir. Santoro ve arkadaşları, 2016 yılında yapılan bir çalışmada bellek tabanlı modeller ile tek seferlik öğrenme arasında bir bağlantı kurduğundan beri, tek seferlik öğrenme üzerine birçok çalışma da ortaya çıktı.
Son gelişmelere rağmen, hafıza takviyeli derin sinir ağları, özellikle nadir olayları hatırlamada, yaşam boyu öğrenmede ve tek seferlik öğrenmede hala sınırlıdır. Bugün sizin için tanıttığımız makale, derin öğrenme sürecinde kullanılan büyük ölçekli bir ömür boyu bellek modülü önermektedir.Bu modül, verimliliği artırmak ve büyük bellek ölçeğini genişletmek için hızlı en yakın komşu algoritmalarını kullanır. En yakın komşu sorguları haricinde, modül tamamen farklılaştırılabilir ve ek denetim olmaksızın uçtan uca eğitilebilir. Ömür boyu, yani eğitim sırasında sıfırlamaya gerek yok.
Bu bellek modülü, denetlenen bir sinir ağının herhangi bir bölümüne kolayca eklenebilir. Araştırmacılar esnekliğini göstermek için, görüntü sınıflandırmasıyla test edilen basit evrişimli ağlardan derin, diziden diziye özyinelemeli evrişim modellerine kadar birçok ağa eklediler. Her durumda, güçlendirilmiş ağ, bir defalık yaşam boyu öğrenme becerisi kazanmıştır. Modül, geçmiş binlerce adımın eğitim örneklerini hatırlar ve bunlardan genelleme yapabilir. Araştırmacılar Omniglot veri setinde en gelişmiş tek seferlik öğrenmeyi gerçekleştirdiler ve ilk kez yaşam boyu öğrenmeyi ve büyük ölçekli makine çevirisi görevlerinde tekrarlayan sinir ağlarının tek seferlik öğrenimini gösterdiler.
Nadir olayların tez öğrenimi ile çözülecek problem
Bilgisayarla görmeden konuşma tanımaya ve makine çevirisine kadar, makine öğrenimi sistemleri birçok alanda başarılı olmuştur. Nöral makine çevirisi o kadar başarılı ki bazı dil "grupları" için ortalama insan çevirisi düzeyine yakın. Ancak ortalama kelime dağarcığı burada önemli bir faktördür. Zengin eğitim verilerinde bir cümle bir cümleye çok benziyorsa, çeviri çok doğru olacaktır. Ancak, Dostoyevski (Almanca'da Dostojewski) gibi nadir bir sözcükle karşılaşıldığında, birçok model işlenemeyecektir. Dostoyevski'nin doğru Almanca çevirisi, modelin eğitim verilerinde yeterince görünmez ve model çevirisini öğrenemez.
Belki de bu ünlü Rus yazarla ilgili örnek cümleler sonunda eğitim setine eklenecek, ancak başka birçok türden nadir kelime veya nadir olay var. Bu, mevcut derin öğrenme modellerine bir sorun getiriyor: eğitim verileri genişletilmeli ve bu nadir sözcükler veya olaylarla başa çıkmak için model yeniden eğitilmelidir. Aradaki fark, insanların bir örnekten öğrenmesi ve bunu ömür boyu asla unutmamasıdır.
Kağıt bir ömür boyu bellek modülünde önerilen yöntem
Bu makalenin yazarı, çeşitli sinir ağlarında tek seferlik öğrenmeyi gerçekleştirebilen yaşam boyu bir bellek modülü önermektedir. Bu modül, birden çok anahtar / değer çifti içerir. Anahtar, sinir ağının belirli bir katmanının aktivasyon bilgisidir ve değer, belirli bir örnek için kesin referans hedefidir. Bu sayede ağ eğitildikçe hafızası artarken daha kullanışlı hale gelecektir. Sonunda, çok benzer aktivasyon bilgisine sahip bilgiye dayalı tahminlerde bulunabilir. Yeni bir örnekle karşılaşıldığında, ağ, bu örnek yalnızca bir kez görünse bile, daha sonra kullanılmak üzere belleğe yazar.
Uzun süreli belleğe sahip olmanın birçok avantajı vardır. Tek seferlik öğrenme kendi başına çok değerlidir ve bazı görevlerde daha da vazgeçilmezdir. Çeviri gibi büyük eğitim setlerine sahip gerçek dünya görevleri bile uzun süreli bellekten yararlanabilir. Son olarak, hafıza eğitim örneklerine kadar geri izlenebildiği için modelin verdiği kararları açıklamak mümkündür, bu da modeli daha spesifik olarak geliştirebilir.
Ömür boyu bellek modüllerinin değerlendirilmesi
Tek seferlik bir hayat boyu öğrenme modelinin performansının nasıl değerlendirileceği çok net değildir, çünkü çoğu derin öğrenme değerlendirmesi ortalama performansa odaklanır ve tek seferlik bir öğrenme bileşeni yoktur. Makalenin yazarı, bellek modülünün gerçekten etkili olduğunu kanıtlamak için çeşitli yöntemler denedi:
1. Yazar, net bir tek seferlik öğrenme değerlendirmesine sahip tek veri seti olan, iyi bilinen tek seferlik öğrenme görevi Omniglot'u değerlendirir. Değerlendirme sonucu, bellek modülünü ekledikten sonra önceki en iyi sonucu geçtiğini gösteriyor;
Omniglot veri kümesiyle ilgili sonuçlar. Yalnızca basit bir evrişimli sinir ağı kullanılmasına rağmen, bellek modüllerinin eklenmesi, modelin performansını hala çok daha karmaşık bir modele yakın tek seferlik ve çoklu atış öğrenme görevlerinde yapar.
2. Yazar, tek seferlik yaşam boyu öğrenmeyi gerektiren bir görev tasarlamıştır. Bu görevde, standart model kötü performans gösterirken, yazarın modeli daha iyi performans gösterdi;
3. Son olarak, yazar tek seferlik bir hayat boyu öğrenme modülü ile İngilizce-Almanca çeviri modeli eğitti. Hala çok iyi bir ortalama performans sergiliyor ve tek seferlik öğrenme için kullanılabilir. Niteliksel olarak, model Dostoyevski gibi nadir kelimeleri çevirebilir. Nicelik olarak, model değerlendirmeden önce ilgili çeviriyi görebilirse, değerlendirme sırasında elde ettiği BLEU puanı önemli ölçüde artacaktır.
Makalenin yazarı, ömür boyu bellek modülünün farklı derin öğrenme modellerine eklenebileceğini ve ağa farklı katmanlar üzerinde tek seferlik öğrenme yeteneği verebileceğini belirtti. Bellek modülünün bazı parçaları daha ayrıntılı olarak ayarlanabilir ve incelenebilir. Doğru anahtarla sorgu ortalamasına ulaşmak için güncelleme kuralı parametreleştirilmelidir. Yalnızca tek bir komşu döndürmek yerine, ağın diğer katmanlarının işlenmesi için birden çok komşu döndürebiliriz. Makalenin yazarı bu soruları gelecekteki araştırmalar için bırakıyor.
Kağıt adresi: https://arxiv.org/pdf/1703.03129v1.pdf
27 Mart'ta Xinzhiyuan Açık Kaynak Ekolojik Yapay Zeka Teknolojisi Zirvesi ve Xinzhiyuan 2017 Girişimcilik Yarışması Ödül Töreni görkemli bir şekilde düzenlendi. "BAT" dahil olmak üzere Çin'in ana akım AI şirketleri ve 600'den fazla sektör eliti 2017 Çin'e ortak katkıda bulunmak için bir araya geldi Yapay zekanın gelişimi güçlü bir darbe aldı.
Orijinal metni okumak ve konferans kaydının metin versiyonunu görmek için tıklayın
