bAbI listeyi yine mi mahvetti? DeepMind'ın yeni modeli MEMO, insan beyni muhakemesini taklit eden Transformer'ı tanıttı
[Xinzhiyuan Kılavuzu] Alphabet'in yan kuruluşu DeepMind, her zaman AI geliştirmenin temel taşı olmuştur. DeepMind'den AlphaGo'nun dünya şampiyonu Lee Sedol'a karşı Go oyununu kazandığını hatırlayabilirsiniz. Bu yapay zekaların tümü, beynin bağlantı sistemini taklit eden yapay sinir ağları üzerinde çalışıyor. Bugün DeemMind tarafından başlatılan insan beyni muhakemesini simüle eden başka bir yeni modele bakıyoruz.
Yapay zeka, muhakemenin özünü, yani birden fazla olgunun veya belleğin içinde dağıtılan öğeler arasındaki mesafe ilişkisini yakalayabilir mi? Alphabet'in yan kuruluşu DeepMind, bulmaya çalışmak için arXiv.org'da bir çalışma yayınladı.
Çıkarımı gerçekleştirmek için tek bir deneyimin esnek bir şekilde yeniden düzenlenmesi
Araştırma, uzun mesafeli muhakeme yapabilen bir mimari önerdi MEMO . Araştırmacılar, MEMO'nun iki yeni bileşeninin birinci bileşen olduğunu söyledi. Harici depolamada depolanan ayrı bilgiler ve anılar İkinci bileşen, bir cevaba karar vermeden önce farklı sayılarda "bellek sıçramalarına" izin veren ve yeni muhakeme görevlerini çözmesini sağlayan bir geri alma sistemi kullanır.
Günlük hayatımızda, bazı yargılarda bulunmamız gerekir.Bu yargıların, deneyim olmayan ve farklı zamanlarda yaşanan deneyimlerden elde edilen gerçekleri birbirine bağlaması gerekir.
Kızınızı bir programlama yaz kampına götürdüğünüzü ve bir kadınla birlikte olan başka bir küçük kızla tanıştığınızı hayal edin, kadının küçük kızın annesi olduğu sonucuna varabilirsiniz. Birkaç hafta sonra, aynı küçük kızı evinizin yakınındaki bir kafede bu sefer bir erkekle gördünüz. Bu iki ayrı olay örgüsüne dayanarak kadın ve erkek arasında bir ilişki olduğu sonucuna varabilirsiniz. Bu tür Tek bir deneyimin, yeni şekillerde gözlemlenmemiş ilişkilere varmak için esnek bir şekilde yeniden düzenlenmesine çıkarım denir , Ve hipokampus tarafından destekleniyor.
İlginç bir şekilde, hipokampusun Mod ayrımı Belleği bağımsız olarak saklama süreci. Hipokampusta hafızanın ayrılmasının nedeni, deneyimler arasındaki etkileşimi en aza indirmektir, bu da bize belirli olayları "bağlamsal" anılar biçiminde hatırlamamıza izin verir.
Açıkçası, bu ayrılık, genelleme sürecinde hipokampusun yukarıda bahsedilen rolü ile çelişiyor, yani ayrı anılar nasıl birbirine bağlanabilir? İlginç bir şekilde, yakın zamanda yapılan bir çalışma, ayrı deneyimlerin bütünleşmesinin Bu, çoklu modların erişim noktasında bağımsız olarak kodlama etkileşimleri gerçekleştirmesine izin veren ve böylece muhakemeyi destekleyen bir döngü mekanizmasından geçer. Sinir ağındaki muhakemeyi geliştirmek için sinir ağı modelimizi nasıl geliştireceğimizi incelemek için bu bulgulara güveniyoruz.
Peki, DeepMind bu mekanizmayı nasıl uyguluyor, hadi makaledeki spesifik açıklamaya bakalım.
Dikkat mekanizmasını tanıtın, bellek takibini işlemek için birden fazla kafa kullanın
Birincisi girdidir.EMN'nin çok katmanlı bağlama ağırlığı varyantına odaklanıyoruz çünkü mimarimize en çok benziyor. EMN girişinin aksine, biz El kodlu konum yerleştirme kullanmaz , Ancak her cümledeki Xi kelimelerini girdideki tek sıcak kodlamaları (Ci olarak gömülü) ile birleştirin:
Bu vektörü doğrusal izdüşümden geçirin ve ardından bir dikkat mekanizması aracılığıyla, giriş cümlesinin herhangi bir bölümünü esnek bir şekilde yakalayabilirsiniz. MEMO, bellek takibini işlemek için kafaları kullanır, Her kafa, aynı ortak girdi Ci için farklı gözlemlere sahiptir. Her bir H {1, ..., H} için, sahip olduğumuz EMN yöntemine atıfta bulunarak, H'nin toplam kafa sayısını göstermesine izin verin;
W (h) k, W (h) v ve W (h) q anahtar, değer ve sorgunun gömülü matrisleridir. Çıktı, üç d boyutlu vektördür. Her bir öğeyi farklı bir belleğe ayırmak, bir bellek araması yaparken her bir öğenin nasıl ağırlıklandırılacağını anlamamızı sağlar.
İkincisi, dikkat mekanizması. EMN'den farklı olarak, bu makaledeki dikkat mekanizması çok başlı çünkü çıktı çok başlı ve buradaki dikkat mekanizması da çok başlı. Ayrıca, genellemeyi ve öğrenme motivasyonunu geliştirmek için DropOut ve LayerNorm yöntemlerini de benimsedik. Dikkat mekanizmasını eklemenin model ifadesi aşağıdaki gibi olur:
Son olarak stratejiyi durdurun. Önceki bölümde, MEMO'nun bir girdi sorgusu için nasıl birden çok potansiyel yanıt çıkardığını ve etkili bir yanıt için gereken hesaplama adımlarının nasıl öğrenileceğini anlattık.
Bu kararı vermek için her adımda bazı bilgiler topladık ve bunları gözlem noktaları oluşturmak için kullandık. Ardından, gözlem sonucu Geçitli Yinelenen Birim (GRU) ve ardından bir MLP (bir ikili strateji ve yaklaşık değer fonksiyonu V (St, ) tanımlayan) aracılığıyla işlenir.
Ağın St girişi, geçerli zaman adımının Wt dikkat ağırlığı ile önceki zaman adımı Wt 1 (Wt ve Wt 1 softmax'tan sonra) arasındaki Bhattacharyya mesafesinden oluşur ve aynı zamanda şimdiye kadar alınmış olana dayanır. Serideki adım sayısı, bir sıcak vektör t olarak alınır.
St oluşturmamızın arkasındaki fikir, eğer dikkat çok fazla ardışık adım için aynı bellek yuvasına odaklanırsa, sorguyu devam ettirmek için bir neden yoktur, çünkü alınan bilgi aynı olacaktır, yani ağ kararlıdır ve ona ulaşılabilir. Durdurmanın sabit noktası.
Eşleştirilmiş ilişkilendirme çıkarımı ve rastgele oluşturulmuş grafik en kısa yol performansı göz alıcıdır
Eşleştirilmiş ilişkilendirme çıkarımı
Soldaki panel, rastgele görüntü çiftleriyle dolu bir saklama alanını gösterir. Sağdaki panel, çıkarım gerektirmeyen iki "doğrudan" sorgu (AB ve BC) ve çıkarım gerektiren bir "dolaylı" sorgu (AC) gösterir (soldan sağa).
Daha küçük sette A-B-C, MEMO ve DNC en yüksek doğruluk oranına ulaşabilirken, EMN ve UT bu muhakeme testini doğru bir şekilde çözemez. 4 ve 5 uzunluktaki diziler gibi daha uzun diziler için MEMO, en karmaşık akıl yürütme sorgularını başarıyla yanıtlayabilen tek mimaridir.
Rastgele oluşturulmuş grafiklerin en kısa yolu
Basit 10 düğüm durumunda, UT, DNC ve MEMO'nun tümü daha yüksek tahmin doğruluğuna sahip olabilir. Düğüm sayısı 20'ye yükseldikçe ve karmaşıklık arttıkça, yalnızca MEMO daha yüksek tahmin doğruluğuna ulaşabilir.
BAbI veri setinde SOTA etkisi elde edin
Bu yazıda, muhakemeyi destekleyen bellek temsilleri üzerine derinlemesine bir çalışma yaptık ve mevcut bellek mimarisinin bir uzantısı olan ve bu muhakeme görevlerinde beklenen sonuçları olan MEMO'yu tanıttık. MEMO, yeni bir görev çiftli ilişkisel akıl yürütmenin en son sonuçlarını gösterdi Bu görevde ve zorlu bir grafik geçiş görevinde, MEMO, uzun dizileri çözmek için tek mimaridir.
Ek olarak, MEMO, bAbI veri setinin 20 görevini çözebilir ve şu anda en gelişmiş performansa sahiptir.Bu esnek ağırlıklandırma, tek bir olgunun bellekteki bağımsız depolanması ile güçlü bir dikkat mekanizması birleştirilerek elde edilir.
