Aracıların işbirliği yapmasına izin verin ve Google ekibi bir doğal dil oluşturma yöntemi önerdi | ICLR 2017
Leifeng.com AI Technology Review Press: ICLR 2017, 24-26 Nisan tarihleri arasında Fransa'nın Toulon kentinde düzenlenecek.Leifeng.com AI Technology Review editörleri de birinci satır raporları getirmek için Fransa'ya gidecek. Dönem boyunca Leifeng.com ayrıca konferans gündemi ve kağıt tanıtımı hakkında bir dizi haber ve özel rapor yayınlayacaktır, bu nedenle bizi izlemeye devam edin.
Doğal dil sistemlerini eğitmenin mevcut ana yöntemi, onları çok sayıda dile maruz bırakmaktır. Bu pasif öğrenme yöntemi, konuşma aracıları gibi etkileşimli makinelerin geliştirilmesiyle ilgili birçok soruna sahiptir. ICLR 2017 konferansında Angeliki Lazaridou ve diğer araştırmacılar, "Çok etmenli işbirliği ve (doğal) dilin ortaya çıkışı" sözlü makalesinde birden çok aracıya dayanan bir dil öğrenme mimarisi önerdiler. Araştırmacılar bu öğrenme yöntemini referans oyun ortamında inceler.
Bu oyunlarda, bir gönderen ve bir alıcı bir dizi görüntüyü görebilir. Gönderen, bunlardan birinin hedef olduğunu bilir ve ardından sabit bir rastgele sözcük listesinden bir mesaj göndermesi gerekir. Alıcı, hedefi belirlemek için bu bilgilere güvenecektir. Sonuç olarak temsilciler, iletişim ihtiyacından kendi iletişim dillerini geliştirirler. Araştırmacılar ayrıca, yalnızca basit bir yapının iki ağ öğreniminin referans oyunda işbirliği yapmasına izin verebileceğini gösterdi. Ayrıca, sezgisel resimlerin anlamsal niteliklerini daha iyi ifade etmek için oyuna "kelimelerin anlamını" eklemek için oyun ortamının nasıl değiştirileceğini de inceledi. Ek olarak, araştırmacılar ajan kodunu doğal dile getirmenin basit bir yolunu da gösterdiler. Bu adımlar, insanlarla etkili bir şekilde iletişim kurabilen makinelerin geliştirilmesi için gereklidir.
Aşağıdakiler, makalenin içeriğine göre Leifeng.com AI Technology Review'in kısmi bir derlemesidir.
Bu makale, çok temsilcili koordinasyon iletişim oyunlarının araştırılmasındaki ilk adımı tanıtmaktadır. Bu oyunlar, temsilciyi, birbirleriyle koordine olmak ve ödül kazanmak için bir dil geliştirmeleri gereken basit bir ortama yerleştirir. Önemli olan, bu temsilcilerin başlangıçta boş olmalarıdır, ancak oyunda birlikte işbirliği yaparak, birbirlerine doğal bir dil geliştirip yönlendirirler.
Araştırmacılar, iki ajanlı oyunlar bağlamında olaylara atıfta bulunan dili kullanmanın en temel zorluğuyla başlar. İki konuya odaklanın. İlk olarak, beyaz tahta aracısının başarılı bir şekilde iletişim kurup kurmadığı. İkinci olarak, hangi çevresel özelliklerin benzer insan dili kodlarının oluşmasına yol açtığı. İkinci soruyu iki şekilde değerlendirin. Birincisi, aracıların genel kavramsal nitelikleri (geniş nesne kategorileri (düşük seviyeli görsel nitelikler yerine) gibi) kullanmayı öğrendikleri sembollerle ilişkilendirip ilişkilendirmediği. İkinci olarak, ajanın "kelime kullanımının" kısmen çevrimiçi deneylerde insanlar tarafından açıklanıp açıklanamayacağını araştırın. Ayrıca, acil durum dilini daha yorumlanabilir hale getirmek için ortamın nasıl değiştirileceği. Araştırmacılar yalnızca çevrenin (oyun ortamlarının) önemini vurgulamakla kalmaz, aynı zamanda onları zeki olmaya zorlamak için birden fazla aracı kullanan daha basit bir ortama odaklanır. Bu nedenle, araştırmacılar, ek açıklama verilerine olan ihtiyacı azaltırken öğrenmeyi desteklemek için temsilciler arasındaki işbirliğine odaklanacaklar.
Bu makalede kullanılan referans oyunun genel çerçevesi şu şekildedir: K oyuncuları, oyuncuların gerçekleştirmesi gereken görevleri / oyunları, oyuncuların birbirleriyle iletişim kurmasını sağlayan iletişim protokolü V ve oyunculara işlevsel net hedefler olarak ayrılan geliri içerir.
1. Bir vektörle temsil edilen bir dizi görüntü vardır Bu kümeden rastgele iki görüntü çekilir ve bunlardan biri "hedef" olarak seçilir.
2. Bir gönderen ve bir alıcı olmak üzere iki oyuncu vardır, ikisi de görüntüyü görür, ancak gönderen girdi alabilir, yani amaç açıktır.
3. K boyutunda V bir kelime dağarcığı vardır ve gönderen alıcıya göndermek için bir simge seçer.
4. Alıcı hedefi bilmiyor, ancak gönderenin sembolünü görüyor ve hedef resmi tahmin etmeye çalışıyor.
5. Alıcı hedefi doğru tahmin ederse, her iki oyuncu da 1 ödül alır, aksi takdirde ödül 0 olur.
Aracı oynatıcı: Gönderen ve alıcı, basit ileri beslemeli ağlardır. Gönderen için, araştırmacılar Şekil 1'de gösterilen iki mimariyi denediler. Gönderen mimarisi, hedefi (Şekil 1'de yeşil kare ile işaretlenmiş) ve girişim gösterimini bu sırada girdi olarak alır ve örtük olarak görüntülerden birinin hedef olduğunu bildirir (alıcı iki görüntüyü rastgele sırada görür) .
Şekil 1: Temsilci oyuncunun mimarisi
Agnostik gönderici, orijinal görüntü vektörünü "oyuna özel" gömme boşluğuna eşleyen ve ardından S-şekilli doğrusal olmama durumunu izleyen ve kelime sembollerinde puanlar oluşturmak için gömme kademesine tam olarak bağlı ağırlıklar uygulayan genel bir sinir ağıdır.
Bilgilendirilmiş gönderen ilk önce resmi "yalnızca oyun" alanına yerleştirir. Ardından, farklı kanallar olarak işleyerek görüntü gömme işlemine 1-D evrişim uygulayın. Bilgilendirilmiş gönderen, iki görüntü yerleştirmeyi boyutlandırmak için iki evrişimi kullanır ve bunu S şeklinde doğrusal olmama izler. Ortaya çıkan özellik haritaları, kelime sembolleri için puanlar oluşturmak üzere başka bir filtre aracılığıyla birleştirilir.
Araştırmacılar, dilin farklı doğası tarafından yönlendirilen gönderen için, iletişim protokolünün ayrıklaştırılmasında güçlü bir iletişim darboğazının farkına varmaya zorladılar. En üst katmandaki (kelime dağarcığı) aktivasyon bir Gibbs dağılımına dönüştürülür (bir sıcaklık parametresi ile) ve sonra ortaya çıkan olasılık dağılımından tek bir sembol s örneklenir. Alıcı, hedef ve girişim görüntü vektörlerini rastgele sırada girdi olarak ve gönderici tarafından oluşturulan sembolleri (kelime haznesindeki bir ısı vektörü olarak) alır. Görüntüleri ve sembolleri kendi "oyuna özel" alanına yerleştirir. Ardından, simge ile gömme görüntü arasındaki iç çarpımı hesaplayın. İdeal olarak, daha iyi sembollere sahip görüntüler için, nokta benzerliği daha yüksek olmalıdır. İki noktanın sonucu bir Gibbs dağılımına dönüştürülür ve alıcı, elde edilen dağılımdan örnekleyerek görüntüye "noktayı" işaret eder.
Araştırmacılar, aşağıdaki hiper parametreleri ayarlama yapmadan ayarladılar: Gömme boyutu: 50, gönderen tarafından uygulandığı bilinen filtre sayısı: 20 ve Gibbs dağıtım sıcaklığı: 10. İki kelime boyutu: 10 ve 100 sembol.
Deneysel sonuçlar
Ortaya çıkan anlambilimini anlamanın bir yolu, semboller ve başvurdukları görüntüler dizisi arasındaki ilişkiyi gözlemlemektir. Resimdeki nesneler daha geniş 20 kategoriye ayrılmıştır. Temsilci, sembolün üst düzey anlambilimine yakınlaşırsa, aynı kategoriye ait nesnelerin aynı sembolü etkinleştirmesini bekleriz.Örneğin, hedef görüntü bir süngü ve bir silahı gösterdiğinde, gönderen aynı sembolü onlara başvurmak için kullanacaktır ve inek Ve silah bir sembolü paylaşmamalıdır.
Bunu ölçmek için araştırmacılar, nesneleri, hedef görüntü onları içerdiğinde en sık etkinleştirilen sembollerle gruplayarak kümeler oluşturdular. Daha sonra elde edilen kümelerin kalitesi saflığı ölçülerek değerlendirildi. Saflık, kümelenme "kalitesinin" standart ölçüsüdür. Gözlenen saflık, nesneye atanan sembollerin rastgele düzenlenmesinden elde edilen puanla karşılaştırılır. Tablo 1, her durumda saflığın mükemmel olmaktan uzak, ancak şanstan önemli ölçüde yüksek olduğunu göstermektedir. Aynı zamanda, bilgilendirilmiş gönderenin bilinmeyen gönderenden daha fazla anlamsal semboller ürettiği doğrulanabilir.
Tablo 1: 50K eğitim oyunundan sonraki test sonuçları. Test aşaması sırasında en az bir kez üretilen farklı kelime sembollerinin sayısını göstermek için kelime sütununu kullanın. Eşleşen gözlemlenen sembol kullanımı altında simüle edilmiş şans sembolü tahsisi ile karşılaştırıldığında, tüm saflık değerleri çok önemlidir (p
Ancak, farklı gönderen mimarileri arasında bazı farklılıklar olduğunu görebilirsiniz. Şekil 2 (solda), ilk 5000 eğitim seansının bir işlevi olarak test seti örneklerinin performansını göstermektedir. Temsilciler oldukça hızlı bir şekilde birleşir, ancak bilgili gönderenler, bilinmeyen gönderenlerden daha yüksek seviyelere daha hızlı ulaşır.
Şekil 2: Sol: Eğitim yinelemelerinin bir işlevi olarak yayılma başarısı, bilgili gönderenin bilinmeyen gönderenden daha hızlı yakınlaştığı görülebilir. Sağ: Örnek sembol kullanım matrisinin spektrumu: İlk birkaç boyut varyansın yalnızca bir kısmını yakalar, bu da bilgili gönderen tarafından yalnızca eşanlamlılar nedeniyle değil, daha fazla sembolün kullanıldığını gösterir.
Ortaya çıkan anlambilimini anlamanın bir yolu, semboller ve başvurdukları görüntüler dizisi arasındaki ilişkiyi gözlemlemektir. Resimdeki nesneler daha geniş 20 kategoriye ayrılmıştır. Temsilci, sembolün üst düzey anlambilimine yakınlaşırsa, aynı kategoriye ait nesnelerin aynı sembolü etkinleştirmesi beklenir.Örneğin, hedef görüntü bir süngü ve bir silah tasvir ettiğinde, gönderen bunlara atıfta bulunmak için aynı sembolü kullanacaktır ve boğa Ve silah bir sembolü paylaşmamalıdır.
Sembol kullanımının görsel alanın anlamını yansıtıp yansıtmadığını test etmek. Araştırmacılar, veri kümesindeki tüm görüntü kategorilerinin CNN fc temsillerinin ortalamasını alarak her nesnenin bir vektör temsilini oluşturdu. Bu ortalama nesne vektörleri, t-SNE eşlemesi yoluyla 2 boyuta eşlenir ve ilgili nesneyi içeren görüntü için gönderen tarafından kullanılan semboller renk kodludur. Şekil 3 (solda) mevcut deneyin sonuçlarını göstermektedir. CNN uzayına yakın olan nesnelerin aynı sembolle (aynı renk) ilişkilendirildiği görülebilir. Ancak, hala epeyce değişiklik var.
Şekil 3: Bilgili göndericiler tarafından kendilerine atanan simgelerin çoğu tarafından renk kodlu nesne fc vektörünün t-SNE diyagramı. Nesne sınıfı adlarının rastgele bir alt kümesini görüntüleyin. Sol: Tablo 1'in 4. satırındaki yapılandırma. Sağ: Tablo 2'nin 2. Satırı.
Araştırmacılar daha sonra temsilciyi üst düzey anlambilim takip etmeye teşvik etmek için oyun ayarlarını düzenlemenin basit bir yolunu buldular. Yani, "sağduyu" nun bazı yönlerini ortadan kaldırarak aracıların kullanımını ortadan kaldırmaktır. Örneğin, giriş görüntüsünün ayrıntılarıyla ilgili gerçekleri silin, böylece aracıyı daha soyut öznitelikler kullanmaya zorlayın. Tablo 2, çeşitli konfigürasyonların sonuçlarını göstermektedir. Temsilcinin hala koordine edebildiği görülebilir. Şekil 3'te (sağda), bu etki, t-SNE tabanlı görsel düğünler ile bu yeni deneyde bunlardan alıntı yapmak için kullanılan kelimeler arasındaki ilişki tekrarlandığında daha net hale geliyor.
Tablo 2: Bir referans oyunu oynamak için görüntü seviyesindeki hedefleri kullanın: 50K eğitimden sonra test sonuçları. Tablo 1'de listelenmiştir. Tüm saflık değerleri p cinsindendir
Aracı, gönderenin atanan nesnenin geleneksel adını öğrenmesi gereken denetimli bir görüntü etiketleme görevi aracılığıyla iletişim protokolünü etkileşimli olarak geliştirir. Bu şekilde, gönderen, oyun oynarken hedef görüntüyü ayırt etmek için doğal olarak bu isimleri geleneksel anlamlarla kullanmaya teşvik edilecektir, böylece kod dili insanlar tarafından doğal olarak yorumlanabilir.
Denetlenen hedefin iletişimin başarısı üzerinde olumsuz bir etkisi yoktur: 10.000 eğitim denemesinden sonra (5k referans oyun denemesine eşdeğer), temsilci yine de tam olarak koordine edebilir. Gönderen, eğitimden sonra önceki deneylerden daha fazla sembol kullandı ve sembol saflığı önemli ölçüde% 70'e çıkarıldı (gözlem fırsatı saflık farkı da% 37'ye yükseldi). Ve birçok sembol, etiketlerle doğrudan yazışmaları sayesinde artık doğrudan yorumlanabilir hale geldi. Kodun yorumlanabilirliğini araştırdıktan sonra, araştırmacılar deneysel verilerin% 68'inin insanlar tarafından doğru bir şekilde yorumlanabileceğini buldular. Mükemmel olmaktan uzak olsa da, ayrı bir veri setinin denetimli öğreniminin, denetlenen aşamada öğrenilen geleneksel sözcük temsilinin ötesine geçen, insanlarla iletişim için bir temel sağladığı görülebilir.
Kalite açısından gönderici, kelimenin içeriği ile sahip olduğu görüntü arasında bir tür "metonimik" bağlantı kurduğunda, gönderenin konusu arasındaki iletişim çok başarılı olur. Şekil 4, göndericinin okyanusun bir bölümünün resmini ve bir kara parçasının çitini göstermek için bir yunus ürettiği bir örneği göstermektedir.
Şekil 4: ReferItGame koleksiyonundaki örnek çiftler, gönderen tarafından oluşturulan sözcükler. Görüntü hedefini yeşil olarak konumlandırın.
Sonuçlar, oldukça basit bir sinir ağı aracısının, katılan oyunlarda koordinasyonu ve iletişim kurmayı öğrenebileceğini doğruladı. Araştırmacılar ayrıca, düşük seviyeli görsel niteliklerden ziyade, ortamdaki aracı tarafından yakalanan görüntülerde tasvir edilen nesnelerin genel kavramsal özelliklerini de elde ederler. Ve oyunların ve denetleme görevlerinin birleşimiyle, doğal dilde iletişim kurma şeklini gösterir.
Gelecekteki çalışmalarda, acil durum iletişiminin insan doğal diline yakın kalmasını nasıl sağlayacaklarını daha fazla araştırmak istiyorlar. Tahmine dayalı öğrenme, onlara dilin yapısal özelliklerini (kelime seçimi, dilbilgisi veya stil gibi) öğretmeye odaklanarak, aracının önemli bir parçası olarak görülmelidir. Bununla birlikte, bir konuşmanın nasıl yapılacağı gibi dilin işlevsel itici yönlerini öğrenmek de önemlidir ve etkileşimli oyunlar bu hedefe ulaşmak için verimli bir yoldur.
ICLR komitesi nihai kararı
Yorum: Yazar, oyunun diline atıfta bulunmak için birden fazla aracı kullanma hakkında bazı ön sonuçlar gösterdi. Bu öğrenme, pekiştirme ve denetimli sınıflandırma arasında değişir. Avantajlar: Bu ilgili, yeni bir makaledir. Dezavantajlar: Deney biraz basit / sınırlıdır.
Karar: Kabul Et (Sözlü)
Anonim yorumcu 1
Derecelendirme: 7, iyi kağıt, kabul edildi
Yorum: Okuması çok hoş, teşekkürler.
Avantajlar: Bu makale, iki aracı arasındaki iletişimi anlamada çok kritik bir sorunu çözmektedir. Giderek daha fazla pekiştirmeli öğrenme uygulamalarının geliştirilmesiyle, bu yöntem bizi temel bir soruna geri getiriyor: makinelerin sorun çözme yöntemi, insanlarınkine benzer.
Bu görev çok basittir, bu nedenle sonraki öğrenim analizini daha sezgisel hale getirebilir.
İlginç olan, bilgili temsilcinin mesajları iletmek için çoklu sembolleri kullanırken, agnostik ajan sadece 2 sembole güveniyor olmasıdır.
Dezavantajlar: Gönderilen iki görüntü farklı kategorilerden ise, görev etkili bir şekilde görüntü sınıflandırmasına gelir. Kullanılan sembol, aslında ikinci ajanın herhangi bir görüntüye atamayı öğrendiği görüntü sınıfıdır. Her durumda, bu yöntem, bir takviye öğrenme algoritmasından daha eğitilmesi daha hızlı olabilecek bir transfer öğrenme problemine dönüşür.
Anonim yorumcu 2
Derecelendirme: 7, iyi kağıt, kabul edildi
Yorum: Etkileşimli bir referans iletişim oyununa birden fazla aracı yerleştirerek doğal dil sistemlerini eğitmek çok iyidir. Yazarın dediği gibi, iletişimi öğretmek için çok aracılı oyunlar kullanan bazıları (çok olmasa da), ancak bu takip etmeye değer bir yön gibi görünüyor. Ek olarak, makalede önerilen deneylerde, bu oyunlar ve bazı denetimli öğrenme arasında geçiş yapma yöntemi çok verimli görünmektedir.
Not: "Açıklık" için, Şekil 1'deki bazı ağ bağlantılarının ihmal edildiğini düşünüyorum. Bununla birlikte, oldukça özelleştirilmiş mimari ve Bölüm 3'teki biraz tarif edilemez açıklama göz önüne alındığında, stenografi diyagramı sadece kafa karışıklığı yaratır. Grafiğin ince ayarlanması gerekebilir, ancak en azından (özellikle yanlış anladıysam!), Okuyucuların grafiği açıklamasına yardımcı olmak için bir başlık eklenmelidir.
Genel olarak, mimari çok iyi ve çeşitli şekillerde çok etkili / yararlı görünüyor, sonuçlar makul ve bu çalışmanın bazı ilginç değişikliklere sahip olmasını bekliyorum.
Bu makaleyi anladığıma emin olsam da, bu çalışmanın bu konudaki durumunu doğru bir şekilde değerlendirmek için en yakından ilgili literatüre çok aşina olduğumu hissetmiyorum.
Anonim yorumcu 3
Derecelendirme: 7, iyi kağıt, kabul edildi
Yorum: Bu makalede, iki ajanla bir referans oyun önerilmektedir. İki ajan iki görüntüyü gözlemliyor. Gönderen olarak adlandırılan birinci aracı, ikili hedef değişkenini (t) alır ve alıcı adı verilen ikinci aracıya, aracının hedefi tanıyabilmesi için bir sembol (mesaj) göndermesi gerekir. Alıcı temsilci hedefi doğru bir şekilde tahmin edebilirse, her iki aracı da ödüllendirilecektir. Bu makale, bir özellik vektörü olarak görüntünün ön eğitimini temsil etmek için ajanı bir sinir ağına parametrelendirmeyi ve eğitim için REINFORCE'u kullanmayı önermektedir. Bu ortamda aracıların optimal stratejiye yakınlaştığı ve öğrendikleri iletişimin (örneğin göndericiden alıcıya gönderilen sembol kodu) bazı anlamlı kavramlara sahip olduğu gösterilir. Ayrıca bu makale, farklı görüntü türlerine dayalı oyun varyantlarının deneyini de tanıtmaktadır. Bu durumda, temsilci daha anlamlı kavramlar öğreniyor gibi görünüyor. Son olarak, gönderen temsilcinin önce oyunu oynama ile denetimli öğrenme görevini (sınıflandırılmış görüntü) oynama arasında gidip geldiği bir çoklu oyun ortamı önerilmiştir. Şaşırtıcı olmayan bir şekilde, sembolik iletişim, denetimli öğrenme görevlerine demirlendiğinde daha anlamlı kavramlara sahiptir.
Çok temsilcili bir ortamda paylaşılan iletişim ifadelerini öğrenmek ilginç bir araştırma yönüdür. Standart denetimli öğrenme veya tek ajanlı pekiştirmeli öğrenme görevleri ile karşılaştırıldığında, bu zor bir görevdir ve bu görevin nispeten basit bir görevden başlaması mantıklıdır. Bildiğim kadarıyla önce iki ajan arasındaki iletişimi öğrenmenin ve sonra bu iletişimi insan diline taşımanın yolu yeni. Yazarın dediği gibi, bu, işlevsel yönlerinden çok dilin istatistiksel özelliklerine odaklanma eğiliminde olan standart diziden diziye modelinin alternatif bir örneği olabilir. Önerilen görevlerin ve çerçevenin katkısının yanı sıra, iletilen iletişimin analizi ve görselleştirilmesinin gelecekteki çalışmalar için yararlı basamak taşları olduğuna inanıyorum. Bu nedenle makalenin kabul edilmesi gerektiğini düşünüyorum.
