ICLR 2019'daki en son ilerlemeyi bir bakışta öğrenin
Leifeng.com AI teknolojisi inceleme basını: Genel olarak konuşursak, derin öğrenme tipik bir veriye dayalı teknolojidir Sınırlı veriler karşısında, geleneksel derin öğrenme teknolojisinin performansı genellikle tatmin edici değildir. Bu ICLR'de birçok araştırmacı, küçük örnek öğrenme problemlerini keşfetmek için meta-öğrenme, transfer öğrenimi ve diğer teknolojileri kullandı ve çok sayıda yüksek kaliteli makale yayınladı. Yüz düşünce okulu olarak tanımlanabilir! Derin öğrenme mühendisi Isaac Godfried, Medium üzerine bir makale yayınladı.Bu yılki ICLR'nin küçük veri kümeleri üzerine derin öğrenme araştırması üzerine yazdığı makaleye dayanarak, küçük örneklemli öğrenmedeki en son ilerlemeyi tartıştı. Leifeng.com AI Technology Review aşağıdaki gibi derlenmiştir.
Bu yılki Uluslararası Temsilcilik Öğrenme Konferansı (ICLR) planlandığı gibi 6 Mayıs 2019'da açıldı. Önceki planıma göre, bu konferansta yayınlanan bazı ilginç ICLR makalelerini inceleyeceğim. Bu makalelerin çoğu kişisel ilgi alanımın araştırma alanıyla ilgilidir (denetimsiz öğrenme, meta-öğrenme, dikkat mekanizması, doğal dil işleme), ancak yalnızca birkaç yüksek kalite seçeceğim ve kendi alanlarında sahip olacağım Etkilenen ince belgeler analiz edilir ve bir dizi blog yazısı güncellenir. Bu dizinin ilk makalesi, küçük veri kümeleri üzerinde derin öğrenme araştırmalarını tanıtacak; ikinci makale, doğal dil işleme ve diğer serileştirilmiş veri türlerindeki gelişmeleri tartışacak; üçüncü makale ise analiz edecek. Çok ilginç olduğunu düşündüğüm diğer çeşitli makaleler.
Öğrenmeyi, meta öğrenmeyi ve denetimsiz öğrenmeyi aktarın
Sınırlı eğitim verisi sorunu, sağlık hizmetleri, tarım, otomobiller, perakende, eğlence vb. Dahil olmak üzere yaşamın her alanında geniş kapsamlı bir etkiye sahiptir. Diğer durumlarda, çok fazla veriye sahibiz, ancak bunlar etiketlenmemiş. Veri toplama ve etiketlemenin yüksek zamanı / maliyeti nedeniyle, bu sorun genellikle derin öğrenme tekniklerini hedef görevlere entegre etmenin önünde bir engel haline gelir.
"Denetimsiz Öğrenim Kuralları"
Denetimsiz öğrenme kurallarını öğrenmek
Kağıt indirme adresi: https://openreview.net/forum?id=HkNDsiC9KQ
Makale, hem meta öğrenme hem de denetimsiz öğrenme kavramlarına dayanmaktadır (burada Metz ve diğerlerinin çalışmasına atıfta bulunulmaktadır). Makale, özellikle, denetimsiz bir öğrenme tarzında aşağı akış görevlerinin etkili temsillerini öğrenmek için meta öğrenmeyi kullanmayı önermektedir. Makale, "yarı denetimli öğrenmenin" sınıflandırma problemine odaklanmaktadır, ancak ilginçtir çünkü, en azından teoride, bu tür öğrenme kuralları "sonraki herhangi bir görev için temsiller oluşturmak üzere optimize edilebilir." Bu çok kullanışlıdır, çünkü denetimsiz temsil öğrenimi çalışmasında, yazar açık bir eğitim algoritması veya kayıp işlevi tanımlamıştır. Buradaki model, "meta hedefler tarafından belirlenen faydalı temsiller oluşturan algoritmalar oluşturmayı öğrenecek." Bu özel kural genellikle ulaşılması için çok fazla deneme ve alan bilgisi gerektirir, bu nedenle yeni alanlara kolayca uygulanamaz. Otomatik kodlayıcıların kullanımı bunun bir örneğidir: Orijinal verilerle aynı olan bir çıktıyı kodlayarak ve sonra kodunu çözerek gösterimleri öğrenmeye çalışır. Otomatik kodlayıcılar genellikle açıkça belirtilmiş bir kayıp işlevi gerektirir.
Bu yöntemin nasıl çalıştığını anlamak için şunu hatırlayalım: meta-öğrenmede, genellikle bir iç döngümüz ve bir dış döngümüz var. İç döngüde, model belirli bir görev üzerinde hareket edecektir.Örneğin, bir görüntü sınıflandırma probleminde, bu tür bir görev kedileri ve köpekleri tanımlamak olabilir. Genel olarak konuşursak, iç döngü belirli sayıda n (genellikle n, 1 ile 10 arasındadır) örnek üzerinde çalışacaktır. Ardından, dış döngü bir "meta güncelleme" gerçekleştirmek için bazı iç döngü tarafından elde edilen bazı parametreleri (ağırlığın kendisi, kümülatif kayıp veya diğer parametreler) kullanır. Bu "meta güncellemenin" belirli koşulları modele göre değişir, ancak genellikle aşağıda gösterilen yöntemi izlerler:
Meta öğrenme sürecine genel bakış
Bunu akılda tutarak, model mimarileri, bir temsil oluşturduktan sonra iç modeli güncellemenin bir yolunu meta-öğrenme yoluyla öğrenir. Belirli bir temsil oluşturulduktan sonra kural, iç modeli güncelleme sürecinde stokastik gradyan iniş yönteminin yerini alır. Ek olarak, ağırlığın kendisinin MAML yöntemiyle veya dikkat modelinin ağırlığının SNAIL aracılığıyla güncellendiği durumdan farklı olarak, bu denetimsiz güncelleme kuralı döngünün sonunda güncellenir. Bu, bu tür denetimsiz öğrenme kurallarının yalnızca benzer görevlere değil, aynı zamanda yeni görevlere, yeni temel modellere ve hatta yeni modsal verilere (örneğin, görüntü verilerinden metin verilerine) uygulanabileceği anlamına gelir.
İlk olarak, yazarlar önceki yöntemlerin problemlerini göstererek modellerinin deneysel sonuçlarını değerlendirirler. Örneğin, bir varyasyonel otomatik kodlayıcı (VAE), amaç fonksiyonunun uyumsuzluğu problemine (yani kayıp) sahip olacaktır ve bu, zaman içinde modelin zayıf performansına yol açacaktır. Prototip ağ geçiş özelliklerini kullanmak mümkün olsa da, farklı görevlerin özellik boyutları farklıysa bu yöntem çökecektir. Aksine, Metz ve diğerlerinin yöntemi, "küçük örneklem" sınıflandırma görevlerinde daha iyi genelleme performansına sahip bir güncelleme kuralı öğrendi. Eğitim sırasında meta güncellemeyi de gösterdiler.Ağ yalnızca görüntü sınıflandırma görevi konusunda eğitilmiş olsa bile, metin sınıflandırmasının performansını iyileştirmek için yine de genelleştirilebilir (ancak aynı zamanda meta işlevi görüntü sınıflandırma görevi için eğitilmişse de bulmuşlardır. Çok uzun olursa, meta işlevinin görüntü görevine aşırı uyması nedeniyle bariz bir performans düşüşü yaratacaktır).
Sonuç olarak, bu harika bir makale ve denetimsiz teknolojide büyük bir gelişme. Mevcut son teknoloji deneysel sonuçlara ulaşmamış olsa bile, seyrek veri ile birçok alanda kullanılabilir. Bu makalenin resmi kodu şu bağlantı aracılığıyla edinilebilir: https://github.com/tensorflow/models/tree/master/research/learning_unsupervised_learning
Meta öğrenme yoluyla denetimsiz öğrenme
İlginç bir şekilde, bu yıl ICLR'de aynı anda meta-öğrenme ve denetimsiz öğrenmenin kombinasyonunu öneren iki makale yayınlandı (iki makale tamamen farklı yöntemler uygulasa da). Bu makalede yazar, denetimsiz öğrenmenin kurallarını öğrenmek için meta öğrenmeyi kullanmak yerine denetimsiz öğrenmeyi veri ve meta öğrenmeyi bölmek için kullanır.
Bu makale en sevdiğim makalelerden biridir çünkü açık bir görev tanımı olmadan meta-öğrenmenin kapısını açar. Meta öğrenmeyle ilgili bazı problemler şunlardır: meta öğrenme genellikle iyi tanımlanmış görevler gerektirir. Bu, meta-öğrenmenin uygulanabilir kapsamını, araştırmacıların çok büyük etiketli meta veri setlerine (genellikle farklı alt veri setlerine bölünmüş) sahip olduğu önermesiyle sınırlar. Bu makaledeki yöntem, veri setini otomatik olarak farklı alt gruplara bölmeyi önermektedir. Bu makalenin yazarı, basit denetimsiz kümeleme algoritmaları (K-ortalama algoritması gibi) kullanılsa bile, meta-öğrenicinin bu görevlerden öğrenmeye devam edebileceğini ve manuel olarak etiketlenmiş sonraki görevlerde öğrenmek için bu yerleştirmeleri doğrudan kullanmaktan daha iyi olduğunu buldu Yöntemler (örneğin, denetimsiz öğrenmeden ve ardından denetimli sınıflandırmadan sonra) daha iyi performans gösterir. Kullandıkları iki meta öğrenme tekniği "ProtoNets" ve "MAML" dir. Bu makale, ilk önce denetimsiz ön eğitimi gerçekleştirdiğimiz ve ardından denetimli öğrenmeyi gerçekleştirdiğimiz ilginç bir yarı denetimli öğrenme paradigmasını tanıtıyor. Bu örnekte, "denetimli" bölüm "az vuruşlu öğrenme" gerçekleştirecektir.
Yazar, yöntemlerini 4 veri setinde (MNIST, Omniglot, miniImageNet ve CelebA) denetimsiz öğrenme yöntemleriyle karşılaştırdı. Sonunda, yöntemlerinin diğer tüm "denetimsiz + denetimli öğrenme" yöntemlerinden (küme eşleştirme, çok katmanlı bilgi (MLP), doğrusal sınıflandırma ve K en yakın komşuları dahil) çok daha iyi performans gösterdiğini buldular. Sonuç olarak, bu makale, meta öğrenmeyi yalnızca iyi tanımlanmış görev dilimlerine uygulanabilir hale getirmek yerine, "meta öğrenmenin farklı türdeki sorunlara uygulanmasını kolaylaştırma" yönünde büyük bir adım attı.
"Gizli yerleştirme optimizasyonu (LEO) ile meta öğrenme"
Gizli Yerleştirme Optimizasyonu (LEO) ile Meta-Öğrenme
Kağıt indirme adresi: https://openreview.net/forum?id=BJgklhAcK7
Bu makale, gradyan tabanlı meta öğrenmeyi gizli bir temsil ağıyla birleştirmeyi amaçlamaktadır. LEO'nun çalışması iki aşamaya ayrılmıştır: birincisi, model parametrelerinin düşük boyutlu bir şekilde yerleştirilmesini öğrenecek; daha sonra modelin düşük boyutlu gömme alanında meta-öğrenme gerçekleştirecektir. Spesifik olarak, önce modele bir T görevi verilecek ve giriş kodlayıcıya geçirilecektir. Kodlayıcı, daha sonra bir dizi parametreye dönüştürülen gizli bir kod üretir. Kodlayıcı ayrıca, kodlama içeriğini bağımlı hale getirmeye yardımcı olan bir ilişkisel ağa sahiptir. Ardından, bu parametreler iç döngüde optimize edilirken, kodlayıcı, kod çözücü ve ilişkisel ağ dış döngüde optimize edilir. Yazarlar, çalışmalarının ana katkısının, düşük boyutlu gömme alanlarında meta-öğrenmenin, MAML'de kullanılanlara benzer yüksek boyutlu alanlarda meta-öğrenmeden çok daha iyi performans göstereceğini göstermek olduğuna dikkat çekiyorlar. LEO, hem "tieredImageNet" hem de "miniImageNet" veri kümelerinde çok iyi deneysel sonuçlar elde etti (5 yollu 1 vuruşlu karşılaştırma kıyaslama testinde elde edilen% 61 doğruluk dahil, bu etkileyici ve hala 5 yolundadır. 5 atışlık görevde% 77 doğruluk elde edildi). Diğer birçok makale gibi, bu makale de yalnızca görüntü veri setlerini test etmektedir, bu nedenle modelin diğer veri türleri üzerinde nasıl genelleme yapabileceği açık değildir.
"Çapraz program transfer öğrenimi"
Öğrenmeyi Süreçler Arasında Aktarmak
Kağıt indirme adresi: https://openreview.net/forum?id=HygBZnRctX
Bu makalenin yazarı, Medium'da modelinin çalışma prensibini ayrıntılı olarak açıklayan bir blog yazısı yayınladığından (makale görünümü adresi: https://medium.com/@flnr/transferring-knowledge-across-learning-processes-f6f63e9e6f46), buradayım Burada çok fazla teknik ayrıntıya girmeyeceğim. Meta öğrenme üzerine çok sayıda diğer makale ile karşılaştırıldığında, bu makale vurgulanmaya değer aşağıdaki önemli noktalara sahiptir: Birincisi, bu makaledeki model hem küçük ölçekli öğrenme hem de daha büyük veri senaryolarında test edilmiş ve değerlendirilmiştir. . Bu çok önemlidir, çünkü meta-öğrenme algoritmaları, daha fazla veri örneği olduğunda genellikle meta-optimizasyon çalışmasını dikkate almaz (ancak veri boyutu modeli sıfırdan eğitmek için hala çok küçüktür). Bu makale ayrıca keşfedilmemiş bazı alanları da incelemektedir. Spesifik olarak, bu makale, genellikle keşfedilmemiş olan "uzaktan geçiş" alanını, yani farklı görevler arasında pozitif bilgi transferinin gerçekleştirilmesini incelemektedir.
"Derin Çok Boyutlu Kümeleme Varyasyonel Otomatik Kodlayıcılarda Potansiyel Üst Yapıyı Öğrenme"
Derin Çok Boyutlu Kümeleme için Varyasyonel Otomatik Kodlayıcılarda Gizli Üstyapıları Öğrenme
Kağıt indirme adresi: https://openreview.net/forum?id=SJgNwi09Km
Bu makale, yüksek boyutlu verilerin daha iyi kümelenmesi için yeni bir tür varyasyonel otomatik kodlayıcının (VAE) kullanımını tartışmaktadır. Denetimsiz öğrenmede, veri öğelerini farklı gruplar halinde kümelemek önemli bir ön işleme adımıdır. Bu makalenin yazarı, birçok türde verinin özniteliklerinin birçok farklı parçasına göre kümelenebileceğine işaret ediyor. Yazar, "LTVAE'nin birden çok veri bölümü oluşturacağını ve her bölümün bir üst düzey gizli değişkenden türetileceğini" belirtti.
"LT-VAE, verileri daha iyi karakterize etmek için yalnızca her bir kümenin konumunu öğrenmekle kalmayacak, aynı zamanda bu kümelerin sayısını ve temeldeki ağaç yapısının hiyerarşisini de öğrenecek. Bu, üç aşamalı bir öğrenme algoritması aracılığıyla gerçekleştirilir: İlk adım, veriler üzerindeki uydurma etkisini iyileştirmek için geleneksel bir "kodlayıcı-kod çözücü" sinir ağını eğitmektir. İkinci adım, Maksimum Beklenti Algoritmasına (EM) benzer bir optimizasyon sürecidir. Arka olasılığın öğrenilmiş potansiyel önceki parametrelerini yerine getirin. Üçüncü adım, BIC puanını iyileştirmeden önce potansiyelin yapısını ayarlamaktır. Bu, potansiyel arka ve potansiyel önceki parametrelerin sayısı için iyi bir uyumdur ( Bu karmaşıklıktır). "
Bu yazıda önerilen yöntemin temel avantajı, kümelemenin yorumlanabilirliğini geliştirmesidir (genel etkisi log olasılığı açısından çok iyi olmasa da). Ek olarak, belirli faktörler için kümeleme, birçok gerçek dünya uygulamasında onu çok çekici kılar. Bu makale diğer birçok makaleden farklı olmasına ve küçük örneklem öğrenme problemini açıkça incelememesine rağmen, bu kümeleme yöntemini küçük örnekleme yöntemiyle birleştirmenin yararlı olabileceğini düşünüyorum. Örneğin, "meta-öğrenme ortamına dayalı denetimsiz öğrenme" probleminde görev bölümü için kullanılabilir.
"Meta Öğrenmeye Dayalı Derin Çevrimiçi Öğrenme"
Meta öğrenme yoluyla derin çevrimiçi öğrenme
Kağıt indirme adresi: https://sites.google.com/berkeley.edu/onlineviameta
Bu makale, takviye öğrenme modeli çevrimiçi çalışırken (yani üretim sürecinde) bunları hızlı bir şekilde güncellemek için meta öğrenmeyi ve bir "Çin Restoranı İşlemleri" ni kullanmaya odaklanmaktadır. Bu çalışma, insanların genellikle daha önce hiç (gerçekten) deneyimlenmemiş yeni koşullarla karşılaşmasından ilham alıyor; ancak, geçmiş deneyimleri kullanabilir ve yeni deneyimlerden aldığımız geri bildirimlerle birleştirebiliriz. Yeni duruma uyum sağlayın.
Bu makalede önerilen yöntem, modeli başlangıçta eğitmek için ilk kez MAML kullanır. Çevrimiçi öğrenme algoritmaları, MAML'de geçerli öncelikler verildikten sonra kullanılacaktır. Çevrimiçi öğrenme algoritması, uygun başlangıç ayarlarıyla yeni bir model oluşturmak veya mevcut bir modeli seçmek için "Çin restoranı programını" kullanır. Daha sonra yazar, çevrimiçi öğrenmenin sonuçlarına göre model parametrelerini güncellemek için stokastik gradyan iniş (SGD) algoritmasını kullanacaktır. Yazar, bu makalede önerilen yöntemi "Çevrimiçi öğrenme için meta öğrenme" (veya kısaca MoLE) olarak adlandırdı.
Yazarlar önerilen yöntemleri bazı pekiştirmeli öğrenme ortamlarında test etmiş ve değerlendirmiştir. İlk ortam, farklı zorluk derecelerine sahip yamaçlardan geçen simüle edilmiş bir çitadır. İkinci ortam, bacakları kırılmış altı bacaklı bir robottur. Deneysel sonuçlar, MoLE'nin model tabanlı pekiştirmeli öğrenmeden, meta-öğrenmeyi kullanan k-shot uyarlamalı teknolojiden ve meta-öğrenmeyi kullanan sürekli gradyan adım teknolojisinden daha iyi performans gösterdiğini göstermektedir (ilginç olmasına rağmen, meta-öğrenmeyi kullanmaktan yalnızca biraz daha iyidir Gradyan adımı).
"Transferi en üst düzeye çıkararak ve unutulmaz öğrenim için müdahaleyi en aza indirerek öğrenme"
Transferi En Üst Düzeye Çıkararak ve Paraziti En Aza İndirerek Unutmadan Öğrenmeyi Öğrenmek
Kağıt indirme adresi: https://arxiv.org/pdf/1810.11910.pdf
Bir sinir ağı bir dizi görevi öğrendiğinde, genellikle "felaketle sonuçlanan unutma" adı verilen bir sorunla karşılaşır. Felaket bir unutma nedeniyle, sinir ağı önceden eğitilmiş görevlerde artık iyi performans elde edemez. Katastrofik unutma, bariz olumsuz aktarımla birlikte özel bir aktarım öğrenme durumu olarak düşünülebilir. Transfer öğrenimi (çoğu insanın bahsettiği gibi) ve meta-öğrenme, genellikle son görevdeki olumlu ve olumlu aktarımı en üst düzeye çıkarmaya çalışır, ancak genellikle kaynak görev üzerindeki etkisine dikkat etmez. Bu makale, daha büyük bir denge sağlamaya çalışırken, yine de aktif göçü sağlamaya çalışmaktadır, ancak felaket bir unutma (müdahale) pahasına değil.
Bu sorunu çözmek için Riemer ve diğerleri, Meta-Deneyimsel Tekrar (MER) adlı bir yöntem önerdi. MER, felaketle sonuçlanan unutmayı önlemek için standart deneyim tekrarını benimser, geçmiş eğitim örneklerini ve mevcut eğitim örneklerini birleştirir. Yazar, geçmiş eğitim örneklerinin öğrenme oranının düşük olduğunu varsayar; ikinci olarak MER, yeni veriler üzerinde eğitim almak için popüler REPTILE meta-öğrenme algoritmasını kullanır. Bununla birlikte, MER ayrıca geçmiş eğitim örneklerini yeni örneklerle bellek tamponunda birleştirir ve bunları REPTILE tarafından yönlendirilen iç eğitim döngüsüne besler, böylece felaket bir şekilde unutmayı önler.
Bu makaleyi çok seviyorum çünkü hem olumlu hem de olumsuz göç fikirlerini araştırıyor. Omniglot ve pekiştirmeli öğrenme ortamlarında bu yöntemin deneysel sonuçları oldukça iyi görünüyor. Ancak yazar, özellikle denetimli sınıflandırma problemlerinde sadece küçük bir "oyuncak" veri kümesi üzerinde test etti. Ayrıca CIFAR-10 kıyaslaması, CALTech-Birds veya CORRE50 üzerinde de test etmeleri gerekirdi. Bu bakış açısına göre, daha birçok gerçekçi CL veri seti olduğundan, sadece biraz değiştirilmiş MNIST veya Omniglot veri setlerini test etmek için hiçbir nedenleri yoktur. Buna ek olarak, yazarın önceden adlandırılmış kavramları "kopyaladığı" için, makaledeki bazı terimlerin kafa karıştırıcı olduğunu gördüm. Dahası, ideal koşullar altında, öğrenmeye devam ettiğimizde, önceki herhangi bir veriyi yeniden eğitmemize gerek yoktur (yeniden eğitim, ek hesaplama yükü getirecektir). Ancak, tüm bunlar doğru yönde ilerliyor ve umarım daha fazla makale hem olumlu hem de olumsuz göç üzerine odaklanacaktır. Bu belge hakkında daha fazla bilgi için lütfen IBM'in şu blog gönderisine bakın: "Meta-Experience Replay ile Sürekli Öğrenmeyi ve Meta-Öğrenimi Birleştirme" (https://www.ibm.com/blogs/research/2019/05/meta-experience -replay /); kağıt kodu adresi: https://github.com/mattriemer/MER
"Metinden Konuşmaya Etkili Uyarlamalı Örnekleme"
Örnek Verimli Uyarlanabilir Metinden Konuşmaya
Kağıt indirme adresi: https://openreview.net/forum?id=rkzjUoAcFX
Bu, modelleme görevlerinin "sıraya göre sıralanması" için meta-öğrenmenin ilginç bir uygulamasıdır. Bu örnekte yazar, konuşmacının sesine küçük örnek adaptasyon sağlamak için meta öğrenmeyi kullanıyor. Bu uygulama çok önemlidir, çünkü çoğu durumda belirli bir hoparlörün sesini 100 saniye veya 1000 saniye yakalayamayabilirsiniz. Yazar, özellikle, meta-öğrenme teknolojisini tanıtmak için WaveNet mimarisini genişletti. İlginç bir şekilde, yazarlara göre, ön deneylerinde, MAML anlamlı önseller üretmedi. Bu nedenle kendi mimarilerini geliştirmek zorunda kaldılar.
Bu mimarinin iş akışı üç adıma bölünmüştür: (1) Modeli, çok sayıda konuşmacının "metin-konuşma" çiftlerinden oluşan geniş bir külliyatta eğitin; (2) Belirli bir konuşmacının az miktarda "metin-konuşma" sına göre Modeli ayarlayın; (3) Son olarak düz metin üzerinde çıkarımlar yapın ve onu uygun konuşmaya dönüştürün. Yazar, iki küçük örnek öğrenme senaryosu üzerinde çalıştı: gömülü bir kodlayıcıyla (SEA-ENC) parametreleştirilmiş birkaç katı adaptasyon ve ayarlama işlemi ile parametrik olmayan birkaç vuruşlu adaptasyon (SEA-ALL) . SEA-ENC durumunda, yazar, yeni veriler verilen bir konuşmacının gömme vektörünü tahmin eden yardımcı bir gömme ağını eğitir. Buna karşılık, SEA-ALL için, yazar ağı ve aynı anda yerleştirmeyi eğitir. Test değerlendirme aşamasında, yazar, SEA-ALL durumunda modelin gereğinden fazla uygun olacağını iddia etse de, SEA-ALL daha iyi performans gösteriyor gibi görünüyor. Bu nedenle, aşırı takmayı önlemek için erken durdurmanın kullanılmasını tavsiye ederler. (Modelleri, Librispeech görevi ile ilgili önceki makalede önerilen modelden yalnızca 10 saniyede daha iyi performans gösterdi).
Bu makale iyi bir örnektir. Tipik görüntü sınıflandırma alanı dışındaki zor problemlere küçük örneklemler uygular ve gerçekten etkili olması için gerekli ayarlamaları yapar. Umarım gelecekte daha fazla araştırmacının küçük örneklemi öğrenmeyi genel modellere uygulamaya çalıştığını görebiliriz. Yazar, TTS (Metinden konuşmaya) modelinin demosunu test edebileceğiniz bir web sitesi sağlar. Ancak maalesef kodlarını ifşa etmiyorlar.
ICLR ile ilgili diğer makalelere genel bakış
"1 Fiyatına K: Parametre açısından verimli çoklu görev ve aktarım öğrenimi"
1 Fiyatına K: Parametre açısından verimli Çoklu görev ve Transfer Öğrenimi
Kağıt indirme adresi: https://openreview.net/pdf?id=BJxvEh0cFQ
Mudrarkarta ve diğerleri, her görev için özel olarak az sayıda öğrenilebilir parametreden oluşan bir model yama paketi önerdi. Bu yöntem, ağın son katmanını ayarlama olağan uygulamasının yerini alır. Yazar, bu yöntemin yalnızca parametre sayısını (1 milyondan 35.000'e) azaltmakla kalmayıp, aynı zamanda aktarım öğrenme ve çok görevli öğrenme ortamında ayarlamanın doğruluğunu da geliştirdiğini buldu. Tek dezavantajı, yama paketinin oldukça özel bir mimari için görünmesi.
"Uzaklık Ölçümü Öğrenimi için Denetimsiz Alan Uyarlamalı Yöntem"
Mesafe Metrik Öğrenme için Denetimsiz Alan Uyarlaması
Kağıt indirme adresi: https://openreview.net/forum?id=BklhAj09K7
Bu yazının ilk bölümünün başlığı "Denetimsiz Alan Uyarlaması" olmasına rağmen, aslında transfer öğrenme problemlerini incelemektedir. Genellikle hedef alanın, etki alanı uyarlaması yoluyla aynı etiket kümesini elde edeceğini hatırlayın. Bununla birlikte, bu örnekte, yazar, etiketlenmemiş bir hedef alan olduğunu varsaymaktadır - bazı gözden geçirenlerin de bahsettiği gibi, sonuç olarak bu makale biraz kafa karıştırıcı hale gelmiştir; ancak, bu makalede yine de bazı endişe noktaları vardır: Yazar, kaynak etki alanı ile hedef etki alanının ayarlama alanını ayırarak bir özellik geçiş ağı FTN'si önerir. Ayrıca yazar, ırklar arası yüz tanıma görevlerinde en gelişmiş performansı elde etti.
"Dilbilgisi ile Yönlendirilen Programları Sentezlemek için Meta Çözücü Öğrenme"
Sözdizimi Güdümlü Program Sentezi için Meta Çözücü Öğrenme
Kağıt indirme adresi: https://openreview.net/forum?id=Syl8Sn0cK7noteId=BJlUkwHxeV
Bu makale, sentez görevlerini programlamak için meta öğrenmenin nasıl uygulanacağını tartışmaktadır. Bu makalede yazar, mantıksal bir formül ve dilbilgisi izleyen bir dilbilgisi kılavuzu programı oluşturur ve ardından bir program oluşturur. Bu makale, tipik küçük örnek görüntü veri kümeleri dışındaki uygulamalarda meta öğrenmenin kullanılmasına iyi bir örnektir.
"Derin Doğrusal Ağlarda Genelleme Dinamiklerinin Analiz Teorisi ve Transfer Öğrenimi"
Derin doğrusal ağlarda genelleme dinamikleri ve transfer öğrenmenin analitik bir teorisi
Kağıt indirme adresi: https://arxiv.org/abs/1809.10374
Bu makale, öğrenme teorisini ve transfer öğrenmeyi incelemektedir. Yazar, "teorimiz, bilgi transferinin hassas olduğunu, ancak hesaplama açısından" sinyal-gürültü oranına "ve görev çiftinin giriş özelliklerinin hizalanmasına bağlı olduğunu açıklar." Sonuç olarak, bu makale teoriye dalmayı sevenler için çok ilginç.
Sonuç
Umarım bu makale, bu yıl ICLR'de küçük örneklem öğrenimiyle ilgili makalelerin çoğuna iyi bir genel bakış sağlar (yine de bazılarını kaçırabilirim). Gördüğünüz gibi, bu yıl ICLR'de çeşitli ilginç yeni teknolojiler ortaya çıktı ve veri sınırlı durumlar için derin öğrenmenin kullanılmasının kapısını açtılar.
https://towardsdatascience.com/iclr-2019-overcoming-limited-data-382cd19db6d2 Lei Feng.com aracılığıyla
