g u t x .com.tr İpek yolu - Çin'i anlamaya götürürüm

Academia Tencent AI Lab ayrıntılı 16 ICML 2018 seçilmiş makale

Bu makale Tencent AI Lab, WeChat hesabı tencent_ailab'dan yeniden oluşturulmuştur.

10-15 Temmuz tarihleri arasında 35. Uluslararası Makine Öğrenimi Konferansı (ICML 2018) İsveç'in Stockholm kentinde düzenlenecek. ICML, makine öğrenimi alanındaki en iyi akademik konferanstır. Bu yıl toplam 2.473 makale aldı, geçen yılki 1.676 makaleye göre% 47.6 artışla önemli bir artış oldu. Toplam 621 makale sonuçlandırıldı ve kabul oranı% 25 oldu, bu geçen yılki% 26 ile aynı.

Bu, Tencent AI Lab'ın bu üst düzey konferansa ikinci katılışıdır. Toplam 16 bildiri seçilmiştir. Geçen yıl, en iyi yerli şirketler arasında yer alan 4 bildiri seçilmiştir. Bu makaleleri, yeni modeller ve yeni çerçeveler, dağıtılmış ve merkezi olmayan ve makine öğrenimi optimizasyon yöntemleri ve teorik araştırma olmak üzere üç kategoride tanıtacağız. Bazı çalışmaların birden çok katkısı vardır ve araştırma içeriğine göre kesin olarak ayırt edilmez.

Bölüm 1: Yeni model ve yeni çerçeve

1. Takviye öğrenme için geri bildirime dayalı ağaç araması

Takviye Öğrenim için Geri Bildirime Dayalı Ağaç Arama

Kağıt adresi: https://arxiv.org/abs/1805.05935

Monte Carlo Ağaç Arama (MCTS), oyun aracılarında (AlphaGo gibi) büyük başarı elde etti, ancak Atari veya MOBA gibi hızlı karar verme gerektiren video oyunları için ağaç aramanın hızı çok yavaş. Bu soruna yanıt olarak, makale MCTS'yi orijinal sonsuz aralıklı Markov karar sürecinin küçük sınırlı aralıklı sürümlerine yinelemeli olarak uygulayabilen yeni bir model tabanlı pekiştirmeli öğrenme teknolojisi önermektedir. Strateji dışı yöntemle pekiştirmeli öğrenme eğitimini tamamladıktan sonra, temsilci daha fazla ağaç araması yapmadan hızlı ve gerçek zamanlı karar vermeyi gerçekleştirebilir.

Araştırmacılar, bu fikri, MCTS'nin yaprak düğüm değerlendiricisini güncellemek için kök düğümünde üretilen gözlemleri kullandığı geri bildirime dayalı bir çerçeveye entegre etti. Geri bildirim süreci aşağıdaki şekilde gösterilmektedir: (1) Bir grup örneklenmiş durumdan (üçgenler) bir dizi ağaç araması çalıştırın, (2) k'inci yinelemede strateji fonksiyonu yaklaşımı (PFA) k ve değer fonksiyonu yaklaşımını (VFA) kullanın ) Vk'nin yaprak tahmini ağaç arama sürecinde kullanılır, (3) k + 1 ve Vk + 1'i güncellemek için ağaç arama sonuçlarını kullanın.

Araştırmacılar yöntemin teorik bir analizini yaptılar ve sonuçlar, örneklem büyüklüğü yeterince büyük olduğunda ve yeterli ağaç araması yapıldığında, tahmini stratejinin optimum performansa yaklaşabileceğini gösterdi. Bu aynı zamanda toplu MCTS'ye dayalı pekiştirmeli öğrenme yönteminin ilk teorik analizidir.

Araştırmacılar ayrıca bu geribildirim tabanlı ağaç arama algoritmasını derin sinir ağlarını kullanarak uyguladılar ve onu "Kralın Glory" nin 1v1 modunda test ettiler. Karşılaştırma için araştırmacılar, kahraman Di Renjie'yi manipüle eden 5 ajanı eğitti. Sonuç olarak, yeni yöntemleri diğer yöntemlerden önemli ölçüde daha iyidir. Aşağıdaki şekil, zaman içinde diğer ajanlara kıyasla kendi yöntemleriyle eğitilen ajanın altın sikkelerini göstermektedir. Oran değişir.

Bunlar arasında NR, kullanıma sunumu olmayan, ancak kağıttaki yeni yöntemle aynı parametre ayarlarına sahip bir aracı ifade eder. DPI, doğrudan strateji yinelemesini kullanan bir aracıdır, AVI yaklaşık değer yinelemesini kullanan bir aracıdır ve SL, parametreleri yaklaşık 100.000 olan bir aracıdır. İnsan oyun verilerinin durum / eylem çifti, denetimli öğrenme eğitimiyle elde edilen bir aracıdır.

2. Öğrenim transferi yoluyla transfer öğrenimini gerçekleştirin

Öğrenmeyi Öğrenme Yoluyla Aktarmaya Aktarın

Kağıt adresi:

https://ai.tencent.com/ailab/media/publications//icml/148_Transfer_Learning_via_Learning_to_Transfer.pdf

Transfer öğreniminin üç temel araştırma sorusu şunlardır: ne zaman transfer edilir, nasıl transfer edilir ve neyin transfer edilir. Belirli bir geçiş görevi için doğru geçiş algoritmasını seçmek genellikle yüksek maliyetli hesaplamalar veya ilgili alanlarda uzmanlık gerektirir. Araştırmacılar, mevcut göreve uygun transfer algoritmasını daha etkili bir şekilde bulmak için, insanların transfer öğrenmeyi gerçekleştirme biçimine dayanan önceki transfer öğrenme deneyimine dayalı olarak yeni alanlar arasında transfer öğrenmenin etkinliğini artırabilecek yeni bir çerçeve tasarladı: öğrenme transferi (L2T: Aktarmayı Öğrenme).

L2T iki aşamaya ayrılmıştır. İlk aşamada, her bir aktarım öğrenme deneyimi üç bileşene kodlanacaktır: bir çift kaynak etki alanı ve hedef etki alanı, aralarında aktarılan bilgi (örtük özellik vektörleri olarak parametrelendirilmiş) ve aktarım öğrenmesi Performans iyileştirme oranı. Ardından, tüm deneyimlerden etki alanı çiftlerini ve bunlar arasında aktarılan bilgiyi performans iyileştirme oranına eşleyebilen bir yansıtma işlevi öğrenin. Araştırmacılar, bu yansıtma işlevinin neyin aktarılacağına ve nasıl aktarılacağına karar verme konusunda aktarım öğrenme yeteneğine sahip olduğuna inanmaktadır. İkinci aşamada, yeni ortaya çıkan alan çiftleri arasında aktarılacak içerik, öğrenilen yansıma fonksiyonunun değeri maksimize edilerek optimize edilebilir.

Araştırmacılar, bu aktarım öğrenme yönteminin üstünlüğünü kanıtlamak için, iki görüntü veri seti olan Caltech-256 ve Sketches üzerinde L2T çerçevesinin deneysel bir değerlendirmesini yaptılar. Aşağıdaki şekil, 6 kaynak ve hedef alan çiftinde L2T ve diğer 9 kıyaslama yönteminin sınıflandırma doğruluğunu göstermektedir.

Kaynak alan ile hedef alan arasındaki yakın ilişkiden bağımsız olarak ((a) 'daki "galaksi", "satürn" ve "güneş" gibi) veya önemli bir korelasyon ((c) ve (f) gibi), L2T Yöntemin performansı, diğer tüm kıyaslama yöntemlerinden önemli ölçüde daha iyidir.

3. Güçlendirmeli öğrenme yoluyla uçtan uca aktif hedef takibini gerçekleştirin

Takviye Öğrenme ile Uçtan Uca Aktif Nesne İzleme

Kağıt adresi: https://arxiv.org/abs/1705.10561

Hedef izlemenin hedefi, videonun ilk karesindeki hedef etikete göre sürekli videodaki hedefin konumunu tespit etmektir. Mobil robotlar ve dronlar ve görüş açısı değişiklikleri mevcut çekim sahnesini terk edecek diğer platformlar veya hedefler için, hedefi izlerken genellikle kameranın çekim açısını sürekli olarak ayarlamak gerekir. Makale, kamera açısını resme göre doğrudan ayarlayabilen, pekiştirmeli öğrenme kullanan uçtan uca aktif bir hedef izleme yöntemi önermektedir. Spesifik olarak, araştırmacılar, girdisi orijinal video çerçevesi ve çıktısı kamera hareketidir (ileri, sol vb.) Olan bir ConvNet-LSTM ağı kullandılar.

Yukarıdaki şekil, bu ConvNet-LSTM ağının mimarisini göstermektedir, burada takviye öğrenme bölümü mevcut en iyi takviye öğrenme algoritması A3C'yi kullanır.

Gerçek dünya senaryolarında uçtan uca aktif izleyicileri eğitmek henüz mümkün olmadığından, araştırmacılar ViZDoom ve Unreal Engine üzerinde simülasyon eğitimi verdiler. Bu sanal ortamlarda, aracı (izleyici) durumu (görsel çerçeve) birinci şahıs bakış açısıyla gözlemler ve eylemler gerçekleştirir ve ardından ortam güncellenmiş duruma (sonraki çerçeve) geri döner. Araştırmacılar ayrıca temsilcinin hedefi daha yakından takip etmesini sağlamak için yeni bir ödül işlevi tasarladı.

Deneysel sonuçlar, bu uçtan uca aktif izleme yönteminin mükemmel performansa ulaşabildiğini ve aynı zamanda iyi bir genelleme yeteneğine sahip olduğunu göstermektedir.Hedef hareket yolu, hedef görünümü, arka plan farklı olduğunda ve müdahale eden hedefler göründüğünde, etkin izlemeyi sağlam bir şekilde gerçekleştirebilir. . Ek olarak, hedef ara sıra izlemeden çıktığında (hedefin aniden hareket etmesi gibi), bu yöntem aynı zamanda hedefin takibini geri yükleyebilir. Aşağıdaki tablo, AR'nin kümülatif ödülü (doğruluğa benzer) ve EL'nin bölüm uzunluğunu (başarılı izleme için sürekli kare sayısına benzer) temsil ettiği ViZDoom ortamındaki birkaç farklı sahnede farklı izleme yöntemlerinin performans karşılaştırmasını gösterir.

Son olarak, araştırmacılar ayrıca VOT veri seti üzerinde bazı niteliksel değerlendirmeler yaptılar ve sonuçlar, sanal sahnelerden öğrenilen izleme yeteneklerinin de gerçek dünya sahnelere aktarılmasının beklendiğini gösterdi.

4. Yerel koordinat kodlamasını kullanarak tartışmalı öğrenme

Yerel Koordinat Kodlama ile Tartışmalı Öğrenme

Kağıt adresi: https://arxiv.org/abs/1806.04895

Generative Adversarial Networks (GAN), son zamanlarda çok popüler bir araştırma yönüdür ve bazı başarılı uygulamalar da elde edilmiştir. Bununla birlikte, GAN'ın hala bazı sınırlamaları vardır: birçok çalışma basit önceki dağılımları kullanmıştır ve GAN'ın örtük dağılım boyutlarında genelleme yeteneği bilinmemektedir. Bu problemlere yanıt olarak, araştırmacılar görüntünün manifold hipotezine dayanan yeni bir üretken model önerdiler.Model, gerçekçi görüntüler oluşturmada GAN'ın performansını artırabilen yerel koordinat kodlamasını (LCC) kullanıyor.

Yukarıdaki şekil, makale tarafından önerilen LCC-GAN planını göstermektedir. Araştırmacı ilk önce verilerdeki anlam bilgisini elde etmek için gizli manifold üzerine gömülmeyi öğrenmek için bir otomatik kodlayıcı (AE) kullandı. Daha sonra, örtük manifold üzerinde yerel bir koordinat sistemi oluşturmak için bir dizi temellik öğrenmek için LCC'yi kullandılar. Daha sonra, jeneratöre yaklaşmak için bir dizi kodla ilgili doğrusal bir işlev kullanarak LCC'yi GAN'a tanıttılar. Bu yaklaşıma dayanarak, daha sonra gizli manifolddaki yerel bilgileri kullanarak LCC'ye dayalı bir örnekleme yöntemi önerdiler. LCC-GAN'ın spesifik eğitim süreci aşağıdaki gibidir:

LCC örnekleme yöntemi iki adıma bölünmüştür: (1) Yerel bir koordinat sistemi verildiğinde, rastgele bir gizli nokta (temel olabilir) seçeriz ve sonra d-en yakın komşusunu buluruz; (2) biz Örneklenmiş LCC kodu olarak M boyutlu bir vektör oluşturun. Bunların arasında, vektörün her bir elemanı, bu temelin ağırlığına karşılık gelir.

Araştırmacılar, LCC-GAN'ı PyTorch ile uyguladılar ve yöntemi gerçek dünya veri setlerine dayalı çok sayıda deney aracılığıyla değerlendirdiler. Sonuçlar, LCC-GAN'ın diğer GAN yöntemlerinden (Vanilla GAN, WGAN, Progressive GAN) daha iyi performans gösterdiğini göstermektedir. Aşağıdaki şekil, CelebA veri setine dayalı olarak LCC-GAN ve Progressive GAN arasındaki yüz oluşturma sonuçlarının karşılaştırmasını göstermektedir.

Araştırmacılar ayrıca YDM-GAN'ın genelleme sınırını çıkardılar ve mükemmel genelleme performansı elde etmek için küçük boyutlu bir girdinin yeterli olduğunu kanıtladılar.

5. Dış gradyan yöntemine değişken bir metrik aşırı gevşeme hibrit yaklaşımı için bir algoritma çerçevesi

Değişken Metrik Aşırı Gevşemiş Hibrit Proksimal Ekstra Gradyan Yönteminin Algoritmik Bir Çerçevesi

Kağıt adresi: https://arxiv.org/abs/1805.06137

Maksimum monoton operatör dahil etme problemi, Karush-Kuhn-Tucker (KKT) genelleştirilmiş denkleminin pürüzsüz olmayan dışbükey optimizasyonunun ve dışbükey-içbükey eyer noktası optimizasyonunun bir uzantısıdır. Çok sayıda önemli optimizasyon problemleri içerir ve istatistiklerde ve makinede kullanılır Öğrenme, sinyal ve görüntü işleme alanlarında geniş bir uygulama alanına sahiptir. Bu yazıda, araştırmacıların ilgilendiği operatör dahil etme sorunları şunlardır:

Bunların arasında, X, sonlu boyutlu doğrusal bir vektör uzayıdır ve T: XX, maksimum monoton bir operatördür.

Bu soruna yanıt olarak, araştırmacılar, bu sorunu çözerken küresel yakınsamayı sağlayabilen, değişken metrik hiper gevşeme hibrid yakın dış gradyan yöntemi (VMOR-HPE) için yeni bir algoritma çerçevesi önerdiler. Mevcut Hybrid Proximity External Gradient (HPE) yönteminden farklı olarak, çerçeve yeni bir göreceli hata kriterine dayalı yinelemeli bir dizi oluşturabilir ve ayrıca yakınsama hızını artırmak için harici gradyan adımında aşırı gevşetilmiş bir adım boyutu sunar . Özellikle, hem dış gradyan adım uzunluğunun hem de aşırı gevşetme adım uzunluğunun, birçok hesaplamayı azaltabilen bir projeksiyon probleminden elde edilen değerler yerine önceden sabit sabitler olarak ayarlanabileceğinden bahsetmeye değer.

Araştırmacılar ayrıca çerçevenin yinelemeli karmaşıklığını ve yerel doğrusal yakınsama oranını sağladılar ve teorik olarak daha büyük bir aşırı gevşeme adımı boyutunun VMOR-HPE'yi hızlandırmaya yardımcı olduğunu kanıtladılar. Ek olarak, araştırmacılar, VMOR-HPE algoritma çerçevesinin çok sayıda birinci dereceden ilkel algoritmalar ve özel durumlar olarak birinci dereceden ilkel-ikili algoritmalar içerdiğini titizlikle kanıtladılar. Ek olarak, araştırmacılar aynı zamanda VMOR-HPE'yi doğrusal eşitlik kısıtlamaları olan çok bloklu ayrılabilir bir bileşik dışbükey optimizasyon probleminin KKT genelleştirilmiş denklemine uyguladılar ve alternatif yön çarpanına bitişik ölçeklenmiş bir harici gradyan düzeltme adımı elde ettiler. Yöntem (PADMM-EBB), bu adımdaki ölçeklendirilmiş matris, blok tabanlı bir Barzilai-Borwein çizgi arama tekniği ile oluşturulur. Algoritmanın yinelemeli formatı aşağıdaki gibidir:

PADMM-EBB algoritması

Son olarak, araştırmacılar sentetik ve gerçek veri setleri üzerinde deneyler yapmış ve negatif olmayan bigraph regülerleştirilmiş düşük sıralı gösterim problemine PADMM-EBB uygulamışlardır ve sonuçlar yöntemin etkili olduğunu göstermektedir.

Araştırmalar, bu VMOR-HPE algoritma çerçevesinin ilkel ve ilkel ikili algoritmalar için yeni içgörüler sağlayabileceğini ve bunların yakınsama, yineleme karmaşıklığı ve yerel doğrusal yakınsama oranını kanıtlamak için güçlü bir analiz tekniği olarak kullanılabileceğini gösteriyor.

Bölüm 2: Dağıtılmış ve Merkezi Olmayan

6. Alt modüler işlevi en aza indirmek için eleman güvenlik tarama algoritması

Submodüler Fonksiyon Minimizasyonu için Güvenli Eleman Taraması

Submodüler fonksiyon, makine öğrenimi, bilgisayarla görme ve sinyal işleme gibi birçok alanda önemli uygulamaları olan ayrık fonksiyondaki konveks fonksiyon olarak kabul edilebilir. Bununla birlikte, büyük ölçekli pratik uygulamalarda, alt modüler fonksiyonları en aza indirme problemini çözmek hala zor bir problemdir. Bu yazıda, öncelikle büyük ölçekli seyrek öğrenmede ortaya çıkan tarama yöntemini, çözüm sürecini hızlandırmak için alt modüler fonksiyonların en aza indirilmesine doğru genişletmeye çalışıyoruz. Alt modül fonksiyon minimizasyon problemi ile ilgili konveks problemi ve konveks problemin optimal çözümünün tahmini arasındaki ilişkiyi dikkatlice inceleyerek, optimizasyon süreci sırasında belirli inklüzyonları hızlı bir şekilde tespit edebilen yeni ve güvenli bir element seçim algoritması öneriyoruz. Optimal çözümdeki öğeler (bunlara etkin öğeler diyoruz) ve optimum çözüme dahil edilmemesi gereken öğeler (etkin olmayan öğeler). Etkin olmayan öğeleri silerek ve etkin öğeleri düzelterek, sorun ölçeği önemli ölçüde azaltılabilir, böylece herhangi bir doğruluğu kaybetmeden hesaplama miktarını büyük ölçüde azaltabiliriz. Bildiğimiz kadarıyla yöntemimiz, alt modüler fonksiyon optimizasyonu ve hatta kombinatoryal optimizasyon alanındaki ilk tarama algoritmasıdır. Bu nedenle, yöntemimiz alt modüler fonksiyonun minimizasyon algoritmasını hızlandırmak için yeni bir fikir sağlar. Sentetik veri seti ve gerçek veri seti üzerindeki deneysel sonuçlar, algoritmamızın alt modüler işlevi en aza indirme probleminin çözümünü önemli ölçüde hızlandırabileceğini doğrulamaktadır.

Araştırmacılar ilk olarak SFM ile karşılık gelen dışbükey yakın uç problemleri arasındaki ilişkiyi incelediler ve ayrıca bu yakın uç problemlerin doğru orijinal optimal tahminlerini inceledi. Bu araştırmaya dayanarak, yeni bir güvenlik tarama yöntemi önerdiler: inaktif ve aktif eleman taraması (IAES). Çerçeve iki tarama kuralından oluşur: etkin olmayan eleman taraması (IES) ve aktif eleman taraması (AES); bu iki kural, aşağıdaki Algoritma 2'de gösterildiği gibi IAES çerçevesinde dönüşümlü olarak yürütülür.

Son olarak, çerçeve, SFM'nin nihai optimal çözümüne dahil edilebilecek (aktif öğeler) veya optimizasyon sürecine dahil edilmeyen (etkin olmayan öğeler) öğeleri hızla tanımlayabilir. Daha sonra araştırmacı, etkin olmayan öğeleri kaldırabilir ve aktif öğeleri sabitleyebilir, böylece sorunun ölçeğini büyük ölçüde azaltabilir, böylece doğruluğu düşürmeden hesaplama maliyetini önemli ölçüde azaltabilir.

Bu araştırma, SFM algoritmasını hızlandırmanın yeni bir yönüne işaret ediyor. Araştırmacılar, sentetik ve gerçek veri setleri üzerinde deneyler yaptılar ve sonuçlar, önerdikleri yöntemin gerçekten önemli hız artışları sağlayabileceğini gösterdi. Aşağıdaki tablo, görüntü bölümleme görevinde SFM çözmenin çalışma süresi sonuçlarını (birim: saniye) gösterir.

IAES'in getirdiği hızlanma etkisinin 30,7 kata kadar çok açık olduğu görülebilir!

7. Ağa karşı bileşik işlev gradyan öğrenmesi oluşturun

Üretken Tartışmalı Modellerin Bileşik Fonksiyonel Gradyan Öğrenimi

Kağıt adresi: https://arxiv.org/abs/1801.06309

Generative Adversarial Networks (GAN) geniş çapta incelenmiş ve kullanılmıştır, ancak istikrarsızlık sorunları nedeniyle GAN'ları eğitmek genellikle zordur. Matematiksel olarak GAN, minimum-maksimum optimizasyon problemini çözer. Ve bu makale ilk olarak, geleneksel minimum ve maksimum biçime dayanmayan bir üretken yüzleşme teorisi önerdi. Teori, güçlü bir ayırıcı kullanmanın iyi bir oluşturucu öğrenebileceğini ve her fonksiyonel gradyan adımından sonra, gerçek veri dağıtımı ile üretilen veri dağıtımı arasındaki KL ayrışmasının yakınsamaya kadar iyileştirilebileceğini göstermektedir. Sıfıra.

Bu teoriye dayanarak, araştırmacılar, Algoritma 1'de gösterildiği gibi, kararlı bir yeni nesil yüzleşme yöntemi, yani bileşik fonksiyon gradyan öğrenme (CFG) önerdiler.

Bu temelde, araştırmacı ilerici CFG (ICFG, bkz. Algoritma 2) ve bir başka yaklaşık formül ICFG (xICFG, Algoritma 3'e bakınız) önermiştir. Bunların arasında ICFG, ayırıcıyı yavaş yavaş güncellemek için jeneratörün güncellemesini kullanır, böylece jeneratör sürekli olarak yeni ve daha zor numuneler sağlayabilir ve böylelikle ayırıcının gereğinden fazla uymasını engeller. Ve xICFG, verimliliği artırmak için sabit boyutlu bir yaklaştırıcı eğiterek (ICFG tarafından elde edilen jeneratörün davranışına yaklaşık) ICFG ile elde edilen jeneratörü sıkıştırabilir.

Araştırmacılar ayrıca, lojistik modeli kullanan olağan GAN'ın, aşırı bir ayar kullanılarak xICFG'nin özel durumu ile oldukça ilişkili olduğunu, yani GAN'ın jeneratör güncellemesinin, kabaca T = 1 ile ICFG tarafından elde edilen jeneratöre eşdeğer olduğunu buldular. Bu bakış açısı, GAN'ın istikrarsızlığını anlamak için yeni bir perspektiftir, yani GAN'ın istikrarsızlığı, T'nin çok küçük ve kaba bir yaklaşım olmasından kaynaklanmaktadır.

Araştırmacılar görüntü oluşturma konusunda deneyler yaptılar ve sonuçlar önerdikleri yeni yöntemin etkili olduğunu gösterdi. Aşağıdaki şekil, çeşitli yöntemlerle üretilen görüntülerin kalitesinin (başlangıç puanı) eğitim süresine göre nasıl değiştiğini göstermektedir.

GAN1'in (logd tekniğini kullanan GAN) zaman zaman LSUN veri setinde daha iyi performansa sahip olmasına rağmen, xICFG'nin performansının genellikle daha iyi ve daha kararlı olduğu görülebilir.

8. Gauss grafik modelinde optimal tahmin için dışbükey olmayan optimizasyonun grafiğini çizin

Gauss Grafik Modelinde Optimal Tahmin için Grafiksel Konveks Olmayan Optimizasyon

Kağıt adresi: https://arxiv.org/abs/1706.01158

Gauss grafik modeli, bir dizi değişken arasındaki eşleştirilmiş koşullu bağımlılığı temsil etmek için yaygın olarak kullanılmaktadır. grafiksel kement, Gauss grafik modellerini tahmin etmek için en yaygın kullanılan yöntemlerden biridir. Ancak, henüz ideal yakınsama oranına ulaşmadı. Spesifik olarak, genel olarak grafiksel kementin spektral normundaki optimal yakınsama oranının yaklaşık olarak

Burada n örneklem boyutu, d düğüm sayısı ve s gerçek grafikteki kenar sayısıdır.

Bu yazıda, araştırmacılar Gauss grafik modellerinde optimal tahmin için grafik dışbükey olmayan optimizasyon önerdiler. Ardından, bir dizi uyarlanabilir dışbükey prosedür aracılığıyla çözüme yaklaşır. Araştırmacı, yeni önerilen yöntemin bir dizi dışbükey programı çözmesine rağmen, araştırmanın, belirli normal koşullar altında, seyrek konsantrasyon matrisini tahmin etmek için bu yeni önerilen tahmin edicinin elde edebileceği ideal yakınsama oranını gösterdiğine dikkat çekti. Sıfır olmayan konum önceden biliniyor gibidir. Algoritma 1, bu yaklaşık çözüm sürecini göstermektedir. Daha sonra, ters korelasyon matrisini yeniden ayarlamak için tahmin edilen marjinal varyans kullanılarak, spektral norm yakınsama oranı yaklaşık olarak maksimum ve olan konsantrasyon matrisinin bir tahmincisi elde edilebilir.

Algoritma 1, glasso gibi mevcut R dili yazılım paketleri kullanılarak uygulanabilir.

Bu yeni önerilen yöntem, hesaplama açısından uygulanabilirdir ve ideal yakınsama oranına ulaşabilen bir tahminciyi elde edebilir. Dışbükey prosedürler kullanılarak dizi yaklaştırma ile ortaya çıkan istatistiksel hata, seyrek mod kavramı kullanılarak daha da geliştirilebilir.

Araştırmacı, yeni önerilen tahmin edicinin teorik özelliklerini analiz etti ve bu yeni yöntemi yarı parametrik grafik modeline genişletti Sayısal çalışmalar, yeni önerilen tahmin edicinin Gauss grafik modellerini tahmin etmede yaygın olarak kullanılan diğer yöntemlerden daha iyi performans gösterdiğini gösterdi. .

9. Büyük çok sınıflı sınıflandırma problemleri için adaylar ve gürültü tahmini

Adaylar ile Büyük Çok Sınıflı Sınıflandırma Problemi için Gürültü Tahmini

Kağıt adresi: https://arxiv.org/abs/1711.00658

Görüntü sınıflandırma ve dil modelleme gibi pek çok görevde genellikle çok sayıda kategori bulunur Örnekleme, bu tür görevlerin üstesinden gelmek için yaygın bir yöntemdir ve hesaplama maliyetlerini düşürmeye ve eğitim hızını artırmaya yardımcı olabilir. Bu makale bu fikri genişletir ve bir kategori alt kümesini kullanan çok sınıflı bir sınıflandırma problemi önerir (aday kategoriler, kalan kategoriler gürültü kategorileri olarak adlandırılır - tüm gürültüyü temsil etmek için örneklenecektir) Yöntem: Adaylar ve Gürültü Tahmini (CANE).

Araştırmacılar, CANE'nin her zaman tutarlı performansı koruduğunu ve hesaplama açısından verimli olduğunu göstermiştir. Ek olarak, gözlemlenen etiketin seçilen adaya ait olma olasılığı yüksek olduğunda, ortaya çıkan tahminci, maksimum olasılık tahmin edicisinin istatistiksel varyansına yakın olan çok düşük bir istatistiksel varyansa sahip olacaktır.

Araştırmacılar, CANE yönteminin üstünlüğünü iki özel algoritma aracılığıyla gösterdiler. Bunlardan biri, CANE için genel stokastik optimizasyon sürecidir (Algoritma 1):

Ek olarak, araştırmacılar, aday seçimi için hızlı ışın aramasını kolaylaştırmak için bir ağaç yapısı (yaprak kategoriyi temsil eder) kullandılar (Algoritma 2). Bu ışın arama daha düşük karmaşıklığa sahiptir, hızlı bir şekilde tahmin sonuçlarını elde edebilir ve doğal olarak ilk çoklu tahminleri verebilir.

Araştırmacılar, çok sayıda kategori ve sinirsel dil modelleme görevleri olan çok sınıflı sınıflandırma problemlerinde CANE yöntemini denediler. Aşağıdaki şekil, farklı sınıflandırma veri setlerinde çeşitli yöntemlerin test doğruluğunun çağa göre değişimini göstermektedir. Daha büyük aday madde setine sahip CANE'nin doğruluk açısından temelde diğer yöntemlerden daha iyi olduğu ve hatta bazen softmax yöntemini aştığı görülebilir. Dahası, CANE yönteminin yakınsama hızı, açık bir şekilde gürültü kontrast tahmini (NCE) ve Blackout'tan daha iyidir.

Aşağıdaki şekil, sinir dili modelleme deneyinin sonuçlarını göstermektedir. CANE yönteminin NCE ve Blackout'tan daha hızlı yakınsadığı ve softmax yöntemiyle aynı düzeyde kafa karışıklığına ulaştığı görülebilir.

Genel olarak deneysel sonuçlar, CANE'nin tahmin doğruluğunun NCE ve varyant yöntemlerinden ve çeşitli önceki en iyi ağaç sınıflandırıcılarından daha iyi olduğunu ve hızının da standart O (K) yönteminden önemli ölçüde daha iyi olduğunu göstermektedir.

10. Demo strateji optimizasyonunu kullanın

Gösterimlerle Politika Optimizasyonu

Kağıt adresi:

https://ai.tencent.com/ailab/media/publications//icml/152_Policy_Optimization_with_Demonstrations.pdf

Pekiştirmeli öğrenme yöntemleri için keşif, özellikle ödül sinyallerinin seyrek olduğu ortamlarda hala önemli bir sorundur. Şu anda, bu problem için iki ana araştırma yönü vardır: 1) Temsilciyi daha önce hiç görülmemiş bir durumu ziyaret etmeye teşvik ederek orijinal ödül işlevini yeniden şekillendirin; 2) Öğrenmeye rehberlik etmek için uzman bir stratejiden örneklenmiş bir gösteri yörüngesi kullanın süreç. Gösterilerden öğrenme yöntemi, keşif zorluklarının üstesinden gelmek için umut verici görünmektedir, ancak bu genellikle toplanması zor olan yüksek kaliteli gösteriler gerektirir.

Bu iki fikri birleştiren araştırmacılar, keşfe rehberlik etmek için mevcut gösterileri etkili bir şekilde kullanmak, yani öğrenilen strateji ile mevcut gösteri arasındaki doluluk oranını eşleşmeye zorlamak için bir yöntem önerdiler. Bu yöntemin arkasındaki sezgisel fikir, ödül sinyali mevcut olmadığında, temsilcinin keşfi gerçekleştirmek için erken öğrenme aşamasında gösterilen davranışı simüle etmesi gerektiğidir. Yeterince yetenek kazandıktan sonra, ajan yeni durumları kendi başına keşfedebilir. Bu aslında, orijinal ödülü yeniden şekillendirmek için pekiştirme öğrenimine dahil edilebilecek dinamik bir doğal ödül mekanizmasıdır.

Buna dayanarak, araştırmacılar sunum (POfD) yöntemini kullanarak keşif etkisini iyileştirmek için sunum verilerinden bilgi alabilen yepyeni bir strateji optimizasyonu geliştirdiler. Araştırmalar, POfD'nin dolaylı olarak dinamik ödülleri şekillendirebileceğini ve stratejileri geliştirmeye yardımcı olabileceğini gösteriyor. Ek olarak, mevcut en iyi sonuçları elde etmek için strateji gradyanı yöntemiyle de birleştirilebilir.

Araştırmacılar, bir dizi ortak karşılaştırmalı seyrek ödül görevi üzerinde deneyler yaptılar. Önerilen yöntemlerinin performansının, ideal yoğun bir ödül ortamında kullanılan politika gradyanı yöntemiyle bile karşılaştırılabilir olduğu ortaya çıktı; ve gösterim az ve kusurlu olsa bile, yeni yöntem hala iyi performans gösteriyor. Aşağıdaki iki şekil, yeni önerilen POfD yönteminin öğrenme eğrilerini ve ayrı eylem alanı ve sürekli çalışma alanı olan seyrek bir ortamda birkaç güçlü kıyaslama yöntemini göstermektedir.

Sürekli hareket alanı olan seyrek ortamda çeşitli yöntemlerin öğrenme eğrisi

11. Kenar yoğunluğu engeli: kombinatoryal muhakemede hesaplama-istatistiksel ödünleşim

Kenar Yoğunluk Bariyeri: Kombinatoryal Çıkarımda Hesaplamalı-İstatistiksel Ödünleşimler

İstatistiksel muhakemenin en önemli amaçlarından biri, değişkenler arasındaki bağımlılık yapısını, yani muhakeme için temelde yatan grafik modelinin yapısını belirlemektir. Bu makale daha spesifik bir muhakeme problemine odaklanmaktadır: temel alınan grafikte belirli bir kombinasyon yapısı olup olmadığını kontrol etmek.

Bu problemin bilgi teorisi sınırı üzerine pek çok araştırma yapılmış olmasına rağmen, böyle bir sınırın etkin bir algoritma ile büyük ölçüde elde edilip edilemeyeceği araştırılmamıştır. Ek olarak, test probleminin (özellikle grafik modelinin birleşik yapısının) oluşturulmasının bilgi teorisi sınırının ulaşılabilirliğini nasıl etkilediği açık değildir.

Bu iki konuyu anlamak için, araştırmacılar bu yazıda grafik modelinde bu temel kombinatoryal akıl yürütme sınırını tanımladılar ve bir oracle hesaplama modeline dayanarak, bu bilgi teorisi sınırına ulaşmak için gereken minimum hesaplama karmaşıklığını nicel olarak inceledi.

Çalışmalar, boş grafiklerde klik, en yakın komşu grafik, mükemmel eşleme vb. Gibi ortak kombinasyon yapılarını test etmek veya küçük klikler üzerinde büyük kümeleri test etmek için, genel ulaşılabilir algoritmalarla bilgi teorisinin sınırına ulaşılamayacağını kanıtlamıştır.

Daha da önemlisi, araştırmacılar zayıf kenar yoğunluğu µ ve güçlü kenar yoğunluğu µ 'olarak adlandırılan yapısal büyüklükleri tanımladılar. Tanım olarak, bir kenar setinin zayıf kenar yoğunluğu, bir geçersizden diğerine değişebilen anahtar kenarların yoğunluğunu karakterize eder. Bu, iki grafik arasındaki farkın seviyesini yansıtabilir. Güçlü kenar yoğunluğu, iki grafik arasındaki farkın seviyesini karakterize eden başka bir niceliktir ve her zaman zayıf kenar yoğunluğundan daha az değildir. ve µ 'tanımları aşağıda verilmiştir:

Bu iki yapısal büyüklüğün göze çarpan bir özelliği, sadece test edilen birleşik yapının topolojik özelliklerine bağlı olmalarıdır. Araştırmacıların, kombinatoryal akıl yürütme problemlerinin yapısal doğasının hesaplama karmaşıklığını nasıl belirlediğini anlamalarına yardımcı olabilirler. Çalışmalar, µ'nun µ 'değerinden çok daha küçük olması durumunda, bilgi teorisinin alt sınırı ile hesaplama verimliliğinin alt sınırı arasında önemli bir boşluk olacağını göstermiştir. 4 vakanın spesifik optimal oranları aşağıda verilmiştir; bu durumlarda istatistikler ve hesaplamalar arasında bir ödünleşim olduğu görülebilir.

Bu araştırma aynı zamanda, yönsüz grafik modellerinde kombinatoryal muhakeme problemleri için istatistikler ve hesaplamalar arasındaki temel ödünleşimleri belirleyen ve açıklayan ilk araştırmadır.

Bölüm 3: Makine öğrenimi optimizasyon yöntemleri ve teorik araştırma

12. Asenkron merkezi olmayan paralel stokastik gradyan inişi

Eşzamansız Merkezi Olmayan Paralel Stokastik Gradyan İnişi

Kağıt adresi: https://arxiv.org/abs/1710.06952

En yaygın kullanılan dağıtılmış makine öğrenimi sistemleri, eşzamanlı veya merkezi ve eşzamansızdır. AllReduce-SGD gibi senkronize algoritmalar, heterojen ortamlarda kötü performans gösterirken, parametre sunucularını kullanan asenkron algoritmalar, çok sayıda çalışan olduğunda ve parametre sunucusu trafiği yoğun olduğunda parametre sunucularıyla iletişim sorunları da dahil olmak üzere birçok soruna sahiptir. Azalan yakınsama sorunu.

Bu makalede, araştırmacı, heterojen bir ortamda yüksek iletişim verimliliği ile güçlü bir şekilde performans gösterebilen ve en iyi yakınsama oranını koruyabilen, asenkron, merkezi olmayan paralel stokastik gradyan iniş (AD-PSGD) önermiştir. Teorik analiz, AD-PSGD'nin SGD ile aynı optimum hızda birleşebileceğini ve işçi sayısı ile doğrusal olarak artabileceğini göstermektedir. Aşağıdaki algoritmanın çalışma süreci:

Araştırmacılar, 128 adede kadar P100 GPU içeren bir IBM S822LC kümesinde AD-PSGD'yi uygulamak ve değerlendirmek için Torch ve MPI kullandı. Deneysel sonuçlar, AD-PSGD'nin en iyi dağıtılmış paralel SGD (D-PSGD), heterojen paralel SGD (A-PSGD) ve standart veri paralel SGD'den (AllReduce-SGD) daha iyi performans gösterdiğini göstermektedir. AD-PSGD'nin heterojen bir ortamda performansı, çoğu zaman diğer yöntemleri birçok büyüklük derecesiyle aşabilir.

Aşağıdaki şekil, ImageNet veri setindeki ResNet-50 modeline göre epoch başına eğitim kaybı ve eğitim süresini gösterir. AD-PSGD ve AllReduce-SGD'nin yakınsamasının yakın olduğu ve her ikisinin de D-PSGD'den daha iyi olduğu görülebilir. 64 işçi kullanırken, AD-PSGD her çağ için 264 saniye sürerken, diğer iki yöntem her çağ için 1000 saniyeden fazla sürer.

Aşağıdaki şekil, VGG (iletişim yoğun) ve ResNet-20 (hesaplama yoğun) modelleri için CIFAR10'da çeşitli yöntemlerin hızlandırılmasını göstermektedir. AD-PSGD'nin her zaman en iyi performansa sahip olduğu açıktır.

AD-PSGD, 100'den fazla GPU ölçeğinde AllReduce-SGD'ye yakın çağ yakınsama hızı elde eden ilk eşzamansız algoritmadır.

13. D2: Merkezi olmayan veriler üzerine merkezi olmayan eğitim

D2: Merkezi Olmayan Veriler Üzerinden Merkezi Olmayan Eğitim

Kağıt adresi: https://arxiv.org/abs/1803.07068

Makine öğrenimi modellerini merkezi olmayan bir şekilde eğitmek, son zamanlarda araştırmanın büyük ilgisini çekti. Bir makine öğrenimi modelini (her biri kendi veri kaynağından veri toplayan) eğitmek için birden fazla çalışanı kullanırken, bu veriler en çok farklı çalışanlardan toplanan veriler de farklı olduğunda yararlıdır. Bununla birlikte, son zamanlarda merkezi olmayan paralel stokastik gradyan iniş (D-PSGD) çalışmalarının çoğu, farklı çalışanlarda barındırılan verilerin çok farklı olmadığını varsaymaktadır - aksi takdirde bu yöntemlerin yakınsama hızı çok yavaş olacaktır.

Bu makalede, araştırmacı, çalışanlar arasındaki verilerin çok farklı olduğu durumlar için tasarlanmış yeni bir merkezi olmayan paralel stokastik gradyan iniş algoritması D2 önerdi ("merkezi olmayan" veri olduğu söylenebilir). nın-nin.

D2, standart D-PSGD algoritmasına dayanır, ancak varyansı azaltan bir bileşen ekler. Bu D2 algoritmasında, her işçi önceki yinelemenin stokastik gradyanını ve yerel modelini depolar ve bunları mevcut stokastik gradyan ve yerel modelle doğrusal olarak birleştirir. Bu, yakınsama hızını artırabilir; burada 2, farklı çalışanlar için veri farkı, 2 her çalışanın veri varyansı, n çalışan sayısı ve T yineleme sayısıdır.

Araştırmacılar, D2'yi, her çalışanın yalnızca sınırlı bir etiket setinin verilerini okuyabildiği görüntü sınıflandırma görevinde değerlendirdiler. Deneysel sonuçlar, D2'nin performansının D-PSGD'den önemli ölçüde daha iyi olduğunu göstermektedir. Aşağıdaki, karıştırılmamış durumda farklı dağıtılmış eğitim algoritmalarının yakınsamasının bir karşılaştırmasıdır (farklı çalışanlar arasındaki veri farkı en büyüktür).

D-PSGD algoritmasının yakınsama hızının merkezileştirme yöntemine göre daha yavaş olduğu ve D2'nin de D-PSGD'den çok daha hızlı olduğu ve kaybın merkezileştirme algoritmasına çok yakın olduğu görülmektedir.

14. Daha verimli rastgele merkezi olmayan öğrenmeyi gerçekleştirin: daha hızlı yakınsama ve seyrek iletişim

Daha Verimli Stokastik Merkezi Olmayan Öğrenmeye Doğru: Daha Hızlı Yakınsama ve Seyrek İletişim

Kağıt adresi: https://arxiv.org/abs/1805.09969

Merkezi olmayan optimizasyon sorunu son zamanlarda artan ilgi gördü. Mevcut yöntemlerin çoğu deterministiktir, yineleme başına maliyeti yüksektir ve yakınsama oranı problem koşul numarası ile ikinci dereceden bir ilişkiye sahiptir. Ek olarak, veri seti seyrek olsa bile yakınsamayı sağlamak için yoğun iletişim gereklidir.

Bu makalede, araştırmacılar merkezi olmayan optimizasyon problemini monoton bir operatör kök bulma problemine genelleştirdiler ve Merkezi Olmayan Rastgele Ters Toplama (DSBA) adlı bir algoritma önerdiler.

DSBA hesaplama adımında, her düğüm, problem durum numarasına bağımlılık derecesini azaltmak için rastgele bir yaklaşık monoton operatörün ön solventini hesaplar. Bu tür bir ön çözüm, mahya regresyonu gibi problemlerde kapalı form çözümleri kabul eder. DSBA'nın iletişim aşamasında, her düğüm, komşu düğümlerinin yinelemelerini yeniden yapılandırmak için ardışık yinelemeler arasındaki farkın sıfır olmayan bileşenini alır. 2-gevşetilmiş AUC maksimizasyon problemi, dışbükey-içbükey fonksiyonun minimum problemine eşdeğer olduğundan, farklılaşması monoton bir operatördür, böylece DSBA formuna sorunsuz bir şekilde adapte olabilir.

Algoritmanın aşağıdaki avantajları vardır: (1) Geometrik olarak problemin durum numarasına doğrusal bir hızda yakınsayabilir, (2) sadece seyrek iletişim kullanılarak uygulanabilir. Ek olarak DSBA, AUC'yi maksimize etme gibi merkezi olmayan bir ortamda verimli bir şekilde çözülemeyen öğrenme problemlerini de idare edebilir. Araştırmacı ayrıca makaledeki algoritmanın yakınsama analizini verdi.

Araştırmacılar, dışbükey minimizasyon ve AUC maksimizasyonu üzerine deneyler yaptılar ve sonuçlar, yeni önerilen yöntemin etkili olduğunu gösteriyor. Aşağıdaki şekil, DSBA ile daha önceki birkaç en iyi yöntem arasındaki lojistik regresyon sonuçlarının karşılaştırmasını göstermektedir.

DSBA'nın performansının optimal olduğu ve daha düşük hesaplama maliyetiyle daha hızlı birleşebileceği görülebilir.

15. Hata telafili kantitatif SGD ve büyük ölçekli dağıtılmış optimizasyondaki uygulaması

Hata Telafi Edilmiş Nicelleştirilmiş SGD ve Büyük Ölçekli Dağıtılmış Optimizasyona Uygulamaları

Kağıt adresi: https://arxiv.org/abs/1806.08054

Bu makine öğrenimi patlamasının ortaya çıkışı, büyük ölçüde bilgisayar işleme yeteneklerinin katlanarak gelişmesinden ve modelleri eğitmek için kullanılabilecek büyük miktarda verinin ortaya çıkmasından kaynaklanmaktadır. Büyük verilerin eğitimini etkin bir şekilde tamamlamak için, veri paralelleştirme işleme yöntemleri dahil olmak üzere genellikle dağıtılmış optimizasyon yöntemlerinin kullanılması gerekir. Ancak böyle dağıtılmış bir çerçevede, çeşitli düğümler arasındaki iletişim hızı genellikle genel performans üzerinde önemli bir kısıtlama haline gelir. Mevcut ortak çözüm, düğümler arasındaki iletişim bilgisini sıkıştırmaktır, ancak bu niceleme hatalarını ortaya çıkaracaktır.

Bu sorunu çözmek için, bu makale birikmiş tüm önceki niceleme hatalarının bir hata geri besleme şeması kullanarak mevcut yerel gradyanı telafi etmeyi önermektedir. Araştırmacılar bu yöntemi "hata telafili nicel stokastik gradyan inişi (ECQ-SGD)" olarak adlandırıyor. Deneysel sonuçlar, bu yöntemin birçok kıyaslama yönteminden daha hızlı ve daha kararlı yakınsama sağlayabileceğini göstermektedir. Aşağıdaki algoritmanın çalışma süreci:

Niceleme tamamlandıktan sonra, genel iletişim maliyeti, orijinal 32 bitlik tam kesinlik gradyan için gereken 32d bitten çok daha az olan 32 + dr bitlerine (r 32) düşecektir; burada d, orijinal vektörün boyutudur; burada s, sıfır olmayan nicemlemedir Seviye sayısı: s ne kadar büyükse, niceleme o kadar ince ve iletişim maliyeti o kadar yüksek olur. Aşağıdaki şekil, ResNet-50 modelini ILSVRC-12 veri kümesinde eğitirken farklı sayıda GPU kullanmanın verim karşılaştırmasını gösterir:

Eğitim için 512 GPU kullanıldığında, ECQ-SGD, sıradan SGD'ye (saniyede 66.42k ve 27.28k görüntü) kıyasla% 143,5 hızlanma sağlar. Düğümler arasındaki bant genişliği daha küçükse, bu avantaj daha da önemli olacaktır.

Araştırmacı ayrıca, makaledeki yöntemin teorik garantisini sağladı: yakınsama davranışını analiz etti ve diğer önceki en iyi yöntemlere göre avantajlarını kanıtladı.

16. Ağa bağlı aracıları kullanarak tamamen merkezi olmayan çok aracılı pekiştirmeli öğrenme

Ağa Bağlı Aracılarla Tamamen Merkezi Olmayan Çoklu Temsilci Güçlendirmeli Öğrenme

https://arxiv.org/abs/1802.08757

MARL

MARL actor-critic MARL