Academia Top Meeting Insights Serisi: NeuroIPS 2018 Bildiri Seçimi
AI Technology Review Press: Bu makale "En İyi Toplantı" serisine aittir. Araştırmacıların birbirlerinin makalelerini takdir ettikleri ve akademik konuları tartıştıkları ciddi bir akademik üst düzey konferans olan NIPS, bu yıl oldukça hareketli. Yapay zeka ve makine öğreniminin Taylor kadar popüler olduğunu herkesin görmesini sağlayan "11 dakikalık kapalı bilet" etkinliği vardı. Daha sonra NeurIPS olarak yeniden adlandırılan Swift konseri hararetli tartışmalara yol açtı ve herkese 1NeurIPS'in nasıl telaffuz edileceğine dair zor bir soru getirdi. NIPS'in isim değişikliğinden sonraki ilk etkinliği olan NeurIPS 2018 için herkesin beklentilerinin önceki yılların çok ötesinde olması gerekiyor. Öğrenmek için olay yerine gitmediğiniz için pişmanlık duyuyorsanız, diğer katılımcıların deneyimlerinin özetine ve paylaşımına bir göz atalım, belki yeni kazanımlar olur?
Yazar Félix, yapay zeka ve büyük veri çözüm şirketi sicara.com teknik blogunun yazarlarından biridir.Bu yazıda önce NeurIPS 2018'in popülaritesi hakkındaki duygularını dile getirdi ve ardından size bir makale getirdi. Yapay zekanın farklı alanlarına kapsamlı bir genel bakış sağlayabilecek bazı yüksek kaliteli makaleler seçtik. Alanlar sinir ağlarını, derin öğrenmeyi, denetimsiz öğrenmeyi, video tahminini ve diğer alt bölümleri kapsar. Umarım herkes biraz NeurIPS hissedebilir Sahnenin atmosferi. AI Technology Review'un tam metni aşağıdaki gibi derlenmiştir.
Bu yıl NeurIPS'e (eski adıyla NIPS) katılmamış olmanız üzücü mü? Ben de makalenin 2018 baskısının bu seçilmiş okumasını yazdım ve şimdi sizinle paylaşıyorum.
NeurIPS (eski adıyla NIPS olarak bilinen Nöral Bilgi İşlem Sistemleri Konferansı) Beyoncé konserini alt üst etti.Bu yılın en büyük yapay zeka konferansı olan biletler 11 dakikada tükendi. Ayrıca bu yılki konferansta kabul edilen bildiri sayısı da rekor kırdı (binin üzerinde).
Aşağıdaki seçili makalelerde, size biraz NeurIPS atmosferi aktarmayı umduğumu göreceksiniz. Amacım, yapay zekanın farklı alanlarına kapsamlı bir genel bakış sunabilecek yüksek kaliteli makaleler bulmak. Elbette, bu seçici okuma kapsamlı ve biraz öznel olamaz.
"SING: Notlardan Enstrümanlara Bir Sinir Üreteci"
- "SING: Symbol-to-Instrument Neural Generator", Alexandre Défossez (FAIR, PSL, SIERRA), Neil Zeghidour (PSL, FAIR, LSCP), Nicolas Usunier (FAIR), Léon Bottou (FAIR), Francis Bach (DI-ENS , PSL, SIERRA)
- https://arxiv.org/abs/1810.09785
Bu makale yeni bir sinirsel ses sentezleyici önermektedir: Notalardan müzik aletlerine Neural Generator (SING). Bu model, farklı perdelere ve faktörlere sahip yüzlerce enstrümandan müzik üretebilir.
SING, 16000 Hz'de örneklenmiş 4 saniyelik bir dalga biçimini doğrudan oluşturabilir ve hafif bir mimariye sahiptir. Ağının ilk kısmı LSTM'dir (Uzun Kısa Süreli Bellek Ağı), kullanılan enstrümanın tek sıcak kod kademesini, ses perdesini ve giriş olarak ses hızını kullanır ve 265 zaman adımında kullanılır. Evrişimli bir ağ, kademeli çıktının kodunu çözecek ve ses dalga biçimleri oluşturacaktır. Bu ağ özel bir kayıp kullanır: dalga formu ile hedef dalga formunun logaritmik spektrogramı arasındaki 1-norm (kısa süreli Fourier dönüşümü ile elde edilir). SING çok iyi sonuçlar aldı (burada https://research.fb.com/wp-content/themes/fb-research/research/sing-paper/ ses örneklerini dinleyin), şimdiye kadar referans ağ Wavenet performansından daha iyi daha iyi. Bu ağ yalnızca müzik enstrümanlarına adanmıştır, ancak en önemli sonucu, Wavenet'ten 2500 kat daha hızlı olan işlem süresidir.
"Geometrik Dönüşüme Dayalı Derin Anomali Algılama"
-
"Geometrik Dönüşümler Kullanarak Derin Anomali Algılama", Izhak Golan, Ran El-Yaniv
-
https://arxiv.org/abs/1805.10917
Technion-Israel Institute of Technology'den gelen bu makale, anormallik tespiti alanında derin öğrenme modellerinden tam olarak yararlanmayı amaçlamaktadır.
Şu anda en son teknoloji bir otomatik kodlayıcıdır (gömülü veya yeniden yapılandırılmış verilerdeki anormallikleri tespit eder) Makale, veriler üzerinde bir dizi geometrik dönüşüm gerçekleştirmeyi ve ardından ayırt edici modeli dönüştürülmüş örneklere uygulamayı önermektedir (düşük puanlı görüntüler Anormal olarak tedavi edildi). Sınıflandırıcı, dönüştürülmüş görüntüleri ayırt etmek için eğitilir, böylece bazıları anormal verileri ayırt edebilen önemli geometrik özellikleri öğrenir. Performans açısından, bu yöntemin ölçüme getirdiği gelişme eşi benzeri görülmemiş: CatsVsDogs'daki mevcut en iyi performans gösteren algoritma ile karşılaştırıldığında, en iyi performans gösteren temelin AUC'si% 67 oranında artmıştır.
"GLoMo: Devredilebilir Bir Temsil Olarak Denetimsiz Öğrenme İlişkisi Şeması"
- "GLoMo: Devredilebilir Temsiller Olarak Denetimsizce Öğrenilen İlişkisel Grafikler", Zhilin Yang, Jake Zhao, Bhuwan Dhingra, Kaiming He, William W. Cohen, Ruslan Salakhutdinov, Yann LeCun
- https://arxiv.org/abs/1806.05662
Bu makale yeni bir transfer öğrenme yöntemi önermektedir. Bu yöntem, gömme gibi tek değişkenli özellikleri aktarmaz, ancak temel gömme ile kaybolan veri birimleri (pikseller, kelimeler ...) arasındaki ilişkili bilgileri içeren örtük ilişkisel grafikleri iletme olasılığını getirir. Örneğin, bir soru ve cevap sorusu için, cevap tahmin aracını eğitmek ve soru girişinden cevabı tahmin etmek için grafik oluşturucuyu kullanın. Bu ağ, yanıt tahmincisinin gizli katmanına enjekte edilen iyi bir olay matrisi oluşturmaya çalışır (bu matris ilişkili bilgileri içerir ancak girdi değerini içermez). Cevap tahmin aracı ve grafik oluşturucu aynı anda eğitilir. Eğitildikten sonra, grafik oluşturucu, performanslarını iyileştirmek için farklı görevleri (duyarlılık analizi gibi) gerçekleştiren modellerle birlikte kullanılabilir. Bu yeni yöntem, soru yanıtlama, duygu analizi ve görüntü sınıflandırma gibi soruların performansını iyileştirir.
"Denetimli ve Denetimsiz Öğrenim"
-
"Denetimsiz Öğrenmeyi Denetleme", Vikas K. Garg, Adam Kalai
-
https://arxiv.org/abs/1709.05262
Denetimsiz öğrenmenin temel sorunlarından biri, algoritmanın performansını doğrudan değerlendirmenin bir yolu olmamasıdır. Bu, hiperparametreleri ayarlamak veya performansı değerlendirmek için belirli bir algoritma seçmeyi çok zorlaştırır.
Bu makale, bu sorunu çözmek için meta denetimsiz öğrenmeyi (MUL) kullanmaya çalışmaktadır. Meta denetimsiz öğrenme, eğitimden sonra veri setinin özelliklerine göre hangi denetimsiz modelin kullanılacağına karar verebilen bir sınıflandırıcıdır. Bunun için bir dizi etiketli veri setine ihtiyaç vardır.
Örneğin, bir problem verildiğini ve herhangi bir etiketli veriye sahip olmadığımızı varsayalım, o zaman birkaç denetlenmemiş sınıflandırma algoritmasından birini seçmeliyiz.Bundan sonra, birçok etiketli veri seti bulacağız. Bunları çalıştırın ve ardından sınıflandırma sonuçlarını hesaplayın. Ardından, en iyi algoritmayı tahmin etmek için bir model eğitmek için veri seti özelliklerinin (boyutlar, özellik değerleri vb.) Ve sınıflandırıcının çıktısındaki denetimsiz metriklerin (küme içindeki genişletme, vb.) Bir kombinasyonunu kullanırız. Bu model, çözülecek hedef veri seti için bir algoritma seçmek için kullanılabilir.
Etiketli veri seti, üzerinde çalıştığımız veri seti ile yakından ilişkili olmasa bile, bu yöntem tamamen denetimsiz yönteme göre daha üstün görünmektedir.
"Banach Wasserstein Generative Adversarial Network"
- "Banach Wasserstein GAN", Jonas Adler, Sebastian Lunz
- https://arxiv.org/abs/1806.06621
Bu makale, Wasserstein GAN'larının (WGAN'lar) bir uzantısı olan Banach Wasserstein Generative Adversarial Networks'ü (BWGAN'lar) tanıtmaktadır ve bunlar GAN'lardan (burada https://medium.com/m/global-identity?redirectUrl=https) % 3A% 2F% 2Fmedium.freecodecamp.org% 2Fan-sezgisel-giriş-üretken-düşmanca-ağlara-gans-7a2264a81394 iyi bir GAN girişine sahiptir). Temel GAN için, ayırt edicinin mükemmel bir şekilde eğitildiğini varsayarsak, oluşturulan ağ, oluşturulan görüntü dağıtımı ile gerçek dağıtım arasındaki Jenson-Shannon mesafesini (JSD, Kullback-Leibler ayrışmasının simetrik bir biçimi) en aza indirir. Ancak JSD mesafesi, görüntü dağılımları arasındaki mesafeyi ölçmek için uygun değildir. WGAN'lar, JSD mesafesi yerine Wasserstein mesafesini en aza indirmek için kaybı değiştirdi. Bu nedenle, kayıp işlevine bir gradyan L2 ceza terimi eklenerek, ağa hafif bir Lipschitz kısıtlaması eklenir. Wasserstein mesafesinin temel avantajlarından biri, görüntü uzayındaki herhangi bir norma uygulanabilmesidir. Bununla birlikte, kaybın cezası nedeniyle, WGAN, L2 normunun kullanılmasını gerektirir, bu nedenle, yalnızca pikselleri değil, aynı zamanda kenarları da vurgulayan Sobolev normu gibi görüntüler için daha uygun normları kullanma yeteneğini kaybeder. Bu makale, ceza terimini genelleştirmeyi önerir, böylece norm seçimi artık L2 normuyla sınırlı değildir. Yazarlar Sobolev normu W = kullanıyor ve CIFAR-10 veri setindeki performansı mevcut en iyi sonuçları geride bırakıyor. Bu çok matematiksel bir makale: sadece ayrıntılı ispatlar içermiyor (sadece ispatlara genel bir bakış değil), aynı zamanda Banach uzayları ve Sobleev uzayları gibi temel kavramları da gözden geçiriyor.
"Video Tahmininde Temsilleri Ayrıştırmayı ve Ayrıştırmayı Öğrenme"
-
"Video Tahmini için Temsilleri Ayrıştırmayı ve Çözmeyi Öğrenme", Jun-Ting Hsieh, Bingbin Liu, De-An Huang, Li Fei-Fei, Juan Carlos Niebles
-
https://arxiv.org/abs/1806.04166
Video tahmini, önceki T çerçevelerinden görüntünün sonraki k karesini tahmin etme görevidir. Video tahmin problemini çözmek, dünyanın nasıl çalıştığını anlayabilmek anlamına geliyor gibi görünüyor.
Daha spesifik olarak, bir ipin metal bir çubuktan nasıl farklı davrandığı gibi bir nesnenin fiziksel özelliklerini anlamak günlük hayatımızda doğal bir şeydir, ancak video tahminini karmaşık bir görev haline getirir.
Videonun boyutları yüksek ve düzensiz. Bu makale, videodaki hedefi tanımlamanın en basit yolunu bulabilen ayrıştırma ve ayırma tahmine dayalı otomatik kodlayıcıyı (DDPAE) tanıtmaktadır. Her videonun, her biri içerik vektörleri (hedefin sabit tanımlayıcıları) ve poz vektörleri (algılanan ve tahmin edilen konumlar) kullanılarak tanımlanabilen birden fazla hedef içerdiğini varsayar.
Bu çözüm, bu açıklamayı öğrenir ve tüm öğelerini ayrıştırırken VAE, RNN ve seq2seq'i birleştirir. Sonuçları çok umut verici görünüyor çünkü spor MNIST veri setinin karşılaştırmasını aşıyorlar.
"Sanatsal stillerin denetimsiz öğrenimi için prototip stil analizi yöntemini kullanma"
-
"Arketipsel Stil Analizi ile Sanatsal Tarzların Denetimsiz Öğrenimi", Daan Wynen, Cordelia Schmid, Julien Mairal
-
https://hal.inria.fr/hal-01802131/file/archetypal_style.pdf
Bu tez, denetimsiz öğrenme ve derin öğrenmenin yorumlanabilirliği için yeni bir aşama getiriyor. Özellikle, stil öğrenme problemini kök stil açıklaması ve çalışmasıyla çözer (bu soruna aşina değilseniz, burada https://medium.com/m/global-identity?redirectUrl=https%3A%2F%2Ftowardsdatascience. com% 2Fartistic-style-transfer-b7566a216431, stil öğrenmeye iyi bir giriş içerir).
Ana fikir, girdi görüntüsünü, her temel prototipin yorumlanabildiği düşük boyutlu bir prototip uzayına yansıtmaktır. Bu şekilde, görüntüye denetimsiz bir şekilde bazı özellikler eklemek (örneğin, prototip yorumundan doku, stil, yaş vb. İle ilgili etiketler eklemek) ve stil ve stili etkilemek için her stil üzerindeki katsayıları değiştirmek mümkündür. Orijinal görüntüye aktarın.
Ek olarak, iki taraflı tek şekil optimizasyonu, şifrelenmiş görüntüyü prototipe yansıtmak için kullanılır: görüntüden projeksiyonuna olan mesafe en aza indirilir ve prototip, görüntülerin doğrusal bir kombinasyonu olmaya zorlanır. Bu nedenle, bu prototipi açıklamak kolaydır.
Sonunda, herhangi bir görseli temel stil unsurlarıyla tanımlamak ve ardından bir stil sözlüğü öğrenmek mümkündür. Bu stil transferi nihayet prototip uzayındaki katsayılar tarafından doğru bir şekilde yönetilebilir.
aracılığıyla: "NeurIPS (önceki NIPS) Makale Seçimi: NeurIPS (önceden NIPS) 2018'den en sevdiğim araştırma makalelerim", Félix (https://blog.sicara.com/nips-neurips-papers-selection-28efd4d73189)
Orijinal metni okumak ve NeurIPS2018 Zaman Testi Ödülü kağıtlarının incelemesini görüntülemek için tıklayın
