2019'da onbinlerce makale yayınlandı ve bu 14'ü ön plana çıktı
Yazar | newworldai
Çevirmen | Liu Chang
Editör | Jane
Kaynak | AI Technology Base Camp (ID: rgznai100)
Yapay zeka alanında yılda 14.000'den fazla makale yayınlanmaktadır. Bu alan, dünya çapında birçok ağır araştırma grubunu çekmiştir. NeurIPS, ICML, ICLR, ACL ve MLDS gibi AI konferansları her yıl çok sayıda makaleyi çekmektedir. 2019'da gönderilen bildiri sayısı hala artıyor. Bugün, 2020'de öğrenme yolculuğunuza başlamanıza yardımcı olmak için 2019'da büyük ilgi gören 14 bildiriyi paylaşacağız.
"Tek Başlı Dikkat RNN: Kafanla Düşünmeyi Bırak" (Stephen Merity, Kasım 2019)
Bu makalede, Harvard Üniversitesi'nde yüksek lisans öğrencisi olan Stephen, doğal dil işlemenin mevcut araştırma durumunu, kullanılan modelleri ve diğer alternatif yöntemleri araştırıyor. Bu süreçte etimoloji de dahil olmak üzere geleneksel yöntemleri baştan sona parçalara ayırdı.
Yazar ayrıca makine öğrenimi Moore Yasasının gerekliliğini ifade etti. Yasa, bilgisayarların geleceği ve kod tabanını sıfırdan yeniden inşa etme hakkındadır. Bu sadece bir eğitim aracı değil, aynı zamanda akademi ve endüstride gelecekteki çalışmalar için güçlü bir platformdur.
"EfficientNet: Evrişimli Sinir Ağları için Model Ölçeklendirmeyi Yeniden Düşünme" (Mingxing Tan ve Quoc V. Le, Kasım 2019)
Bu çalışmada yazar, belirli bir ağın derinliğinin, yüksekliğinin ve çözünürlüğünün ne zaman artırılacağını veya azaltılacağını gösterebilen bir bileşik yakınlaştırma yöntemi önermektedir.
Evrişimli Sinir Ağları (CNN), birçok makine vizyon uygulamasının merkezinde yer alır. EfficientNets, Google'ın yeni açık kaynak modeli EfficientNet'i kullanabilir veya bilgisayarla görme görevleri için yeni bir temel oluşturabilir.
"OpenAI ile Derin Çifte İniş" (Mikhail Belkin, Daniel Hsu, Siyuan Ma, Soumik Mandal, Eylül 2019)
Bu makalede yazar, geleneksel anlayışla modern uygulamayı birleşik bir performans eğrisi içinde dengelemeye çalışıyor.
"İkinci dereceden iniş" eğrisi, enterpolasyon noktasının ötesindeki modelin performansı nasıl iyileştirebileceğini gösterebilir, böylece klasik U şeklindeki sapma varyans takas eğrisinin yerini alır.
"Piyango Bileti Hipotezi Jonathan Frankle" (Michael Carbin, Mart 2019)
Sinir ağı budama teknolojisi, eğitimli ağ parametrelerinin sayısını% 90'dan fazla azaltabilir, depolama gereksinimlerini azaltabilir ve doğruluğu etkilemeden çıkarımın hesaplama performansını iyileştirebilir.
Yazar, standart budama tekniklerinin doğal olarak alt ağları keşfedebildiğini ve bu alt ağların başlatılmasının etkili eğitim sağladığını buldu. Bu sonuçlara dayanarak, "piyango hipotezi" ni ortaya attılar:
"Zekanın Ölçüsü Üzerine" (Francois Chollet, Kasım 2019)
Bu çalışma, zeka ve değerlendirme yöntemlerinin tanımının yanı sıra bu çalışmaya rehberlik eden tarihsel yapay zeka kavramını özetliyor ve eleştirel bir şekilde değerlendiriyor.
Yazar, aynı zamanda keras'ın yaratıcısı, algoritmik bilgi teorisine dayanan zekanın resmi tanımını tanıttı. Bu tanıma dayanarak, genel AI kıyaslamaları için bir dizi kılavuz önerdi.
"IISc Bangalore ve CMU aracılığıyla Duyu Tanımı Gömme Kullanarak Sıfır Atış Kelime Anlamını Netleştirme" (Sawan Kumar, Sharmistha Jat, Karan Saxena ve Partha Talukdar, Ağustos 2019)
Kelime anlamında belirsizlik giderme (WSD), doğal dil işlemede (NLP) uzun süredir devam eden bir araştırma problemidir. Mevcut denetimli WSD yöntemi, anlambilimini ayrı etiketler olarak ele alır ve ayrıca eğitimde görülmeyen kelimelerin "en sık kullanılan kelime anlamını" (MFS) tahmin etmek için kullanılır.
IISc Bangalore'den araştırmacılar, Carnegie Mellon Üniversitesi ile işbirliği içinde, ayrık etiket alanı yerine sürekli anlamsal yerleştirme alanını öngören bir WSD denetim modeli olan Genişletilmiş WSD Birleşik Anlamsal Gömme'yi (EWISE) önerdiler.
"Derin Denge Modelleri" (Shaojie Bai, J. Zico Kolter ve Vladlen Koltun, Ekim 2019)
Mevcut birçok derin dizi modelinin gizli katmanlarının belirli bir sabit noktaya eğilimli olduğu gözlemlendiğinden, Carnegie Mellon Üniversitesi'ndeki araştırmacılar, derin bir eşitleme modeli (DEQ) aracılığıyla dizi verilerini modellemek için yeni bir yöntem önerdiler.
Ağın etkin "derinliğine" bakılmaksızın, bu yöntemi kullanmak, bu ağlardaki eğitim ve tahmin, yalnızca sabit miktarda bellek gerektirir.
"IMAGENET Eğitimli CNN'ler Dokuya Yönelik Önemlidir" (Robert G, Patricia R, Claudio M, Matthias Bethge, Felix A. W ve Wieland B, Eylül 2019)
Genel olarak, evrişimli sinir ağlarının (CNN), hedef şekillerin karmaşık temsillerini öğrenerek nesneleri tanıdığına inanılmaktadır. Bu makalenin yazarı, CNN ve insanların birbiriyle çelişen doku ve şekle sahip görüntüler üzerindeki sonuçlarını değerlendirdi. ImageNet tarafından eğitilmiş CNN'nin şekiller yerine dokuları güçlü bir şekilde tanıma eğiliminde olduğunu gösteriyorlar ki bu da insan tanıma ile tam bir tezat oluşturuyor.
"Takviye Öğrenme için Optimal Temsiller Üzerine Geometrik Bir Perspektif" (Marc G. B, Will D, Robert D, Adrien A T, Pablo SC, Nicolas Le R, Dale S, Tor L, Clare L, Haziran 2019)
Yazar, değer işlevi uzayının geometrik özelliklerine dayanan yeni bir temsil öğrenme perspektifi önermektedir. Bu çalışma, karşıt değer fonksiyonunun ilginç yapısını sergilediğini ve çevre temsilini öğrenirken iyi bir yardımcı görev olduğunu göstermektedir. Yazar, bu çalışmanın derin pekiştirmeli öğrenmede otomatik olarak yardımcı görevler oluşturma olasılığının yolunu açtığına inanmaktadır.
"Ağırlık Agnostik Sinir Ağları" (Adam Gaier ve David Ha, Eylül 2019)
Bu çalışmada yazar, sinir ağı mimarisinin tek başına belirli bir görevin çözümünü herhangi bir ağırlık parametresi öğrenmeden kodlayıp kodlayamayacağını araştırdı. Bu makalede, herhangi bir açık ağırlık antrenmanı olmadan görevleri yerine getirebilen bir sinir ağı mimarisine dayalı bir arama yöntemi önerdiler.
"Görme Modellerinde Tek Başına Öz-Dikkat" (Prajit Ramachandran, Niki P, Ashish Vaswani, Irwan Bello Anselm Levskaya, Jonathon S, Haziran 2019)
Bu çalışmada Google araştırmacıları, içeriğe dayalı etkileşimin görsel modele hizmet edebileceğini doğruladı. Bu makalede önerilen yerel öz ilgi katmanı, ImageNet sınıflandırması ve COCO nesne algılama görevlerinde rekabetçi tahmin performansı elde etmiştir.Aynı zamanda, karşılık gelen temel evrişim yöntemi ile karşılaştırıldığında, daha az parametre ve kayan nokta işlemi gerektirir. Sonuçlar, dikkat mekanizmasının özellikle ağın ikinci yarısında etkili olduğunu göstermektedir.
"Daha Az Etiketle Yüksek Doğruluklu Görüntü Oluşturma" (Mario Lucic, Michael Tschannen, Marvin Ritter, Xiaohua Z, Olivier B ve Sylvain Gelly, Mart 2019)
Büyük miktarda etiketlenmiş veri olduğunda, mevcut model çok yüksek kaliteye ulaşabilir. Google araştırmacıları, büyük veriye olan bu bağımlılığı çözmek için, insanların kendi kendine öğrenmeden ve yarı denetimli öğrenmeden nasıl yararlanabileceğini kanıtlamak için bu çalışmayı yayınladı; bu, denetimsiz ImageNet ve sınırlı zaman koşullarından daha iyi. Mevcut SOTA sonuçları.
Önerilen yöntem, etiketlerin yalnızca% 10'unu kullanarak ImageNet'teki en son koşullu model olan BigGAN'ın örnek kalitesi ile eşleşebilir ve etiketlerin% 20'sini (BigGAN) kullanırken olduğundan daha iyidir.
"ALBERT: Dil Temsillerinin Kendi Kendine Denetimli Öğrenimi için Lite BERT" (Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin G, Piyush Sharma ve Radu S, Eylül 2019)
Yazar, bellek tüketimini azaltmak ve BERT'nin eğitim hızını artırmak için parametreleri azaltmak ve model boyutundaki ve GPU / TPU bellek sınırlamalarındaki artışın neden olduğu daha uzun eğitim süresi ve model bozulması zorluklarını çözmek için iki teknik önermektedir.
Sonuç olarak, önerilen model GLUE, RACE ve SQuAD kıyaslamalarında en son SOTA sonuçlarını oluşturdu, ancak BERT'den daha az parametreye sahipti.
"Uzamsal Uyarlamalı Normalizasyon ile GauGANs-Anlamsal Görüntü Sentezi" (Taesung Park, Ming-Yu Liu, Ting-Chun Wang ve Jun-Yan Zhu, Kasım 2019)
UC Berkeley ve MIT ile işbirliği içinde Nvidia, foto-gerçekçi görüntüleri belirli bir girdi anlamsal düzeniyle sentezlemek için uzamsal olarak uyarlanabilir bir normalleştirme katmanına sahip bir model önerdi.
Model, görsel doğruluğu korur ve zorlu girdi düzenleriyle tutarlıdır ve kullanıcıların anlam ve stili kontrol etmesine olanak tanır.
Orijinal bağlantı:
https://www.newworldai.com/top-14-machine-learning-research-papers-of-2019/
