Özel | 28303 kağıtları, makine öğrenimi alanındaki gelişmeleri ve değişiklikleri yansıtır
Orijinal Başlık: Makine Öğrenimindeki Trendlere Bir Göz Atma
Yazar: Andrej Karpathy
Çeviri: Jia Lin
Tam metin düzeltme: Min Li
Bu makale hakkında 1700 kelime , Önerilen okuma süresi 4 dakika .
OpenAI, birçok Silikon Vadisi kodamanının ortaklaşa kurduğu, yapay zeka kar amacı gütmeyen bir organizasyondur.Amaç, yapay zekanın felaket etkilerini önlemek ve yapay zekanın aktif bir rol oynamasını teşvik etmektir. Bu makale OpenAI araştırmacısı Andrej Karpathy tarafından yazılmıştır ve esas olarak, makine öğrenimi kağıt veritabanı arxiv-sanity'deki 28303 makaledeki yüksek frekanslı anahtar kelimeleri analiz ederek bulduğu ilginç sonuçları belirtir.
Google Trendler'i (https://trends.google.com/trends/?cat=) kullandınız mı? İşlevi çok güzel: o kelimenin arama hacminin zaman içinde nasıl değiştiğini görmek için sadece bir anahtar kelime girmeniz gerekiyor. Bu ürün bana bir ölçüde ilham verdi. Son beş yılda (arxiv) makine öğrenimi kağıt veri tabanında ( 28.303 makale yayınlanmıştı, bu yüzden düşündüm, neden Neden bu alandaki gelişmeleri ve değişiklikleri incelemiyorsunuz? Araştırma sonuçları oldukça ilginç, bu yüzden sizlerle paylaşmaya karar verdim.
(Not: Makine öğrenimi her şeyi kapsayan bir alandır. Bu makalenin hatırı sayılır uzunluğu, derin öğrenme alanındaki araştırmalardır ve bu aynı zamanda en aşina olduğum alan)
arxiv'in tekilliği
Öncelikle, tüm kategoriler (cs.AI, cs.LG, cs.CV, cs.CL, cs.NE, stat.ML) altında arxiv-sanity'ye gönderilen toplam makale sayısının zaman içindeki eğilimine aşağıdaki gibi bakalım. Resim şunları gösterir:
Doğru, zirve Mart 2017'de oldu. Bu ay, bu alanlarda yaklaşık 2.000 bildiri gönderildi. Bu zirve, muhtemelen belirli konferansların (NIPS / ICML gibi) son tarihlerinden kaynaklanıyor olabilir. Herkes makalelerini arxiv'e yüklemediğinden ve yükleme oranı da zamanla değiştiğinden, gönderilen makale sayısı makine öğrenimi alanındaki araştırmanın ölçeğini tam olarak yansıtmamaktadır. Ancak fark edilen, göz atılan veya okunan çok sayıda makale olduğu görülmektedir.
Ardından, ilgilendiğimiz anahtar kelimeleri kaç makalenin içerdiğini görmek için payda olarak bu sayıyı kullanırız.
Derin öğrenme çerçevesi
Her şeyden önce, derin öğrenme çerçevelerinin kullanımıyla ilgileniyoruz. Kaynakça da dahil olmak üzere metnin herhangi bir yerinde derin öğrenme çerçevesinden bahsediliyorsa, bu çerçeveye kaydedilecektir. Aşağıdaki şekil, Mart 2017'de sunulan makalede bahsedilen derin öğrenme çerçevesinin durumunu göstermektedir:
Mart 2017'de gönderilen yazıların yaklaşık% 10'unda TensorFlow'dan bahsedildiği görülmektedir. Elbette, her makale kullandıkları çerçeve hakkında yazmayacaktır, ancak sözün çerçeve türü ile ilgili olmadığını varsayarsak (yani çerçeveyi açıklayan makalenin görece belirli bir kullanım oranı vardır), topluluğun yaklaşık% 40'ına sahip olduğu sonucuna varabiliriz. Kullanıcılar TensorFlow kullanıyor (Keras çerçevesini TensorFlow arka uç ile sayarsanız, sayı daha fazla olacaktır). Aşağıdaki şekil, yaygın olarak kullanılan bazı karelerin zaman içindeki eğilim grafiğidir:
Theano'nun ana akıma uzun süredir hakim olduğunu ve ardından popüler olmayı bıraktığını görebiliyoruz; Caffe'nin geliştirme ivmesi 2014'te güçlüydü, ancak son aylarda yerini TensorFlow aldı; Torch (ve en son PyTorch) de yavaş ve istikrarlı bir şekilde gelişiyor. Gelecekteki gelişme durumları ne olacak? Bu ilginç bir konu, ben şahsen Caffe ve Theano'nun düşmeye devam edeceğini ve PyTorch'un rekabeti nedeniyle TensorFlow'un geliştirme hızının yavaşlayacağını düşünüyorum.
ConvNet modeli
Yaygın olarak kullanılan ConvNet modelinin kullanımı nedir? Aşağıdaki şekilde de görebileceğimiz gibi, geçen yıl Mart ayında yayınlanan makalelerin% 9'unda ortaya çıkan ResNets modeli ortaya çıktı.
Ayrıca, InceptionNet ortaya çıkmadan önce kimin başlangıçtan bahsettiğini merak ediyorum?
optimizasyon
Optimizasyon algoritmaları açısından Adam, tüm gazetelerde% 23 görünme oranıyla öne çıkıyor! Gerçek kullanım oranını saymak zordur ve% 23'ten daha yüksek olduğu tahmin edilmektedir, çünkü birçok makale kullandıkları optimizasyon algoritmalarını yazmamıştır ve sinir ağları üzerine yapılan birçok araştırma bu tür algoritmaları kullanmamıştır. Bununla birlikte,% 5 oranında azaltmak da mümkündür, çünkü kelimenin yazarın adına da atıfta bulunma olasılığı çok yüksektir ve Adam optimizasyon algoritması yalnızca Aralık 2014'te önerilmiştir.
Araştırmacı
Dikkat ettiğim bir diğer gösterge de, makalede derin öğrenme alanındaki araştırma uzmanlarından kaç kez bahsedildiğidir (bu, alıntı sayısına biraz benzer, ancak ilki 0/1 göstergesiyle daha iyi ifade edilebilir ve toplam makale sayısına göre standartlaştırılabilir):
Unutulmamalıdır ki: makalelerin% 35'i "bengio" dan bahseder, ancak akademik dünyada Bengio adında iki uzman vardır: Samy Bengio ve Yoshua Bengio, Şekil ikisinin toplamını göstermektedir. Özellikle Geoff Hinton'dan son makalelerin% 30'unda bahsediliyor ki bu çok yüksek bir oran.
Anahtar Kelime Araştırması
Son olarak, bu makale anahtar kelimeleri manuel olarak sınıflandırmamakta, ancak makaledeki en popüler ve en az popüler anahtar kelimelere odaklanmaktadır.
En popüler anahtar kelimeler
En sıcak anahtar sözcükleri tanımlamanın birçok yolu vardır Bu makalede kullanılan yöntem şu şekildedir: Tüm makalelerde görünen tekli ve ikili katılımcılar için, sözcüğün geçen yıl ve geçen yıldan önce kaç kez kullanıldığını hesaplayın ve ikisini bölün. Oran sıralamayı yapar. En üst sıradaki anahtar kelimeler, bir yıl önce sınırlı etkiye sahip olan, ancak aşağıdaki tabloda gösterildiği gibi, geçen yıl yüksek sıklıkta ortaya çıkan anahtar kelimelerdir (tablo, yinelenen kelimelerin silinmesinin sonucudur):
Örneğin, ResNet'in oranı 8.17'dir. Bu kelime yalnızca bir yıl önce (Mart 2016) makalelerin% 1.044'ünde göründü, ancak geçen ay makalelerin% 8.53'ünde bu anahtar kelime vardı, bu nedenle bizde 8.53 var / 1.044 ~ = 8.17 oranı.
Böylece, geçen yıl popüler hale gelen temel teknolojilerin şunlar olduğunu görebilirsiniz: 1) Yeniden Ağlar, 2) GAN'lar, 3) Adam, 4) Toplu Normalleştirme (BatchNorm).
Araştırma yönü ile ilgili olarak, en popüler anahtar kelimeler 1) Stil Transferi, 2) Derin Güçlendirmeli Öğrenme, 3) Sinir Ağı Makine Çevirisi ("nmt") ve belki 4) Görüntü üretmedir.
Genel mimari açısından en popüler olanlar 1) Tam Evrişimli Ağlar (FCN), 2) LSTM'ler / GRU'lar, 3) Siyam ağları ve 4) Kodlayıcı-kod çözücü ağlardır.
Çoğu "eski" anahtar kelime
Aksine, geçen yıl hangi anahtar kelimeler artık popüler değil? Aşağıdaki tabloda gösterildiği gibi:
"Fraktal" ın ne anlama geldiğinden emin değilim, ama genel olarak Bayesçi parametrik olmayan istatistikler daha az popüler görünüyor.
sonuç olarak
Bu nedenle, tam evrişimli ağ, kodlayıcı-kod çözücü, toplu normalleştirme, ResNet, stil dönüştürme için Gan gönderme ve uygulama zamanı ve kağıdınızı optimize etmek için Adam'ı kullanma zamanı. Hey, kulağa çirkin gelmiyor :)
