En eksiksiz! 2019'da NLP alanında hangi önemli olaylar meydana geldi?
Doğal dil işleme alanı için 2019 harika bir yıl olarak tanımlanabilir!
Bu makalede, AI Technology Review, 2019'da NLP ve ML alanındaki önemli olayları değerlendirecek, değerli kağıtları, makaleleri, mühendislik çalışmalarını, yıllık raporları vb. Kapsayacak ve bunları değerli sunacaktır. Dikkat Ve bir dizi kurs ve kitap kaynağı öğrenmek.
Tüm önemli olaylar için, bu makale herkese samimiyetle tek tek ayrıntılı olarak ilgili bağlantıları ekledi!
1. Önemli görevlerin listesi
2019'da, Google'ın yapay zeka departmanı, bağlamsal dil temsilinin kendi kendine denetlenen öğrenme görevleri için hafif bir BERT model-ALBERT (kağıt: "ALBERT: Dil Temsillerinin Kendi Kendine Denetlenen Öğrenimi için Lite BERT") yayınladı. Bu modelin temel iyileştirmesi, artıklığı azaltmak ve model kapasitesini daha verimli bir şekilde tahsis etmektir. Bu yöntem, 12 doğal dil işleme görevinde en gelişmiş performansı elde eder.
2019'un başlarında, NVIDIA araştırmacıları, stil aktarım yöntemine dayanan ve isteğe bağlı bir GAN nesil mimarisi öneren ünlü bir makale "StyleGAN" yayınladı. Ardından, "StyleGAN'ın Görüntü Kalitesini Analiz Etmek ve İyileştirmek" başlıklı makalede StyleGAN'ı geliştirdiler ve jeneratörün normalizasyon sürecini yeniden tasarladılar.
Şekil 1: Önceki satırdaki hedef görüntü, sonraki satırdaki bileşik görüntü
Code2Seq, 2019'da yayınlanan çok ilginç bir çalışmadır. Yapılandırılmış kod temsillerine dayalı doğal dil dizileri oluşturma yöntemidir. Code2Seq, otomatik kod özetleme ve belge oluşturma gibi işlemleri gerçekleştirebilir.
Biyomedikal metin madenciliği görevleri için biyomedikal bir dil modeli eğitmeyi hiç düşündünüz mü? 2019'da araştırmacılar, biyomedikal literatürden BioBERT'den önemli bilgileri çıkarmak için bağlamsal bir yöntem önerdiler.
BERT'nin piyasaya sürülmesinden sonra, Facebook araştırmacıları, BERT'yi iyileştirmek için yeni optimizasyon yöntemleri sunan ve çeşitli doğal dil işleme karşılaştırma ölçütlerinde en gelişmiş deneysel sonuçları elde eden RoBERTa'yı hemen piyasaya sürdü.
Facebook Yapay Zeka Enstitüsü'nden araştırmacılar da yakın zamanda Transformer dil modelinin verimliliğini artırmak için tüm dikkat katmanına ("Kalıcı Bellek ile Öz Dikkatini Artırma") dayalı bir yöntem yayınladılar. Araştırma grubu ayrıca yapay zeka sistemlerine nasıl plan yapılacağını öğretmek için doğal dili kullanma yöntemi önerdi ("Doğal Dil Talimatlarını Oluşturarak ve İzleyerek Hiyerarşik Karar Verme").
Şekil 2: Tüm dikkat katmanının şematik diyagramı
Yorumlanabilirlik, makine öğrenimi ve doğal dil işleme alanında hala önemli bir konudur. "Açıklanabilir Yapay Zeka (XAI): Sorumlu Yapay Zekaya Yönelik Kavramlar, Taksonomiler, Fırsatlar ve Zorluklar" başlıklı makale, yorumlanabilirlik, sınıflandırma standartları ve gelecekteki olası araştırma yönlerine genel bir bakış sunmaktadır.
Sebastian Ruder tarafından yayınlanan "Doğal Dil İşleme için Nöral Transfer Öğrenimi" makalesinde, doğal dil işleme için sinirsel aktarım öğrenimi önerdi.
Bazı araştırmacılar, konuşma bağlamında duygu tanıma için duygusal diyalog üretimini gerçekleştirebilen "Üretken Konuşma Modelinden Transfer Öğrenimi ile Konuşmalarda Duygu Tanıma" yöntemi geliştirdiler. Bir diğer ilgili çalışma olan "DialogueGCN: Sohbette Duygu Tanıma için Bir Grafik Evrişimli Sinir Ağı", diyalogdaki duyguları tespit etmek için "DialogueGCN" adlı bir grafik sinir ağı yöntemini kullanır.
Google yapay zeka kuantum hesaplama ekibi Nature dergisinde "Programlanabilir bir süper iletken işlemci kullanarak kuantum üstünlüğü" başlıklı bir makale yayınladı. Dünyanın en büyük süper bilgisayarından daha hızlı bir kuantum bilgisayar geliştirdiklerini iddia ediyorlar.
Yukarıda bahsedildiği gibi yorumlanabilirlik, sinir ağı mimarisi alanında çok fazla iyileştirmeye ihtiyaç duyan alanlardan biridir. "Dikkat, Açıklama değildir" yazısı, dikkat mekanizmasını dil modellemede güvenilir bir yorumlanabilirlik aracı olarak kullanmanın sınırlamalarını tartıştı.
"Nöral Mantık Makineleri" nin çalışması, tümevarımlı öğrenme ve mantıksal akıl yürütmede iyi performans elde edebilen bir "sinirsel sembol" ağ mimarisi önermektedir. Model, dizi sıralama ve en kısa yolu bulma görevlerinde iyi performans gösterir.
Şekil 3: Nöral Mantık Makinesinin Mimarisi
"Transformer Dil Modelleriyle Çıkarıcı ve Soyut Sinirsel Belge Özetleme Üzerine" adlı kağıt, Transformer dil modelini sinirsel belge özetlemesini ayıklama ve soyutlama görevine uygular.
Araştırmacılar, "Karşılaştırmalar Yoluyla Makine Öğrenimi Modelleri Oluşturma" başlıklı makalede, karşılaştırma yöntemleriyle makine öğrenimi modellerini oluşturmaya ve eğitmeye odaklanan bir yöntem de geliştirdiler. Bu teknik, çok sayıda "özellik etiketi" veri çifti gerektirmez, ancak görüntüye belirli bir etiket verilip verilmeyeceğini belirlemek için görüntüyü model tarafından daha önce görülen görüntü ile karşılaştırır.
Nelson Liu ve araştırma ortakları, BERT ve ELMo gibi önceden eğitilmiş bağlam modelleri aracılığıyla edinilen dil bilgisi türlerini tartışan "Dil Bilgisi ve Bağlamsal Temsillerin Aktarılabilirliği" adlı makaleyi yayınladılar.
XLNet, doğal dil işleme görevleri için bir ön eğitim yöntemidir ve 20 görev üzerinde BERT'e göre daha da iyileştirilmiştir. Bu mükemmel çalışmanın bir özeti için lütfen bakınız: https: // medium .com / dair-ai / xlnet-outperforms-on-birkaç-nlp-tasks-9ec867bb563b.
DeepMind'in "Genel Dilbilimsel Zekayı Öğrenmek ve Değerlendirmek" adlı makalesi, çeşitli görevlere uygulanan dil anlama modellerini değerlendirmeyi amaçlayan kapsamlı bir deneysel çalışmanın sonuçlarını bildirmektedir. Bu kapsamlı analiz, dil modelleri tarafından edinilen içeriğin daha iyi anlaşılması ve dolayısıyla verimliliklerinin artması için çok önemlidir.
VisualBERT, "görsel dil" görevleri (VQA ve Flickr dahil) için basit ve sağlam bir çerçevedir. 30 K, vb.) Modelleme. Bu yöntem, metin parçası ve görüntü alanındaki öğeleri hizalamak için yığılmış Transformer katmanını ve dikkat mekanizmasını kullanır.
Çeşitli doğal dil işleme aktarım öğrenme yöntemlerinin ayrıntılı analizi ve karşılaştırması yoluyla "Ayarlamak veya Ayarlamamak?" Önceden Eğitilmiş Temsilleri Çeşitli Görevlere Uyarlamak "ve doğal dil işleme uygulayıcılarına bilgi verir. Önermek .
Alex Wang ve Kyunghyun "BERT has a Mouth and It Must Speak: BERT as a Markov Random Field Language Model", yüksek kaliteli ve akıcı bir dil üretebilen bir BERT uygulaması önerdi.
Facebook araştırmacıları "XLM" PyTorch uygulama kodunu yayınladı (https: // github .com / facebookresearch / XLM), bu, çapraz dil modeli ön eğitimi için kullanılan bir modeldir.
"NMT'de RL: İyi, Kötü ve Çirkin", nöral makine çevirisi için pekiştirmeli öğrenme algoritmalarının kapsamlı bir analizini sağlar.
JAIR'de yayınlanan "Bir Çapraz Dilli Kelime Gömme Modelleri Araştırması" gözden geçirme belgesinde, diller arası kelime gömme modellerinin eğitimi, değerlendirilmesi ve kullanımına ilişkin kapsamlı bir genel bakış verilmektedir.
Gradient platformu, mevcut pekiştirmeli öğrenmenin sınırlamalarını detaylandıran ve aynı zamanda hiyerarşik pekiştirmeli öğrenme yoluyla bu problemleri çözmek için potansiyel bir çıkış yolu sunan mükemmel bir blog yazısı olan "Hiyerarşik Takviye Öğrenmenin Sözü" yayınladı.
Yakında, bazı araştırmacılar ayrıca bir dizi mükemmel pekiştirmeli öğrenmeye giriş dersleri yayınladılar:
https: // github .com /araffin/rl-tutorial-jnrr19/blob/master/1_getting_started.ipynb
"Bağlamsal Kelime Temsilleri: Bağlamsal Bir Giriş" adlı makale, bağlamsal kelime temsil yöntemlerini kısaca tanıtır.
2. Yaratıcı ve sosyal araştırma
Makine öğrenimi teknolojisi, gerçek dünyadaki sorunları çözmek için yaygın olarak kullanılmaktadır, ancak diğer yandan, insanlar da makine öğrenimini ilginç ve yaratıcı şekillerde kullanır. Yapay zeka alanındaki diğer araştırma türleri kadar makine öğreniminde yaratıcılık da önemlidir, çünkü son analizde kültürümüzü ve toplumumuzu şekillendirmemize yardımcı olabilecek yapay zeka sistemleri oluşturmak istiyoruz.
2019'un sonunda Gary Marcus ve Yoshua Bengio, derin öğrenme, sembolik yapay zeka ve hibrit yapay zeka sistemleri üzerine hararetli bir tartışma yaşadı.
Yapay zekanın mevcut durumunu kapsamlı bir şekilde analiz eden ve okuyucuların yapay zeka alanındaki genel ilerlemeyi daha iyi anlamasına olanak tanıyan "2019 Yapay Zeka Endeksi Raporu" nihayet yayınlandı.
Sağduyu muhakemesi hala önemli bir araştırma alanıdır, çünkü inşa etmek istediğimiz yapay zeka sistemi sadece sahip olduğumuz verilere dayanarak öngörüde bulunabilmeli, aynı zamanda bu kararları anlayabilmeli ve akıl yürütebilmelidir. Bu teknoloji, ajanların insanlarla daha doğal bir diyalog kurmasını amaçlayan yapay zeka diyalog sistemlerinde kullanılabilir. Nasrin Mostafazadeh "The Art of AI Storytelling: How One 30 Altında 30 "Bilim Adamı Varsayımlar Yapmak İçin Cihazlar Öğretiyor" başlıklı röportaj makalesinde, akıl yürütmeyi denemeye ve bunun uygulanmasına ilişkin hikaye anlatımı ve dil anlamayı içeren bir tartışma vardı.
Sağduyu muhakemesi için dil modellerini nasıl kullanacağınızı görmek için "Kendinizi Açıklayın! Sağduyu Akıl Yürütme için Dil Modellerinden Yararlanma" adlı makaleye de başvurabilirsiniz.
Aktivasyon Atlası, sinir ağlarındaki nöronlar arasındaki etkileşimleri daha iyi anlamak ve görselleştirmek için Google ve Open AI'daki araştırmacılar tarafından geliştirilen bir teknolojidir.
Şekil 4: Inception V1 sınıflandırma ağının aktivasyon atlası, tamamen uygulanan birçok özelliği gösterir (örneğin, elektronik, binalar, yiyecek, hayvan kulakları, bitki ve su arka planı)
Ayrıca, 2019 Turing Ödülü kazanan Geoffery Hinton ve Yann LeCun tarafından verilen ödüllü konuşmalar da (adres: https://fcrc.acm.org/turing-lecture-at-fcrc-2019) okumaya değer. Bu onur aynı zamanda Yoshua Bengio'dur.
"Makine Öğrenimi ile İklim Değişikliğiyle Mücadele" başlıklı kağıt, iklim değişikliği sorunlarının üstesinden gelmek için makine öğreniminin kullanımını tartışıyor.
OpenAI, faydalı kullanım ve potansiyel teknoloji kötüye kullanımı gibi konuları da içeren, dil modellerinin toplum üzerindeki etkisini tartışan bilgilendirici bir rapor "Yayın Stratejileri ve Dil Modellerinin Sosyal Etkileri" yayınladı.
Duygu analizi teknolojisi hala yaygın olarak kullanılmaktadır. Mojifier harika bir proje. Bir görüntüyü gözlemleyerek bir görüntüdeki duyguları algılayabilir ve yüzleri, algılanan duygularla eşleşen ifadelerle değiştirebilir.
Yapay zeka teknolojisinin görüntüleme araştırmaları için kullanılması da 2019'da önemli bir trend. "Radyolojik görüntüler ve makine öğrenimi: eğilimler, bakış açıları ve beklentiler" başlıklı makale, bu araştırma alanının gelişme eğilimlerini ve beklentilerini özetler.
New York Üniversitesi'ndeki araştırmacılar, meme kanseri taramasında görüntüleme uzmanlarının performansını artırmak için PyTorch tarafından uygulanan derin bir sinir ağını da yayınladı. MIMIC-CXR, göğüs röntgeni ve görüntüleme metin raporları veritabanı içeren önemli bir veri setidir.
New York Times, Karen Spark Jones hakkında bir makale yazdı (https: // www. nytimes .com /2019/01/02/obituaries/karen-sparck-jones-overlooked.html), doğal dil işleme ve bilgi edinme konusundaki öncü katkılarını hatırlatıyor.
Open AI Five, bir e-spor yarışmasında bir dünya şampiyonunu yenen ilk yapay zeka sistemi oldu.
"Küresel Yapay Zeka Yetenek Raporu", küresel yapay zeka yetenek havuzu ve küresel yapay zeka talebi hakkında ayrıntılı bir rapor veriyor.
DeepMind ekibi, abonelerin en yeni yapay zeka konularını tartışabilecekleri harika bir podcast oluşturdu. adres:
https: // deepmind .com / blog? filters =% 7B% 22category% 22:% 5B% 22Podcasts% 22% 5D% 7D)
The Economist'in yapay zeka potansiyeli açısından demis Hassabis ile röportaj yaptığı röportajda, insan düşüncesini genişletmek için yapay zeka kullanmak ve belki de önemli bilimsel sorunlara çözüm bulmak gibi bazı fütüristik fikirlerden bahsetti. Program.
2019 yılında sağlık alanında makine öğreniminin uygulanması da önemli ilerleme kaydetti. Örneğin, Massachusetts'teki araştırmacılar, beyin kanamasını insanlar kadar doğru bir şekilde tespit edebilen bir yapay zeka sistemi geliştirdiler.
Şekil 5: Yapay zeka sistem analizi ile elde edilen beyin taraması sonuçları
Janelle Shane, makine öğreniminin nasıl yaratıcı yollarla ilginç deneyler gerçekleştirebileceğini gösteren bir dizi "tuhaf" deneyi özetledi. Bazen bu tür bir deney, yapay zeka sisteminin ne yaptığını (ve yapmadığını) gerçek bir anlayış gerektirir. Bu deneylerden bazıları "sahte yılan" resimleri oluşturmayı ve şakalar yapmayı içerir.
Şekil 6: Yılan türleri
"Dünyadan dış gezegene: Makine öğrenimiyle gezegenleri avlama" makalesi, gezegenleri bulmak için TensorFlow platformunda oluşturulan makine öğrenimi modelini kullanmaya çalışıyor.
OpenAI, "Daha İyi Dil Modelleri ve Etkileri" başlıklı makalede büyük ölçekli denetimsiz dil modelleri (olası kötü niyetli kullanım durumları dahil) yayınlamanın etkisini tartıştı.
"DNA Dizileme Hata Düzeltmesi için Nucleus ve TensorFlow Kullanımı" adlı bir Colab not defteri, "DNA Dizileme Hatası Düzeltmesi" için Nucleus ve TensorFlow'un nasıl kullanılacağına dair harika bir giriş sağlar. DNA keşfi için derin öğrenme mimarisini kullanma hakkında daha fazla ayrıntı için lütfen blog gönderisine bakın: https: //blog.floydhub .com / derin öğrenmeyle DNA'yı keşfetme /
Şekil 7: Konsensüse dayalı DNA dizisi hata düzeltme görevini çok sınıflı bir sınıflandırma problemi olarak resmileştiriyoruz. Nucleus'u kullanarak, genom çapında normalleştirilmiş bir temel teknoloji matrisi oluşturduk. TensorFlow, pencerenin ortasında doğru tabanı tahmin etmek için bir sinir ağını eğitmemizi sağlar.
Harvard Üniversitesi'nde bir doğal dil işleme araştırmacısı olan Alexander Rush, tensör problemleri hakkında "Zararlı Olarak Tensör" adlı önemli bir makale yazdı ve mevcut kütüphanelerin bu sorunları nasıl ortaya çıkardığına dikkat çekti. Ayrıca tensör indekslerinin isimlendirilmesini önerdi Önermek .
Üç, araçlar ve veri setleri
Bu bölüm, doğal dil işleme ve makine öğreniminin araştırılması ve mühendisliğine çok yardımcı olan yazılım ve veri setleriyle ilgili olaylara odaklanacaktır.
Hugging Face, PyTorch tabanlı popüler bir Transformer kitaplığı "pytorch-transformers" yayınladı. Birçok doğal dil işleme uygulayıcısının ve araştırmacının en gelişmiş ortak çerçeveleri (örneğin, BERT, GPT-2, XLM, vb.) Kolayca kullanmasına olanak tanır. Pytorch transformatörlerinin nasıl kullanılacağıyla ilgileniyorsanız, lütfen Roberto Silveira'nın nasıl kullanılacağını açıklayan öğreticisine (https://rsilveira79.github.io/fermenting_gradients/machine_learning/nlp/pytorch/pytorch-transformer-squad/) bakın. Kütüphane makine anlayışını gerçekleştirir.
Şekil 8: Hugging Face'in pytorch transformatörleri
2019'da Google, bazı yeni özellikleri tanıtan TensorFlow 2.0'ı piyasaya sürdü. En iyi uygulamalar hakkında daha fazla bilgi için lütfen şu adrese bakın: https: // medium .com / tensorflow / effective-tensorflow-2-0-best-apps-and-whats-changes-a0ca48767aff. Francois Chollet ayrıca bu yeni özelliklerin ayrıntılı bir özetini yazdı: https://colab.research.google .com / drive / 1UCJt8EYjlzCs1H1d1X0iDGYJsHKwu-NO.
Aynı zamanda, yeni çıkan PyTorch 1.3, adlandırılmış tensörler ve diğer ön uç geliştirmeleri de dahil olmak üzere birçok yeni özellik içerir.
Allen Institute of Artificial Intelligence, insanlarla tahmin oyunları oynayabilen bir yapay zeka sistemi olan "Iconary" i yayınladı. bu iş Birleştirmek Görsel / dil öğrenme sistemi ve sağduyu muhakemesi. Aynı zamanda, yeni bir sağduyu muhakeme karşılaştırma ölçütü "Abductive-NLI" yayınladılar.
spaCy, Transformer dil modelini spaCy ile birleştiren yeni bir kod tabanı yayınladı, bu sayede özellikleri ayıklayıp spaCy NLP iş akışında kullanabiliyor. Bu çalışma, Hugging Face tarafından geliştirilen Transformer kitaplığına dayanmaktadır. Maximilien Roberti ayrıca fast.ai kodunun pytorch-transformers ile nasıl entegre edileceğine dair bir makale yazdı. Birleştirmek "Hugging Face Transformers (BERT, RoBERTa, XLNet, XLM, DistilBERT) ile Fastai" blog yazısı.
Facebookun yapay zeka ekibi, geçmeyi amaçlayan fiziksel muhakeme için bir kıyaslama olan "PHYRE" yi yayınladı Birleştirmek Yapay zeka sisteminin fiziksel muhakeme yeteneğini test etmek için çeşitli fiziksel problemler.
Şekil 9: PHYRE-B Katmanının şematik diyagramı
Stanford Natural Language Processing Group, doğal dil analizi için Python kod kitaplığı "StanfordNLP 0.2.0" ı yayınladı. 70'ten fazla farklı dilde farklı dil analizi türleri (örneğin: ifade etme ve konuşma parçası tanıma) gerçekleştirebilirsiniz.
DKG, görsel akıl yürütmeyle ilgili araştırmaları desteklemek için kullanılan görsel bir soru cevaplama veri setidir.
exBERT, Transformer dil modelinin yerleştirme ve dikkat mekanizmasını keşfetmek için bir görselleştirme aracıdır. Orijinal belge "exBERT: Transformers Modellerinde Öğrenilmiş Temsilleri Keşfetmek İçin Bir Görsel Analiz Aracı" dır.
Şekil 10: exBERT'in çalışma şeması
Tekrarlayan Sinir Ağlarında (RNN) bellek içeriğinin nasıl görselleştirileceğine dair Distill platformunda "RNN'lerde ezberlemeyi görselleştirme" başlıklı bir makale yayınlandı.
Mathpix aracı, bir formülün resmini çekmenize ve ardından sizin için formül için Lateks kodunu otomatik olarak oluşturmanıza olanak tanır.
Şekil 11: Mathpix çalışma diyagramı
Parl.ai platformu, yapay zeka diyalog sistemlerini içeren işler için birçok popüler veri setini barındırabilir.
Uber araştırmacıları, modellerin eğitimi ve test edilmesi sürecinde herhangi bir kodlama çalışmasından kaçınmayı amaçlayan, kullanıcıların yalnızca birkaç satır kodla derin öğrenme modellerini kolayca eğitmesine ve test etmesine olanak tanıyan açık kaynaklı araç Ludwig'i yayınladı.
Google'ın yapay zeka araştırmacıları, açık alanlı soru yanıtlama sistemlerini eğitmek ve değerlendirmek için büyük ölçekli bir külliyat olan "Natural Questions" ı yayınladılar.
Dört, mutlaka görülmesi gereken makaleler ve blog yazıları
2019'da veri bilimi yazarlarının ve meraklılarının sayısı arttı. Bu, araştırma alanımız için çok faydalıdır ve aynı zamanda araştırma topluluğunda sağlıklı tartışmaları ve öğrenmeyi teşvik eder.
İşte okunması gereken bazı ilginç makaleler ve blog yazıları:
Christian Perone, model parametre tahminini anlamak için önemli ilkeler olan maksimum olabilirlik tahminini (MLE) ve maksimum a posteriori tahmini (MAP) tanıttı.
Reiichiro Nakano, nöral stil aktarımını düşmanca güçlü sınıflandırıcılarla tartışan "Düşmanca Güçlü Sınıflandırıcılarla Nöral Stil Transferi" adlı bir blog yazısı yayınladı.
Saif M. Mohammad bir dizi makale yazdı (okuma adresi: https: // medium .com / @ nlpscholar / state-of-nlp-cbf768492f90) ACL kağıtlarının kabulünün artzamanlı analizini tartışır.
Şekil 12: Yukarıdaki şekil, akademik araştırma için harcanan ortalama ve medyan zamanı ve makaleyi ilk kez yayınlayan kişi sayısının oranını göstermektedir.
Düşünmeye değer bir soru şudur: Dil modelleri dilbilgisini öğrenebilir mi? "Yapısal Problarla Sözdizimi Bulmak", bağlamsal karakterizasyon ve arama ağacı yapısı yöntemlerini kullanarak bu hedefe ulaşmanın mümkün olduğunu göstermek için yapılandırılmış algılama teknolojisini kullanır.
Andrej Karpathy, sinir ağlarını verimli bir şekilde eğitmenin en iyi uygulamalarını ve yöntemlerini özetleyen "Sinir Ağlarını Eğitmek İçin Bir Reçete" adlı bir blog yazısı yazdı.
Google'ın yapay zeka departmanından araştırmacılar, diğer araştırmacılarla işbirliği yaparak BERT modelini kullanarak aramak BERT gibi kavramsallaştırılmış yöntemleri anlamak, anlayabilir aramak Sorgunun arkasındaki amaç.
Rectified Adam (RAdam), yapay zeka mimarisini geliştirmeye yardımcı olan Adam optimizer tabanlı yeni bir optimizasyon teknolojisidir. Araştırmacılar, daha iyi ve daha kararlı optimize ediciler önermek için bazı çalışmalar yaptılar, ancak yazarlar Dikkat Optimizasyonun diğer yönleri de yakınsamayı iyileştirmek için önemlidir.
Makine öğrenimi araçlarının son yıllarda hızla gelişmesiyle birlikte, pratik sorunları çözebilecek makine öğrenimi sistemlerinin nasıl uygulanacağı konusunda giderek daha fazla tartışma var. Chip Huyen, hiperparametre ayarı ve veri hattı gibi konulara odaklanan "Makine Öğrenimi Sistem Tasarımı" yazdı.
Nvidia, milyarlarca parametreyi eğiten en büyük dil modelini oluşturma rekorunu kırdı.
Abigail See, doğal dil oluşturma görevlerini yerine getirmek için geliştirilmiş bir sistem ortamında iyi bir insan-makine konuşmasının nasıl başarılacağını tartışan "İyi bir konuşma yapan nedir?" Adlı bir blog yazısı yazdı.
Google yapay zeka ekibi, dijital asistanlar gibi diyalog uygulamalarının kişiselleştirilmesini iyileştirmek için daha karmaşık ve doğal diyalog veri setlerini kullanmayı amaçlayan iki doğal dilde diyalog veri seti yayınladı.
Derin pekiştirmeli öğrenme, yapay zeka alanında hala en çok tartışılan konulardan biridir ve hatta psikoloji ve sinirbilim alanlarında ilgi çekmiştir. "Bilişsel Bilimlerde Eğilimler" konusunda yayınlanan "Takviyeli Öğrenme, Hızlı ve Yavaş" makalesinde, bu alandaki bazı önemli kavramlar tanıtıldı.
Samira Abner, Transformer ve kapsül ağlarının arkasındaki ana bileşenleri ve bağlantıları özetleyen "Transformatörlerde Dikkatten Kapsül Ağlarında Dinamik Yönlendirmeye" adlı bir blog yazısı yazdı. Adam Kosiorek ayrıca, istiflenmiş kapsül tabanlı otomatik kodlayıcılar (kapsül ağının denetimsiz bir versiyonu) için "Yığınlanmış Kapsül Otomatik Kodlayıcılar" adlı bir makale yazdı ve bunları hedef tespit görevleri için kullandı.
Şekil 13: İki bitişik kapsül katmanı arasındaki bağlantı Alt katmanda 3 tip kapsül vardır. Yüksek seviye 2 çeşit kapsül vardır.
Araştırmacılar, Gauss Süreçlerinin görsel keşfini göstermeyi amaçlayan Distill platformunda interaktif bir makale "Gauss Süreçlerinin Görsel Bir Keşfi" yayınladılar.
Distill platformunda yayınlanan "Üretken Çekişmeli Ağlar Hakkında Açık Sorular" aracılığıyla Augustus Odena, araştırmacıları GAN'lar hakkında önemli açık soruları çözmeye çağırdı.
Araştırmacılar, spam gönderenleri ayırt etmek için kullanılan bir grafik evrişimli ağ (GCN) uygulamak için PyTorch çerçevesini kullandılar.
2019'un başlarında VentureBeat, Rumman Chowdury, Hilary Mason, Andrew Ng ve Yan LeCun tarafından önerilen 2019 tahminlerinin bir listesini yayınladı (https: // venturebeat .com / 2019/01/02 / ai-tahminler-for-2019-from-yann-lecun-hilary-mason-andrew-ng-and-rumman-chowdhury /). Şimdi herkes tahminlerinin doğru olup olmadığını görebilir.
"BERT - The Mighty Transformer kullanarak Çok Etiketli Metin Sınıflandırması" nda önerilen model, çok etiketli metin sınıflandırma görevlerini gerçekleştirmek için BERT'nin nasıl ayarlanacağını öğrenir.
BERT'nin yaygınlığı nedeniyle, geçtiğimiz birkaç ay içinde birçok araştırmacı, daha hızlı, daha küçük ve daha bellek verimli bir sürüm oluşturmayı amaçlayan BERT'yi "sıkıştırmak" için yöntemler geliştirdi. Mitchell A. Gordon, sıkıştırma türlerini ve bu hedef etrafında geliştirilen yöntemleri özetleyen "BERT'i Sıkıştırabileceğiniz Tüm Yollar" ı yazdı.
Süper zeka, uzmanlar arasında hala önemli bir tartışma konusudur. Bu konu, çerçeve ve politikaların doğru anlaşılmasını ve dikkatli gözlemi gerektirir. K.Eric Drexler, bazı sorunları anlamak ve süper zeka konusunu çevreleyen düşünmek için çok yararlı olan bilimsel ve teknolojik raporlar biçiminde "Süper Zeka Kapsamlı Yapay Zeka Hizmetlerini Genel İstihbarat Olarak Yeniden Çerçevelendirmek" başlıklı bir dizi ilginç kapsamlı makale yazdı.
Eric Jang, sadece tahmin etmekle kalmayıp aynı zamanda öğrenebilen makine öğrenimi modelleri oluşturmayı ve eğitmeyi amaçlayan meta-öğrenme kavramını tanıtan "JAX'in 50 Satırında Meta-Öğrenme" adlı bir blog yazısı yazdı.
Sebastian Ruder, AAAI 2019'un önemli noktalarının bir özetini yazdı. Adresi okuyun: https://ruder.io/aaai-2019-highlights/.
Grafik sinir ağı, 2019'daki en sıcak konulardan biridir. David Mack, "Graph Neural Networks ile en kısa yolları bulmak" adlı bir makale yazdı ve en kısa yolu hesaplamak için bu tekniği ve dikkat mekanizmasını nasıl kullandıklarını tanıttı.
Bayes yöntemleri hala ilginç bir konudur, özellikle de aşırı uyum gibi yaygın sorunları önlemek için bunların sinir ağlarına nasıl uygulanacağı. Kumar Shridhar, bu konuyla ilgili önerilen okuma materyalleri listesi verdi: https: // medium .com / neuralspace / bayesian-neural-network-series-post-1-need-for-bayesian-networks-e209e66b70b2.
Şekil 14: Ağırlık olarak nokta tahminli ağ ve ağırlık olarak olasılık dağılımlı ağ
5. Yılın Konusu: Yapay Zekada Etik
2019'da etik, önyargı, adalet ve şeffaflık gibi konular dahil olmak üzere yapay zeka sistemleri için belki de en çok tartışılan konulardan biridir. Bu bölüm hakkında, bu makale bazı ilgili ilginç hikayeleri ve makaleleri listeleyecektir:
"Makine öğreniminin etki eşitsizliğini azaltmak, muamele eşitsizliği gerektiriyor mu?" Başlıklı makale, gerçek dünya veri kümeleri üzerinde deneyler yoluyla farklı öğrenme süreçlerinin uygulanmasının sonuçlarını tartışıyor.
Hugging Face, konuşmaya dayalı yapay zeka için açık kaynaklı doğal dil işleme bağlamında etik sorunları tartışmak için "Son teknoloji ürünü bir konuşma yapay zekasının açık kaynak kullanımının etik analizi" adlı bir makale yayınladı.
Topluma yapay zeka temelli teknolojileri tanıtmaya devam ederken, yapay zeka araştırmalarında etiğin rolünü ölçebilmek çok önemli. "Yapay Zeka Araştırmalarında Etiğin Rolünü Ölçme ve Anlama Üzerine: Amiral Gemisi Konferanslarının ve Dergilerinin Tarihsel Hesabı" başlıklı makale, niceliksel etiği ve `` yapay zeka, makine öğrenimi ve robotik alanlarına liderlik etmede etikle ilgili araştırmanın rolünü '' ölçmektedir. Derinlemesine bir analiz yaptı.
NAACL 2019'da yayınlanan "Bir Domuzdaki Ruj: Azaltıcı Yöntemler Kelime Gömmelerinde Sistematik Cinsiyet Yanlılıklarını Örtbas Etme Ancak Onları Kaldırmayın" makalesi, küçültme yöntemlerinin kelime yerleştirmede cinsiyet önyargısını nasıl ortadan kaldırabileceğini tartıştı.
Okuyucular, Zachary Liptonun "ML Bursunda Sorunlu Eğilimler" adlı makalesi hakkındaki raporunu dinleyebilirler (https: // www. Youtube .com / watch? v = A2Jtqi_oa2Y>). Bu ilginç makaleyi de özetledim: "Makine Öğrenimi Bursundaki Sorunlu Trendlere Genel Bir Bakış".
Gary Marcus ve Ernest Davis, yeni kitaplarını "Yapay Zekayı Yeniden Başlatmak: Güvenebileceğimiz Yapay Zeka Oluşturmak" yayınladı. Bu kitabın teması, sağlam yapay zeka elde etmek için atmamız gereken adımları tartışmaktır.
Francois Chollet, yapay zekanın gelecekteki gelişimi ile ilgili olarak "Zekanın Ölçüsü Üzerine" adlı etkileyici bir makale yazdı.
Andrew Trask, Udacity'de farklı gizlilik koruması, birleşik öğrenme ve şifreli yapay zeka üzerine "Güvenli ve Özel AI" kursunu açtı. Gizlilik konusunda Emma Bluemke, hasta gizliliğini korurken makine öğrenimi modellerinin nasıl eğitileceğini tartışan "TIBBİ GÖRÜNTÜLEMEDE GİZLİLİĞİ KORUMAK YZ: FEDERASYONLU ÖĞRENME, FARKLI GİZLİLİK VE ŞİFRELİ BİLGİSAYAR" adlı bir blog yazısı yazdı.
2019'un başlarında, Mariya Yao'nun "AI ETİĞİNDE SON ÇAĞRI ARAŞTIRMA KAĞITLARI" başlıklı blog yazısı, yapay zeka etiği içeren araştırma makalelerinin bir listesini verdi. Bu referans belgelerinin listesi 2018 istatistiklerine dayansa da bugün hala geçerli olduğuna inanıyorum.
6. Kaynak "Hediye Paketi"
Son olarak, size 2019'da bazı yeni güncellenmiş ML / NLP öğrenme kaynakları sunacağım:
Carnegie Mellon Üniversitesi, "Doğal Dil İşleme Sinir Ağı" kursunun öğretim materyallerini ve ana hatlarını yayınladı.
Elvis Saravia ve Soujanya Poria, öğrencilere ve uygulayıcılara teoriler, algoritmalar, uygulamalar ve en son sonuçlar ( İlgili adres: https: // github .com / omarsar / nlp_overview).
Şekil 15: NLP'ye genel bakış
Microsoft Research, veri biliminin temelleri hakkında ücretsiz bir e-kitap yayınladı ("Ücretsiz Kitap: Veri Biliminin Temelleri (Microsoft Araştırma Laboratuvarı'ndan)") Ana gövde, Markov zinciri Monte Carlo yöntemlerinden rastgele grafiklere kadar her şeyi kapsar. .
Makine Öğrenimi için Matematik, makine öğrenimindeki en önemli matematiksel kavramları tanıtan ücretsiz bir e-kitaptır. Ayrıca, makine öğrenimi bileşenlerini açıklayan bazı Jupyter not defteri eğitimlerini de içerir.
Jean Gallier ve Jocelyn Quaintance, makine öğreniminde kullanılan matematiksel kavramları kapsayan "Cebir, Topoloji, Diferansiyel Hesap ve Bilgisayar Bilimi ve Makine Öğrenimi İçin Optimizasyon Teorisi" adlı ücretsiz bir e-kitap yazdı.
Stanford Üniversitesi, "Doğal Dili Anlama" kursu ile ilgili videolar yayınladı:
-
https: // www. Youtube .com / playlist? list = PLoROMvodv4rObpMCir6rNNUlFAn56Js20
OpenAI, makine öğrenimi becerilerinin nasıl sürdürüleceğine ve geliştirileceğine ilişkin önerilen bir okuma listesi derledi: https: // openai .com / blog / learning-day /. Açıkçası, çalışanları bilgilerini sürekli öğrenmek ve genişletmek için her gün bu yöntemleri kullanıyorlar.
Şekil 16: OpenAI çalışanları Öğrenim Günü'nde ne yapıyor?
Adrian Rosebrock 81 sayfalık bir kılavuz yayınladı (https: // www. Pyimagesearch .com /Başlat- buraya /), bilgisayarla görme görevlerini tamamlamak için Python ve OpenCV'nin nasıl kullanılacağını anlatır.
Emily M. Bender ve Alex Lascarides "Doğal Dil İşlemenin Dilbilimsel Temelleri" adlı bir kitap yayınladılar. Bu kitabın ana fikri, doğal dil işleme alanındaki "anlam" ın anlamını keşfetmek için anlambilim ve pragmatiklere dayanmaktadır.
Elad Hazan, makine öğrenimi eğitimini güzel matematik ve sembollerle bir optimizasyon problemi olarak sunmayı amaçlayan "Makine Öğreniminin Optimizasyonu" adlı bir ders notu yayınladı. Deellearning.ai ayrıca, sinir ağı parametre optimizasyonu için görselleştirme ve etkileşimli yöntemlerin kullanımını tartışan "Sinir ağlarında parametre optimizasyonu" adlı makaleyi yayınladı.
Andreas Mueller yeni bir "Uygulamalı Makine Öğrenimi" kurs video listesi yayınladı: https: // www. Youtube .com / playlist? list = PL_pVmAaAnxIQGzQS2oI3OWEPT-dpmwTfA.
Fast.ai, "Temellerden Derin Öğrenme" adlı yeni bir MOOC yayınladı.
MIT, "Derin Öğrenmeye Giriş" kursunun eğitici videosunu ve ana hatlarını yayınladı:
https: // www. Youtube .com / playlist? list = PLtBw6njQRU-rwp5__7C0oIVt26ZgjG9NI)
Chip Huyen, Twitter'da makine öğrenimine girişle ilgili bir dizi yüksek kaliteli ücretsiz çevrimiçi kurs yayınladı:
https: // twitter .com / chipro / durum / 1157772112876060672
Andrew Trask, "Grokking Deep Learning" adlı yeni kitabını yayınladı. Bu kitap, sinir ağı mimarisinin temel yapı taşlarını anlamak için hazırlanmış bir giriş kitabıdır.
Sebastian Raschka, farklı derin öğrenme modellerinin (örneğin, RNN ve CNN) nasıl uygulanacağına dair 80 not yükledi (https: // github .com / rasbt / deeplearning-modeller). En iyi bölüm, bu modellerin PyTorch ve TensorFlow çerçeveleri kullanılarak uygulanmasıdır.
"API'sini sıfırdan taklit ederek TensorFlow'u Anlayın" öğreticisi, TensorFlow'un çalışma mekanizmasını derinlemesine anlamanıza yardımcı olabilir. Christian Perone ayrıca PyTorch için bir öğretici yazdı:
http : //blog.christianperone .com / 2018/03 / pytorch-iç-mimari-tur /
Fast.ai ayrıca "NLP'ye Giriş" adlı bir kurs yayınladı, konular arasında duygu analizi, konu modelleme, Transformer vb.
Xavier Bresson'un konuşması, molekül üretimi için grafik evrişimli ağın nasıl kullanılacağından bahsetti, video bağlantısı: https: //ipam.wistia .com / medias / excbyr8gvv. Ek olarak, "Pre-training Graph Neural Networks" adlı makale ayrıca grafik sinir ağlarının nasıl önceden eğitileceğini tartışıyor.
Grafik sinir ağları açısından, bazı mühendisler bunları moleküllerin ve kristallerin özelliklerini tahmin etmek için kullanır. Google yapay zeka ekibi ayrıca koku tahmini için grafik sinir ağlarını nasıl kullandıklarını açıklamak için "Koklamayı Öğrenme: Moleküllerin Koku Verici Özelliklerini Tahmin Etmek İçin Derin Öğrenmeyi Kullanma" adlı bir blog yazısı yayınladı. Okuyucular grafik sinir ağlarıyla ilgileniyorlarsa, lütfen farklı grafik sinir ağları ve uygulamalarına ilişkin bu kapsamlı genel bakışa bakın: https://arxiv.org/pdf/1812.08434.pdf.
Johns Hopkins Üniversitesi'nden Rene Vidal, PCA gibi denetimsiz öğrenme yöntemleriyle ilgili bir video oynatma listesi yayınladı:
https: // www. Youtube .com / playlist? list = PLFInMJnvb3owAddRh4qk2gCX25kGLDay-
Önceden eğitilmiş bir TensorFlow modelini PyTorch modeline dönüştürmekle ilgileniyorsanız, Thomas Wolf'un bu blog yazısı size yardımcı olacaktır:
https: // aracı .com / hugface / from-tensorflow-to-pytorch-265f40ef2a28Üretken derin öğrenme hakkında bilgi edinmek ister misiniz? David Foster'ın yeni kitabı "Üretken Derin Öğrenme", veri bilimcilerine boyama, işbirliği ve kompozisyon gibi görevler için üretken düşman ağları (GAN) ve kodlayıcı-kod çözücü modellerini nasıl kullanacaklarını anlatıyor. Resmi TensorFlow kod deposu ve bu kitaba eklenmiş PyTorch sürüm kodu.
Aşağıdaki Colab not defteri dosyası, nedensel çıkarım kavramlarını (müdahale, karşı olgusal vb.) Uygulamak ve öğrenmek için kod blokları içerir:
https://colab.research.google .com / drive / 1rjjjA7teiZVHJCMTVD8KlZNu3EjS7Dmu # scrollTo = T9xtzFTJ1Uwf
Sebastian Ruder, Matthew Peters, Swabha Swayamdipta ve Thomas Wolf tarafından sağlanan NAACL 2019 "Doğal Dil İşlemede Transfer Öğrenimi" eğitim materyallerine bağlantılar: https: // github .com / sarılmaface / naacl_transfer_learning_tutorial. Başlamak için uygun bir Google Colab not defteri dosyası da verdiler:
https://colab.research.google .com / drive / 1iDHCYIrWswIKp-n-pOg69xLoZO09MEgf
Jay Alammar, veri gösterimi üzerine "NumPy'ye Görsel Bir Giriş ve Veri Temsilcisi" adlı bir blog yazısı yayınladı. Ayrıca birçok ilginç resimli rehber yazdı:
GPT-2: https://jalammar.github.io/illustrated-gpt2/
BERT: http : //jalammar.github.io/a-visual-guide-to-using-bert-for-the-first-time/
Peter Bloem ayrıca Transformer'ın bileşenlerini açıklayan çok detaylı bir blog yazısı olan "SCRATCH'DAN TRANSFORMERS" yayınladı.
Şekil 18: Öz dikkat mekanizmasının şematik diyagramı
Mihail Eric, "Doğal Dil İşlemede Eğilimler: ACL 2019 İnceleniyor" bölümünde, ACL 2019'da yansıtılan doğal dil işleme alanındaki gelişme eğilimlerine iyi bir genel bakış sundu. İlgili konular, bilginin doğal dil işleme mimarisine tanıtılması, yorumlanabilirlik, önyargının azaltılması ve daha fazlasını içerir. Okuyucular ilgileniyorsa, lütfen şunlara bakın:
https: // aracı .com / @ mgalkin / bilgi-grafikleri-doğal-dilde-işleme-acl-2019-7a14eb20fce8
http : // noecasas .com / post / acl2019 /
Stanford Üniversitesi, CS231n 2019'un tüm müfredatını yayınladı:
http : //cs231n.stanford.edu/syllabus.html
David Abel, ICLR 2019 için bir dizi not yayınladı: https://david-abel.github.io/notes/iclr_2019.pdf. Ayrıca NeurIPS 2019'un harika bir özetini verdi:
https://david-abel.github.io/notes/neurips_2019.pdf
"Uygulamalı Öğrenme Derin Öğrenme", okuyuculara derin öğrenmeyle ilgili bilgileri tanıtan harika bir kitaptır ve yanında dizüstü bilgisayar kodu da bulunur.
Şekil 19: Uygulamalı öğrenme derin öğrenme
BERT, ELMo ve doğal dil işleme aktarımı öğrenimine ilişkin resimli bir kılavuz için lütfen bakınız: http : //jalammar.github.io/illustrated-bert/.
Şekil 20: Öğrenmeyi doğal dil işlemede aktarın
Fast.ai, "Programcılar Derin Öğrenmeyi Kullanıyor" kursunun 2019 sürümünü yayınladı.
Pieter Abbeel ve diğerleri tarafından öğretilen derin gözetimsiz öğrenme kurslarının bağlantıları aşağıdaki gibidir:
https://sites.google .com / view / berkeley-cs294-158-sp19 / home
Gilbert Strang, doğrusal cebir ve sinir ağları üzerine yeni bir kitap yayınladı:
http : //math.mit.edu/~gs/learningfromdata/
California Teknoloji Enstitüsü, "Makine Öğreniminin Temelleri" kursunun tüm müfredatını, kurs slaytlarını ve video oynatma listelerini yayınladı:
http : //tensorlab.cms.caltech.edu/users/anima/cs165.html
"Scipy Ders Notları" size "matplotlib", "Numpy", "Scipy" ve diğer araçlarda nasıl ustalaşacağınızı öğreten bir dizi öğreticidir.
Okuyucular Gauss işlemlerini anlamak istiyorsa, lütfen "Gauss işlemlerini anlama" öğreticisine ve beraberindeki koda bakın.
Lilian Wang, mutlaka okunması gereken bir makale olan "Genelleştirilmiş Dil Modelleri" blog gönderisinde üretken dil modellerine (ULMFit, OpenAI GPT-2, BERT gibi) derinlemesine bir giriş yaptı.
"Kodlu Kağıt" web sitesi, seçilen bazı makine öğrenimi kağıtlarını ve bunların kodlarını görüntüler ve en gelişmiş modellerin sonuçlarını sunar.
Christoph Molnar, makine öğrenimi algoritmalarını daha iyi açıklamak için kullanılan önemli teknikler üzerine bir kitap olan "Interpretable Machine Learning" kitabının ilk baskısını yayınladı.
David Bamman, Berkeley'deki California Üniversitesi'nde doğal dil işleme kursunun tüm müfredatını ve slaytlarını yayınladı:
http : //people.ischool.berkeley.edu/~dbamman/nlp18.html
California Üniversitesi, Berkeley "Uygulamalı Doğal Dil İşleme" kursları için tüm materyalleri yayınladı:
https: // github .com / dbamman / anlp19
Aerin Kim, Microsoft'ta kıdemli bir araştırma mühendisidir. Uygulamalı matematik ve derin öğrenmeyle ilgili bir dizi makale yazmıştır: https: // directiondatascience .com / @ aerinykim. Temaları temel olarak koşullu bağımsızlık, gama dağılımı, karmaşıklık vb. İçerir.
Tai-Danae Bradley'nin "Tensör Ağ Diyagramları Olarak Matrisler" adlı blog yazısı, matrisler ve tensörler hakkında nasıl düşünülmesi gerektiğini tartışıyor. Bu makale, matriste gerçekleştirilen belirli dönüşümleri ve işlemleri daha iyi anlamaya yardımcı olmak için bazı harika görselleştirmeler kullanır.
Şekil 21: Matrisler ve tensörler
2019 geçti, hangi tarihi anlar ve önemli ML ve NLP, 2020'de AI endüstrisindeki ikinci büyük güç olarak devreye girecek Dikkat İş? Bekleyelim ve görelim!
https: // aracı .com / dair-ai / nlp-yıl-incelemede-2019-fb8d523bcb19
aracılığıyla: https: // medium .com / dair-ai / nlp-yıl-incelemede-2019-fb8d523bcb19
