En son 34 makale, sizi NLP teknolojisini hızla takip etmeye götürüyor (indirme eklidir)
Kaynak: Xinzhiyuan
Bu makale Birden çok kaynak , Toplanması tavsiye edilir.
Bu makale, araştırmanın ön saflarına ayak uydurarak, NLP'nin en son makalelerinin ve kaynaklarının bir listesini ve sahip olunması gereken koleksiyonları derledi.
NLP alanı hızla gelişiyor Yeni başlayanlar modern NLP'deki en son trendleri hızla takip etmek için hangi kağıtları okuyabilir? HuggingFace ekibi, araştırmaların ön saflarına ayak uydurmak ve sahip olunması gereken koleksiyonlara ayak uydurmak için kısa süre önce bu makale ve kaynak listesini yayınladı.
Son iki yılda NLP, çeşitli görev ve uygulamalarda hızlı ilerleme kaydetti. Bu ilerlemeler, NLP sistemleri oluşturmak için klasik paradigmadaki bir kaymadan kaynaklanmaktadır: Uzun bir süredir, araştırmacılar, sinir ağlarını başlatmak için önceden eğitilmiş kelime yerleştirmeleri (word2vec veya GloVe gibi) kullandılar ve ardından göreve özel bir Denetimli bir yöntemde eğitim almak için tek bir veri kümesi kullanan mimari.
Son zamanlarda, bazı çalışmalar, web ölçeğindeki veri setlerinde hiyerarşik bağlam temsillerini öğrenmek ve bu ön eğitimi aşağı akış görevlerine (aktarım öğrenimi) aktarmak için dil modelleme gibi denetimsiz (veya kendi kendini denetleyen) sinyalleri kullanabileceğimizi kanıtladı. . Heyecan verici olan şey, bu değişimin aşağı yönlü uygulamalarda, soru cevaplamadan sözdizimsel analiz yoluyla doğal dil muhakemesine kadar önemli bir ilerleme sağlamasıdır ...
"Modern NLP'deki en son trendleri takip etmek için hangi kağıtları okuyabilirim?"
Birkaç hafta önce bir arkadaşım NLP'ye girmeye karar verdi. Zaten makine öğrenimi ve derin öğrenme konusunda bir geçmişi var, bu yüzden içtenlikle sordu: "Modern NLP'deki en son trendlere ayak uydurmak için hangi kağıtları okuyabilirim?"
Bu, özellikle NLP konferansları (ve genel olarak ML konferansları) tarafından alınan bildiri gönderimlerinin sayısındaki üstel artış göz önüne alındığında çok iyi bir sorudur: NAACL 2019, 2018'den% 80 daha fazla başvuru aldı ve ACL 2019 başvurular aldı. 2018'e göre% 90 artış ...
Bu sebeple bu makale ve kaynaklar listesini onun için derledim ve sizlerle paylaştım.
Sorumluluk Reddi: Bu liste kapsamlı değildir ve NLP'deki tüm konuları kapsayamaz (örneğin, semantik analizi, çekişmeli öğrenmeyi, NLP pekiştirmeli öğrenmeyi vb. Kapsamaz). Seçilen makaleler esas olarak son birkaç yıldaki / aydaki en etkili çalışmalardır.
Genel olarak, yeni bir alana girmeye başlamanın iyi bir yolu, makaleyi okumaya zaman ayırmadan önce arka planı hızlı bir şekilde anlamanıza olanak tanıyan giriş veya sonuç bloglarını (bu gibi) okumaktır.
Aşağıdaki referanslar, NLP transfer öğreniminin temel fikirlerini kapsar:
Derin bağlamsal kelime temsilleri (NAACL 2018)
Matthew E. Peters, Mark Neumann, Mohit Iyyer, Matt Gardner, Christopher Clark, Kenton Lee, Luke Zettlemoyer
Evrensel Dil Modeli Metin Sınıflandırması için İnce Ayar (ACL 2018)
Jeremy Howard, Sebastian Ruder
Üretken Ön Eğitim ile Dil Anlamayı Geliştirme
Alec Radford, Karthik Narasimhan, Tim Salimans, Ilya Sutskever
Dil Modelleri Denetimsiz Çoklu Görev Öğrenicilerdir
Alec Radford, Jeffrey Wu, Rewon Çocuk, David Luan, Dario Amodei, Ilya Sutskever
BERT: Dil Anlamak için Derin Çift Yönlü Transformatörlerin Ön Eğitimi (NAACL 2019)
Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova
Öz-Dikkat Ağlarının Cloze-odaklı Ön Eğitimi (arXiv 2019)
Alexei Baevski, Sergey Edunov, Yinhan Liu, Luke Zettlemoyer, Michael Auli
Doğal Dili Anlama ve Oluşturma için Birleşik Dil Modeli Ön Eğitimi (arXiv 2019)
Li Dong, Nan Yang, Wenhui Wang, Furu Wei, Xiaodong Liu, Yu Wang, Jianfeng Gao, Ming Zhou, Hsiao-Wuen Hon
MASS: Sıralamaya Göre Maskelenmiş Sıra Dil Üretimi için Ön Eğitim (ICML 2019)
Kaitao Şarkı, Xu Tan, Tao Qin, Jianfeng Lu, Tie-Yan Liu
Neleri tek bir vektöre sığdırabilirsiniz: Dilsel özellikler için cümle yerleştirmelerini inceleme (ACL 2018)
Alexis Conneau, Alman Kruszewski, Guillaume Lample, Loïc Barrault, Marco Baroni
Eğitim Gerekmiyor: Cümle Sınıflandırması İçin Rastgele Kodlayıcıları Keşfetme (ICLR 2019)
John Wieting, Douwe Kiela
GLUE: Doğal Dili Anlamak için Çok Görevli Bir Kıyaslama ve Analiz Platformu (ICLR 2019)
Alex Wang, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, Samuel R. Bowman
SuperGLUE: Genel Amaçlı Dil Anlama Sistemleri için Stickier Benchmark (arXiv 2019)
Alex Wang, Yada Pruksachatkun, Nikita Nangia, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, Samuel R. Bowman
Dil Bilgisi ve Bağlamsal Temsillerin Aktarılabilirliği (NAACL 2019)
Nelson F.Luu, Matt Gardner, Yonatan Belinkov, Matthew E. Peters, Noah A. Smith
Ayarlamak veya Ayarlamamak Önceden Eğitilmiş Temsilleri Çeşitli Görevlere Uyarlama (arXiv 2019)
Matthew Peters, Sebastian Ruder, Noah A. Smith
Bir Sinirsel Konuşma Modeli (ICML Derin Öğrenme Atölyesi 2015)
Oriol Vinyals, Quoc Le
Kişi Tabanlı Sinirsel Konuşma Modeli (ACL 2016)
Jiwei Li, Michel Galley, Chris Brockett, Georgios P. Spithourakis, Jianfeng Gao, Bill Dolan
Sinir Üretimi için Basit, Hızlı Farklı Kod Çözme Algoritması (arXiv 2017)
Jiwei Li, Will Monroe, Dan Jurafsky
Konuşmalı Yapay Zekaya Sinirsel Yaklaşımlar (arXiv 2018)
Jianfeng Gao, Michel Kadırga, Lihong Li
TransferTransfo: Sinir Ağı Tabanlı Konuşma Ajanları için Bir Transfer Öğrenme Yaklaşımı (NeurIPS 2018 CAI Workshop)
Thomas Wolf, Victor Sanh, Julien Chaumond, Clement Delangue
Wikipedia Sihirbazı: Bilgiye Dayalı Konuşma Temsilcileri (ICLR 2019)
Emily Dinan, Stephen Roller, Kurt Shuster, Angela Fan, Michael Auli, Jason Weston
Bir Fantezi Metin Macera Oyununda Konuşmayı ve Hareket Etmeyi Öğrenme (arXiv 2019)
Jack Urbanek, Angela Fan, Siddharth Karamcheti, Saachi Jain, Samuel Humeau, Emily Dinan, Tim Rocktäschel, Douwe Kiela, Arthur Szlam, Jason Weston
İşaretçi Ağları (NIPS 2015)
Oriol Vinyals, Meire Fortunato, Navdeep Jaitly
Uçtan Uca Bellek Ağları (NIPS 2015)
Sainbayar Sukhbaatar, Arthur Szlam, Jason Weston, Rob Fergus
Noktaya Gidin: Pointer-Generator Networks ile Özetleme (ACL 2017)
Abigail See, Peter J. Liu, Christopher D.Manning
Doğal Dil Çıkarım Verilerinden Evrensel Cümle Temsillerinin Denetimli Öğrenimi (EMNLP 2017)
Alexis Conneau, Douwe Kiela, Holger Schwenk, Loic Barrault, Antoine Bordes
Uçtan Uca Sinir Çekirdeği Referans Çözümü (EMNLP 2017)
Kenton Lee, Luheng He, Mike Lewis, Luke Zettlemoyer
StarSpace: Her Şeyi Yerleştirin! (AAAI 2018)
Ledell Wu, Adam Fisch, Sumit Chopra, Keith Adams, Antoine Bordes, Jason Weston
Doğal Dil Decathlon: Soru Cevaplama Olarak Çoklu Görev Öğrenme (arXiv 2018)
Bryan McCann, Nitish Shirish Keskar, Caiming Xiong, Richard Socher
Daha Derin Öz Dikkatle Karakter Seviyesinde Dil Modellemesi (arXiv 2018)
Rami Al-Rfou, Dokook Choe, Noah Constant, Mandy Guo, Llion Jones
Anlamsal Rol Etiketleme için Dil Bilgisine Dayalı Öz Dikkat (EMNLP 2018)
Emma Strubell, Patrick Verga, Daniel Andor, David Weiss, Andrew McCallum
Cümle Tabanlı ve Nöral Denetimsiz Makine Çevirisi (EMNLP 2018)
Guillaume Lample, Myle Ott, Alexis Conneau, Ludovic Denoyer, MarcAurelio Ranzato
Büyük Ölçekli Çok Görevli Öğrenme Yoluyla Genel Amaçlı Dağıtılmış Cümle Temsillerini Öğrenme (ICLR 2018)
Sandeep Subramanian, Adam Trischler, Yoshua Bengio, Christopher J Pal
Transformer-XL: Sabit Uzunlukta Bağlamın Ötesinde Dikkatli Dil Modelleri (arXiv 2019)
Zihang Dai, Zhilin Yang, Yiming Yang, Jaime Carbonell, Quoc V.Le, Ruslan Salakhutdinov
Evrensel Transformatörler (ICLR 2019)
Mostafa Dehghani, Stephan Gouws, Oriol Vinyals, Jakob Uszkoreit, ukasz Kaiser
Önceden Eğitilmiş Dil Modellerinden Transfer Öğrenimi İçin Utanç Verecek Şekilde Basit Bir Yaklaşım (NAACL 2019)
Alexandra Chronopoulou, Christos Baziotis, Alexandros Potamianos
Diğer yaşlardaki makaleler için, okuma içeriğini seçerken, alıntı sayısı genellikle seçim indeksi olarak kullanılabilir.
Benim deneyimim, ilginç bulduğunuz ve sizi mutlu eden makaleleri okumalısınız!
Kağıtlar değil, pek çok harika kaynak var. İşte bazıları:
- kitabın:
Konuşma ve Dil İşleme (3. baskı taslağı)
Dan Jurafsky ve James H. Martin
Doğal Dil İşleme için Sinir Ağı Yöntemleri
Yoav Goldberg
- Kurs bilgisi:
NYU'da Katharina Kann ve Sam Bowman ile Doğal Dil Anlayışı ve Hesaplamalı Anlambilim
CS224n: Derin Öğrenme ile Doğal Dil İşleme, Chris Manning ve Abigail See ile Standford'da
Bağlamsal Kelime Temsilleri: Noah A. Smithin UWdeki öğretim materyalinden Bağlamsal Bir Giriş
- Blog / podcast:
Sebastian Ruderin blogu
Jay Alammarın resimli blogu
Matt Gardner ve Waleed Ammar'ın ev sahipliği yaptığı NLP Highlights
https://podcasts.apple.com/us/podcast/nlp-highlights/id1235937471
- diğer:
Kodlu Makaleler
https://paperswithcode.com/
arXiv günlük haber bülteni
Anket belgeleri
Yukarıdakiler önerilen kaynaklarımızdır! Bu kaynaklardan bazılarını okumak, size çağdaş NLP'deki en son eğilimleri iyi bir şekilde anlamanızı sağlayabilir ve kendi NLP sisteminizi oluşturmanıza yardımcı olabilir!
Çok önemli bulduğum (ve bazen gözden kaçan) son tavsiye, okumanın iyi olduğu ve uygulamanın daha iyi olduğu! Ekteki kodu (bazen) derinlemesine okuyarak veya bir kısmını kendiniz uygulamaya çalışarak daha fazla bilgi edinebilirsiniz.
Orijinal bağlantı:
https://medium.com/huggingface/the-best-and-most-current-of-modern-natural-language-processing-5055f409a1d1 Editör: Huang Jiyan redaksiyon: Gong LiTsinghua-Qingdao Veri Bilimi Enstitüsü'nün resmi WeChat kamu platformunu takip edin " THU Veri Pastası "Ve kız kardeş numarası" Veri Pastası THU "Daha fazla ders avantajı ve kaliteli içerik elde edin.
