Today Paper | Gradyan Kırpma; Adlandırılmış Varlık Tanıma; Doğal Dil İşleme; Serbest Güç Fonksiyonu Öğrenme, vb.
içindekiler
-
Gradyan kayması gradyan inişini hızlandırabilir
-
Adlandırılmış varlık tanıma için iki yönlü LSTM + CRF yapısını tamamlayın
-
Adlandırılmış varlık tanıma için eksiksiz sinir ağı yapısı
-
Doğal dil işleme (neredeyse) sıfırdan
-
Yoğunluk işlevsiz öğrenmenin zaman noktası süreci
Gradyan kayması gradyan inişini hızlandırabilir
Bildiri Başlığı: Gradyan Kırpma Eğitimi Neden Hızlandırır: Uyarlanabilirlik İçin Teorik Bir Gerekçe
Yazar: Jingzhao Zhang / Tianxing He / Suvrit Sra / Ali Jadbabaie
Düzenlenme zamanı: 2019/9/26
Kağıt bağlantısı: https://openreview.net/forum?id=BJgnXpVYwS
Sinir ağı eğitimi sırasında gradyanları kesme, son zamanlarda giderek daha popüler hale gelen bir eğilimdir, ancak çoğu insan bu yaklaşımın neden etkili olduğunu bilmiyor. Bu makale teorik bir açıklama ve kanıt sunarak degrade kesmenin gerçekten ağ eğitimi için yararlı olduğunu kanıtlamaktadır.
Yazarlar, gerçek ağ eğitim sürecinin pürüzsüzlüğünden başlayarak dikkatli bir analiz ve muhakeme yürüttüler ve iki yaygın gradyan kesme ve gradyan düzenleme yönteminin sabit bir adım boyutuyla geleneksel gradyan inişinden daha hızlı birleşebileceğini kanıtladılar. . Yazarlar ayrıca daha fazla açıklama yaptılar ve ortak ağ eğitim ayarları altında deneyler yaparak teorilerini doğruladılar.
Bu makale eleştirmenlerden oybirliğiyle övgü aldı ve ICLR2020 tarafından sözlü bir rapor olarak kabul edildi.
Adlandırılmış varlık tanıma için iki yönlü LSTM + CRF yapısını tamamlayın
Kağıt adı: Sıralı Etiketleme için Çift Yönlü LSTM-CRF Modelleri
Yazar: Zhiheng Huang / Wei Xu / Kai Yu
Yayınlanma zamanı: 2015/8/9
Makaleye bağlantı: https://arxiv.org/pdf/1508.01991.pdf
Temel sorun: Bu makale, adlandırılmış varlık tanıma çalışmasını tamamlamak içindir.Bu, NER çalışması gerçekleştirmek için RNN yapısını kullanan ve CRF katmanını birleştiren bir dizi makaleden biridir.
Yenilik: Bu makalenin yeniliği, ağ modeli olarak iki yönlü LSTM + CRF kullanmaktır Bu yeniliğin anlamı yapısal yeniliktir. Çoğu durumda, modelin etkisi yapısal yeniliktir.
Araştırmanın önemi: BI-LSTM-CRF modelinin geçmiş ve gelecekteki girdi bilgilerini etkili bir şekilde kullanabileceğini kanıtlayın.
Adlandırılmış varlık tanıma için eksiksiz sinir ağı yapısı
Kağıt adı: Adlandırılmış Varlık Tanıma için Sinir Mimarileri
Yazar: Guillaume Lample / Miguel Ballesteros / Sandeep Subramanian / Kazuya Kawakami
Yayınlanma zamanı: 2016/4/7
Makaleye bağlantı: https://arxiv.org/pdf/1603.01360.pdf
Önerilen neden
Temel sorun: Bu makale nlp alanında klasik bir isim tanıma problemidir.Bu makale önceki ve sonraki arasında bir bağlantı olduğu söylenebilir.Yaklaşımı önceki yaklaşımı değiştirdi ve daha sonra birçok görev bu temel yapıyı kullanıyor.
Yenilik: Kullanılan önceki çekirdek modellerin tümü CNN'lerdir.Bu makalede CNN yerine RNN kullanılmıştır ve bir dizi RNN + CRF model yapısı oluşturulmuştur.Bu model yapısı iyi çalışır.
Araştırmanın önemi: Etkinin farkına varılmasıyla, LSTM-CRF'yi İngilizce, Hollandaca, Almanca ve İspanyolca olarak kullanma deneyleri, daha iyi NER performansının elde edilebileceğini ve herhangi bir yapay etiketleme özelliği olmadan İngilizce olarak elde edilebileceğini kanıtlamıştır. Çok iyi performans.
Doğal dil işleme (neredeyse) sıfırdan
Kağıt adı: Sıfırdan Doğal Dil İşleme (Neredeyse)
Yazar: Ronan Collobert / Jason Weston / Leon Bottou / Michael Karlen / Koray Kavukcuoğlu / Pavel Kuksa
Gönderme zamanı: 2011/1/10
Makaleye bağlantı:
Önerilen neden
Bu makalede çözülen temel sorun: Bu makale, konuşma parçası etiketleme, parçalama, adlandırılmış varlık tanıma ve anlamsal rol etiketleme gibi çeşitli nlp görevlerini tamamlamak için derin bir sinir ağı yöntemi önermektedir.
Araştırma odağı: Bu makale, benzer görevleri çok erken yapmak için derin öğrenme yöntemlerini kullandığı düşünülmektedir.Makine öğrenimine göre avantajı, özellikleri manuel olarak nasıl yapılandıracağını bilmemesi ve farklı görevlere göre farklı özellikler oluşturmaya gerek olmamasıdır. İki ağ modeli ile tamamlanır, bir ağ modeli yerel özellikleri çıkarmak için kullanılır ve diğer ağ modeli genel özellikleri çıkarmak için kullanılır.
Araştırmanın önemi: Bu makalede kullanılan ana fikir, çok görevli eğitim fikridir.Özellikle, önce yerleştirme kelimesini eğitin ve ardından alt görevi tamamlamak için vektör kelimesini kullanın ve iyi performans elde edin.
Bu makalenin özü, evrişimli bir sinir ağıdır Aslında bazen metin alanında evrişimli sinir ağlarının iyi sonuçlar elde ettiğini görüyorum.
Yoğunluk işlevsiz öğrenmenin zaman noktası süreci
Kağıt adı: Temporal Nokta Süreçlerinin Yoğunluksuz Öğrenimi
Yazar: Shchur Oleksandr / Bilo Marin / Günnemann Stephan
Düzenlenme zamanı: 2019/9/26
Makaleye bağlantı: https://arxiv.org/abs/1909.12127
Önerilen neden
Zaman içinde nokta süreci, sürekli zaman alanında eşzamansız olayların sırasını modellemek için etkili bir yöntemdir. Bu yöntem, olay tahmini, nedensel analiz, grafik modelleme ve diğer yönlerde geniş bir uygulama alanına sahiptir. Bu yöntemi kullanmanın temel problemlerinden biri, koşullu kuvvet fonksiyonunun tasarımıdır. Bununla birlikte, basitçe yoğunluk fonksiyonunun (üstel dağılım ailesi, vb.) Belirtilmesi, modelin sınırlı ifade yetenekleriyle sonuçlanacaktır ve karmaşık yöntemler, onu çözmek için sayısal yöntemler gerektiren yoğunluk fonksiyonundaki hayatta kalma integral terimini hesaplamada zorluğa neden olacaktır. Bu makale farklı bir yaklaşım benimsiyor, artık yoğunluk fonksiyonunu modellemiyor, ancak koşullu olasılığı doğrudan modellemek için akışa dayalı bir yöntem ve karışık bir Gauss yöntemi önermektedir. Son deney, zaman serisi tahmini gibi görevler üzerindeki mevcut sınıra ulaştı veya aştı ve önerilen yöntem, eksik bilgi durumunda sıra yerleştirme ve sıra problemlerini öğrenmek için çok uygundur.
Makale yazar ekibinin işe alınması
AI Araştırma Enstitüsü, yapay zeka gençlerinin çoğuna daha iyi hizmet verebilmek için resmi olarak yeni bir "Tez" bölümü başlattı ve tezleri, önerileri, yorumları ve yorumları sıralayan makaleler aracılığıyla yapay zeka öğrencilerini ve gençleri bir araya getirmek için "ilgi çekici noktalar" olarak kullanmayı umdu ve kod yeniden üretildi. Yurtiçinde ve yurtdışında en son araştırma sonuçlarının incelenmesi, tartışılması ve yayınlanması için bir buluşma yeri olmaya ve mükemmel bilimsel araştırmaların daha yaygın olarak yayılmasına ve tanınmasına izin vermeye kararlıdır.
Akademisyenleri sevenlerin, makale yazarları ekibimize katılmanızı umuyoruz.
Alabilirsiniz
1. Adınızın yazdığı bir makale sizi en göz kamaştırıcı akademik yıldız yapacak
2. Zengin ücret
3. AI ünlü şirketleri, konferans bileti avantajları, özel çevre birimleri vb.
Bildiri yazarı ekibine katılmak için ihtiyacınız olan:
1. Favori makalelerinizi araştırma kulübü üyelerinin çoğuna önerin
2. Tez yorumunu yazın
AI Araştırma Enstitüsü'nün yarı zamanlı makale yazarı ekibine katılmaya hazırsanız, operasyon kadının WeChat hesabını ekleyebilir ve "Yarı zamanlı makale yazarı" notunu yazabilirsiniz
