Today Paper | Anlamsal çok görevli öğrenme; tekrarlayan sinir; kayıp düzlemi; MT-BioNER, vb.
içindekiler
Sahne geometrisi ve anlamsal çok görevli öğrenme için belirsizlik tasarımı kayıp ağırlıklarını kullanın
Tekrarlayan sinir ağlarında genellemeyi anlayın
Parçalı doğrusal aktivasyon esasen sinir ağının kayıp düzlemini şekillendirir.
MT-BioNER: Tıbbi alanda adlandırılmış varlık tanıma için BERT yapısının çoklu görev öğrenme modelini kullanın
Anlamsal temsil için hiyerarşik çok görevli bir öğrenme yöntemi
Sahne geometrisi ve anlamsal çok görevli öğrenme için belirsizlik tasarımı kayıp ağırlıklarını kullanın
Bildiri Başlığı: Sahne Geometrisi ve Anlambilim için Kayıpları Tartmak için Belirsizliği Kullanan Çok Görevli Öğrenme
Yazar: Alex Kendall / Yarin Gal / Roberto Cipolla
Düzenlenme zamanı: 2018/4/24
Kağıt bağlantısı: https://paper.yanxishe.com/review/17097?from=leiphonecolumn_paperreview0421
Önerilen neden
Çok görevli öğrenme, gittikçe daha fazla görev için eğitim hızını ve performans puanlarını artırmada bir rol oynamıştır, ancak kaybı hesaplarken, her bir alt görevin kayıp ağırlığının nasıl belirleneceği büyük bir sorundur, çünkü en iyi kayıp ağırlığına genellikle eşlik eder. Tek bir modelden daha kötü bir kayıp ağırlık değerine sahiptir. Yazar, homoskedastik belirsizlik perspektifinden, çoklu regresyon görevleri, regresyon + sınıflandırma görevleri gibi çok görevli modellerin nesnel fonksiyonlarını analiz etmek için basitleştirilmiş regresyon ve sınıflandırma modellerini kullanır ve veri setinin dağıtım bilgisini şu şekilde kullanmayı önerir: Ağırlık tasarlama ve çalıştırma yöntemleri.
Yukarıdaki yönteme göre tasarlanan çok görevli model, tüm tek görev modellerini yendi ve SOTA'ya ulaştı.Aynı zamanda yazar, bu kayıp tasarımının parametre başlatma bilgilerine karşı güçlü bir sağlamlığa sahip olduğunu kanıtladı.
Bayes teorisinin perspektifinden, yazar, çok görevli kayıp fonksiyonunun ağırlığını belirlemek için manuel ayarlamaya bir alternatif önermektedir; bu, yalnızca etkili değil, aynı zamanda oldukça yorumlanabilir. Bu yöntem her şeye kadir olmayabilir, ancak şüphesiz uygun bir arama alt alanı ve çok görevli öğrenme için kayıp işlevlerini tasarlama konusunda yeni bir düşünme yöntemi önerir.
Tekrarlayan sinir ağlarında genellemeyi anlayın
Kağıt adı: Tekrarlayan Sinir Ağlarında Genellemeyi Anlama
Yazar: Zhuozhuo Tu / Fengxiang He / Dacheng Tao
Düzenlenme zamanı: 2019/9/26
Kağıt bağlantısı: https://paper.yanxishe.com/review/17096?from=leiphonecolumn_paperreview0421
Önerilen neden
Bu makale, Tao Dacheng Group'tan ICLR 2020'ye dahil edilmiştir.
Bu makalede, tekrarlayan sinir ağlarının genelleme performansını analiz etme teorisini açıklıyoruz. İlk olarak, matris 1-norm ve Fisher-Rao normuna dayalı olarak tekrarlayan sinir ağlarının yeni bir genelleme sınırı önerdik. Fisher-Rao normunun tanımı, RNN'nin gradyanı hakkındaki yapısal lemmaya dayanır. Bu yeni genelleme sınırı, girdi verilerinin kovaryans matrisinin pozitif tanımlı olduğunu varsayar ve bu da pratik uygulamasını sınırlayabilir. Bu sorunu çözmek için, giriş verilerine rastgele gürültü eklemeyi ve rastgele gürültü ile eğitilmiş bir genelleme sınırı kanıtlamayı öneriyoruz (rastgele gürültü, giriş verilerinin bir uzantısıdır). Mevcut sonuçlarla karşılaştırıldığında, genelleme sınırımızın ağın boyutuna açık bir bağımlılığı yoktur. Ayrıca, tekrarlayan sinir ağının (RNN) Fisher-Rao normunun bir gradyan ölçüsü olarak yorumlanabileceğini bulduk.Bu gradyan ölçüsünün dahil edilmesi sadece sınırı sıkılaştırmakla kalmaz, aynı zamanda genelleme ve eğitilebilirlik arasında bir ilişki kurabilir. Bu temelde, özellik kovaryansının sinir ağı genelleştirmesi üzerindeki etkisini teorik olarak analiz ettik ve eğitimde ağırlık zayıflatmanın ve gradyan kırpmanın sinir ağı genellemesini nasıl iyileştirebileceğini tartıştık.
Parçalı doğrusal aktivasyon esasen sinir ağının kayıp düzlemini şekillendirir.
Kağıt adı: Parçalı doğrusal aktivasyonlar büyük ölçüde sinir ağlarının kayıp yüzeylerini şekillendirir
Yazar: Fengxiang He / Bohan Wang / Dacheng Tao
Düzenlenme zamanı: 2019/9/26
Kağıt bağlantısı: https://paper.yanxishe.com/review/17095?from=leiphonecolumn_paperreview0421
Önerilen neden
Bu makale, Sydney Üniversitesi Yapay Zeka Merkezi'nden ICLR 2020'ye dahil edilmiştir.
Sinir ağlarının kayıp düzlemini anlamak, derin öğrenmeyi anlamak için çok önemlidir. Bu makale parçalı doğrusal aktivasyon fonksiyonlarının temelde sinir ağlarının kayıp düzlemini nasıl şekillendirdiğini açıklamaktadır. İlk olarak, birçok sinir ağının kayıp düzlemlerinin sonsuz sözde yerel minimuma sahip olduğunu kanıtlıyoruz.Bu sözde yerel minimumlar, küresel minimumdan daha yüksek deneysel riske sahip yerel minimumlar olarak tanımlanmaktadır. Sonuçlarımız, parçalı doğrusal aktivasyon ağının, tamamen çalışılmış olan doğrusal sinir ağından esasen farklı olduğunu göstermektedir. Uygulamada, bu sonuç, çoğu kayıp fonksiyonunda keyfi derinliğe ve keyfi parçalı doğrusal aktivasyon fonksiyonuna (doğrusal fonksiyonlar hariç) sahip herhangi bir sinir ağına uygulanabilir. Temelde, temel varsayım çoğu pratik durumla tutarlıdır, yani çıktı katmanı herhangi bir gizli katmandan daha dardır. Ek olarak, farklılaştırılamayan sınır, parçalı doğrusal aktivasyona sahip sinir ağının kayıp düzlemini birden çok düz çoklu doğrusal birime bölmek için kullanılır. Oluşturulan sözde yerel minimumlar, çukur şeklinde bir birimde yoğunlaşır: sürekli ampirik risk içeren sürekli bir yolla birbirlerine bağlanırlar. Tek bir gizli katman ağı için, bir birimdeki tüm yerel minimumların eşdeğer bir kategori oluşturduğunu da kanıtlıyoruz; bunlar bir dip vadide yoğunlaşıyor; hepsi birimdeki küresel minimumlar.
MT-BioNER: Tıbbi alanda adlandırılmış varlık tanıma için BERT yapısının çoklu görev öğrenme modelini kullanın
Bildiri Başlığı: MT-BioNER: Derin Çift Yönlü Transformatörler kullanarak Biyomedikal Adlandırılmış Varlık Tanıma için Çok Görevli Öğrenme
Yazar: Muhammed Raza Han / Morteza Ziyadi / Mohamed AbdelHady
Gönderme süresi: 2020/1/24
Kağıt bağlantısı: https://paper.yanxishe.com/review/16879?from=leiphonecolumn_paperreview0421
Önerilen neden
Microsoft, sohbet asistanlarının eğitimine yardımcı olmak için, farklı tıbbi alanlarda birden çok veri kümesinde adlandırılmış varlık tanıma (NER) gerçekleştirmek için BERT ön eğitim modeline dayalı çok görevli bir model önerdi. Spesifik yöntem, BERT ön eğitim modelini paylaşılan bir katman olarak kullanmaktır ( paylaşım katmanı), her bir etki alanının veri kümesi için göreve özgü bir katman ayarlayın ve kaybı hesaplarken her alt görevin ağırlığı 1'dir. Aynı zamanda, modelin zaman ve mekan verimliliğini doğruluk kaybı olmadan etkili bir şekilde iyileştirmek için yazar, çeşitli eğitim tekniklerini denedi ve sonunda BERT katmanını ve paylaşılan katmanı birlikte eğitmeyi seçti ve bir seferde rastgele bir alan veri seti seçti. Eğitim için mini parti.
Adil olmak gerekirse, yazar, deney için halka açık bir veri seti seçti ve modelin zaman-alan verimliliği ve puan performansı SOTA'ya ulaştı.
Bu klasik bir çok görevli öğrenme yöntemidir. Yazarın kendi deyimiyle, bu model basitlik ve verimlilik ile karakterize edilir. CRF yerine softmax kullanır, rastgele mini grup seçer ve yazar ön eğitimi tartıştı ancak deneye katılmadı. BERT ön eğitim yöntemi yine birçok şüphemi çözdü. Aynı zamanda fikir basit ve net olduğu için yazarın deneyle ilgili açıklaması çok detaylı ve bu çok öğrenilebilir.
Bu makale kodu açıklamaz, ancak kullanılan veri kümesini sağlar.
Anlamsal temsil için hiyerarşik çok görevli bir öğrenme yöntemi
Bildiri Başlığı: Anlamsal Görevlerden Gömme Öğrenmek İçin Hiyerarşik Çok Görevli Bir Yaklaşım
Yazar: Victor Sanh / Thomas Wolf / Sebastian Ruder
Yayınlanma zamanı: 2018/11/26
Kağıt bağlantısı: https://paper.yanxishe.com/review/16753?from=leiphonecolumn_paperreview0421
Önerilen neden
Bu makale, daha zengin anlamsal temsil bilgileri elde etmek için çoklu görev öğreniminin nasıl kullanılacağını inceler. Spesifik yöntem, cümlelerin bağlam özelliklerini çıkarmak için hiyerarşik bir ağ modeli tasarlamaktır ve bu özelliğe dayanarak, Sırasıyla NER (Adlandırılmış Varlık Tanıma), EMD (Varlık İfadesi Algılama), RE (İlişki Çıkarma), CR (Çekirdek Çözünürlük) vb. Gibi tasarlanmış görevler. Her görevin eğitim için kendi BiLSTM yapısı vardır ve üst görev eşzamanlı olarak bağlam özelliğini ve alt anlamsal özelliği girdi olarak alır. Eğitim süreci sırasında, bir güncelleme turu bittikten sonra, bir sonraki eğitim turu için rastgele bir görev ve ilgili veri seti seçilecektir. Ek olarak yazar, görev kombinasyonları arasındaki bilgi etkileşimini gözlemlemek için farklı alt görevler ve hiyerarşik yapılarla eğitim vermeye çalıştı.
Etki açısından, bu çok görevli model hız ve F1 puanı açısından tek görevli bir modelden (ek dilbilgisi bilgisi sağlayan modeller dahil) daha iyidir. Yazar, aynı zamanda, her katmanın bilgilerini çıkarır ve çok görevli öğrenme yöntemiyle öğrenilen anlamsal temsil bilgilerini, birden çok araştırma görevinde ayrıntılı olarak analiz eder.
Birçok araştırma sonucu, iyi tasarlanmış bir çok görevli öğrenme modelinin çok etkili olduğunu ve aynı zamanda tasarlanmasının da zor olduğunu kanıtlamıştır. Çok görevli öğrenmede öğrenilen anlamsal temsillerden başlayarak, bu makale felaketle sonuçlanan unutmanın nasıl ortadan kaldırılacağını ve diğer görevlerden anlambilim bilgisinin nasıl etkili bir şekilde öğrenileceğini araştırmaktadır.
İş değişimi
AI Araştırma Enstitüsü şimdi Alibaba Entertainment, Megvii, Sogou Search, Xiaomi ve diğer tanınmış şirketler gibi tanınmış şirketlerle iletişime geçti.Herkesin daha iyi iş bulmasına yardımcı olmak için topluluk, iş ve staj ortakları bulmak için bir AI iş arama dahili itme topluluğu kurdu. Gruba katılmak için kodu tarayabilirsiniz ve okuyan öğrenciler de değiş tokuş yapabilir ve öğrenebilirler. (İnsan kaynakları grubunda şirketler, proje işe alım görevlileri var)
Lei Feng Ağı Lei Feng Ağı Lei Feng Ağı
