2019'da ML ve NLP alanında en iyi on araştırma noktası
2019 geçti. AI endüstrisi için, geçen yıl bir "hızlı ilerleme" yılı olarak tanımlanabilir.Bir yandan, AI teknolojisinin hızlı gelişimini teşvik eden tüm AI endüstrisindeki araştırma duyarlılığı yüksek; diğer taraftan AI teknolojisinin hızlı gelişimi Gelişmenin arkasında, teknolojinin sınırlamaları giderek daha belirgin hale geldi.Araştırmacılar da bu sınırlamaları aktif bir şekilde araştırıyor ve sayısız yeni yöntem ve araştırma yönü ortaya koydu.
Peki, kalabalığın arasından sıyrılıp daha büyük etkiye sahip olabilecek yöntemler ve araştırma yönleri nelerdir? Önümüzdeki yıl keşfetmeye devam etmek için ne kadar değer var?
NLP alanında tanınmış bir blog yazarı olan Dr.Sebastian Ruder, araştırma çalışmasına dayanarak "ML ve NLP Alanındaki En İyi On Araştırma Noktası" hakkında bir özet rapor yazdı.
Bakalım ne dedi:
Bu makale, ML ve NLP alanında 2019'da ortaya çıktığını düşündüğüm en heyecan verici ve etkili on araştırma yönünü özetlemektedir. Her bir sıcak nokta için geçen yıl kaydedilen ana ilerlemeyi özetleyecek, neden önemli olduğunu düşündüğümü kısaca açıklayacak ve geleceğe küçük bir bakış açısı getireceğim.
Aşağıdakiler, bu on araştırma etkin noktasıdır:
Genel denetimsiz ön eğitim
"Piyango Kazanma" alt ağı
Nörotangent çekirdek
Denetimsiz çok dilli öğrenme
Daha sağlam karşılaştırma veri kümesi
Bilimsel araştırma için ML ve NLP
NLG'de kod çözme hatalarını düzeltin
Geliştirilmiş ön eğitim modeli
Verimli ve uzun menzilli Trafo
Daha güvenilir analiz yöntemi
Bir, genel denetimsiz ön eğitim
1. Ne oldu?
BERT (Devlin ve diğerleri, 2019) ve varyantlarının popülerliğinden etkilenen denetimsiz ön eğitim, geçtiğimiz yıl NLP alanında popüler bir araştırma yönü oldu. Çok modlu ortamlarda, özellikle görüntü, video ve metin ortamlarında (aşağıdaki şekilde gösterildiği gibi) çeşitli BERT varyantları kullanılır.
BERT'nin en yeni çok modlu varyantı olan VideoBERT (Sun ve diğerleri, 2019), tarife göre (yukarıdaki) video "jetonları" oluşturur ve video jetonuna (aşağıda) göre farklı zaman ölçeklerinde gelecekteki jetonları tahmin eder.
Denetimsiz ön eğitim, daha önce denetimli yöntemlerin hakim olduğu alanları "istila etmeye" başladı. gibi:
Biyolojide bazı araştırmacılar, Transformer dil modelini protein dizileri üzerinde önceden eğitmiştir (Rives ve diğerleri, 2019);
Bilgisayarla görmede, araştırmacılar ayrıca CPC (Hénaff ve diğerleri, 2019), MoCo (He ve diğerleri, 2019) ve PIRL (Misra & van der Maaten, 2019) ve BigBiGAN oluşturucu (Donahue & Simonyan, 2019) dahil olmak üzere kendi kendini denetlemeyi kullanır. ImageNet üzerinde örnek verimliliğini ve görüntü oluşturmayı iyileştirme yöntemleri;
Konuşma açısından, çok katmanlı CNN (Schneider vd., 2019) veya iki yönlü TBM (Kawakami vd., 2019) kullanılarak öğrenilen temsiller, daha az eğitim verisi olan mevcut en iyi modellerden daha iyi performans gösteriyor.
2. Neden önemlidir?
Denetimsiz ön eğitim, daha az sayıda etiketli örnek içeren veriler üzerinde modeller eğitebilir, bu da daha önce veri gereksinimlerini karşılayamayan birçok farklı alandaki uygulamalar için yeni olanaklar sağlar.
3. Sırada ne var?
Denetimsiz ön eğitim için hala çok yer var Şimdiye kadar tek bir alanda büyük ilerleme kaydetmiş olsa da, gelecekte çok modlu verilerin nasıl daha yakından entegre edileceğine odaklanmak ilginç bir problem olacaktır.
2. "Piyango Kazanma" alt ağı
1. Ne oldu?
Frankle ve Carbin, 2019 çalışmasında "piyango kazanma" fenomenini keşfetti; yani rastgele başlatılmış, yoğun bir ileri besleme ağındaki bazı alt ağlar o kadar iyi başlatıldı ki bu alt ağları tek başına eğitmek tüm Ağın doğruluğu, aşağıdaki şekilde gösterildiği gibi benzerdir.
Kazanan piyango alt ağının (düz çizgi) ve rastgele örneklenmiş alt ağın (kesikli çizgi) doğruluğunu farklı budama oranları altında test edin (Frankle & Carbin, 2019).
Orijinal budama programı yalnızca küçük görsel görevler için uygun olsa da, daha sonraki çalışmalar (Frankle ve diğerleri, 2019) budama programının, daha derin modellerin küçük alt ağlarını bulmasına olanak tanıyan budama programını başlatma sırasında değil, eğitimin başlarında uygular. Yu ve diğerleri (2019) ayrıca NLP ve RL modellerinde LSTM ve Transformer'ın "kazanan piyango bileti" nin başlatılmasını da buldu.
"Kazanan piyango bileti" bulmak hala zor olsa da, iyi haber bu "kazanan piyangoların" farklı veri kümeleri ve optimize ediciler arasında aktarılabilir görünmesidir (Morcos ve diğerleri, 2019).
2. Neden önemlidir?
Günümüzde sinir ağları gittikçe büyüyor ve eğitim ve tahminin maliyeti gittikçe artıyor. Karşılaştırılabilir performansa sahip küçük alt ağlar tanımlanabilirse, eğitim ve çıkarım için daha az kaynak kullanılabilir, bu da modelin yineleme hızını hızlandırabilir ve cihaz üzerinde bilgi işlem ve uç bilgi işlem için yeni uygulama senaryoları sağlayabilir.
3. Sırada ne var?
Şu anda, "kazanan bir piyango" bulmanın maliyeti, bilgi işlem kaynaklarının kıt olduğu bir ortamda pratik faydalar sağlamak için hala çok yüksek. Budama işlemi sırasında gürültüye daha az duyarlı olan daha sağlam bir kerelik budama yöntemi bu durumu hafifletebilir.
"Kazanan piyango" yu özel kılan nedenleri araştırmak, sinir ağı başlatmayı ve öğrenme dinamiklerini daha iyi anlamamıza da yardımcı olabilir.
Üç, teğet çekirdek
1. Ne oldu?
Bu araştırma yönü biraz sezgisel olabilir.Özellikle, sonsuz genişlikte sinir ağlarının teorik olarak incelenmesi, dar sinir ağlarından daha kolaydır.
Çalışmalar, sonsuz genişlik durumunda, sinir ağının, sinirsel teğet çekirdeği olan doğrusal bir model olarak tahmin edilebileceğini göstermiştir (Neural Tangent Kernel, NTK; Jacot ve diğerleri, 2018). Aşağıdaki şekil, eğitim sürecinin dinamik bir örneğidir.
Farklı faktörlü NTK doğrusal modelinin dinamik öğrenme süreci, NTK bir elips olarak görselleştirilmiştir (Kaynak: Rajat'ın blogu).
Ancak pratikte bu modeller, yeni bulguların standart yöntemlere uygulanmasını sınırlayan sınırlı derinlik modelleri (Novak vd., 2019; Allen-Zhu vd., 2019; Bietti ve Mairal, 2019) kadar iyi performans göstermemektedir.
Bununla birlikte, son çalışmalar (Li ve diğerleri, 2019; Arora ve diğerleri, 2019) standart yöntemlerle performans açığını büyük ölçüde azaltmıştır (ayrıntılar için lütfen Chip Huyen'in diğer ilgili NeurIPS 2019 makalelerindeki blog gönderisine bakın, https: // huyenchip. com.tr / 2019/12/18 / key-trend-neurips-2019.html).
2. Neden önemlidir?
NTK, sınırlamalarına rağmen sinir ağlarının teorik davranışını analiz etmek için en güçlü aracımız olabilir, yani gerçek sinir ağları, karşılık gelen NTK yöntemlerinden daha iyi performans gösterir.
Bu araştırma yönünün teorik kavrayışları şimdiye kadar ampirik kazanımlara dönüştürülmemiş olsa da, derin öğrenmenin kara kutusunu açmamıza yardımcı olabilir.
3. Sonraki adım nedir?
Standart yöntemle olan boşluk, esas olarak bu tür yöntemlerin sınırlı genişliğinden kaynaklanıyor gibi görünmektedir ve bu, gelecekteki çalışmalarda yansıtılabilir. Bunun aynı zamanda sonsuz genişlik sınırı altındaki bazı teorik kavrayışların daha pratik ayarlara dönüştürülmesine yardımcı olması beklenmektedir.
Sonuç olarak NTK, sinir ağlarının eğitim dinamiklerine ve genelleme davranışına ışık tutabilir.
Dördüncü, denetimsiz çok dilli öğrenme
1. Ne oldu?
Uzun yıllar boyunca, diller arası temsil esas olarak kelime düzeyinde temsile odaklanmıştır. Denetimsiz ön eğitim temelinde, geçtiğimiz yıl çok dilli BERT, XLM (Conneau & Lample, 2019) ve XLM-R (Conneau ve diğerleri, 2019) gibi çapraz dil modellerinin derinlemesine gelişimine tanık oldu.
Bu modeller açık bir çapraz dil sinyali kullanmasa da, ortak kelime dağarcığı veya ortak eğitim olmadan bile elde ettikleri diller arası genelleme etkisi hala şaşırtıcıdır (Artetxe ve diğerleri, 2019; Karthikeyan ve diğerleri, 2019; Wu vd., 2019).
Bu derinlemesine modeller, denetimsiz MT'de de iyileştirmeler sağlamıştır (Song vd., 2019; Conneau & Lample, 2019). Önceki yıl (2018) kaydedilen önemli ilerlemeye dayanarak, daha ilkeli istatistik ve sinirsel yöntemler Kombinasyon halinde iyileştirmeler yapılmıştır (Artetxe ve diğerleri, 2019).
Bir başka heyecan verici gelişme, derin çok dilli modelin, önceden eğitilmiş hazır İngilizce temsillerinden (Artetxe ve diğerleri, 2019; Tran, 2020) aşağıdaki şekilde gösterildiği gibi genişletilmesidir.
Artetxe ve diğerlerinin (2019) tek dilli transfer yönteminin dört adımı.
2. Neden önemlidir?
Kullanıma hazır çapraz dil temsili, eğitim modellerinin daha az İngilizce olmayan dil örneği gerektirmesine neden olur. Ek olarak, İngilizce etiketli veriler mevcutsa, bu yöntemler neredeyse ücretsiz sıfır numune aktarımı sağlayabilir. Sonuç olarak, bu yöntemler farklı diller arasındaki ilişkiyi daha iyi anlamamıza yardımcı olabilir.
3. Sonraki adım nedir?
Herhangi bir çapraz dil denetimi olmadan bu yöntemlerin neden bu kadar etkili olduğu açık değildir. Bu yöntemlerin nasıl çalıştığını daha iyi anlamak, daha güçlü yöntemler tasarlamamıza ve muhtemelen farklı dil yapıları hakkında bazı içgörüler ortaya çıkarmamıza yardımcı olacaktır.
Ek olarak, sadece sıfır örnek aktarımına odaklanmamalıyız, aynı zamanda hedef dilde küçük örnek öğrenme problemlerini de dikkate almalıyız.
Beş, daha sağlam bir karşılaştırma veri seti
Mevcut gelişme bir karmaşa olacak.
Nie ve diğerleri (2019), Shakespeare'in "Hamlet" ten alıntıdır (Denmak eyaletinde çürümüş bir şey var, Denmak eyaletinde çürük bir şey var)
1. Ne oldu?
HellaSWAG (Zellers ve diğerleri, 2019) gibi yeni geliştirilen NLP veri kümeleri için, mevcut son teknoloji modellerle uğraşmak da zordur.
Araştırmacıların örnekleri manuel olarak filtrelemeleri ve yalnızca mevcut son teknoloji modelde başarısız olan örnekleri açıkça saklamaları gerekir (aşağıdaki örneğe bakın). "Döngüdeki insanlar" yüzleşme yönetimi süreci, mevcut yöntem için daha zorlayıcı bir veri kümesi oluşturmak için birçok kez tekrarlanabilir.Örneğin, yakın zamanda önerilen Adversarial NLI (Nie ve diğerleri, 2019) karşılaştırma testinde bu gerçekleştirilebilir. bir miktar.
HellaSWAG veri kümesindeki çoktan seçmeli cümle tamamlama örneklerinin en son modeller için bile yanıtlanması zordur. En zor örnekler, kabaca üç bağlamsal cümleden ve oluşturulmuş iki cümleden oluşan karmaşık bir "Goldlock bölgesinde" yer almaktadır (Zellers ve diğerleri, 2019).
2. Neden önemlidir?
Birçok araştırmacı, mevcut NLP modelinin öğrenilmesi beklenen şeyi öğrenmediğini, ancak sığ sezgisel tarama kullandığını ve verilerdeki yüzey ipuçlarını birleştirdiğini ("Akıllı Hans Momentleri" olarak da bilinir) gözlemledi. Veri kümeleri daha sağlam ve öğrenmesi zor hale geldikçe, modeli sonunda verilerdeki gerçek temel ilişkileri öğrenmeye (zorlamayı) umuyoruz.
3. Sonraki adım nedir?
Model daha iyi hale geldikçe, çoğu veri kümesinin sürekli olarak iyileştirilmesi gerekecek, aksi takdirde hızla geçersiz hale gelecektir. Bu süreci kolaylaştırmak için özel altyapı ve araçlar gereklidir.
Buna ek olarak, veri setinin ilk versiyonunu olabildiğince sağlam hale getirmek için farklı veri varyantları (eksik girdi gibi) kullanan basit yöntemler ve modeller dahil olmak üzere, ilk önce veri setinde uygun kıyaslama yöntemleri çalıştırılmalıdır.
6. Bilimsel araştırma için ML ve NLP
1. Ne oldu?
Makine öğrenimi, temel bilim konularında bazı önemli ilerlemeler kaydetmiştir. Örneğin, derin sinir ağlarını protein katlama ve çok elektronlu Schrödinger denklemlerine uygulayan bir araştırma (Pfau ve diğerleri, 2019) var.
Doğal dil işleme açısından, bazı standart yöntemler bile alan uzmanlığıyla birleştirildiğinde heyecan verici etkilere sahip olabilir. Bu çalışmalardan biri, malzemelerin belirli özelliklere sahip olup olmadığını tahmin etmek için malzeme bilimi literatüründe (Tshitoyan vd., 2019) temel bilgileri analiz etmek için kelime gömme teknolojisini kullanır (aşağıdaki şekle bakın).
Hangi materyallerin ferroelektrik materyaller (a), fotovoltaik materyaller (b) ve topolojik izolatörler (c) olarak çalışılacağını tahmin etmek için farklı zaman dilimlerinde özetler üzerinde eğitilmiş kelime yerleştirmelerini kullanarak, tüm aday materyallere kıyasla, Tahmin edilen ilk 50 materyali incelemek daha olasıdır (Tshitoyan ve diğerleri, 2019).
Biyolojide, birçok veri (genler ve proteinler gibi) esasen dizi verileridir. Bu nedenle, LSTM ve Transformers gibi NLP yöntemleri doğal olarak protein sınıflandırması için kullanılabilir (Strodthoff ve diğerleri, 2019; Rives ve diğerleri, 2019).
2. Neden önemlidir?
Bilimin, MO'nun en etkili uygulama alanlarından biri olduğu söylenebilir. Çözümler, diğer birçok alanda önemli bir etkiye sahip olabilir ve gerçek sorunların çözülmesine yardımcı olabilir.
3. Sonraki adım nedir?
Fiziksel problemlerde enerjinin modellenmesinden (Greydanus ve diğerleri, 2019) diferansiyel denklemlerin çözülmesine (Lample ve Charton, 2020) kadar, makine öğrenimi yöntemleri yeni bilim uygulamalarında genişlemektedir. 2020'de hangi sorunların en büyük etkiye sahip olacağını görmek de ilginç.
Seven, NLG'deki kod çözme hatasını düzelt
1. Ne oldu?
Daha güçlü olmasına rağmen, doğal dil üretme (NLG) modelleri, aşağıdaki şekilde gösterildiği gibi hala sıklıkla tekrarlama veya anlamsız kelimeler üretir.
GPT-2, tekrar (mavi) ve anlamsız (kırmızı) (Holtzman ve diğerleri, 2019) oluşturmak için ışın araması ve saf (açgözlü) örnekleme kullanır.
Gerçekler, bunun esas olarak maksimum olasılık eğitiminin sonucu olduğunu göstermektedir. Bunu iyileştirmeyi amaçlayan bazı araştırmalar yapıldığını ve aynı zamanda modellemede bir miktar ilerleme kaydedildiğini görmekten çok mutluyum. Bu iyileştirme, nükleer örnekleme (Holtzman vd., 2019) gibi yeni örnekleme yöntemleri kullanılarak veya yeni bir kayıp işlevi (Welleck vd., 2019) kullanılarak elde edilir.
Bir başka şaşırtıcı bulgu, daha iyi aramanın daha iyi üretime yol açmamasıdır: mevcut modeller, bir dereceye kadar kusurlu arama ve ışın arama hatalarına güveniyor. Makine çevirisi durumunda, tam bir arama genellikle boş bir çeviri döndürür (Stahlberg & Byrne, 2019). Bu, arama ve modellemedeki gelişmelerin el ele gitmesi gerektiğini gösteriyor.
2. Neden önemlidir?
Doğal dil üretimi, NLP'deki en yaygın görevlerden biridir. NLP ve ML araştırmasında, çoğu makale modeli geliştirmeye odaklanırken, sürecin diğer bölümleri genellikle göz ardı edilir.
NLG için, modelimizin hala kusurları olduğu ve arama veya eğitim sürecini düzelterek çıktının iyileştirilebileceği unutulmamalıdır.
3. Sonraki adım nedir?
NLG'de daha güçlü modeller ve transfer öğrenmenin başarılı bir şekilde uygulanmasına rağmen (Song vd., 2019; Wolf vd., 2019), model tahmininde hala birçok kusur vardır.Bu tür kusurların nedenlerini belirlemek ve anlamak, gelecekteki önemli araştırmalar olacaktır. yön.
8. Geliştirilmiş eğitim öncesi model
1. Ne oldu?
Geçen yıl, araştırmacıların önceden eğitilmiş modele yeni özellikler eklemenin yollarını önerdiklerini görmekten çok mutluyum. Bazı yöntemler, varlık adı modellemesini (Liu vd., 2019) ve gerçek hatırlamayı (Logan vd., 2019) iyileştirmek için eğitim öncesi modelleri geliştirmek için bilgi tabanlarını kullanır. Diğer çalışmalar, önceden eğitilmiş modellerin birçok önceden tanımlanmış yürütülebilir programa erişerek basit aritmetik çıkarımlar yapmasını sağlamıştır (Andor ve diğerleri, 2019).
Çoğu model zayıf endüktif önyargıya sahip olduğundan ve bilginin çoğunu verilerden öğrenebildiğinden, eğitim öncesi modeli geliştirmenin bir başka yolu da, aşağıdaki şekilde gösterildiği gibi sağduyuyu yakalamak gibi eğitim verilerinin kendisini geliştirmektir (Bosselut ve diğerleri, 2019) Göstermek.
Uzun ilgi gören Standart Transformatör. Eğitilen model, verilen konulara ve ilişkilere göre bilgi tabanı üçlüsünün nesnelerini tahmin edebilir (Bosselut vd., 2019).
2. Neden önemlidir?
Model giderek daha güçlü hale geliyor, ancak model metinden fazla bir şey öğrenemiyor. Özellikle daha karmaşık görevlerle uğraşırken, mevcut veriler o kadar sınırlı olabilir ki, açık akıl yürütmeyi öğrenmek için gerçekleri veya sağduyuyu kullanmak imkansızdır ve genellikle daha güçlü tümevarımsal önyargı gerektirebilir.
3. Sonraki adım nedir?
Model daha zorlu problemlere uygulandıkça, portföyü değiştirmek giderek daha gerekli hale gelecektir. Gelecekte, güçlü önceden eğitilmiş modelleri ve öğrenilebilir kombinatoryal programları birleştirebiliriz (Pierrot ve diğerleri, 2019).
Dokuz, verimli ve uzun menzilli Transformatör
1. Ne oldu?
Geçtiğimiz yıl, Transformer mimarisinde bazı iyileştirmeler yapıldı (Vaswani vd., 2017). Örneğin, Transformer-XL (Dai vd., 2019) ve Compressive Transformer (Rae vd., 2020), mimarinin uzun menzilli bağımlılıkları daha iyi yakalamasını sağlar.
Sıkıştırılmış Transformatör, geçmiş etkinleştirmeleri daha kaba bir sıkıştırılmış belleğe sıkıştırır (ince taneli bellek) (Rae ve diğerleri, 2020).
Aynı zamanda, birçok yöntem, uyarlanabilir seyrek dikkat (Correia ve diğerleri, 2019), uyarlanabilir dikkat süresi (Sukhbaatar ve ark., 2019) gibi farklı (genellikle seyrek) dikkat mekanizmaları kullanarak Transformer'in verimliliğini artırmaya çalışır. , 2019), Transformatör verimliliğini artırmak için ürün temel ilgisi (Lample ve diğerleri, 2019) ve yerel hassas hashing (Kitaev ve diğerleri, 2020).
Transformer tabanlı ön eğitim açısından, parametre paylaşımını kullanan ALBERT (Lan ve diğerleri, 2020) ve daha etkili eğitim öncesi görevler kullanan ELECTRA (Clark ve diğerleri, 2020) gibi daha etkili varyantlar ortaya çıkmıştır. Bununla birlikte, Transformer kullanmayan, ancak tekli dosya modeli VAMPIRE (Gururangan ve diğerleri, 2019) ve QRNN tabanlı MultiFiT (Eisenschlos ve diğerleri, 2019) gibi daha etkili olan bazı önceden eğitilmiş modeller vardır.
Bu alandaki bir başka eğilim, büyük BERT modellerini daha küçük modellere ayırmaktır (Tang vd., 2019; Tsai vd., 2019; Sanh vd., 2019).
2. Neden önemlidir?
Transformer mimarisi önerildiğinden beri, son derece etkili olmuştur. NLP'deki en son modellerin çoğunun ayrılmaz bir parçasıdır ve diğer birçok alanda başarıyla uygulanmıştır (bkz. Bölüm 1 ve 6). Bu nedenle, Transformer mimarisindeki herhangi bir iyileştirme, güçlü bir "dalgalanma etkisi" oluşturabilir.
3. Sonraki adım nedir?
Uygulayıcıların Transformer tarafından yapılan yukarıdaki iyileştirmelerden yararlanmaları biraz zaman alabilir, ancak önceden eğitilmiş modelin evrenselliği ve kullanım kolaylığı göz önüne alındığında, bu süre çok uzun olmayacaktır.
Genel olarak, verimliliği vurgulayan model mimarilerinin ilgi odağı olmaya devam etmesi beklenir ve seyreklik temel eğilimlerden biridir.
10. Daha güvenilir analiz yöntemleri
1. Ne oldu?
Geçtiğimiz yıl, ML ve NLP araştırmalarındaki ana eğilimlerden biri, analitik modellerle ilgili makale sayısının artmasıdır.
Aslında, geçen yılki en sevdiğim makalelerden bazıları bu tür analitik modellerdir. 2019'un başlarında Belinkov ve Glass, analitik yöntemler hakkında mükemmel bir rapor hazırladı.
Benim izlenimime göre, geçen yıl ilk kez, tek bir BERT modelinin analizine adanmış birçok makale yayınlandı (bu tür yayınlara BERTology denir). Bu durumda, belirli özellikleri tahmin ederek modelin morfoloji, dilbilgisi vb. Yakalayıp yakalamadığını anlamayı amaçlayan araştırmalar, ortak bir araç haline gelmiştir (aşağıdaki şekle bakın).
Temsili dil bilgisini incelemek için araştırma ortamı (Liu ve diğerleri, 2019).
Araştırmayı daha güvenilir kılan kağıtları özellikle takdir ediyorum (Liu ve diğerleri, 2019; Hewitt & Liang, 2019). Güvenilirlik ayrıca, dikkatin diyalog alanının gelişimi hakkında anlamlı açıklamalar sağlayıp sağlamayacağına dair araştırma konusudur (Jain ve Wallace, 2019; Wiegreffe ve Pinter, 2019; Wallace, 2019).
ACL 2020'deki NLP modellerinin yorumlanabilirliği ve model analizi hakkındaki son Parça belgesi, insanların analitik yöntemlere olan ilgisinin devam etmesinin en iyi örneğidir.
2. Neden önemlidir?
Aslında, şu anda kullanılan en gelişmiş analiz yöntemleri genellikle bir kara kutudur. Daha iyi modeller geliştirmek ve bunları gerçek dünyaya uygulamak için, modelin neden belirli kararlar aldığını anlamamız gerekir. Bununla birlikte, model tahminlerini yorumlamak için şu anda kullandığımız yöntemler hala çok sınırlıdır.
3. Sonraki adım nedir?
Tahminleri görselleştirme kapsamı dışında yorumlamak için daha fazlasını yapmalıyız çünkü bu tahminler genellikle güvenilmezdir. Bu yöndeki önemli bir eğilim, daha fazla veri setinin yapay açıklamalar sunmasıdır (Camburu ve diğerleri, 2018; Rajani ve diğerleri, 2019; Nie ve diğerleri, 2019). Lei Feng Ağı Lei Feng Ağı Lei Feng Ağı
Makalede belirtilen tüm ilgili makaleler ve çalışmalar https://ruder.io/research-highlights-2019/ orijinal adresinden edinilebilir.
