ACL 2019'un en iyi kağıdı yayınlandı: Çin ekibi en iyi uzun ve kısa kağıdı devraldı
Aofei Tapınağı'ndan Guo Yipu Annie Bian Ce
Qubit Üretildi | Genel Hesap QbitAI
ACL 2019'un en iyi kağıtları burada.
Şu anda, doğal dil işleme alanındaki en büyük konferans olan ACL 2019, en iyi bildirileri açıkladı.Bu kez toplamda 8 ödül kazanan toplam 4 ödül verildi:
- En iyi uzun kağıt
- En iyi kısa kağıt
- En iyi DEMO kağıdı
- 5 olağanüstü kağıt ödülü
bu yıl, Çin ekibi en iyi uzun kağıt, en iyi kısa kağıt ve 2 olağanüstü kağıt kazandı Listede Çin Bilimler Akademisi, Çin Bilimler Akademisi Üniversitesi, Tencent, Huawei Nuh'un Gemisi Laboratuvarı, Nanjing Bilim ve Teknoloji Üniversitesi, Hong Kong Polytechnic Üniversitesi vb.
Bu yılki ACL 2019, benzeri görülmemiş bir şekilde canlı. ACL tarafından resmi olarak yayınlanan verilere göre, bu yıl toplam 2.906 başvuru alındı, geçen yılki 1.544 gönderime kıyasla% 75'in üzerinde bir artış oldu.
Gelin bu yılın en iyi makalesinin ne dediğine ve çeşitli ülke ve kurumların savaşlarının nasıl olduğuna bir göz atalım:
En iyi uzun kağıt
En iyi uzun makalenin kazananı Çinli bir araştırmacıdır , Bu kağıdın adı:
Nöral Makine Çevirisi için Eğitim ve Çıkarım Arasındaki Boşluğu Kapatma
Makaleler, Çin Bilimler Akademisi Bilgisayar Teknolojisi Enstitüsü Akıllı Bilgi İşlem Anahtar Laboratuvarı, Çin Bilimler Üniversitesi'nden Wen Zhang ve Yang Feng, Tencent WeChat AI'dan Fandong Meng, Worcester Polytechnic Enstitüsü'nden Di You ve Huawei'nin Noah's Ark Laboratuvarı'ndan Qun Liu'dan geliyor.
Bu makale, nöral makine çevirisi (NMT) eğitimi ile çıkarım arasındaki boşluğun nasıl kapatılacağını incelemektedir.
Nöral Makine Çevirisi (NMT), bağlam içeriğine bağlı olarak bir sonraki sözcüğü tahmin etmenin bir yoludur. Çıkarım süreci baştan takip eder ve sırayla tüm diziyi oluşturur. Bu, etiketlenmemiş bağlam nedeniyle kümülatif hatalara yol açar.
Diğer bir zorluk ise, kelime düzeyinde eğitimin, üretilen sıranın kesin olarak kesin referans dizisine uymasını gerektirmesidir, bu da farklı ancak makul çevirilerin aşırı düzeltilmesine neden olur.
Bu makalede araştırmacılar, Overcorrection Recovery (Overcorrection Recovery, VEYA ).
Basitçe ifade etmek gerekirse, eğitim sürecinde sadece bağlam sözcükleri temel doğruluk dizisinden değil, aynı zamanda bağlam sözcükleri de model tarafından tahmin edilen diziden çıkarılır ve cümle düzeyinde optimal tahmin dizisi seçilir.
Diğer bir deyişle, çeviri sürecinde, modelin kayıp fonksiyonunu belirlemek için standart kelimeyi kelimesi kelimesine karşılaştırmasına gerek yoktur.
Özellikle:
Bu yöntem ilk önce kehanet sözcüklerini tahmin edilen sözcüklerden seçer ve ardından bağlam örnekleri olarak kehanet sözcükleri ve temel doğruluk sözcüklerini kullanır.
Aynı zamanda, kehanet kelimeleri yalnızca kelime kelime açgözlü aramayla değil, aynı zamanda cümle düzeyinde değerlendirmelerle de (BLEU gibi) seçilir. Eğitimin başlangıcında, model nispeten büyük olasılıkla bağlamsal gerçek kelimeleri seçer.Model yavaş yavaş yakınsadıkça, oracle kelimeleri bağlam olarak daha sık seçilir.
Çinli araştırmacılar > İngilizce ve WMT'14 İngilizce- > Almanca çeviri görevi üzerinde deneyler yapıldı ve sonuçlar, bu yeni yöntemin birden çok veri setinde iyileştirmeler sağlayabileceğini gösterdi.
Ayrıca, yeni yöntemi RNNsearch modeli ve Transformer modeli üzerinde doğruladılar. Sonuçlar, yeni yöntemin iki modelin performansını önemli ölçüde artırabileceğini göstermektedir.
Kağıt adresi:
https://arxiv.org/abs/1906.02448
En iyi kısa kağıt
En iyi kısa makalelerden biri, Ohio Eyalet Üniversitesi'nde doktora öğrencisi olan Çinli Jiang Nanjiang ve ikincisi de okulun yardımcı doçentlerinden Marie-Catherine de Marneffe'dir.
Bu yazının başlığı "Floransa'nın turistlerle dolu olduğunu biliyor muydunuz? En gelişmiş konuşmacı taahhüt modelini değerlendirin. Makalenin başında araştırmacılar Floransa'daki turistlerle ilgili iki konuyu açıkladı:
"Floransa'nın turistlerle dolu olduğunu biliyor muydun?"
Şu anda cevap verebilirsiniz: "Evet, kalabalık."
"Floransa turistlerle dolu mu?"
İki kelime değiştirildikten sonra soru değişti ve öznel bir soru haline geldi. "Evet, öyle düşünüyorum" veya "Hayır, öyle düşünmüyorum" şeklinde cevap verebilirsiniz.
Burada bir Çıkarım yapan konuşmacı taahhüdü Daha önceki araştırmalarda, buna aynı zamanda olgusallık da deniyordu.Bu problemi anlamak, bilgi çıkarma ve soru cevaplama için çok önemlidir.
Araştırmacı burada buldu CommitmentBank Veri kümesi, stil muhtemelen şu şekildedir:
Bu veri seti ile araştırmacılar, son teknoloji ürünü iki güncel modeli değerlendirdiler ve olumsuz cümlelerde ve etkisiz gömülü fiillerde daha iyi performans gösterdiklerini ve dil bilgi modelinin LSTM tabanlı modelden daha iyi olduğunu buldular. Zorlu doğal veriler.
Diğer bir deyişle, bu zorlu doğal verileri yakalamak için dil bilgisi gereklidir.
Ancak sorun burada ortaya çıkıyor: Modeller olumsuz cümlelerde iyi performans gösterse de, doğal dildeki koşullu cümleler, yöntemler ve negatif büyüme gibi çeşitli dil yapılarına genellenemezler.
Bu nedenle, araştırmacılar bu tür bir dil modeli için iyileştirme yönüne gelmişlerdir: güçlü bir dil anlayışına sahip olmak için, modelin daha fazla dil tahmini içermesi gerekir ve daha geniş bir dil yapısı yelpazesine genişletilebilir.
Bu aynı zamanda bu makalenin temel katkısıdır.
Floransa'nın ziyaretçilerle dolu olduğunu biliyor musunuz?
Son teknoloji ürünü konuşmacı bağlılığı modellerinin değerlendirilmesi
Kağıt adresi:
https://linguistics.osu.edu/people/jiang.1879
En İyi Demo Kağıt
Bu yılın en iyi Demo makalesi Unbabel ekibine verildi ve sinir makinesi çevirisinin kalitesini değerlendirmek için Pytorch'a dayalı açık kaynaklı bir OpenKiwi çerçevesi önerdiler.
Unbabel, müşterilerine yapay zeka temelli bir insan çeviri platformu sunan ve temel olarak müşteri hizmetleri iletişiminin çevirisine odaklanan 2013 yılında kurulmuş bir başlangıç şirketidir. Müşterileri arasında Booking.com ve Facebook gibi şirketler bulunmaktadır.
OpenKiwi, kelime düzeyinde ve cümle düzeyinde kalite değerlendirme sistemlerinin eğitimini ve testini destekler ve WMT 2015-18 kalite değerlendirme yarışmasını kazandı. WMT 2018'in (İngilizce-Almanca SMT ve NMT) iki veri seti üzerinde kıyaslama yapan OpenKiwi, kelime düzeyinde görevlerde performans elde etti ve cümle düzeyindeki görevlerde en gelişmiş performansa yakın.
OpenKiwi'nin özellikleri:
QE modellerini eğitmek ve ön eğitim modelleri kullanarak MT'yi değerlendirmek için bir çerçeve;
Kelime ve cümle düzeyinde kalite değerlendirmesini destekleyin;
Pytorch'da beş QE sistem uygulaması vardır: QUETCH, NuQE, tahminci-tahminci, APE-QE ve bir dizi doğrusal sistem .
Diğer projelere paket olarak aktarılabilen veya komut satırından çalıştırılabilen kullanımı kolay API;
WMT 2018 verileri üzerinde önceden eğitilmiş QE modellerini çalıştırmak için komut dosyaları sağlayın.
Yaml yapılandırma dosyaları aracılığıyla deneyleri kolayca izleyin ve yeniden oluşturun.
OpenKiwi: Kalite Tahmini için Açık Kaynak Çerçevesi
Kağıt adresi:
https://arxiv.org/abs/1902.08646
Kod adresi:
https://github.com/Unbabel/OpenKiwi
5 olağanüstü makale
1, Duygu-Neden Çifti Çıkarımı: Metinlerde Duygu Analizine Yeni Bir Görev
https://arxiv.org/abs/1906.01267
Yazar : Rui Xia, Zixiang Ding (Nanjing Bilim ve Teknoloji Üniversitesi)
2, Özetleme İçin Basit Bir Teorik Önem Modeli
https://www.aclweb.org/anthology/P19-1101
Yazar : Maxime Peyrard (EPFL)
3. Görev Odaklı Diyalog Sistemleri için Aktarılabilir Çok Alanlı Durum Üreteci
https://arxiv.org/abs/1905.08743
Yazar : Chien-Sheng Wu, Andrea Madotto, Ehsan Hosseini-Asl, Caiming Xiong, Richard Socher ve Pascale Fung (Hong Kong Bilim ve Teknoloji Üniversitesi, Salesforce, vb.)
4. Standart bölünmeler hakkında konuşmalıyız
https://wellformedness.com/papers/gorman-bedrick-2019.pdf
Yazar : Kyle Gorman ve Steven Bedrick (New York Şehir Üniversitesi, Oregon Sağlık ve Bilim Üniversitesi, vb.)
5. Varlık Açıklamalarını Okuyarak Zero-Shot Varlık Bağlama
https://arxiv.org/abs/1906.07348
Yazar : Lajanugen Logeswaran, Ming-Wei Chang, Kenton Lee, Kristina Toutanova, Jacob Devlin ve Honglak Lee (Michigan Üniversitesi, Google, vb.)
Çin ve Amerika Birleşik Devletleri'ndeki en coşkulu sunumlar
ACL tarafından resmi olarak açıklanan verilere göre, bu yıl toplam 61 ülke bildiri göndermiştir.Bunlardan, Amerika Birleşik Devletleri'ndeki kurumlar tarafından gönderilen bildiri sayısı, Çin ana karasındaki kurumların sunduğu bildiri sayısından biraz daha fazladır ve İngiltere ve Almanya'nın başvuru sayısı sırasıyla üçüncü ve dördüncü.
ACL resmi istatistikleri:
Gönderim sayısına ek olarak, kabullerin sayısında artış var. ACL 2019, önceki iki yıldaki% 24'ten hafif bir artışla% 25,8'lik bir kabul oranıyla 765 makale aldı.
Bunlardan 447 uzun bildiri kabul edildi, 213 kısa bildiri kabul edildi, 34 demo bildiri kabul edildi ve 71 öğrenci çalıştayına kabul edildi.
Kabul edilen bildirilerin listesi:
Son yıllarda, ACL başvurularının sayısı da yıldan yıla artmıştır, ancak makalelerin kabulü rahatlamamıştır ve kabul oranı önceki yıllarla yaklaşık aynıdır.
Tüm araştırma alanları arasında en popüler olan ve başvuru sayısı Bilgi çıkarma ve metin madenciliği , Makine öğrenme ile makine çevirisi , Gönderim sayısı 200'ü aştı.
Kabul oranı açısından en zor alan Belge analizi ile Cümle düzeyinde anlambilim , Kabul oranı beşte birden az.
Tüm ülkeler arasında, Çin ve Amerika Birleşik Devletleri'ndeki akademisyenler 800'den fazla makale sunmuştur, ancak AI alanında birçok Çinli akademisyenin Amerika Birleşik Devletleri'nde eğitim gördüğü düşünüldüğünde, birçok makale ve eser Amerikan üniversiteleridir. Hepsi Çinli, bu yüzden Çinliler ACL için en yüksek hevese sahip.
Ancak, kabul oranı açısından Çin gazeteleri, Amerikan gazetelerinden yaklaşık 10 puan daha düşük. Daha az gönderimi olan ülkeler hariç tutulduğunda ve 30'dan fazla gönderimi olan ülkeleri karşılaştırdığımızda, ilk beş kabul oranının Singapur (% 34,8), İsrail (% 34,1), Birleşik Krallık (% 29,7) olduğunu göreceksiniz. Amerika Birleşik Devletleri (% 28,8) ve Almanya (% 28,7).
Bu 700'den fazla makale arasında, toplam en iyi kağıt adayları 32 makale , 17 uzun makale, 11 paragraf kağıdı ve 4 demo bildirisi dahil.
Aday makaleler arasında 24 makale büyük üniversitelerden ve araştırma enstitülerinden geldi, 7 makale sektörden geldi ve Xing Bonun ekibinden gelen diğer kağıt CMU ve Xing Bonun şirketi Petuum tarafından imzalandı. Üretim, eğitim ve araştırmanın bir kombinasyonu.
Ülkeler açısından bakıldığında Amerika Birleşik Devletleri için 14, Çin için 6 makale (biri Japonya ve Çin'deki üniversiteler tarafından paylaşılan iki makale), İngiltere için 3 makale, İsviçre ve Japonya, Kanada, Hindistan, Belçika için 2 makale bulunmaktadır. , Brezilya, Güney Kore ve Rusya'nın her biri.
İki veya daha fazla aday bildirisi olan kurumlar arasında biri Google olmak üzere sadece iki şirket var ve ikisi biri çalışma olmak üzere 4 makale aday; diğeri ise 2 bildirinin aday olduğu Huawei Noah's Ark Lab. Aday gösterilmiş, bir makale bir eserdir.
Buna ek olarak, bildiri için aday gösterilen tüm üniversiteler ve araştırma kurumları arasında, Lozan Federal Teknoloji Enstitüsü, Washington Üniversitesi, Edinburgh Üniversitesi ve Toyota Teknoloji Enstitüsü Chicago'nun her birinin iki aday bildirisi vardır; CMU'nun aday gösterilen üç bildirisi vardır, John Hope Kings Üniversitesi, Tsinghua Üniversitesi ve Allen Yapay Zeka Enstitüsü'nün her birinde 2 aday bildiri vardır ve her birinin aday gösterilen bir bildirisi vardır.
% 40'ı Çinli olarak kağıt 1'e aday gösterildi
Makalenin yazarının bakış açısından, aday gösterilen 32 bildiri arasından, 13 makalenin ilk yazarı Çinli , % 40 .
Çince tarafından yazılan 13 makale şunlardır:
1. Metin ve Konuşmada Gizli Bilgileri Algılama
Yazar: Shengli Hu (Cornell Üniversitesi)
https://www.aclweb.org/anthology/P19-1039
2. Sıradan Grafiğe İletim Olarak AMR Ayrıştırma
Yazar: Sheng Zhang (Johns Hopkins Üniversitesi), vb.
https://arxiv.org/abs/1905.08704
3. Göreve Yönelik Aktarılabilir Çok Alanlı Durum Üreticisi
Yazar: Chien-Sheng Wu (HKUST), Andrea Madotto, Ehsan Hosseini-Asl, vb.
https://arxiv.org/abs/1905.08743
4. Metin Oluşturma için Modüler, Çok Yönlü ve Genişletilebilir Bir Araç Seti
Yazar: Zhiting Hu Hu Ting (CMU), Haoran Shi, Bowen Tan, vb.
https://www.aclweb.org/anthology/W18-2503
5. Duygu-Neden Çifti Çıkarımı: Metinlerde Duygu Analizine Yeni Bir Görev
Yazar: Rui Xia (Nanjing), Zixiang Ding
https://arxiv.org/abs/1906.01267
6. Görsel Olarak Yerleştirilen Sinirsel Sözdizimi Edinimi
Yazar: Haoyue Shi (Chicago'daki Toyota Teknoloji Enstitüsü), Jiayuan Mao, Kevin Gimpel ve Karen Livescu
https://arxiv.org/abs/1906.02890
7. Denetimsiz Ayrıştırmaya Taklit Öğrenme Yaklaşımı
Yazar: Bowen Li (Edinburgh Üniversitesi), Lili Mou, Frank Keller
https://arxiv.org/abs/1906.02276
8. Ayrıştırılabilir Sinirsel Açıklama Üretimi
Yazar: Zichao Li (Huawei Nuh'un Gemisi Laboratuvarı), Xin Jiang, Lifeng Shang ve Qun Liu
https://arxiv.org/abs/1906.09741
9. Çift Etkili Girdili Sağlam Sinir Makinesi Çevirisi
Yazar: Yong Cheng (Google AI), Lu Jiang ve Wolfgang Macherey
https://arxiv.org/abs/1906.02443
10. Nöral Makine Çevirisi için Eğitim ve Çıkarım Arasındaki Boşluğu Kapatma
Yazarlar: Wen Zhang (CAS), Yang Feng, Fandong Meng, Di You ve Qun Liu
https://arxiv.org/abs/1906.02448
11. Floransa'nın ziyaretçilerle dolu olduğunu biliyor musunuz? Son teknoloji ürünü konuşmacı taahhüt modellerini değerlendirmek
Yazar: Nanjiang Jiang (Ohio eyaleti üniversitesi), vb.
12. ConvLab: Çok Alanlı Uçtan Uca İletişim Sistemi Platformu
Yazar: Sungjin Lee (Microsoft Research), Qi Zhu, Ryuichi Takanobu vb.
https://arxiv.org/abs/1904.08637
13. İyilik için İkna: Sosyal Fayda için Kişiselleştirilmiş İkna Edici Diyalog Sistemine Doğru
Yazar: Xuewei Wang (Zhejiang Üniversitesi), Weiyan Shi, vb.
https://arxiv.org/abs/1906.06725
Portal
ACL adaylığı olan bildirilerin listesi:
- Bitiş -
Samimi işe alım
Qubit, editörleri / muhabirleri işe alıyor ve merkezi Pekin, Zhongguancun'da bulunuyor. Yetenekli ve hevesli öğrencilerin bize katılmasını dört gözle bekliyoruz! Ayrıntılar için, lütfen QbitAI diyalog arayüzünde "işe alım" kelimesiyle yanıt verin.
Qubit QbitAI · Toutiao İmzalama Yazarı
' ' Yapay zeka teknolojisi ve ürünlerindeki yeni eğilimleri takip edin
