ACL'nin "Derin Öğrenme Ateşi": Makaleler "çukura girdi" ve şirketler "giriş" için akın etti ACL 2017
Konuşmanın sonunda alkışlar yükseldi.
Zhao Heng aceleyle eşyalarını topladı ve ACL 2017'nin ana salonunu kalabalıklar dağılmadan önce terk etmeyi umarak bir sonraki gündeme bakacak bir yer bulabildi - ama artık çok geçti. Kapı, mekânın içini ve dışını sıkı bir şekilde ayrı tutmaya çalışsa da, Zhao Heng kapıyı açtığında, mekanın dışından gelen koşuşturma, hatta biraz gürültülü diyalog birçok izleyiciyi geriye dönüp bakmaya çekerek salona aktı.
Zhao Heng çantasını taşıdığında ve kalabalığı bir sonraki mekana kadar takip ettiğinde, mekandan daha önce ayrılmadığı için sadece gizlice pişman oldu.
Zhao Heng, yarı çaresiz ve kısmen rahatlamış bir şekilde, "Sanırım organizatörler bu kadar çok insan olmasını beklemiyorlardı ve bu yılki mekan çok küçüktü." Dedi. Çin'deki en iyi 5 üniversitede doktora öğrencisi olarak, ACL'nin "baharı" ve derin öğrenmenin "altın çağı" ile karşılaştığını hissediyor.
Leifeng.com'un AI Teknoloji İncelemesinden alınan eksik istatistiklere göre, 55. ACL ana mekânının büyüklüğü yaklaşık 1.500 kişi ve her şubede 300'den fazla koltuk var. Bu ACL'deki katılımcı sayısının 1.000'i aşması bekleniyor.
Derin öğrenmenin ısısı
On yıl önce ACL böyle değildi. Peking Üniversitesi Bilgisayar Bilimleri Enstitüsü'nden Profesör Wan Xiaojun, ACL'ye ilk kez 2007 yılında katıldığını hatırladı. O yıl fakülte üyesi olarak kalmıştı. "(Toplantı) Prag, Çek Cumhuriyeti'nde yapıldı ve EMNLP-CoNLL ile yapıldı. 2007 ve IWPT 2007 olmak üzere iki akademik konferans aynı anda gerçekleştirildi. Verilere göre, üç konferans 1.095" rekor kıran "kişiyi konferansa kattı. ACL 2007, 588 bildiri sunumu aldı ve 131 bildiri içeriyordu.
On yıl sonra, ACL 2017 yalnızca 299 bildiri içeriyordu ve gönderilen bildirilerin toplam sayısı 1.318'e ulaştı. Bunun derin öğrenmenin hızlı gelişimi ile ilgisi olmadığı söylenmelidir.
China Computer Society'nin 2011 versiyonunda uluslararası akademik konferanslar ve dergiler tavsiye edilirken, ACL hala CCF tarafından önerilen uluslararası akademik konferanslar (yapay zeka ve örüntü tanıma) B kategorisidir; 2015 yılında Çin Bilgisayar Federasyonu (CCF) dördüncü baskıyı güncelledi Çin, AAAI ve CVPR'ye ayak uydurarak yapay zeka alanında bir kategori A konferansına "yükseltecek". Bu kez, NIPS ve ACL gibi orijinal B Sınıfı toplantılar da dahil olmak üzere revize edilen ve yükseltilen A Sınıfı toplantıların sayısı arttı. Bu aynı zamanda pek çok tartışmayı da tetikledi.
Akademik çevrelerde CCF'nin tavsiye edilen standartları hakkında hala birçok anlaşmazlık ve tartışma olsa da, derin öğrenmenin gelişiminin akademik araştırmaları ve endüstri eğilimlerini etkilediği ve hatta bunlara egemen olduğu inkar edilemez. En azından CCF'nin yukarıdan aşağıya politika rehberi, toplumun yapay zekaya ve hatta derin öğrenmeye olan yüksek ilgisine ve önemine bir fikir verebilir.
Olağanüstü gazetenin açılışından on dakika önce, mekan doluydu
Akademik makaleler "çukura düştü"
ACL 2017 gündeminden yola çıkarak, derin öğrenme eğilimi giderek daha belirgin hale geliyor: ACL 2017'de, ilk gündeki altı öğreticiden dördü, çoğu çeşitli hesaplamalı dilbilimde analiz edilen derin öğrenmeyle ilgili. Sahada uygulama.
Tanınmış bir yerli şirketin baş bilim adamı Zhang Kai, son iki yıl içinde ACL'nin sadık bir katılımcısıydı. Ayrıca bu yıl sahneye geldi ve Lei Feng.com AI Technology Review'e, araştırmacılar 2015'te hala derin öğrenmenin ön aşamasındaysa, 2016'daki ACL'nin NLP alanında tam kapsamlı bir derin öğrenme konferansı olduğunu söyledi. ACL 2017'nin bir bütün olarak bir önceki yılın tarzını sürdürdüğünü ve neredeyse tüm makalelerin modeller oluşturmak ve sonuçları iyileştirmek için derin öğrenme yöntemlerini benimsediğini söyledi. Ayrıca araştırmada kullanılan veri setinde temelde önemli bir güncelleme olmamış ve ona büyük bir sürpriz yapmamış, yani araştırmacılar orijinal içeriği test etmek için efektlere ve performansa odaklanarak yeni yöntemler benimsemişlerdir. Bir sonraki seviyeye geçerken, artık teorik yenilik yok.
Organizasyon komitesi, doğal olarak derin öğrenmenin büyük etkisinin farkındadır. Geçen yıl ACL 2016'da en iyi uzun makale, sembolik anlambilimin tartışıldığı bir makaleye verildi - "Çekirdek Regresyon için Dizi-Metrik Öğrenmeyi Kullanarak Keyfi Olmayan Biçim-Anlam Sistematikliğini Bulmak", Kaliforniya Üniversitesi, Berkeley'den E. Dario Gutierrez tarafından yazılmıştır. . Derin öğrenmenin yaygın olarak kullanılmaya başladığı geçen yıl bu karara bakıldığında, organizasyon komitesinin derin öğrenmede daha derin ve derin olma fikrinden kaçınmak için daha yenilikçi belgeleri teşvik ettiği belirsiz bir şekilde ortaya çıktı.
ACL'nin bu yılki en iyi makalelerini etkileyen olağanüstü makalelerde, makalelerin çoğu derin öğrenmenin "büyük çukurundan" kaçamadı ve "rutin duygusu" doluydu: verilerle nasıl başa çıkıyoruz, nasıl eğitiyoruz, Bizim yöntemimiz eskisine göre pek çok puan gelişti ... Görünüşe göre insanlar biraz estetik yorgunluk hissediyor.
Ryan Cotterell ve Johns Hopkins Üniversitesi'nden Jason Eisner tarafından yazılan bu yılın ödüllü en iyi uzun makalesi olan "Olasılıklı Tipoloji: Sesli Envanterlerin Derin Üretken Modelleri", diğer öne çıkan makaleler ile karşılaştırıldığında, Öğrenme yöntemleri kategorisi, ancak daha fazlası sorunu çözmek için yeni bir yol sağlar, bu nedenle verileri açığa çıkaran makalelerde özellikle belirgindir: bu makale, sesli harf alanının eğitilebilir bir neslini oluşturmak için sinir ağı öğrenme yöntemlerini kullanır. Ünlülerin dilsel tipolojideki dağılımını ve odağını incelemek için olasılıksal dağıtım yöntemi ve "Sadece mühendislik değil, bilim yapmak için NLP araçlarını kullanın!" Sunumunun son cümlesi bir soru ortaya çıkarır: derin öğrenme Geleneksel NLP araştırmasıyla nasıl birleştirilir?
Tsinghua Üniversitesi'nden öğretmen Zhu Xiaoyan, NLP araştırmalarındaki atılımların yalnızca derin öğrenmeden kaynaklanmadığına inanıyor. "Derin öğrenmenin popülaritesinin büyük bir kısmı CV alanı tarafından getiriliyor, ancak NLP'nin durumu farklı. Derin öğrenmede popüler. Daha önce pek çok iyi uygulama çözümü vardı. Ayrıca, belirli durumlarda hizmet robotları gibi sektördeki bazı uygulamalar mutlaka derin öğrenme çözümleri gerektirmez. "
Başka bir endüstriyel teknik kişi de benzer görüşlere sahip: Derin öğrenmenin son iki yıldaki kapsamlı uygulamasının akademik açıdan uygulama araçlarının yükseltilmesine ait olduğuna inanıyor.Popülerliği sadece geçici bir fenomendir ve gelecekte olabilir. Daha iyi yöntemlerle değiştirildi.
Belki de teorik yenilikler ve atılımlar peşinde koşan akademisyenler için, derin öğrenmenin yayılması heyecanlanacak bir şey değil, endüstri için bir fırsattır.
İşletmeler "oyuna dahil oluyor"
Bu yıl 38 şirket / kuruluş ACL 2017'nin sponsoru oldu ve Tencent, Alibaba, Toutiao, CVTE ve diğer şirketler dahil olmak üzere Çin'den birçok yeni yüz var. Sahnede, aralarında BAT'ın da bulunduğu 18 üreticinin stantlarını kurması, mekanın heyecanına da "yardımcı" oldu.
Ancak geçen yılki ACL'de tüm sponsorlar yalnızca 16'ya ulaştı.
ACL 2016 Sponsor Listesi
Leifeng.com AI Technology Review, bir dizi katılımcıyı ziyaret etti ve Google, Facebook, Baidu, Tencent ve diğer şirketler dahil olmak üzere şirketlerin bu yılki ACL tarafından kabul edilen belgeleri olduğunu buldu. Standda sektör tarafından tanıtılan içeriğe bakıldığında, Leifeng.com AI Technology Review, NLP için başvuru gereksinimlerinin diyalog QA, öneri sistemleri, makine çevirisi ve diğer alanlardan başka bir şey olmadığını buldu.
Samsung Electronics'de bir araştırmacı olan Je Hun Jeon, şirketin mevcut araştırma sonuçlarının ağırlıklı olarak mobil cihazlara, akıllı ev ürünlerine ve IOT ürünlerine uygulanan makine öğrenimini kullandığını söyledi. Japonya Endüstriyel Teknoloji Enstitüsü'nde bir araştırmacı olan Takushi, araştırma enstitüsünün ana odak alanlarının üç alan olduğunu söyledi: Birincisi, verilerin kıt olduğu alanlarda sorunları çözmek için makine öğrenimi ve simülasyon mekanizmalarını kullanmak, diğeri ise kimyasal sorunları çözmek için pekiştirmeli öğrenmeyi kullanmak. Ayrıca AI kontrol sisteminin yapımına da dikkat edin.
Zhang Kai, Leifeng.com AI Technology Review'e, ACL'deki ana odağının iki alanda derin öğrenmenin geliştirilmesi olduğunu söyledi: Biri anlambilim temelinde metin duygularını anlamak, diğeri ise daha akıllı metin içeriği oluşturmak. Ayrıca derin öğrenmenin gelecekte bir süre önemli bir araştırma aracı olacağına ve sektöre daha fazla sürpriz getireceğine inanıyor.
Kurumunu ifşa etmek istemeyen bir NLP araştırmacısı Allen, Lei Feng.com AI Technology Review'e derin öğrenmenin açıklanamazlığının birçok çalışmayı "ne olduğunu ve nedenini bilmeme" durumuna bıraktığını söyledi. Asıl çalışma esas olarak hata ayıklamaya ve iyi sonuçlar almaya odaklanıyor. Altta yatan ilkelerin kapsamlı bir incelemesinden ziyade etkisi. Ancak bunun sektöre akademik dünya ile aynı başlangıç çizgisinde durma fırsatı verdiğini de belirtti. "Sözdizimsel bir bakış açısıyla anlarsanız, çok sayıda profesyonel bilgi söz konusu olabilir, ancak derin öğrenme yöntemlerini benimsedikten sonra, birçok veriyi doğrudan (modelleri) besleyebiliriz ve başarılı bir şekilde sonuç alabiliriz. Sektöre ürün oluşturma rehberlik eder. , Yani ara araştırma sürecinden çok, sizin daha çok ilgilendiğiniz şey sonuçlar ve çıktıdır. "
Allen ayrıca, birçok üniversitenin mevcut araştırmasının mevcut veri setlerinde iyi sonuçların hatalarını ayıklayabileceğine, ancak aynı modelin endüstride uygulama koşullarına sahip olmadığına inanıyor. "Hacim çok küçük ve üniversiteler tarafından kullanılan veri setleri endüstri için uygun değil." Derin öğrenme için gereken büyük miktardaki veri, sektörde kolayca elde edilebilir. Bu nedenle sektör şimdi Araştırma alanının akademik dünyadan bile önce gelmesinin nedeni.
Bunların arasında, bazı şirketler akademik konferanslarda yayınlanan makale sayısını araştırma güçlerini yansıtmak için başka bir işe alma aracı olarak kullanacaklar; ancak bazı şirketler başka bir görüşe sahip: sektör için zirvede mi? Konferanslarda makale yayınlamak artık araştırmacıların ilk ihtiyacı, hatta birincil temel performans göstergeleri değil.İyi bir ürün yapmak doğru yoldur ve doğal olarak makale yayınlama motivasyonu çok daha zayıftır.
Bununla birlikte, sözde "teknik endüstrinin uzmanlığı vardır", endüstri ve akademi farklı yönlerden endişe duymaktadır. Sektör için derin öğrenme gerçekten de sanayileşmeyi gerçekleştirmek için büyük bir fırsat. Şirketin etkisini artırmak için yalnızca popüler teknolojilere ve hızlı çıktılara odaklanabilirsiniz, ancak akademik araştırma yine de gerçeği arama ve keşif ilkesine dayanmalıdır. Gerçeğin peşinde koşma sürecinde, ancak körü körüne sıcak noktaların peşinden gidilerek yenilik ve gerçek değişim sağlanabilir.
(Görüşülen kişinin talebi üzerine, Zhao Heng ve Zhang Kai metinde takma adlardır)
