Alibaba'nın ilk NLP akademik semineri, en iyi öğretmenler ve kurumsal mühendisler endüstri-üniversite araştırmasıyla çarpışıyor
23 Mayıs'ta Alibaba Dharma Akademisi Makine Zekası Teknoloji Laboratuvarı Doğal Dil Anlama Araştırma Grubu, Hangzhou'da Alibaba Doğal Dil İşleme Akademik İleri Düzey Semineri'ni düzenledi. Ülke genelinde çeşitli üniversitelerden ve kurumlardan yaklaşık 30 akademisyen ve misafir vardı ve 8 Alibaba Baba Grubundan katılımcılar konferansa katıldı ve bir günlük akademik paylaşım yaptı.
Bu konferansın amacı, üniversite akademisyenleri ile kurumsal uygulama arasında değişim için bir platform oluşturmak, okul-işletme işbirliğini geliştirmek ve yeni doğal dil işleme teknolojilerini yenilemektir. Bu konferans, bir dizi üniversite profesörünü NLP alanındaki çalışmalarını ve sonuçlarını paylaşmaya davet etti.Aynı zamanda, Alibaba Dharma Akademisi Makine Zekası Teknoloji Laboratuvarı Doğal Dil Anlama Araştırma Grubu üyeleri de doğal dilde, makine ile ilgili temel araştırmalarını paylaştı. Çeviri ve araştırma ilerlemesinin diğer yönleri.
Alibaba Dharma Akademisi Makine Zeka Teknolojisi Laboratuvarı Doğal Dil Anlama Araştırma Grubu, Leifeng'in Yapay Zeka Teknolojisi İncelemesi kapsamında Yapay Zeka Etki Faktörü veritabanı projesinde olağanüstü bir performansa sahiptir.
Aşağıda, Leifeng.com AI Technology Review tarafından yerinde kayıtlara dayalı olarak derlenen konuşma içeriği yer almaktadır.
Seminerin başında sırasıyla Alibaba Dharma Akademisi Makine Zekası Teknoloji Laboratuvarı Direktörü Dr. Jin Rong ve Doğal Dil Anlama Araştırma Grubu Baş Bilimcisi Dr. Si Luo açılış konuşmaları yaptı.
Jin Rong, on yıldan fazla bir süre önce, çevirinin daha çok "keşif amaçlı" bir şey olduğunu söyledi. Bugün bu kadar büyük bir ölçekte gelişeceğini hayal etmek zor; "Belki birçok insan Alibaba'nın daha çok olduğunu düşünüyor. Bir e-ticaret şirketi, yani öneri ve arama gibi işlevler onun en önemli şeyleridir, ancak Alinin bugünkü işi biçiminde çeviri çok önemli bir yön haline geldi. "Ve Dr. Jin Rong, Ali'nin de çevrimiçi çeviri yapmayı umduğunu söyledi. İş alanının değeri de günlük hayata aktarılabilir.
Dr. Si Luo, akademi alanındaki önceki araştırma deneyimini ve Alibaba'daki mevcut araştırma deneyimini birleştiren deneyim ve deneyimlerini paylaştı. "Yalnızca doğal dil işleme gerçek bir ilerleme sağladığında, daha ileri gidebilir ve daha fazla zeka yaratabilir ve daha fazla fırsat yaratabiliriz." AliNLP platformu, makine çevirisi ve çok dilli işleme senaryoları dahil olmak üzere, Ali'nin doğal dil işlemenin tüm yönleri için ihtiyaçlarını destekler. Dr. Si Luo'nun anlayışına göre, Ali tarafından sağlanan AliNLP platformunun "dünyadaki doğal dil işleme alanında en değerli aşama" olduğuna inanıyor. İkinci olarak, Dr. Si Luo, Ali'nin teknolojisini Alibaba Cloud aracılığıyla ihraç eden ve "kapsayıcı doğal dil teknolojisinin icadı" olan diğer araçları kullanan açık teknolojiden de bahsetti. Son olarak, Dr. Si Luo aynı zamanda anahtar kelimeyi "aşağıya doğru" vurguladı. "Bizi gelecek nesiller için hatırlayacak ve gelecekteki torunlarımızla övünecek bir şey yapmayı umuyoruz. Özellikle zorlu ve yenilikçi teknik işler yapmayı umuyoruz." Bu nedenle, mevcut misafirlere birlikte ilerlemeleri için teklifte bulundu. İnsanlık için daha iyi bir değer ve daha iyi bir gelecek yaratmak için teknolojinin kullanılması.
Ardından Soochow Üniversitesi Bilgisayar Bilimi ve Teknolojisi Okulu'ndan Profesör Zhang Min de konuk temsilci olarak bir konuşma yaptı. Geçtiğimiz yıl, Soochow Üniversitesi ve Alibaba yakın işbirliğini sürdürdü ve mükemmel sonuçlar elde etti. Profesör Zhang Min minnettarlığını ifade ederken, tüm sektörün "iyi bir zamanda" olduğunu, yani sanayileşme ihtiyacının zamanın kaçınılmaz bir trendi haline geldiğini belirtti. Ayrıca Profesör Zhang Min, duygu, biliş ve anlayışın hala acilen çözülmesi gereken konular olduğuna işaret etti.Microsoft'un sözleriyle, "dili alan dünyayı kazanır" veya doğal dil işlemenin yapay zekanın tacındaki bir mücevher. Dolayısıyla Alibaba ile üniversiteler arasındaki yakın işbirliği sadece girişimin değil, aynı zamanda öğretmenlerin ve bireylerin bu çağdaki şansıdır.
Sabah oturumunda, beş üniversite öğretmeni, doğal dil işleme konusundaki araştırmalarındaki başarılarını paylaştı.
Chen Wenliang-E-ticaret Platformları için Doğal Dil İşlemeyle İlgili Teknolojiler Üzerine Araştırma
Soochow Üniversitesi'nden Chen Wenliang, ilk olarak 30 yıl önce kurulan Soochow Üniversitesi'nin doğal dil işleme ekibini tanıttı.Ekip şu anda bilgi alma, metin analizi, bilgi çıkarma, duygu analizi, makine çevirisi ve bilgi grafikleri dahil olmak üzere altı araştırma alanında derin bir uzmanlığa sahip. Akademik birikim.
Daha sonra Chen Wenliang, ekibin farklı Ali ekipleriyle işbirliği projelerini paylaşarak, e-ticaret platformunun iş ihtiyaçlarından kaynaklanan doğal dil işlemenin gerçek sorunlarını birleştirerek ve yenilikçi, en son uygulama teknolojilerinin araştırma ve geliştirmelerini gerçekleştirerek ve büyük ölçekli ve çok alanlı kullanımın nasıl yapılacağını inceledi. Çapraz dil etiketlenmemiş topluluk kaynakları ve doğal dil işleme görevlerinin doğruluğunu ve sağlamlığını iyileştirin. Bağımlılık sözdizimi ağaç bankasının yapı ve analiz modeline, tek ürünlü soru ve cevap metni için duyarlılık analizi yönteminin araştırılmasına, bilgi grafiği yapımı için metin madenciliği algoritmasının araştırılmasına ve Soochow Üniversitesi'nin doğal dil işleme ekibine, nöral makine çevirisi için müdahale teknolojisinin araştırılmasına dayanmaktadır. IJCNLP-2017, IJCAI-2018 ve AAAI-2018 gibi en iyi uluslararası akademik konferanslarda ilgili çalışmalar yayınlandı.
Zhao Dongyan-Metin Anlamsal Anlama ve Bilgi Grafiğine Dayalı Akıllı Uygulama
Pekin Üniversitesi Bilgisayar Bilimleri Enstitüsü'nden Zhao Dongyan ilk olarak insan benzeri zekanın araştırma dinamikleri ile başladı, metin anlamsal anlama teknolojisinin ilgili arka planını tanıttı ve üç araştırma yönünden ilgili teknoloji araştırmalarını tanıttı: semantik madencilik, anlambilimsel anlayış ve diyalog sistemleri.
Anlamsal madencilik alanında, Zhao Dongyan'ın ekibi 13 milyondan fazla RDF bilgisi girişi ve 800.000 varlıktan oluşan bir Çin bilgi grafiği oluşturdu ve dinamik yapı, güven değerlendirmesi, doğal dil sorusu ve cevabı vb. Destekler.
Anlamsal anlama alanında ekip, grafik yapısına dayalı olarak büyük ölçekli bir RDF anlamsal ağ depolama ve sorgu sistemi kurdu.Sogou Zhili'nin 1 milyar bilgi grafiği için ölçülen ortalama sorgu süresi 400 ms'dir.
Diyalog sistemleri alanında, daha olgun arama diyaloğu teknolojisi, çok sayıda diyalog veritabanından aday cevapları arar, kullanıcı sorularını yapılandırır ve en iyi cevabı elde etmek için derin sinir ağı teknolojisi aracılığıyla aday cevaplarını sıralar.
Ayrıca semantik motorlar ve diyalog robotları açısından semantik anlayış, mali müşavir robotları ve hukuk yardımcısı robotları gibi çeşitli teknik uygulamalara da sahiptir.
Qiu Xipeng-Doğal dil işlemede çok görevli öğrenme
Fudan Üniversitesi'nden Qiu Xipeng ilk olarak NLP'nin gelişim sürecini gözden geçirdi ve doğal dil işlemede derin öğrenmenin "utanç verici" pozisyonunun iki ana yönü olduğuna dikkat çekti. Birincisi, NLP görevindeki sinir ağının derin olmamasıdır.Çoğu durumda, sorunu çözmek için bir LSTM katmanı artı dikkat mekanizması yeterlidir; ikincisi, derin öğrenmenin, büyük veri açıklama talebi ile yüksek maliyet arasındaki çelişki ile karşı karşıya olmasıdır. Qiu Xipeng, veri miktarı az olduğunda, çok görevli öğrenmenin birden fazla farklı görevi birlikte eğitmek için kullanılabileceğine dikkat çekti.Birbirini geliştirmek için ortak noktalar bularak, derin öğrenme aynı zamanda doğal dil işlemede çok görevli öğrenmenin uygulanması için koşullar sağlar. Kombinasyon formları arasında sert paylaşım modu, yazılım paylaşımı modu ve özel paylaşım modu bulunur. Bununla birlikte, Qiu Xipeng, çoklu görev öğreniminin çok alanlı görevlerde, çok seviyeli görevlerde ve çok dilli görevlerde farklı seviyelerde hala zorluklarla karşı karşıya olduğunu da belirtti.
Jiang Jing-Match-LSTM Modelinin Doğal Dilde Muhakeme ve Makine Okuma Anlama Alanında Uygulanması
Singapur Yönetim Üniversitesinden Jiang Jing, bu algoritmanın doğal dilde akıl yürütme ve ekip tarafından önerilen Match-LSTM modeli etrafında makine okumayı anlama konusundaki uygulamasını paylaştı. Bu model, Rocktaschel ve diğerleri (2015) tarafından önerilen kelime kelime dikkat temelli model üzerinde gelişir.Metinsel ima görevlerini çözmede gelişmiştir ve SQuAD veri setinde en iyi sonuçları elde etmiştir. Karşılık gelen hipotezin (hipotez) belirli bir öncül (öncül) yoluyla doğru olup olmadığına karar verin, eğer öyleyse, bu hipotez olarak yargılanır, aksi takdirde bir çelişkidir (çelişki).
Heterojen veri füzyonuna dayalı Dai Xinyu öneri sistemi
Öneri sistemleri genellikle geleneksel modellemede matris çarpanlara ayırmaya dayalı puanlama tahminini kullanır. Nanjing Üniversitesi'nden Dai Xinyu, paylaşımında bu modelin iki büyük sorunla karşı karşıya olduğuna dikkat çekti: soğuk başlangıç ve matris seyrekliği. Sosyal ilişki verileri ve ürün inceleme verileri tarafından temsil edilen heterojen veriler, yukarıdaki sorunların çözülmesine yardımcı olabilir. Dai Xinyu, örtük geri bildirime dayalı sıralama önerileri için incelemeleri entegre etmek için bir modelin nasıl tasarlanacağını ve sinir ağı yöntemlerinin öneri sistemine nasıl entegre edileceğini tanıttı.
Öğleden sonraki oturumda, ilk olarak, Alibaba'nın doğal dil işleme ile ilgili teknik ekibinin temsilcileri, Alibaba'nın araştırma ve çalışmada sunduğu bazı zorlukları ve ilgili sonuçları paylaştı. Daha sonra kolejlerden ve üniversitelerden iki öğretmen, ilgili akademik araştırma çalışmalarındaki bazı deneyimlerini paylaştı.
Chen Boxing-Sınır ötesi e-ticarette makine çevirisi uygulaması ve araştırması
Alibaba Group misyondan bahsediyor. Alibaba'nın misyonu "dünyanın hiçbir işi zorlaştırmamak" ve Alibaba'nın çeviri platformunun misyonu "dil engelleri olmadan iş yapmak."
Bu misyona bağlı kalarak Ali çeviri platformundaki toplam çeviri sayısı günde 750 milyona ulaştı ve her gün çevrilen kelime sayısı 260 milyarı buluyor. Bununla birlikte, Chen Boxing'e göre, mevcut e-ticaret çevirisinin hala çeviri kalitesi, çeviri hızı ve hizmet kalitesi gibi birçok sorunu var. Alibaba Çeviri Platformu, yukarıdaki sorunları çözmek için e-ticaret alanında çok sayıda paralel şirket ve bilgi tabanı toplayıp kurdu ve farklı iş senaryolarını hedefli, tasarlanmış kural tabanlı bir çeviri modülü (Kural Tabanlı Makine Çevirisi, RBMT), ifade tabanlı İstatistiksel makine çevirisi modeli (İstatistiksel Makine Çevirisi, SMT) ve sinir ağı tabanlı makine çevirisi modeli (Nöral Makine Çevirisi, NMT) vb. Son olarak Chen Boxing, çevirinin doğruluğu, esnekliği, kullanılabilirliği ve kararlılığının her zaman makine çeviri sistemleri için önemli standartlar olduğu sonucuna vardı. Makine çevirisinin mevcut etkisi mükemmel olmasa da, bazı senaryolarda büyük ticari değer sağlayabilir.
Li Linlin-Alibaba Doğal Dil İşleme Temel Teknolojisi ve Uygulaması
Alibaba'nın NLP temel teknoloji sistemi platformu AliNLP'ye odaklanan Li Linlin, platformun kelime bölümleme, gramer hatası algılama, dikey bilgi tabanı, metin hatası düzeltme çözümleri, uluslararası iş, arama çözümleri vb. Gibi birçok alanda keşif ve girişimlerini tanıttı. Alibaba Cloud'un kentsel beyni ve tıbbi beyni gibi endüstriyel yenilikleri desteklemek için öneriler, reklam, finans, müşteri hizmetleri, eğlence, güvenlik ve diğer iş senaryoları yaygın olarak kullanılmaktadır.Aynı zamanda Alibaba.com, AliExpress ve Lazada'nın uluslararası işlerini de tamamen kapsamaktadır.
Liu Xiaozhong-Metin Madenciliğinde Kullanıcı Değişkenleri
Ali MIT, çok boyutlu çok boyutlu verilere sahip bir işletme için metin madenciliğinde de birçok girişimde bulundu. Paylaşımda Liu Xiaozhong, ekibin akıllı adalet, kamuoyu analizi, metin oluşturma, anti-spam, kişiselleştirilmiş öneri ve olay madenciliği gibi birçok alanda keşif ve pratik uygulamasını tanıttı. Kullanıcı davranış verileri aracılığıyla kullanıcıları daha iyi anlamak, önemli kullanıcı değişkenlerini çıkarmak ve bunları algoritmaların doğruluğunu artırmak için metin madenciliği algoritmalarına ikame etmek. Alibaba "dünyada zor bir iş olmadığını" umuyor. Sonunda, Liu Xiaozhong ayrıca bazı ilginç araştırma yönleri önerdi ve tüm öğretmenleri Ali ile işbirliği yapmaya davet etti.
Biz NLP ekibiyiz, ancak araştırmamız sadece NLP ile ilgili değil. Özellikle aradığımız şey NLP'yi bir algoritma yapmak, ancak daha fazla Kullanıcı bileşeni ekleyeceğiz. Kullanıcı kısmı bugün size tavsiye etmeyi umduğum şeydir. Umarım öğretmen bizimle işbirliği yapar.
Liu Yiqun-İnternet Arama Teknolojisi: Zorluklar ve İlerleme
Tsinghua Üniversitesinden Liu Yiqun, Tsinghua Üniversitesinin NLP alanındaki başarılarını paylaştı. Daha sonra, arama, yerel ve bilgi akışı senaryolarında etkileşim dahil olmak üzere, heterojen ortamlarda kullanıcı etkileşimi davranış modellerinin inşasını tanıttı. Pek çok heterojen sunum yöntemi vardır ve bilgi kaynakları çeşitlendirilmiştir. Davranışsal verileri toplamak için kullanıcı algılama yöntemlerini kullanmaya çalışın ve bu verileri modellemek için kullanın. Bu modeller, kullanıcıların nelere dikkat edebileceğini tahmin etmek ve kullanıcıların dikkatini tahmin etmek için kullanılabilir . Arama sonucu kaynaklarının çok sayıda arama sonucu ve metin sonucu bir arada toplanması ve sıralanması, optimum bir sıralama sağlar. Ekip ayrıca tıklama davranışına ek olarak görsel özelliklerin, yapılandırılmış özelliklerin ve diğer farklı temsil yöntemlerinin entegrasyonunu da araştırdı ve daha iyi çözümler elde etmek için bunları sıralamak için derin öğrenme yöntemlerini kullandı. Liu Yiqun, performans değerlendirmesi, dolandırıcılık tespiti ve CQA hile ile ilgili olarak ekip tarafından yapılan çalışmaların bir kısmını da paylaştı.
Zhao Tiejun, Yang Muyun-Makine çevirisi modellemesi ve optimizasyon sonrası araştırma süreci
Harbin Teknoloji Enstitüsü Yang Muyun
Harbin Teknoloji Enstitüsü'nden öğretmenler Zhao Tiejun ve Yang Muyun, makine çevirisi modelinin iyileştirilmesini ve makine çevirisi çevirisi sonrası optimizasyonu paylaştı. İlki, kelime dağarcığı temsilini ve sözdizimi odaklı dikkat mekanizmalarını geliştirmek için temel olarak yerel bağlam etrafında döner; ikincisi, esas olarak örnek tabanlı çeviri tutarlılığı optimizasyonu ve paylaşım için sözde geri bildirime dayalı düzenleme tutarlılığı optimizasyonu etrafında döner. MIT Lab makine çevirisi araştırmalarına odaklanan ekip, paralel korpus NMT'ye, paralel olmayan korpusa dayalı denetimsiz NMT'ye ve kişisel korpusa dayalı makine sonrası çeviriye dayanan temel teori olarak "çekirdek olarak anlambilim, iki kanat olarak sözdizimsel metin ve sınır olarak biliş" kavramını alıyor. Optimizasyon kilit bir teknolojidir ve kişiselleştirilmiş erişim, bilgi grafiği, diyalog sistemi ve diğer alanlarda kullanılır ve sağlık bilgisi gibi dikey alanlara uygulanır.
Sonunda, Alibaba Group'un Makine Zekası Teknoloji Laboratuvarından Bay Luo Weihua ve Bay Huang Fei semineri özetlediler. İki öğretmen öncelikle seminere uzaktan gelen tüm misafirlere teşekkür ediyor.
Luo Weihua, Ali NLP ekibinin ilk kez ilgili bir seminer düzenlediğini ve gelecekte sizinle daha fazla alışveriş yapmayı umduğunu söyledi. Bu seminerin ana işlevinin iki yönü olduğuna inanıyor.
-
Birincisi düşüncelerin çarpışmasıdır. Luo Weihua, Alibaba ile akademi arasındaki ve akademi içindeki işbirliği üzerine yapılan bu tartışmaların konferanstaki konuklara ilham vereceğini umuyor: "Bence gerçekten iyi bir konferans, pek çok sorunu çözmekle ilgili değil (konferanstaki) değil, kaç sorunun çözülebileceğiyle ilgilidir. Bazı değerli ve yeni sorular. "
-
İkincisi, bir işbirliği köprüsü inşa etmektir. Seminerin paylaşımı kapsamında Alibaba, çok taraflı işbirliğini teşvik etmek için bazı olası işbirliği noktalarını birbirine bağlamayı ve aşılamayı umuyor.
"Endüstrinin ve akademinin her birinin kendi avantajları ve iş bölümü vardır. Ayrıca, bu teknik alanın daha hızlı gelişmesini teşvik etmek ve sorunları çözmek için herkesin avantajlarını ve işleri kendi yönlerinde yapma becerilerini birleştirebileceğimizi umuyoruz. Uzun zamandır çözülemeyen şeyler. "
Öğretmen Huang Fei, Öğretmen Luo Weihua'nın bakış açısına çok katılıyor ve toplantıdan çok faydalandığını söyledi. Alinin iş tanıtımı aracılığıyla, konukların bu fırsatı kullanarak Alideki doğal dil işlemenin önemli stratejik konumu, özellikle de çok dilli doğal dil işlemenin makine çevirisi, özellikle de Alinin uluslararasılaşmasında oynadığı teknik rolü öğrenebileceklerini umuyor.
"Böyle bir senaryo altında, akademik öğretmenlerin ve endüstri araştırmacılarının harika araştırma fırsatlarına ve tamamlayıcı fırsatlara sahip olduğunu düşünüyorum. Endüstriyel araştırma, akademik uygulamaları teşvik edecek bazı yeni sorular ortaya çıkaracak; aynı zamanda öğretmenler Akademideki derin birikim, Ali'nin teknolojik ilerlemesine de büyük ölçüde yardımcı oldu. "
Ayrıca, Ali NLP ekibinin gelecekte doğal dil işleme ile ilgili daha fazla seminer düzenleyeceğine ve araştırma ve uygulamada akademik topluluk ile endüstri arasındaki alışverişi ve entegrasyonu teşvik etmeye devam edeceğine inanıyoruz. Daha fazla bilgi için Leifeng.com AI Teknoloji İncelemesini takip etmeye devam edin.
Alibaba Dharma Akademisi Makine Zekası Teknoloji Laboratuvarı Doğal Dil Anlama Araştırma Grubu ekibinin tanıtımı ektedir:
Alibaba Dharma Akademisi'nin Makine Zekası Teknoloji Laboratuvarı'nın doğal dil anlama araştırma ekibi, kendini akademi ve endüstri ile doğal dil teknolojisini yenilemeye adamıştır. Ekip üyeleri genellikle doğal dil işlemede 10 yıldan fazla Ar-Ge deneyimine sahiptir. Çin, Amerika Birleşik Devletleri ve Singapur'da yaklaşık 100 araştırmacı bulunmaktadır. Eski uluslararası olanlar dahil% 30'dan fazlası doktora derecesine (CMU, Berkeley, Princeton, Tsinghua, Pekin Üniversitesi vb.) Sahiptir. Tanınmış üniversitelerin kadrolu profesörleri, tanınmış araştırma enstitülerinin araştırmacıları vb. Ekip ve üyeler, uluslararası doğal dil teknolojisi yarışmalarında defalarca şampiyonluk sonuçları kazandı (2016 CIKM Cup e-ticaret araması, 2017 IJCNLP gramer hatası düzeltmesi, 2017 ABD Standartlar ve Metroloji Bürosu bilgi çıkarma, 2017 WMT Rusça'dan İngilizce'ye vb.). Yıllar içinde en iyi uluslararası konferanslarda (ACL, AAAI, SIGIR, CIKM) akademik makaleler ve raporlar üretilmiştir.
Ekip esas olarak doğal dil temel teknolojisi, makine çevirisi, metin madenciliği, anlamsal hesaplama, metin arama ve öneri araştırmalarıyla ilgilenmektedir.Alibaba'nın doğal dil teknolojisi sistemini kurmaya, dil zeka teknolojisini ve Alibaba ekonomisinin uygulamasını desteklemeye kararlıdır. "Dil engelleri olmadan iş yapma" misyonu, Alibaba ortaklarını kapsayıcı doğal dil akıllı teknolojisi geliştirme konusunda güçlendirir.
Doğal dil teknolojisinde yenilik yapın ve gelecekteki zekayı keşfedin.
