Çok modlu ve çok dilli vizyon araştırması nerede? Wang William Group'tan Wang Xin ile röportaj
Leifeng.com AI Teknolojisi İncelemesi: Dr. CMU, UC Santa Barbara'da Bilgisayar Bilimleri Yardımcı Doçenti, William Wang çok aktif ve tanınmış bir Çinli bilim insanıdır. Okulun NLP ekibinin başıdır. Araştırma alanı bilgileri kapsar. Çıkarma, sosyal medya, dil ve vizyon, konuşma dili işleme, makine öğrenimi teorisi ve bilgi grafikleri vb. O bir sosyal medya ünlüsü ve araştırma ekibi son yıllarda art arda AI / ML / NLP konferanslarından çok sayıda makale aldı ve en iyi kağıt ödülü veya ödülü için aday gösterildi.
Wang William grubundan Wang Xin, ilk yazar olarak CVPR 2019 En İyi Öğrenci Makalesi Ödülü'nü kazandı. Son ICCV 2019'da Wang Xin, ilk yazar makalesine de sahip. Makalenin teması açısından Wang Xin, çok modlu ve çok dilli öğrenmede çok fazla deneyime sahip.Leifeng.com AI Technology Review'den bir muhabir, ICCV 2019 sitesinde Wang Xin ile röportaj yaptı ve ondan ilgili konuları tanıtmasını istedi.
Lei Feng Network AI Teknolojisi İncelemesi: Öncelikle, lütfen kısaca ICCV makalenizi tanıtın "VaTeX: Video ve Dil Araştırmaları için Büyük Ölçekli, Yüksek Kaliteli Çok Dilli Veri Kümesi" (arxiv.org/abs/1904.03493)
Wang Xin: ICCV makalemiz bu sefer esas olarak yeni bir çok dilli veri seti oluşturdu. Önceki video veri setlerinin tümü İngilizceye dayalıdır, ancak aslında yeryüzünde muhtemelen binlerce farklı dil vardır ve yalnızca Çin'de neredeyse yüz dil vardır, bu nedenle ana dili İngilizce olmayan bu kişiler için çok dilli bir model geliştirin İnsan hizmeti çok gerekli. Bu başlangıç noktasına dayanarak, İngilizce ve Çince verileri topladık ve ardından diğerlerinin daha fazla takip araştırması yapabilmesi ve deneysel temelli çok dilli doğal dil araştırmasını teşvik edebilmesi için aşağı yönlü görevler için çok yararlı olabilecek bir veri seti sağladık.
Lei Feng Network AI Teknolojisi İncelemesi: Bu yıl CVPR'de En İyi Öğrenci Bildirisi Ödülü'nü kazandınız. Ödüllü "Reinforced Cross-Modal Matching and Self-Supervised Imitation Learning for Vision-Language Navigation" (arxiv.org/abs/1811.10092) aynı zamanda vizyon ve dil içindir.
Wang Xin: Evet, bu makale esas olarak gezinmek için vizyon ve dili birleştirme sorununu çözmeyi amaçlıyor. Diğer geleneksel problemlerle karşılaştırıldığında, navigasyon probleminde algılanan görsel bilgi dinamiktir, çünkü bir dil talimatı aldığında robot her seferinde sola, sağa dönebilir ve ileri gidebilir. Yürü; eylem oluşturulduktan sonra gördükleriniz değişir, dolayısıyla dinamik bir süreçtir. Dahası, bu hala sürekli bir süreçtir.Bir dizi eylemden sonra, sonunda robotun başarılı olup olmadığına karar verebilirsiniz.
Lei Feng Network AI Teknolojisi İncelemesi: Bu iki belge arasında herhangi bir bağlantı var mı?
Wang Xin: Hala çok bağlantılı olduğunu düşünüyorum. Görsel dilin bu görevleri nedeniyle, diğer dilleri nadiren düşünmeden veya nadiren düşünerek herkes sadece İngilizce'ye dikkat eder. Ancak video altyazıları konusundaki önceki deneyimimize dayanarak, bunun çok ciddi bir sorun olduğunu gördük; bu nedenle verilerini ve Çince'yi genişlettik. Daha sonra CVPR'de yaptığımız kağıt navigasyondu ve aynı zamanda doğal dile de dayanıyordu.Giriş talimatlarının tamamı İngilizce idi, bu yüzden onu daha fazla dile nasıl genişleteceğimizi düşünmek çok gerekli. Aslında, yakın zamanda yeni bir çalışmamız da var ve teknoloji raporunu arXiv'e ("Çapraz Dil Görme-Dil Navigasyonu", arxiv.org/abs/1910.11301) koyduk. Bu iş, diller arası görsel navigasyon yapmaktır, bu yüzden orada navigasyon veri setinin karşılık gelen Çince bölümünü topladık.
Geçen yıl esas olarak iki ana konu üzerinde çalıştık: Birincisi, çok dilli öğrenme gerekli olmasına rağmen, her dil için modeli eğitmek için büyük miktarda veri toplamanın imkansız olmasıdır.Bu çok zaman alıcı ve alıcı olabilir. Güç ve para. Dolayısıyla, üzerinde çalıştığımız ilk problem, mevcut İngilizce veri setini kullanmak, bir modeli eğitmek ve ardından Çince veya Korece talimatları uygulamak gibi mevcut veri setini nasıl kullanacağımızdır. Bu yüzden makine çevirisi modelini birleştirdik ve ardından orijinal İngilizce talimatları ve makine tarafından çevrilmiş Çince talimatları nasıl kullandığımıza baktık, bunları nasıl birleştirdik ve Çince talimatlar üzerinde elde edilebilen ve tamamen eğitilebilen bir yöntem geliştirdik. Modelin aynı veya benzer performansı.
Başka bir soru da, eğer bazı Çince hedef verilerimiz varsa, diller arası öğrenme modelinin performansını nasıl daha iyi artırabiliriz? İngilizce verilerle karşılaştırıldığında, bu Çince verilerinin miktarı% 0 olabilir, bu da sıfır vuruşlu öğrenmeye karşılık gelir; ayrıca% 10,% 20 veya hatta% 100 olabilir;% 100, tüm İngilizce verilerinin Hepsi toplanmış karşılık gelen Çin verileri var.
Lei Feng Network AI Teknolojisi İncelemesi: CVPR makalesinde, çapraz modal öğrenmenin etkisini artırmak için birçok bileşen kullanılıyor Makalenin başlığına baktığımda kendimi biraz karmaşık hissediyorum. Bunun karmaşık olduğunu mu düşünüyorsun? Ve gelecekte daha basit çapraz modal öğrenme yöntemleriyle benzer sonuçlar elde etmenin mümkün olup olmadığı?
Wang Xin: Bence o makalenin fikri hala çok açık. Çünkü gezinti görevi için, o makaleden önce herkesin kullandığı değerlendirme indeksi basitçe "Başarılı mı?" İdi, ancak sonuna ulaştığınızda "başarı" elde edersiniz. Bununla birlikte, bazen robot talimatlara hiç uymadan sona ulaşmıştır Bu bir başarı olarak kabul edilir ve görev ayarının doğasından sapabilir. Ayrıntılı talimatları seçmemizin nedeni, dil ve vizyon kombinasyonunu ve aralarındaki deneysel bağlantıyı (gruplama) incelemek istememizdir; ajanların talimatlara göre hareket etmesini istiyoruz, bu nedenle ilk başlangıç noktamız geliştirmektir. İkisi arasındaki tutarlılık, böyle bir çapraz modal eşleştirme yöntemi tasarlamıştır. Aynı zamanda böyle bir tutarlılık varsa, onu daha önce görülmemiş yeni ortamları keşfetmek için de kullanabiliriz çünkü modelin gördüğü ortam ile görülmemiş ortam arasında performans farkı vardır ve bu bilgiyi kullanarak bunu yapabiliriz. Bu görünmeyen ortamları önceden keşfederek, mevcut ortama daha iyi uyum sağlayabilir ve daha iyisini yapabilir.
Lei Feng Network AI Teknolojisi İncelemesi: Geçtiğimiz birkaç yılda, çok modlu öğrenme çok popüler oldu.Çok modlu öğrenmenin, darboğazlarla karşılaştıktan sonra CV'nin orijinal görevleri için yeni bir çıkış noktası olduğu söylenebilir mi? Orijinal CV görevlerinden başka hangi yeni görevler türetilmiştir?
Wang Xin: Öncelikle, CV araştırmasının bir darboğazla karşılaştığını kabul etmeyebilirim. Belki de diğer alanlardaki bazı insanlar da dahil olmak üzere birçok kişi, ImageNet'in zaten çok yüksek puan aldığını ve insan puanlarını aştığını söylüyor, ancak CV okuyan insanlara yalnızca nesne tanıma çalışıyor olsalar bile sorarsanız, bulursunuz Aslında, gerçek hayatta hala birçok çözülmemiş husus var. ImageNet çok büyük olmasına rağmen, tüm dünyadaki çeşitli görüntü verileriyle karşılaştırıldığında verilerin yalnızca çok küçük bir bölümünü temsil etmektedir .. Hala çözülmemiş pek çok yaygın olmayan görüntü tanıma durumu vardır. Bu nedenle, CV araştırmacıları bu sorunları çözmek için ellerinden geleni yapıyorlar ve daha pratik problemleri çözmek için ImageNet ile sınırlı kalmayı bırakıyorlar.
Öyleyse aslında vizyon ve dili birleştirme alanı son yıllarda daha popüler hale gelmemiş, uzun yıllardır var olmuştur ve bazı insanlar derin öğrenme çağından önce üzerinde çalışmaktadır. Ancak derin öğrenmenin ortaya çıkmasından sonra, yaklaşık 2014 veya 15 yıl, herkes bu alanda çok çalışmaya başladı. Çok modlu bir dünyada yaşadığımız için, insanlar olarak, görsel yakalamadan bilişe kadar sadece gözlerimizle görmüyoruz, sonra dil aracılığıyla iletişim kurup ifade etmiyoruz ve hatta bir şeyler kaydetmekteyiz; ve dilin kendisi de dayanmaktadır. Gördüklerimiz gelişiyor. Bu yüzden, son tahlilde, iki şeyi ayrı ayrı incelemenin bir seçim olduğunu düşünüyorum, ancak sonuçta yaptığımız bilimsel araştırma kesinlikle CV ve NLP'yi ve hatta diğer yöntemleri birleştirmek. Ve diğerini geliştirmeden veya kombinasyonlarını geliştirmeden önce birinin tamamen gelişmesini beklememiz gerektiğini düşünmüyorum, çünkü asla zirveye ulaşamayacağınızı göreceksiniz.
Lei Feng Network AI Teknolojisi İncelemesi: Çoklu modalitelerden gelen bilgilerin tutarlı bir temsilini bulmanın, multimodal öğrenmenin kutsal kasesi olduğu söylenebilir. Bu alandaki mevcut sınır ilerlemesi nedir? Öne çıkan belgeler nelerdir? Kutsal Kase'den ne kadar uzaktayız?
Wang Xin: Aslında, vizyon dili alanında, görüntü açıklaması ve görsel soru cevap gibi nispeten geleneksel görevler halihazırda daha fazla olasılığı araştırmaktadır. Biri görevin bakış açısından. Örneğin, yaptığımız gezinme görevi statik dayanmaktadır. Bilgi dinamik bir ortama yükseltilir; ayrıca insanlarla ve dünyayla etkileşim kurmak için çok ilginç bir yön olan somutlaştırılmış aracı öğrenimi de vardır.
Hâlâ model ön eğitimi üzerinde çalışan insanlar var, BERT gibi, BERT'in eğitim öncesi modeli de NLP alanında büyük katkılar sağladı. Aslında, vizyon ve dilin ortak eğitimi de çok anlamlıdır, pek çok insan, özellikle son aylarda, birçok insan vizyon ve dili birleştiren ön eğitim üzerinde çalışıyor ve daha sonra bu eğitim öncesi stratejiyi geliştirmek için kullanıyor. Akış aşağı görsel dil görevlerinde performans.
Ek olarak, dil öğrenmek İngilizce öğrenmek anlamına gelmez, bu yüzden çok dilli araştırmanın, özellikle vizyonla birlikte çok dilli araştırmanın çok gerekli olduğunu düşünüyorum. Çünkü her zaman farklı diller arasında paralel külliyat toplayamayız ve diğer bazı modsal bilgiler de dahil olmak üzere görsel bilgiler, tıpkı farklı ülkelerden, farklı dillerden ve farklı geçmişlerden insanlar gibi farklı diller arasında ortaktır. Önde bir kule gördüğünüzde ne olduğunu anlayacaksınız, bu dil çevirisini bile gerektirmiyor - yani görsel bilgi, farklı dilleri birbirine bağlamak için bir köprü olarak kullanılabilir, bu da çok ilginç bir yön. Ayrıca, bazı yapısal bilgileri daha iyi öğrenmek için bilginin vizyon ve dile nasıl entegre edileceği.
Lei Feng Network AI Teknolojisi İncelemesi: Bu yönlerdeki hangi son makaleler hakkında daha çok endişelisiniz?
Wang Xin: Daha önce de belirtildiği gibi, birden çok dilimiz var. Yakın zamanda bu makaleyi ICCV'den aldık (arxiv.org/abs/1904.03493) ve diller arası görme-dil gezintisi (arxiv.org/abs/1910.11301) hakkında bir makale hazırladık; Eğitim video dili modeli Şu anda çok sayıda makale var, özetlemek için daha önce Twitter'da bir liste yayınladım (bilgi için buraya bakın). Son zamanlarda, Microsoft'tan bir kişi birleşik bir model olan bir ICLR makalesine katkıda bulundu.Ön eğitim yoluyla 7 ila 13 görevde en iyi sonuçları elde etti; navigasyon, önceki navigasyon gibi insan ve dünya ve çevre kombinasyonu açısından ve UW University of Washington'daki bir araştırmacı yakın zamanda konuşmayla ilgili bazı sorunlar için, diyalog şeklinde navigasyon yapmak için bir vizyon ve diyalog navigasyonu geliştirdi Robot sadece talimatları izleyip harekete geçmekle kalmaz, robot yeri anlamazsa yanıt da verebilir. Gelin ve sorular sorun.
Leifeng.com AI Teknolojisi İncelemesi : Grubunuz başka hangi araştırma yönlerini planlıyor?
Wang Xin: Az önce bahsettiğim çok dilli araştırmaya ek olarak, özellikle dilin rehberliğinde dış çevre ile etkileşim kurmayı umuyoruz. Bu nedenle, ister iç mekan ister dış mekan navigasyonu veya görevler gerçekleştirme olsun, navigasyonla çok ilgileniyoruz, bu yön çok ilgileniyor ve yeni sonuçlar almaya devam edeceğiz. Ek olarak, kendi kendini denetleyen öğrenme, etiketlenmemiş verilerden daha iyi temsilleri öğrenir.Ayrıca bu alanda araştırmalar da yapıyoruz. Ek olarak, grubumuz bilgi grafikleri, bilgi muhakemesi, doğal dil üretimi, sosyal bilimler, makine öğrenimi adaleti, hesap verebilirlik ve yorumlanabilirlik araştırması vb. Dahil olmak üzere NLP'nin diğer birçok alanında derinlemesine araştırmaya sahiptir.
Lei Feng Network AI Teknolojisi İncelemesi: Geçmiş deneyimlere dayanarak, herkes en iyi konferanstaki ödüllü makalelerin genellikle uzun vadeli etkisi büyük olan makaleler olmadığı sonucuna varmıştır (Test of Time Ödülü ile ölçülmüştür). Bu fenomen hakkındaki fikriniz nedir?
Wang Xin: Her şeyden önce uzun vadeli bir etki var, farklı insanların farklı tanımları olabilir.İnsanlar genellikle alıntı sayısına bakar.Bu şekilde daha popüler alanlardaki makaleler daha fazla alıntı alabilir.
Ancak sizin de söylediğiniz gibi, uzun vadeli etkisi olan ödüller için, ödüllü makaleler genellikle o zamanki en iyi makaleler değildir, çünkü herkesin gelecekte bir makalenin ne kadar etkisinin olacağını fark etmesi zordur. Ancak şu anki perspektiften, tüm ödüllü makalelerin benzersiz ve olağanüstü olduğunu ve hepsinin bazı yeni görüşler sağladığını düşünüyorum, bu da en azından mevcut akademik araştırmalara çok fazla düşünce getirecek; Çok sağlam ve mükemmel olmalı.
Lei Feng Network AI Teknolojisi İncelemesi: Görme ve Dil Arasındaki Döngüyü Kapatma Atölyesi'nin organizatörlerinden birisiniz, 28'inde görmeye gittiğimizde çok popülerdi. Neden bu atölye çalışması yapılıyor? Bu yıl üçüncü çalıştayda önceki ikisine göre değişiklikler neler?
Wang Xin: Evet, bu atölye bu yıl şimdiden üçüncü ve şimdiden çok etkili; her seferinde farklı bir odak noktası olacak, bu sefer aynı anda iki yarışma düzenledik, biri VaTeX yarışmamız. Diğeri, video açıklamasının uzun bir dil oluşturma yarışmasıdır (LSMDC). Çünkü geçmişte ilgili alanlardaki bilimsel araştırmanın ağırlıklı olarak görüntü açısına odaklandığını düşünüyoruz, ancak aslında onu düşündüğünüzde video bu dünyadaki şeylerin dinamik ilişkisini daha iyi yakalayabilir çünkü nesnenin kendisi de dahil olmak üzere daha karmaşık bilgilere sahiptir. Görsel bilgi, nesnelerin hareketi, nesneler arasındaki mekansal ilişki, nesnelerin zamansal ve mekansal ilişkileri, ayrıca işitsel ve sesli bilgileri de içerebilir.Bu nedenle görüntüden videoya böyle bir geçiş çok gerekli ve bence daha değerli Birçok insan, enerjisini çalışmaya ve araştırmaya ayırır.
Elbette atölyemiz video açıklamaları ile sınırlı değil. Gördüğünüz gibi, davet ettiğimiz konuşmacılar aslında farklı araştırma geçmişlerinden, bazıları tamamen görsel, bazıları vizyon ve dilin birleşiminden oluşuyor ve hatta NLP profesörleri sağduyu ve bilgi gibi şeyler hakkında konuşmak için geliyor. Sonuç olarak, farklı disiplinler arasındaki etkileşimi teşvik ederek, vizyon ve dil alanının gelişimini gerçekten teşvik ettiğimizi umuyoruz.
Lei Feng Network AI Teknolojisi İncelemesi: VaTeX yarışmasını daha ayrıntılı olarak tanıtalım
Wang Xin: Görsel ve dilbilimsel deneysel araştırmalar için çok dilli araştırma bu alanda çok gereklidir. Bu, bizi böyle bir şeyi teşvik etmeye ve herkesin öneminin farkına varmaya sevk eden büyük bir nedendir; ve video da Çok önemli. Bu yüzden herkesin katılması ve daha iyi çalışması için böyle bir yarışma düzenledik.
Bence bu yarışmanın da çok başarılı olduğunu düşünüyorum.Dünyanın dört bir yanından 57 takım var Şampiyonayı Çin Bilimler Akademisi Otomasyon Enstitüsü'nün ekibi kazandı. Aslında, böyle bir şeyi teşvik ettiğinizde, herkes çok ilgilenir ve katılmaya ve daha derin bir araştırma düzeyini keşfetmeye isteklidir.Örneğin, CIDEr puanı adında bir değerlendirme göstergesi vardır. Şampiyonun puanı, makalede önerdiğimizden daha iyidir. Temel model düzinelerce nokta ile iyileştirildi ve bu şaşırtıcı bir sonuç.
Yarışmamız bir İngilizce ve bir Çince parkur içeriyor. Birincisi Avustralya, Adelaide Üniversitesi ve Ulusal Halk Kongresi'nden bir takım, diğeri Otomasyon Enstitüsü'nden başka bir takım. Ayrıca iyi bir performans elde ettiler. Ve yöntemleri de anlamlıdır. Özetlemek gerekirse, tüm ekiplerin videoda görüntü düzeyinde, eylem düzeyinde görsel bilginin yanı sıra zamanlama düzeyi ve hatta ses dahil olmak üzere farklı modsal bilgileri keşfetmeye gideceğini göreceksiniz. Böyle bir model kurdu.
Bununla birlikte, dilin kendi perspektifi gibi, çok az insanın dikkat ettiği bazı yönler vardır. Belki de herkes temelde CV yapan bilimsel araştırma ekibindendir, bu nedenle videoda daha fazla enerji vardır; ancak dil ve açıklama tarafında keşif yapan daha az insan var ve bunu yapmak için hiç kimse BERT modelini kullanmadı. Aslında, bunu yapmak istiyorsanız, daha iyi çok modlu hizalama efektleri ve daha iyi açıklama üretimi elde etmek için bir ön eğitim modeli kullanabilir veya hatta kendiniz bir model önerebilir ve bunun ön eğitimini yapabilirsiniz.
Lei Feng Network AI Teknolojisi İncelemesi: Bu yıl ICCV'ye katılmak konusunda ne düşünüyorsunuz?
Wang Xin: Her yıl, herkes CV araştırmalarına giderek daha fazla ilgi duyuyor ve giderek daha fazla insan katılıyor.Bu yıl, CVPR ve ICCV'nin 7.000 hatta 10.000 kişi katıldığı için, insan sayısındaki artış aynı zamanda insanların değiş tokuşu da olabilir. Daha. Benim için, konferansa giderek daha fazla öğrencinin geldiğini görüyorum.Bu çok iyi bir şey.Bu bilimsel araştırma alanının daha iyi gelişmesini desteklemek için herkes birlikte çalışacak; ve endüstri de CV ve NLP'miz konusunda çok endişeli Araştırma ile çok ilgileniyorum Sergi alanında dünyanın her yerinden birçok farklı şirket görüyorsunuz ve daha sonra bilimsel araştırma sonuçlarını ürünlere daha iyi nasıl uygulayacaklarıyla daha çok ilgilenebilirler.Bence bunların hepsi çok iyi.
Lei Feng Network AI Teknolojisi İncelemesi: CVPR ile ICCV arasındaki farkın ne olduğunu düşünüyorsunuz?
Wang Xin: Aslında, ICCV'ye ilk kez katılıyorum, ancak birçok CVPR oturumuna katıldım. İki konferans arasındaki farkı söylemem de benim için zor, ancak tartışılan konularda çok fazla fark olmadığını düşünüyorum, ancak ICCV Amerika Birleşik Devletleri dışında düzenlenebilir ve CVPR'nin çoğu Amerika Birleşik Devletleri'nde, dolayısıyla ICCV katılımcıları Amerika Birleşik Devletleri dışındaki ülkelerden daha fazla uluslararası araştırmacı olacak. Amerika Birleşik Devletleri'nin daha katı vizeleri olduğundan, diğer ülkelerden daha az sayıda araştırmacı olabilir.
Lei Feng Network AI Teknolojisi İncelemesi: Bir soru daha sorayım, Çinliler son yıllarda en iyi konferanslarda çok iyi performans gösterdiler, ancak bu sefer ICCV ödüllerinde bazı pişmanlıklar var. ICCV'nin bu oturumunda Çinlilerin genel performansını nasıl değerlendirirsiniz?
Wang Xin: Bunun üzücü olduğunu düşünmüyorum, çünkü özellikle CV alanında Çince'nin giderek daha fazla öne çıktığını düşünüyorum Bazen makalelerin en az yarısının Çinli yazarlar olduğunu bile görebilirsiniz. Ve makale en iyi makale veya en iyi makale adayı olarak seçilmemiştir, bu onların çalışmalarının iyi olmadığı anlamına gelmez.Aslında, tüm sözlü rapor kağıtları veya poster sunum kağıtları, kabul edilen tüm bildirilerin önemli noktaları vardır.
Aslında orijinal ödüller öznel görüşler de içeriyordu, bence herkes kendi araştırma içeriğine daha fazla dikkat etmeli, etkili işler yapmayı ve kendi çalışmalarını geliştirmeyi umuyor. Biraz akademik öngörüde bulunun ve bir dizi beceriyi istiflemek ve puanınızı bir veya iki puan artırmak yerine araştırma yönünün nereye gitmesi gerektiğini görün. İyi bir iş çıkarmaya devam ederseniz, tez ödülü sizi bulacaktır - amaç ödül ile bilimsel araştırma yapmak ve ödül seçim yöntemine hitap etmek, daha iyi bilimsel araştırmalar yapmak.
Lei Feng.com AI teknolojisi inceleme raporu. Lütfen daha fazla akademik rapora ve en önemli toplantı gözlemlerine dikkat etmeye devam edin.
