AI Zirvesi bir ticaret fuarına dönüşüyor ve NeurIPS ve ICML'nin orijinal görünümüne geri dönmeyecek!
Xin Zhiyuan Rehberi CMU Doçent Doktor Zachary Lipton, NeurIPS ve ICML gibi konferansların sektör tarafından yavaş yavaş aşındığına inanıyor. Artık akademik konferanslar gibi görünmüyorlar ve endüstri fuarları haline gelmiyorlar. Uzun vadede olmayacaklar! Konferansın akademik yapısını pekiştirmek için derhal harekete geçilmelidir.Eğer akademisyen olmayanlar bilet alır ancak akademisyenler katılamazsa, bu tür konferanslar indirgenmelidir!
NeurIPS 2018'de kaç katılımcı katıldı?
8000'den fazla mı? Tebrikler-hayır!
Dişlerimi fırçalamak için dışarı çıktığımda biletim yoktu, araştırmacılar katılmak istediler ve katılamadılar, heyecanı izleyen meslekten olmayanlar kalabalıktı. Poster Oturumu hareketli ama gerçekten edebiyattan bahseden pek fazla insan yok. Expo endüstrisi sergi salonları görkemli bir şekilde talep ediyor ve kurumsal kokteyl partileri sendeliyor ...
Evet, bu bugünün yapay zeka konferansı.NeurIPS ve ICML temsilcileri artıyor. Atmosfer giderek daha popüler hale geliyor, sponsorlar bile para verirken yer kapmak zorunda.
Aynı zamanda, konferansın akademik tadı gittikçe zayıflıyor ve gerçekten araştırma yapan kişiler konferansa gelmek istemiyor.
Bu yıl NeurIPS'e katıldıktan sonra, CMU Doçenti Zachary C. Lipton gerçek duygularını yazdı: Bir akademik konferans tam olarak ne olmalıdır? Bilgisayar bilimi alanındaki akademik konferanslar bilmeden ticari şirketler tarafından işgal edilmiştir; katılımcı sayısı ve sunulan makale sayısı, bu alandaki araştırmanın gerçek gelişimini açıklayamaz ve ateşli atmosfer araştırmada bir atılımı temsil etmez.
Akademik konferansları ticarileştirmek kolaydır, ancak tersine çevirmek zordur. Hızlı bir şekilde önlem almazsanız, sektördeki en son araştırmaları seçip yayınlayan konferanslar, büyük şirketlerin derinlemesine araştıracağı bir yer olacak ve NeurIPS ve ICML gibi yapay zeka alanındaki akademik zirveler CES benzeri sektör ticaret fuarları haline gelecektir.
Bir araştırmacı olarak Lipton şunları istiyor: Henüz çok geç olsa da akademik konferansın orijinal görüntüsünü verelim!
Lipton "buluşma" nın anlamından yola çıktı ve sonunda statükoyu nasıl tersine çevirebileceğine karar verdi Makale kısa değil, ama kesinlikle birçok araştırmacının özlemlerini dile getiriyor.
"Buluşma" nın tam olarak ne olduğunu hiç merak ettiniz mi?
"toplantı" bu ne hakkında? Genel tanım, bu terime yalnızca belirsiz bir genel bakış sağlar: "İki veya daha fazla kişi, ortak ilgi alanlarını tartışmak için buluşur" (Webster Sözlüğü a); "Genellikle resmi bir fikir alışverişi" (Webster Sözlüğü b); "Resmi tartışma" (Google a).
Toplantı nedir? Her yerde tüm toplantılar toplantı mı? Toplantının ne kadar resmi olması gerekiyor? Toplantının sınırları kararlaştırılmalı mı? Bir isim belirtmeniz mi gerekiyor? Tartışma nedir? Bir toplantı kaç tartışma düzenleyebilir? Alt toplantı nedir?
NeurIPS 2018'de, bir dizi ekran, konuşmacının nerede durduğunun belirlenmesini zorlaştırdı. Kaynak için orijinal kaynağa bakın.
Bağlam olmadan kelime neredeyse boştur. Bununla birlikte, bilgisayar bilimi geçmişi gibi profesyonel alanlarda, kelimeye kesin bir anlam verilir. Google ayrıca daha popüler bir tanım sağlar:
Genellikle birkaç gün süren resmi bir toplantı Katılımcılar, özellikle bir dernek veya kuruluş tarafından düzenli olarak düzenlenenler olmak üzere ortak ilgi alanlarına sahip kişilerdir.Ancak bu tanım çok belirsiz olduğu gibi kurumsal toplantılar, ticari fuarlar, seminerler ve yayın konferansları için de geçerlidir. Uluslararası bir makine öğrenimi konferansı olan ICML'yi kapsar ve ayrıca animasyon sergilerine de atıfta bulunabilir.
Karikatür Sergisi
CS akademik konferansı kötüye gitti
Akademide bile bu terimin anlamı oldukça farklıdır, farklı alanlardaki akademisyenler "toplantı" derken çoğu zaman birbirlerini anlayamazlar. Örneğin, tıp uzmanları arasında "toplantılar", iletişim ve sürekli eğitim forumlarıdır.
Ekonomistler ve iş adamları arasında yaşayan bir bilgisayar bilimcisi olarak, meslektaşlarım için "konferansların" araştırma, iletişim, öğretim ve işe alımları yaymak için bir forum olduğunu keşfettim. Bildiriler sunarken, makalenin özetinin genişletilmesi temelinde gözden geçirilirler. Bunlar tam olarak bilgisayar bilimcilerin "atölye çalışmaları" dedikleri şeydir.
Daha geniş bilgisayar teknolojisi endüstrisinde, "toplantılar" genellikle " Fuar "(Fuarlar). Bunlar arasında CES, Amazon re: Invent, Google I / O, O'Reilly Strata vb. Gibi en ünlü konferansların geniş, kapsamlı ve aktif bir kitlesi var. Kayıt ücretleri dışında herhangi bir yeterlilik yok. Uygun değiller. İş ve iş geliştirme için profesyonel bir toplantıdır. Katılımcılar ve konuşmacılar inovasyonu ve yıkımı teşvik etse de, merkezdeki inovasyon ve yıkıcı insan bilgisinin ön saflarında ilerlemeler değil, ürünler ve iş modelleridir. Bilim adamları konuşabilir, ancak yalnızca araştırmayı basitleştirmek için.
Bilgisayar biliminde, toplantıların biçimi ve düzeni diğer akademik alanlardakilerle aynıdır. Akademisyenler temaları sektördeki meslektaşlarıyla paylaşırlar. Bununla birlikte, bilgisayar biliminde konferansın varsayımsal anlamı yeni bir anlam kazanmıştır. En iyi konferansın ana işlevi, alandaki ana akademik başarı yayınlama yeri olarak hizmet etmektir. .
En önemli toplantı hazırlıkları, toplantıdan birkaç ay önce bir meslektaş değerlendirme süreci yürütmeyi içerir (NeurIPS inceleme süreci, programın 8 ay önündedir). Esas konferans aslında tek önemli konferanstır ve her konferansta en çok endişe duyulan konu o yıl yayınlanan makalelerin tanıtılması ve tanınmasıdır. Bu yerlerin varlığı, bu amaca ulaşmanın bir yolu olarak bilginin ilerlemesini ve ardından mesleki gelişimi teşvik etmektir.
Konferansın özel yapısı konusunda akademik ve teknik çevreler arasında büyük farklılıklar var. Bununla birlikte, bilgisayar bilimi konferanslarının uygulamasında ve organizasyonunda, nadiren sormaya ihtiyacımız var - CS konferansı nedir? Amacı nedir? Konferansa kimler gelmeli? Toplantıda hangi faaliyetler gerçekleştirilmelidir? Bu sorular her zaman cevaplar oluşturmuştur, bu yüzden asla cevaplanmaları gerekmez.
Kim gelecek? Her zaman gelenler. Onlar niye burada? En son çalışmalarını göstermek ve diğer insanların en son çalışmalarını göstermelerini izlemek için. Hangi faaliyetler gerçekleştirilmelidir? Yemek yiyin, dersleri dinleyin, yemek yiyin, posterleri sergileyin, yemek yiyin ... Detaylar organizatör tarafından belirlenir. Bazı toplantıların daha iyi yemekleri vardır. Bazılarının daha iyi konuşmaları var. Ancak, toplantının niteliğinin nadiren dikkate alınması gerekir.
Bu tür soruları sormaya her zaman gerek olmadığından, ML topluluğu son değişikliklerden şaşırıyor. Ücretsiz kayıt sağlamaya devam etsek de, katılımcıların yapısı ve amacı değişti. Sponsorluk standı 2013 yılında özel bir katlanır masadan sergi salonundaki büyük bir enstalasyona dönüşürken, daha büyük bir oda kiraladık ve ardından daha yüksek bir sponsorluk ücreti talep ettik.
Konferans biletleri yıldan yıla daha hızlı tükendi. Çekirdek araştırma grubundaki kişilerin (kabul edilen bildirilerin yazarları dışında) katılmayacağını kabul etmeliyiz.
Bilgisayar bilimi alanında "konferans nedir" diye sormaya alışkın değiliz, ancak birdenbire bu konferansların değiştiğini keşfettik, ancak değişikliği kimin (eğer varsa) belirlediğini bilmiyoruz.
Sadece birkaç yıl içinde NeurIPS'in tarzı değişti
NeurIPS ile ilk kez 2013 yılında birinci sınıf doktora öğrencisiyken başladım. O zamanlar konferans hızla gelişiyordu ve tanıştığım neredeyse herkes bu alanda akademik çalışmalar yapıyordu. Sponsor kısımda Amazon, Google, Microsoft Research, Facebook ve Skytree'ye ait 10'dan az katlanır masa bulunmaktadır.
Bu şirketler, esas olarak araştırma stajyerlerini işe almaya odaklanmış gibi görünüyor. Zuckerberg olay yerinde özel bir etkinlikte göründü ve insanları izlemeye çekti.
Büyük konferanslardaki katılımcı sayısındaki değişiklikler. (Kaynak: AI Endeksi raporu)
İki yıl sonra Montreal'de düzenlenen NeurIPS 2015 konferansına katıldım.Konferansın ölçeği büyük ölçüde artmış olsa da, Katılımcıların büyük çoğunluğu hala aktif araştırmacılar . Büyümenin, olayların doğasındaki temel bir değişiklikten çok ölçekle ilgili olduğu söylenebilir.
Konferansın büyümesinin bir belirtisi olarak, izleyicilerin yarısı açık büfe kahvaltı salonunda konferans özel raporunu izlemek zorunda kaldı ve açık büfe kahvaltı salonu alanı ikiye katlanarak tam bir seyir alanı haline geldi. İlk işaretler sadece ölçeğin arttığı değil, doğanın da değiştiği ... Sponsor stantları uzun süredir konferansın bir özelliği haline geldi ve resmi olmayan toplantılar konferans sonrası sosyal aktivitelere hakim olmaya başladı.
Bu değişiklikle birlikte ücretsiz içecekler ve sınırsız atıştırmalıklar geldi, ancak bu aynı zamanda konferansın salt fikir alışverişi yeri olarak rolünü tehdit etti. Zaten parti Sosyal yapıyı yapay olarak bölmek . Parti kültürüne bilinçli olarak karşı çıkmıyorsanız, o zaman herhangi bir gecede kimin göreceğiniz, öncelikle aynı partiye kimin davet edildiğine bağlıdır. O yıl, Microsoft Research Labs tarafından düzenlenen bir toplantıda gelecekteki bir araştırma danışmanıyla tanıştım. Konuşurken DeepMind tarafından barındırılan başka bir foruma gittik, ancak DeepMind davet listesinde sadece birimiz olduğu için konuşmanın kesilmesi gerekiyordu.
Ancak o zaman, Katılmak isteyen tüm bursiyerler en azından kayıt olabilir (Fonlar izin verdiği sürece).
"Konferans" dan "sirke"
Önümüzdeki yaz, ortak yazarım David Kale beni O'Reilly'nin büyük bir endüstri konferansı olan Strata + Hadoop World konferansında bir konuşma yapmaya davet etti. ML topluluğunun üyeleri NeurIPS'in giderek daha tuhaf hale geldiğinden şikayet etmeye başlamış olabilir, ancak bu toplantıda Strata'da gerçek bir sirk gördüm.
Hedef kitlenin kimlikleri arasında yöneticiler, geliştiriciler, satış personeli, çözüm mimarları, pazarlamacılar ve yatırımcılar bulunur. Çoğu konuşma modaya uygun kelimelerdir. Çoğu konuşmanın teknik derinliği bir basın bülteni kadar iyi değildir. NeurIPS sponsorluk odasında çok sayıda tişört ve küçük hediyeler var, bu biraz gereksiz görünüyor, ancak Strata'da bu tür şeyler bir zemini kaplıyor. NeurIPS sponsorluk standı biraz garip olsa da. Ancak Strata'da sergi odası konferansın özünü oluşturuyor. Firma temsilcileri, köpük ile inşa edilen sergi salonunda satış fırsatlarını araştırdı. Neon ışıklar ve yüksek çözünürlüklü ekranlar standarttır.
İlk kez araştırmacıların akademik zirveye katılmaları reddedildi
Sadece iki yıl sonra, NeurIPS 2017'nin (Long Beach, California) ilk aşamalarında araştırmacılar, kayıtların (giderek "biletler" olarak anılacaktır) seminer belgelerinin kabulünün sonuçları açıklanmadan önce tükendiğini görünce şaşırdılar. Kabul edilen sempozyum bildirilerinin bazı yazarları sonunda ek yer almasına rağmen, tüm bildiri yazarları katılamadı.
Belki de ilk kez, araştırma makalelerinin yazarlarının (ilk yazar hariç) konferansa katılmaları reddedildi. Ve öncelik, akademik olmayan çok sayıda insana - işverenler, yöneticiler, yatırımcılar, geliştiriciler ve gazeteciler - sırf oy almak için daha hızlı oldukları için verilir.
Bu saçma fenomenden esinlenerek, kısa bir süre sonra hicivli bir makale yazdım ve ICML'nin daha bildiri çağrısı duyurulmadan önce satıldığını iddia ettim. Hiciv olarak sınıflandırılmasına rağmen, bu alandaki garip olaylara alışkın olan birçok okuyucu hala bunun doğru olduğunu düşünüyor. Bu makale bazı AI haber bültenleri (New York Üniversitesi'nin resmi veri bilimi bülteni dahil) tarafından yeniden basıldı ve haber olarak dağıtıldı. Bazı ICML organizatörleri içtenlikle bu makaleyi geri çekmemi istediler ve bu makale bariz bir ironi içerse de, potansiyel katılımcıların acı çekmesine neden olacağından endişelendiler. Okurları gerçeğin bu kadar saçma bir hale geldiğini fark etmeye teşvik etmek için hicvin temel amacının bu olduğu görüşüme katılmıyorlar.
Bu yıl 3-8 Aralık arasında 2018 NeurIPS konferansına 8.000 araştırmacı kaydoldu. Benzer şekilde, arz eksikliği nedeniyle katılımcılar incelendi.
Arz ve talep arasındaki dengesizlik o kadar ciddi ki Konferans biletleri 12 dakikada tükendi Yukarı.
Belki bu ilk defa (Herhangi) konferans bildirisi olmayan, birinci yazar seminer bildirilerine sahip olmayan veya toplulukta üst düzey statüsü olmayan çoğu araştırmacı bu konferansa katılamaz. Bazı küçük yazarlar, akademik ilgi için değil, bir kayıt fırsatı olma olasılığı% 40-50 olan bir piyango bileti almak için seminer için gönderilen materyalleri bir araya getirdiler. Ancak, birçok araştırmacı izlediği için boş koltukların% 25'inin çoğu izleyiciler tarafından satılıyor.
Bu yıl ilk defa salonda bir önceki yıla göre daha az araştırmacı olduğunu gördüm. Bunun nedeni, araştırmacıların kabul edilmemesi, araştırmacıların toplantıya katılmamayı seçmesi ve toplantıya katılan kişi sayısının daha fazla olması olabilir. Davet edilen görüşmelerin çoğu çekici olmasına rağmen oldukça popülerdir, bu yüzden TED'de çok popüler olmalıdırlar. bence, Toplantının niteliği araştırmadan açıkça saptı .
NeurIPS kapsayıcılığa doğru büyük bir adım atmış olsa da - makine öğrenimi alanındaki kadınlar ve siyahlar hala bu konferansın öne çıkan konularıdır - geleneksel olarak kimsenin endişelenmesi gerekmeyen boyutlarda büyük eksiklikler var. Konferans, araştırma topluluğunun kendisinin katılımını sağlamaya çalışır. Kapasite sınırlaması ve kayıtların artmasıyla birlikte kayıt, sıfır toplamlı bir oyun haline geldi.
Çok sayıda katılımcı araştırmanın iyi yapıldığı anlamına gelmez; akademik konferanslar akademisyenleri bir araya getirmelidir
Bu cansız raporlar, ister medya tarafından ister içeriden yazılsın, örneğin AI Endeksi 2018 Yapay zeka alanının gelişimini kabaca özetlemek için katılımcı sayısı, sunulan bildiri sayısı, yatırım miktarı ve diğer veriler aracılığıyla. Bu istatistikler çok iyi ve AI'nın gelişmekte olduğunu gösteriyor, ancak kendi başına anlamsız. Konferansın ne olduğu, makalenin neyi temsil ettiği ve AI meslektaşlarının gerçekte ne yaptıkları, bu göstergelerin çıkarılması sürecinde kaybolmuştur. Araştırmanın gerçek durumu bu göstergelerden tamamen görünmez .
İnternet çağındaki haberleri bir uyarı hikayesi olarak görmeliyiz. Tüketiciler tek bir tüketim noktası modeline yöneldikçe, "başarıyı" temsil eden nicel göstergeleri (tıklamalar, izlenimler ve hayranlar gibi) birdenbire izleyip gözlemleyebiliyoruz ve haber medyasının özellikleri hızla değişiyor.
Bu kısa görüşlü veri göstergelerini takip etme sürecinde, haber haberciliğinin doğası hakkındaki anlayışımızı kaybettik. Günümüzde, sadece çevrimiçi içeriğin "başarısını" ölçmek için temel göstergelere bakıldığında, içeriğin haber mi yoksa pornografi mi olduğunu söylemek imkansız. Yapay zeka alanındaki gelişim ve başarı ölçümüz, makine öğrenimi ve endüstri ticaret fuarları arasında ayrım yapamaz aynı.
Akademik konferans aniden, AI alanının tüm üyelerinin dikkatini uyandıran ve akademik konferansın uygun doğasını pekiştirmek için derhal harekete geçilmesini sağlayan bir ticaret sergisine dönüşür En önemli şey akademi dünyasından insanları bir araya toplamaktır. .
Aktif ve istekli bir doktora öğrencisi, sergiye sırf meslekten olmayan kişiler katıldığı için geri çevrilmemelidir. Katılabilenler için bile, akademik konferansların değişen zevki artık aralarından daha fazla araştırmacının konferansa katılmamasına, ancak zamanlarını daha küçük, daha akademik küçük forumlara ayırmayı seçmelerine izin veriyor.
Bu olaya dikkat etmek için en üst düzeyde bir çalışma grubu oluşturmalı ve bir ödül ve ceza mekanizması oluşturmalıyız.Kağıtın ikinci, üçüncü ve dördüncü yazarları çalışmalarını sergilemek için profesyonel bir konferansa katılamadığında yüz binlerce Bilim adamı olmayanlar bilet aldığında, Kararlı bir şekilde bu tür bir toplantıyı indirgeyin .
Önlem alınmazsa çok geç olacak!
NeurIPS ve ICML, bu çalkantılı sel tarafından endüstri ticaret fuarlarının düz sahiline sürüklenmeden ve katılması gereken poster oturumu geri döndürülemez bir şekilde sosyal bir alana dönüştürülmeden önce, bu konferansları geliştirmek için önlemler almak için çok sınırlı bir zamanımız var. Akademiklik, onu akademik dünyaya geri getirin ve araştırmacılar için bir buluşma yeri haline getirin.
Yani şimdi ne yapacağız? İşte bazı öneriler:
1. Yalnızca akademisyenlere açık olan iki aylık bir kayıt dönemi belirleyin
Konferans kayıt için açıldıktan iki ay sonra, sadece bursiyerlerin kayıt olmasına izin verilir. Buradaki "akademisyenler" mevcut öğrenciler ve öğretmenler veya geçmiş makalelerin yazarları olabilir.Bu süre, çalıştayların yapılacağı belirlenene kadar sürmelidir.
2. NeurIPS'in hangi bölümlerinin kamuya açıklanacağına karar verin
Bu yılki konferans medyayı kötü idare etti: medyanın atölyeye katılması yasaklandı, sanki NeurIPS üst düzey bir gizli konferansmış gibi, hayır! Bunun nedeni, konferans işleri ekibinin bu yılki konferansın bir Herkese açık etkinlik .
Kısacası, konferansın her bir bölümü halk için mi yoksa sadece akademisyenler için mi olduğu açık olmalıdır. Halka açık kısım muhabirlere de açık olmalıdır. Konferansa katılan muhabirlerden memnun değilsek, neden şirket yöneticileriyle oturup bildiri sunmaya aldırış etmiyoruz?
3. Expo sergilerinin ölçeğini azaltın veya azaltın
Sektörle ilgili içeriklerin sergilendiği Expo salonu, insanların ilgisinin çoğunu akademisyenlere çekti. Sergi salonu ücretsiz aletler, bedava yemek, rahat koltuklar ve yapımı milyonlarca dolara mal olan manzaralarla doludur. Bilim dersleri ve posterler CES tarzı lüks sergi salonlarıyla rekabet edemez, bu tür sergi salonlarıyla rekabet etmemelidir.
Olası bir yol, Expo salonunu belirli günlerde veya belirli saatlerde kapatmak olabilir. Aksine, bu yılki EMNLP çok daha iyi. Mola sırasında insanlar bir şeyler hakkında konuşmak için sergi salonunda bir araya gelirlerdi, ancak akademik derslerin çoğu (şirket temsilcileri dahil) katıldı.
4. Reform sponsoru faaliyetleri, tüm araştırmacılara açık:
Şirketin toplantıda yetenekleri işe alma fikri tamamen makul. Şirketin günlük toplantıdan sonra ve saatten sonra yapmak istediği, konferans ekibinin kontrolü dışındadır. Bununla birlikte, sponsorların faaliyetlerinin içeriğini (ortak çaba gerektirebilecek) tüm araştırmacıları kapsayacak şekilde değiştirmek için bir anlaşma imzalaması mümkün olabilir.
Şimdiki durum, bu partilerin iyi bağlantılı insanlarla (disiplinden bağımsız olarak), potansiyel stoklarla veya iyi fidelerle (mükemmel ve biraz ünlü doktora öğrencileri ve genç araştırmacılar) ve tanınmış araştırmacılarla dolu olmasıdır.
Ancak bu faaliyetlerden en çok faydalanması gereken kişiler ve bu faaliyetlerle en çok potansiyel işveren, danışman ve mentorlarla tanışması gereken genç araştırmacılar dışlanmaktadır.
