NeurIPS 2020 büyük değişikliklere uğradı, saha başkanı makalenin% 20'sini reddedebilir, yazar hakemdir ve uzaktan toplantı düzenlenmiştir
Birkaç gün önce, NeurIPS 2020 resmi web sitesi bu yılki makaleler için son tarihi resmen güncelledi: Özet gönderme için son tarih 5 Mayıs ve bildiri teslimi için son tarih 12 Mayıs.
Geçen yılki kağıt son teslim tarihi ile karşılaştırıldığında, bu yıl planlanandan yaklaşık on gün ileride. Katkıda bulunmak isteyen yazarlar, hızlanmalısınız. Bugün, NeurIPS organizasyon komitesi, NeurIPS 2020'nin gönderim ve gözden geçirme mekanizmasında bazı önemli değişiklikler yayınladı ve bu kez, tam olarak gözden geçirme mekanizmasının ayarlanması için hazırlanacak olan son teslim tarihi uzatıldı. Gönderme ve inceleme mekanizmasındaki belirli büyük değişikliklere bir göz atalım:
1. İnceleme için daha fazla zaman ayırın, yazar gözden geçiriyor ve video gündemde yüklenmeli
NeurIPS organizasyon komitesine göre, bu yıl gönderim ve inceleme mekanizmasında aşağıdaki önemli değişiklikler yapıldı:
İlk olarak, özetlerin son teslim tarihini 5 Mayıs'a kadar uzatın ve organizasyon komitesine büyük ölçüde artan makale gönderimlerini ve hakemler için daha fazla zaman tanımak için bildirilerin son teslim tarihini 12 Mayıs'a kadar uzatın. Sürecin erken reddedilme aşamasında daha fazla zaman düşünülmektedir.
İkincisi, erken ret: saha başkanının bir grup erken ret kağıtlarını seçmek için iki haftası vardır, oran yaklaşık% 20'dir. Daha sonra, kıdemli saha başkanı kararı bir hafta içinde geçirecek ve onaylandıktan sonra, reddedilen makalelerin yazarları, makalelerinin daha fazla incelemeye tabi olmayacağına dair bir bildirim alacak.
Üçüncüsü, yazar gözden geçirmedir: her makalenin her yazarının veya ortak yazarının, makalenin incelemesine katılmaları gerektiğinde makalenin incelemesine katılmayı kabul etmesi gerekir. Bu gereklilik, inceleme ekibinin boyutunu etkili bir şekilde genişletebilir ve ayrıca, gözden geçirme yükünü NeurIPS'e katkıda bulunan yazarlar da dahil olmak üzere topluluk üyeleri arasında adil bir şekilde dağıtabilir.
Dördüncü, daha geniş etki: Yazarların, çalışmalarının olası olumlu veya olumsuz sosyal etkileri de dahil olmak üzere daha geniş etkisini tartışmak için sunulan makalede ayrı bir bölüm taslağı hazırlaması gerekmektedir.
Beşincisi, video spot ışığı: Tüm yazarların, kamera için hazır son teslim tarihinden önce makalenin spot ışıklı bir demo videosunu yüklemeleri gerekir. Şimdi NeurIPS, uzaktan sunum ve uzaktan katılım için hazırlanmaya çalışıyor.
Ek olarak, yazar tarafından gönderilen makale hakem değerlendirmesi sırasında reddedilmişse, bu bilgi işaretlenmeli ve bu sefer sunulan makalede yapılan değişiklikler listelenmelidir.
Geçen yıl, NeurIPS organizasyon komitesi de gözden geçirme mekanizmasında bazı ayarlamalar yaptı. En ilginç olanı, NeurIPS organizasyon komitesinin BMVC, ECML-PKDD, EMNLP-IJCNLP ve ICCV'nin program komite başkanları ile işbirliği yapmasıdır. Birden fazla başvuru olgusu için alınan önlemler. Sonunda bir yazıda birden fazla sunum nedeniyle 19 makale reddedildi ve yazarları tedirgin eden ani bir kargaşa yaşandı.
2. Gönderimlerin ve katılımcıların sayısı keskin bir şekilde arttı ve gönderim ve inceleme mekanizmalarındaki değişiklikler durdurulamaz.
(Lei Feng Net) NeurIPS toplantı sahnesi
Bu değişiklikler neden yapılır?
NeurIPS 2020 nedenleri resmi blogda açıkladı.Aslında, NeurIPS 2019 konferansının açılmasından önce, üç soru ele alındı: 1. Katılımcı ve katkıda bulunanların sayısındaki keskin artış eğilimiyle nasıl başa çıkılacağı; araştırma etiğinin ardındaki düşünceler ve çıkarımlar nelerdir; nasıl Uzaktan katılım gibi sürdürülebilir uygulamaları destekleyin.
Yukarıdaki üç konunun her birinin konferansın gözden geçirme sistemi üzerinde aşağı yukarı bir etkisi vardır.
Her şeyden önce, katılımcıların ve katkıda bulunanların sayısındaki çarpıcı artış karşısında, inceleme toleransını artırmak için uygun yöntemler bulmalıyız Sonuçta, birkaç hafta içinde binlerce makaleyi gözden geçirdiğimizde, NeurIPS'in karşılaştığı meslektaş incelemesinin ölçeği benzeri görülmemiş. Resmi organizasyon komitesine göre, 2020'de 10.000 bildiri sunulacak. Daha sonra 30.000 denetim görüşünün oluşturulması gerekir.
Ayrıca, erken ret aşaması IJCAI'de denenmiştir.Bu modeli kullanmak, insan sayısındaki artışla başa çıkmanın en doğrudan yoludur ve elbette güncel dergiler tarafından da yaygın olarak kullanılan bir yöntemdir. Spesifik adımlar şu şekildedir: Saha başkanı% 20 enerji tasarrufu sağlayan reddedilen kağıdı belirler ve ardından kıdemli saha başkanı bunu reddedip reddetmeyeceğini teyit eder ve son olarak yazarı inceleme sürecinden silmesi için bilgilendirir.
Bu yaklaşımın özü, kalitesiz ve daha az ilgili gönderimleri mümkün olan en kısa sürede ortadan kaldırmak ve hakemlerin çabalarını yüksek kaliteli çalışmalara odaklamaktır.
Ek olarak, makaleyi yeniden gönderirken, makalenin yazarının "yeniden gönder" kelimelerini belirtmesi, önceki "trajedinin" nedenlerini özetlemesi ve yeni sürümdeki iyileştirmeleri listelemesi gerekir.
Uzaktan katılımın teşvik edilmesinin nedeni, uluslararası konferansların artan karbon ayak izini çözmeye katkıda bulunmak istememizdir. Geçtiğimiz iki yılda, konferanslar için bilet kapmanın popülaritesi "Bahar Şenliği" ninkiyle karşılaştırılabilir hale geldi ve hatta bir piyango modeli benimsendi. Bu nedenle, bu yıl, konuşmacıların PPT ve konuşma videoları yüklemesini ve uzaktan konuşma ve poster sunum yöntemlerini etkinleştirmesini gerektiren uzaktan katılım için daha fazla plan yapacağız.
Çok sayıda kişi ve makale olduğunda, katılımcılar ilgilendikleri kağıtları konferansın sadece birkaç gününde bulamayabilirler.Bu nedenle, kağıt arama işlerinden tasarruf etmek için kişiselleştirilmiş öneri algoritmaları kullanarak yüksek kaliteli kağıtlar önermek için bir kağıt eşleştirme sistemi kullanılır.
Akran değerlendirme sisteminin daha sağlıklı bir şekilde geliştirilmesini teşvik etmek için, makalelerin ortak yazarlarının CMT'ye kaydedilebilmeleri ve hakem olarak işe alınabilmeleri için program komitesinin üyeleri olarak hizmet etmeleri gerekmektedir.
İstekli değilse, makalesi reddedilebilir. Bu aynı zamanda gözden geçiren ekibin sayısını artırmak ve inceleme yükünü eşit olarak dağıtmaktır. Doğa bilimleri, fizik bilimleri ve tıbbi yöntemlerden yararlanılarak ortaya çıkabilecek olası çıkar çatışmalarından kaçınmak için, araştırmanın doğrudan finansman kaynağını ve dolaylı finansal ilişkisini açıklamak gerekir.Tabii ki, çift kör incelemenin adilliğini sağlamak için, yalnızca bu içeriğin eklenmesi gerekir. Baskıda (kamera için hazır) sürüm.
Son olarak, yeni yöntem ve anlamların daha kapsamlı bir şekilde ele alınabilmesi için araştırmanın getirebileceği faydalı uygulamaları ve ürünleri açıklamanın yanı sıra, potansiyel karanlık tarafı ve başarısızlığın sonuçlarını da belirtmek gerekir. Bu bölüm, özel tartışma için ek ve referans bölümüne eklenebilir.
3. Reddit netizenleri: Harika görünüyor!
NeurIPS inceleme sisteminin revizyonu genellikle topluluğa iyi yansıtılır.Genel olarak, yapay zekanın geliştirilmesine ve akran değerlendirme sisteminin iyileştirilmesine yardımcı olabilir. Reddit'teki hevesli netizenler, NeurIPS inceleme mekanizmasındaki değişikliklerle ilgili görüşlerini hem olumlu hem de olumsuz boyutlardan çok ciddiyetle açıkladılar:
(Lei Feng Ağı)
1. Adil görünüyor, ancak makalenin yazarının meslektaşlarının makalelerini kötü niyetli ve ciddi bir şekilde gözden geçirip geçirmeyeceğini bilmiyorum.
2. Bu, kötü eleştirmenlerin birden fazla konferans döngüsünde etkisi olabileceği anlamına gelir. Buna ek olarak, reddedilen bir makale, hakemlerin görüşleri üzerinde bir etkiye sahip olabilir, ancak bazı süper etkili makaleler İlk başta reddedildi.
3. Çok iyi, pek çok kişi toplantıyı "yarım asılı alt projesi" için ücretsiz bir geri bildirim mekanizması olarak görüyor.
4. Makalede istenen "geniş etki" biraz klişe olabilir. Ancak bunun yapay sinir ağına dayalı araştırma ilerlemesini hızlandırabileceğini düşünen başka netizenler de var, sonuçta yapay sinir ağı modelinin tüm olumlu ve olumsuz sosyal sonuçlarını miras aldı.
Sadece NeurIPS değil, aynı zamanda büyük yapay zeka konferans değerlendirme sistemleri de sıklıkla eleştiriyi çekiyor.Bazı akademisyenler konferansa bildiri göndermenin en yeni basketbol ayakkabılarını satın almaya benzediğini söylüyor: Kredi kartı numaranızı kaydetmeniz ve otomatik bir doldurma formu oluşturmanız gerekiyor. Ardından, bilgisayarınızın fiziksel adresini NeurIPS sunucu adresine olabildiğince yakın yapın.
Örneğin, NeurIPS geçen yıl listede yayınlandığında, netizenler reddit'ten şikayet ettiler: En iyi toplantının inceleme görüşleri profesyonelce değildi veya fazla bilgi içermiyorlardı.
Bir eleştirmen bize neden X'ten alıntı yapmadığımızı sordu. Söylemek istediğimiz şey, alıntı yapılmış olması ve araştırmamız ile onun arasındaki ilişkiyi tanımlamak için bütün bir paragraf gerektiğidir.
Bir gözden geçiren bir veri setinden alıntı yaptı ve modeli değerlendirmek için onu kullanmamıza izin verdi. Söylemek istediğimiz, bu veri seti ile değerlendirildiği, deneysel bölüme bakınız.
Bu kez NeurIPS gözden geçirme sisteminin revizyonu, gözden geçirme olarak yazar sistemini de içeriyor. Geçen yıla göre daha profesyonel olacağına ve daha az tuhaf yorum yapılacağına inanıyorum!
4. NeurIPS 2020'nin "kara atı" hangi tez konusu olabilir?
(Lei Feng Ağı)
NeurIPS 2019'da yer alan makalelerin konuları açısından, sinir ağları, derin öğrenme, pekiştirmeli öğrenme vb. Hala gündemde olan konulardır ve en dikkate değerlerinden biri, geçen yılki en iyi akademik konferanslarda güçlü olan grafik makine öğrenmesidir. Geçen yılki NeurIPS'te Shang aynı zamanda hak edilmiş bir "kara at" dır.
NeurIPS 2019'da sadece ana mekandaki resimlerle ilgili 100'den fazla bildiri olduğu; ayrıca resimlerle ilgili en az üç atölye konusu olduğu bildirildi:
Grafik Gösterimi Öğrenimi (yaklaşık 100 makale);
Bilgi Gösterimi ve Akıl Yürütme Makine Öğrenimiyle Buluşuyor (KR2ML) (yaklaşık 50 makale);
Konuşmalı Yapay Zeka Bu yıl, grafik makine öğreniminin popülaritesi yalnızca artmış gibi görünüyor.Örneğin, ICLR 2020 kağıt gönderimleri arasında grafik makine öğrenimi ile ilgili 150 başvuru var ve makalelerin yaklaşık 1 / 3'ü kabul edildi. !
NeurIPS 2020'de grafik makine öğrenimi, ağır geometri rolünü oynayacak mı? Yeni sıcak konular olacak mı? Henüz net bir cevabımız yok, ancak NeurIPS 2019 kağıt ödüllerinin seçim kurallarından, NeurIPS makale incelemesi tercihine ilişkin bazı ipuçları bulabileceğimiz görülüyor.
Daha fazla uzatmadan, geçen yılın NeurIPS makale ödülü seçiminin belirli kurallarını gözden geçirelim: Kalıcı etki makaleleri potansiyeli, marjinalleştirilmiş araştırma alanı yerine ana akıma odaklanıyor ve insanlar önümüzdeki birkaç on yıl içinde bunu yapmaya devam edecek. Onu takip et.
Bir bakış açısına sahip olun - performansta sadece yüzde birkaç iyileşme değil, yeni (ve umarız derinlemesine) içgörüler sağlayın.
Yaratıcı / Beklenmedik / Şaşırtıcı - soruna yaratıcı yeni bir bakış açısıyla bakmak ve okuyucuları gerçekten şaşırtan sonuçlar elde etmek. Dönüşüm, insanların gelecekteki problemler hakkında düşünme şeklini temelden değiştirecek.
Kesinlikle kusursuz titizlik ve titizlik.
Şıklık - kağıt güzel, temiz, pürüzsüz ve iyi cilalanmış.
Gerçek, önemi fazla vurgulamaz. Bilimsel - tahrif edilebilir.
Tekrarlanabilirlik - sonuçlar gerçekten tekrarlanabilir, kod kullanılabilir ve birden çok makinede çalışabilir, veriler kullanılabilir ve ayrıntılı doğrulama sağlanabilir.
Aynı zamanda, bildirileri seçerken, düzenleme komitesi makalelerin aşağıdaki sorunlara sahip olup olmadığına da dikkat eder (ve bu sorunların olduğu kağıtları seçmekten kaçının):
Öne çıkmak için çok fazla kaynak tüketmesi gereken verimsiz işler (esas olarak liderlik tablosunda daha yüksek bir sıralama elde etmek için çok fazla kaynak tüketmeye dayanır)
Modaya uygun - belirli bir yöntem benimsenmiştir çünkü daha popülerdir, ancak kullanılabilecek daha verimli başka yöntemler de vardır.
Kağıda çok karmaşık-gereksiz karmaşıklık eklendi. Bildirilerinizi bu standartlara göre hazırlayabilirseniz, inanıyorum ki bildirilerinize çok puan vereceksiniz, belki yine de ödülü dört gözle bekleyebilirsiniz ...
Geçen yıl NeurIPS toplam 6 bin 809 makale başvurusu aldı ve yeni bir rekor kırdı Tahmin edin bu yıl kaç tane alınacak?
