ICML incelemecileri kızgın, makalenizi bitmeden göndermeyin
Uluslararası bir makine öğrenimi konferansı olarak ICML, yalnızca sözde en iyi toplantı olduğu için değil, aynı zamanda kağıt incelemede yaptığı öncü çalışmalar nedeniyle bazı akademisyenlerin kalbinde yüksek bir statüye sahiptir.
Örneğin, geçen yıl kod sunmayı ilk teklif eden kişi oldu ve bu yıl deneysel prosedürleri standartlaştırmayı ilk öneren kişi oldu.Bu önlemler herkese gerçekten de bu alanda lider olduğunu gösterdi.
(Lei Feng Ağı)
Acemi katılımcılara dostça davranmak için, bu yılki ICML ayrıca, gözden geçirenlerin her makale için doldurmaları gereken formu da yayınladı, böylece acemiler, hakemlerin nasıl puan alacaklarını anlayabilir.
Gittikçe daha mükemmel mekanizmalar, ICML2020'nin 6.000'den fazla makaleye katkıda bulunmasına izin verdi ve bu, geçen yılın toplam 3.424 makalesine kıyasla neredeyse iki kat arttı. Bununla birlikte, katı gönderim koşulları ve artan başvuru sayısı, bilimsel araştırmanın popülaritesi anlamına gelmez.Reddit'teki haberi "kıdemli" bir eleştirmen tarafından kırıldığına göre, gönderilen bazı makalelerin durumu "bitmemiş".
Diğer bir deyişle, bazı "akademisyenler" makalelerini yazmayı bitirmeden önce incelemeye sunmuşlardır. Unutmayın ki parlatma yok, kağıdın yazılması gereken kısmı bitmemiş!
Gözden geçiren, reddit'teki iç monologunu anlattı ve gözden geçirdiği yazıların yarısından fazlasının eksik olduğunu, ancak hakemlerinin böyle bir makaleyi incelemek için 6-7 saat hatta 10 saatten fazla zaman aldığını söyledi. Yazı, bu eleştirmenler için çok saygısız!
Bu gözden geçirenin itirafının tam metni aşağıdaki gibidir (AI Technology Review Compilation):
Katkıda bulunanların çoğunun önümüzdeki haftalarda ICML'den geri bildirim alacağını ve büyük olasılıkla ret geri bildirimi alacağını biliyorum. Yazarlar ret geri bildirimi aldığında bir süre sindirmenin zor olacağını biliyorum ve onunla empati kuruyorum çünkü ben de herkes gibi yazılar gönderdim ve ret bildirimleri alabilirim.
Bununla birlikte, bu hafta makaleleri incelemek için 20 ila 30 saat harcamış ve makaleleri incelemek için 30 ila 40 saat daha harcaması gerekebilecek bir hakem olarak, herkesi şu vesile ile tavsiye ediyorum:
Konferansa bitmemiş makaleler göndermeyi bırakın!
Bu noktayla ilgili olarak, incelediğim sunumların yarısından fazlası bitmemiş makalelerdir ve hepsinde çok bariz ve tartışılmaz hatalar vardır.Normal bir kişinin bu tür makalelerin en iyi konferansların akran değerlendirmesinde görüneceğine inanmasının zor olduğuna inanıyorum. Hiçbir normal kişi bu sunumları geçen yıl ICML'de yer alan en kötü kağıtlarla karşılaştırmaz, birincisinin kalitesinin ikincisine benzer veya daha yüksek olduğunu düşünmeyin.
Makaleyi göndermeden önce, lütfen meslektaşlarınızdan veya amirinizden makaleyi önceden incelemesini isteyin. Herhangi bir hata bulurlarsa, incelemecilerin de bu hataları bulabileceklerini ve size incitici ve sinir bozucu bir yorum geri bildirimi verebileceklerini garanti ederim.
Kocaman bir yutturmaca balonunun içinde olduğumuzu fark ettim, hepimiz bu popüler treni yakalamak istiyoruz ancak bu bitmemiş kağıtları gözden geçirdiğimde yazarlardan saygısızlık hissettim.
Bu yazarlar açıkça erken inceleme aşamasından geri bildirim bekliyorlar. Ancak, bu konferans sistemi ve meslektaş değerlendirme süreci için adil değildir. Hakemlerin makaleleriniz için "ücretsiz" çalışma sağlamaları ve çalışmanızı nasıl yapılandıracağınız ve sunacağınız konusunda size rehberlik etmeleri gerekmektedir. Hakemlerinize ücretsiz iş gücü muamelesi yapmak çok haksızlık.
Bir makaleyi incelemek en az 6 ila 7 saatimi ve 10 saatten fazla sürüyor. Bu 10 saatten fazlası hayatımın 10 saatinden fazlasını tüketiyor Bu yazarlar, araştırma çalışmalarını yayınlamalarına yardımcı olmak için bu saatleri harcamama izin verme hakları olduğunu düşünüyorlar mı? Bu beni çok saygısız hissettiriyor. Dürüst olmak gerekirse, bu belgeler incelemeyi beklediğim gönderilerin kalitesiyse, hakem olmak için başvurudan vazgeçmek istiyorum.
Bu yazarlar sadece bencil değil, aynı zamanda tüm araştırma topluluğuna, toplantıların kalitesine ve akran değerlendirme sürecine de zarar veriyorlar. Giderek daha fazla bitmemiş makale gönderilir, bu da gözden geçirenlerin daha yüksek bir inceleme yüküyle karşı karşıya kalacağı anlamına gelir. Artık her bir makaleyi gözden geçirmek için çok fazla zaman harcamazsak, bu, iyi ve değerli makalelerin de "geçeceği", haksız yere reddedilebileceği veya çok kötü geri bildirim alabileceği anlamına gelir. Bu kabul edilemez!
Dürüst olmak gerekirse, bu yazarların davranışları, salgın sırasında tuvalet kağıdı stoklayanların davranışlarıyla tamamen aynı. Bencil davranışları, kendilerini araştırma sürecinin ve iyi makaleler sunan diğer yazarların önüne koyarak topluma zarar verdi.
Lütfen bunu bir daha yapmayın! Lütfen meslektaş incelemesine ve yayına hazır olduğunu düşündüğünüz bitmiş, mükemmel makaleler gönderin!
"Kötü adamlar" için çok fazla enerji harcamaya gerek yok
Gönderi reddit'te yayınlanır yayınlanmaz netizenler arasında tartışma yarattı. Tartışmanın odak noktası, bitmemiş bir yazıyı 6-7 saat içinde gözden geçirmenin boşa harcanması anlamına gelip gelmediği, bu katkıda bulunanların motivasyonları ve makine öğrenimi topluluğundaki akademisyenlere hitap etme idi. Bildirileri yayınlamak için "Dikkat".
(Lei Feng Ağı)
Genel fikir şudur: makaleleri gözden geçirmek için çok fazla zaman harcıyorsunuz. "Bitmemiş makaleler" için, 2 ila 3 eksikliği kısaca özetlemelisiniz ve sonra suçlulukla reddetmemelisiniz. 1 saat kadar sürer. O halde makalenin eksikliklerini nasıl özetleyeceksiniz? Egzersiz yapmak:)
(Lei Feng Ağı)
Yazar için bir literatür araştırması yapma eylemi övgüye değer, ancak bu alandaki zayıflığı göstermek için sadece bir örnek vermeniz gerekiyor. Bitmemiş kağıtlar için çok fazla zaman harcamaya değmez ~
Bazı insanlar toplumun ilerlemesini teşvik etmek için değil, sadece artırmak için makaleler yayınlarlar, bu insanlar saygılarını yitirmişlerdir.
Bu alana katılımın artması iyi ve kötü
Bu kişiler makalelerini bir sonraki toplantıya göndermeden önce geliştirmek için bazı profesyonel geri bildirimler almak isteyebilirler.
Makine öğrenimi topluluğundaki kişiler, organizatörlerin zamanını ve çabalarını alarak en önemli toplantı için oy kullanmaya uygun mu? Birinci sınıf lisansüstü öğrencilerinin çoğu mevcut modelleri değiştirir.Arxiv'de yayınlanan makalelerin çoğunda bazı etiketleme hataları ve matematiksel hatalar vardır ...
Aslında, bitmiş ve bitmemiş taslaklar arasında çizgi çizme standardı çok net değil ...
Yazıları bitmeden göndermek yaygın bir uygulama mı?
Yazıların bitmeden teslim edilmesi aslında bir dereceye kadar "küçük bir eğilim" ... reddit üzerinden şikayet eden hakeme göre aldığı yazıların yarısı bitmemişti. nın-nin. Yani yarısı, yani% 50 ...
Ek olarak, AI Technology Review arama motorunda arama yaptı ve "Baidu Know" ile ilgili sorular zaten vardı. Ve Zhihu'da "önce cilalanmalı veya önce sunulmalı" hakkında bazı sorular ve cevaplar var!
Bu, bitmemiş bir makale gönderme fikrine sahip birkaç araştırmacı olmadığı anlamına gelir. Öyleyse, bu "araştırmacılar" hangi nedenle bitmemiş makaleler sunma cesaretine sahip?
Her şeyden önce, en üst konferansa başvurma eşiği gittikçe düşüyor.Parasal maliyet açısından, gönderim maliyeti temelde ücretsizdir, bu nedenle yazarların aynı makaleyi tekrar tekrar farklı konferanslara göndermeleri de uygundur.
Konferans kağıtlarının düzensiz kalitesinin nasıl önleneceği, konferans gönderimleri için bir eşik belirlemenin iyi bir yoludur. Örneğin, Zhou Zhihua, konferansın 10 ABD doları tutarında bir gönderim ücreti almasını ve kabul edilen belgenin kayıt ücretinin düşülmesi için kullanılmasını önerdi. Kabul edilmezse, konferansa öğrenci olarak katkıda bulunun. Seyahat yardımı.
10 $ 'ı küçümsemeyin. Çoğu rastgele ve kişisel gönderimi izole edebilir Sonuçta, bitmemiş bir makale gönderirseniz, boşuna 10 $ atmaya eşdeğerdir.
Öğretmen düzeyinde, öğrencilerin büyük çoğunluğu öğrencilerin bitmemiş ödevlerini teslim etmelerine izin vermeyecekler Sonuçta, yazıları gözden geçirme konusunda biraz tecrübesi olan öğretmenler bu tutumdan nefret edecekler! Yani öğrenci bu 10 dolar için geri ödeme almayacak!
Yukarıdaki resimdeki inceleme örneği, ICLR'nin kamuya açık incelemesinin sonucudur.Reddedilen bir makaleyi incelemek daha yeterlidir.
İnceleme sırasında tamamlanmamış makalenin bir başka nedeni de, katkıda bulunanların çoğunun, makaleyi geliştirmesine ve bir sonraki gönderiyi kolaylaştırmasına yardımcı olabilecek bazı profesyonel inceleme yorumları toplamak istemesidir. Yapay zeka türünün üst düzey konferans çemberinde, çoğu konferans, gözden geçirenlerin 2'den 3'e kadar profesyonel inceleme yorumları vermesini gerektirecek, ayrıca bir çürütme bağlantısı var, bazı "makaleye yeni başlayanlar" profesyonel rehberlik alabilir.
Bu fenomenin son nedeni, öğrencilerin genel bir piyango psikolojisine sahip olmalarıdır: yargılayıcı öğretmenin "kör" olup olmayacağı, geçilecek ~~~~~
Wu Qi, Adelaide Üniversitesi: Katkıda bulunanlara şans veren "bitmemiş" makalelerin kabulü için emsaller var
Bu fenomenle ilgili olarak, AI Technology Review, Adelaide Üniversitesi'nde yardımcı doçent olan ve en üst konferansta makaleleri gözden geçirme konusunda geniş deneyime sahip Wu Qi ile özel olarak röportaj yaptı.Kendi deneyimlerine dayanarak bazı görüşlerini paylaştı ve makalenin yazarına ve araştırma topluluğuna katkıda bulunacağına inanıyor. Biraz ilham.
Soru: Katkıda bulunanların makaleleri tamamlanmadan önce sunmaları fenomeni hakkında ne düşünüyorsunuz?
Wu Qi: Bu, "bitmiş bir taslağa sahip olmamanın" tanımına bağlıdır, makale kalitesi yeterince yüksek değil mi? Makale, çok temel bir yöntem açıklaması, deneysel kanıt veya çok sayıda yazım hatası ve hata gibi, açıkça tamamlanmamıştır.
Birincisinin belirli bir yüzdesi olacaktır, ancak hakemlerin ve AC'nin işi, bu makaleleri yetersiz kalitede bulmak ve soru ve önerilerde bulunmaktır. Konferansın ve derginin genel kalitesi ne kadar yüksek olursa olsun, gönderilen tüm makalelerin çok yüksek kalitede olmasını ve kusursuz olmasını beklememiz mümkün değildir.
İkincisi ise, gerçekten de gözden geçiren kaynaklarının israfına neden olacaktır. Sonuçta, gözden geçirenler gönüllü bir çalışma yapıyor ve herkes en azından "tamamlanmış" görünen bir işi görmeyi bekliyor. Tabii ki, kişisel deneyimlerime göre bu oran, iyi itibara sahip toplantılar arasında nispeten düşüktür. Örnek olarak üçüncü bilgisayarla görme konferansını ele alalım. 100'den fazla makaleyi önce ve sonra gözden geçirdim. Düşük kaliteli olanlar çok yaygındır, ancak ikincisinin sözde "bitmemiş el yazmaları" gibi, en azından birkaçına rastladım.
Elbette bu konferanslara yapılan başvuru sayısının artmasıyla birlikte gelecekte bu tür "bitmemiş" yazıların daha fazla olacağı da göz ardı edilmiyor.Örneğin bu yıl CVPR incelemesi sırasında sadece 6 sayfalık bir gönderi ile karşılaştım ( Maksimum uzunluk, sonrakine ait olan 8 sayfadır - makalede birçok hata var, yöntem açıklaması net değil veya hatta yanlış ve bazı resimlerin başlığı bile yok, bu açıkça "bitmemiş".
Genel olarak konuşursak, bir eğitmen olarak teslim edilmeden önce, gönderilen makaleleri kontrol edecektir Sonuçta, akademik alanda, herkes en çok itibarı ile ilgilenir. Yetenek değişebilir ve makalenin kalitesi değişebilir, ancak herkesin zirveye olan hayranlığı tutarlı olmalıdır.
Soru: İnceleme süreci sırasında, bir makalenin bitip bitmediğine karar vermek için herhangi bir kriter var mı? Makalede belirli bir deney veya tanım yoksa, "bitmemiş" kağıt olarak değerlendirilecek mi?
Wu Qi: Farklı gözden geçirenlerin farklı standartları olabilir. Bazı deneyler ve tanımlar gerekli olmayabilir veya mevcut olanlar doğrudan alıntılanabilir. O halde bunun "bitmemiş" olarak kabul edilemeyeceğini düşünüyorum. Ve genel olarak konuşursak, konferans makalelerinin katı sayfa sınırları vardır.Tüm tanımları ve deneyleri sunmanın gerçekten bir yolu yoktur.Yazar yalnızca en önemlilerini sunabilir.
Temel yöntem açıklamasına gelince, makalenin temel argümanını kanıtlamaya yönelik deneyler gerçekten de zorunludur. Örneğin bir makaleyi gözden geçirdiğimde metot kısmına ihtiyacım metot kısmını okuduktan sonra makalede sunulan bilgiyi kendi başıma uygulamak için kullanıp kullanamayacağım, eğer yapabiliyorsam yazarın yazdıklarının tam ve net olduğu anlamına geliyor. . Deneysel kısım için, deneydeki verilerin özet ve alıntıda yazarın bakış açısını destekleyip desteklemediğini göreceğim.
Bu temel yöntemler ve deneyler mevcutsa, bu makalenin eksiksiz olduğunu ve yazarın tutumunun ciddi olduğunu düşüneceğim. Makalenin kalitesine gelince, bu başka bir konudur.Örneğin, katkının yeni ve önemli olup olmadığına, toplumun belirli bir sorunu anlamasına yardımcı olup olmadığına, yöntemin etkili olup olmadığına ve diğer birçok yöne bağlıdır.
Soru: Kendi deneyiminize veya bilginize dayanarak, "kötü" bir makaleyi incelemek, iyi bir makaleyi incelemekten daha uzun sürer mi?
Wu Qi: Aslında hayır. En iyi ve en kötü ("bitmemiş el yazmaları" gibi) makalelerin gözden geçirilmesi nispeten kolaydır.İyi makalelerin avantajları bir bakışta anlaşılır ve bahar esintisi gibi okunur. Kötü makalelerin dezavantajları da açıktır ve okumaları gülünç derecede anlaşılmazdır. En çok zaman alan makaleler aslında ikisi arasında kalan makalelerdir, hem avantajları hem de dezavantajları vardır, ancak büyük değildirler ve ölçmek zaman alır.
Soru: Sizce yazarların makaleyi bitmeden teslim etmelerinin nedenleri veya motivasyonları nelerdir? Ne gibi olumsuz etkiler getirecek?
Wu Qi: Nedeni, herkesin makalede rastgelelik olduğuna genel olarak inanması ve makalenin kalitesiyle çok yakından ilgili olmaması, aslında bu bir illüzyon.
İçerilen makalelerin çoğunun haklı olduğunu düşünüyorum.Elbette çok düşük kaliteli bazı makalelerin çeşitli nedenlerle kabul edildiği göz ardı edilmiyor.Bu bir kısır döngü olacak, gerçekten de bazı kalitesiz makaleler görebilirsiniz. Yüksek, hatta düşük kaliteli ve "bitmemiş el yazmaları" makaleleri de en iyi konferans ve dergilere dahil edildi, bu nedenle herkes "Ben de deneyeceğim" zihniyetiyle oy vermeye gitti. Bu sonuç doğru Daha fazla "bitmemiş" makalenin kabul edilmesi ve ardından daha fazla "bitmemiş" gönderinin kabul edilmesi mümkündür.
S: Bu fenomeni iyileştirmek için ne gibi önerileriniz var? (Örneğin, bildirilerin sunulması için ücretler?)
Wu Qi: Bu, büyük adamların tartışacağı bir soru. Ben, benim gibi sonraki bir öğrenci, konuşmaya cesaret edemiyorum. Bununla birlikte, başvuru ücretlerinin istenmediğini düşünüyorum, daha ucuzsa, kimsenin umurunda değil, göndermek daha iyidir; pahalıysa, gerçekten de gerçekçi değildir.
IJCAI'nin "erken reddedilmesi" gibi son toplantılar az çok denendi. Asıl amaç bu fenomeni iyileştirmektir.Kişisel olarak, birkaç tur daha parlatmanın yardımcı olacağını düşünüyorum. Gerçekten de tüm topluluk, her fırsatta 10.000'den fazla gönderimi ve incelemeyi kabul edemiyor.
