ACL, makalelerin arXiv'e gönderilmesini yasaklıyor, çift kör inceleme gerçekten etkili mi?
Xin Zhiyuan bugün
Xinzhiyuan Raporu
Kaynak: Kapsamlı cacm.acm.org, vb.
Derleyici: Xiao Qin, Xiao Pan
Xin Zhiyuan Rehberi Yakın zamanda, ACL (Hesaplamalı Dilbilim Derneği) konferans makaleleri için gönderme, inceleme ve alıntı politikalarını güncelledi. En tartışmalı gereksinimlerden biri, çift kör incelemenin etkinliği için, son başvuru tarihinden bir ay önce arXiv gibi platformlarda ön baskı yayınlamanın yasak olmasıdır. İsimsiz incelemenin etkinliği ve bu politikanın adilliğinin nasıl sağlanacağı yeniden düşünülmeye değer.
Yakın zamanda, ACL (Hesaplamalı Dilbilim Derneği) konferans makaleleri için gönderme, inceleme ve alıntı politikalarını güncelledi. En tartışmalı gereksinimlerden biri, çift kör incelemenin etkinliği için, makale incelemesinin sonuçları açıklanana kadar son başvuru tarihinden bir ay önce arXiv gibi platformlarda ön baskı yayınlamanın yasak olmasıdır. Bu yeni gereksinimler, bazı seslerin çift kör incelemenin etkinliğini sorgulamasına neden oldu, ancak çoğu araştırmacı New Deal'ı desteklediğini ifade etti. Stanford Üniversitesi NLP Grubu direktörü ve 2015'teki eski ACL başkanı Christopher Manning de ACL'nin yeni politikası hakkında ayrıntılı bir açıklama yaptı.
ACL toplantı gönderme, inceleme ve alıntı politikası:
Ön baskı yayınlamanın olumlu etkilerinden ödün vermeden çift kör incelemeyi sürdürmek için ACL konferansları (ACL, NAACL, EACL) ve TACL dergileri için aşağıdaki politikaları benimseyin. Bu politikalar, 1 Ocak 2018 son gönderim tarihinden itibaren tüm ACL toplantıları için geçerlidir. ACL toplantılarıyla ilişkili diğer toplantı ve seminerlerin de, orijinal politikalarıyla çelişmediği sürece aynı politikayı benimsemelerini tavsiye ederiz.
ACL toplantıları ve TACL, kağıt gönderimlerin anonimleştirilmesini gerektirir. Yazar, son gönderim tarihinden 1 ay önce anonim bir önceden basılmış sürümü yayınlar veya güncellerse, bildirim veya geri çekilme dönemine kadar gönderenin anonim olduğu kabul edilmeyecektir. Doğru anonimleştirme yoksa, başvuru reddedilecektir.
- Anonimlik süresi boyunca anonim ön baskılara izin verilir.
- Anonimlik döneminden önce, anonim olmayan ön baskılara izin verilir, ancak yazarları yayınlamadan önce anonimlik döneminin sonrasına kadar beklemelerini tavsiye ederiz.
- Anonim olmayan, önceden basılmış bir sürüm mevcutsa, yazar, gönderim anında varlığını beyan etmeli, ancak alıntı yapmamalı ve anonimlik süresi boyunca daha fazla yayınlamaması istenmelidir - gönderilen makaleler mümkün olduğunca anonim olmalıdır.
Çoğu akademik konferans isimsiz incelemeler kullansa da, isimsiz incelemelerden her zaman şüphelenilmiştir. Örneğin, inceleme sonuçları yayınlanmadan önce, makalelerin yazarları geniş çapta ortaya çıkıyor ve büyük şirketler ve prestijli okullar tarafından kabul edilen makalelerin yüksek yüzdesi mantıksız görünüyor. Ne tür bir anonim incelemeye ihtiyacımız var ve anonim inceleme ne kadar etkili? Yakın zamanda ACL Communications tarafından yayınlanan bir makale, anonim inceleme üzerine deneysel bir araştırma ve tartışma yürüttü.
Konferans kağıdı incelemesinde önyargı her yerde
Akran değerlendirmesi, akademik yayın sürecinin temel taşıdır, ancak incelemeyi gerçekleştiren kişiden de etkilenebilir. Gözden geçirenin bilinçaltındaki önyargı, deneysel kanıtlarla desteklenen araştırma çalışmasını objektif olarak değerlendirme yeteneğini etkileyecektir. ACL Communications tarafından yayınlanan yakın tarihli bir makale, kesişmeyen iki program komitesini içeren kontrollü bir deneyde (Uluslararası Web Arama ve Veri Madenciliği Konferansı, WSDM 17) , Yazarın bilgilerini bilen hakemlerin tanınmış yazarların katkılarını kabul etme olasılığı 1,76 kat ve en iyi kurumların makalelerini tavsiye etme olasılığı 1,67 kat daha fazladır. .
Ek olarak, üç yıllık Dillerin Evrimi konferansının (2012, 2014 ve 2016) başka bir araştırması şunu buldu: Hakem, yazarın kimliğini bildiğinde, ilk yazarı erkek olan bir makalenin değerlendirme puanı% 19 daha yüksek olurken, ilk yazarın kadın olduğu bir makalenin puanı% 4 daha düşüktür. . Tıp alanında, Amerikalı eleştirmenler Amerikan kurumlarından makaleler önermeye daha meyillidir.
Üstelik ırk ve cinsiyet fark etmeksizin bu önyargılar onları etkileyecektir. Neyse ki, çift kör inceleme bu etkileri hafifletebilir ve böylece önyargıyı azaltabilir. Bu, çift kör inceleme sistemini kağıt değerlendirme sisteminin yapıcı bir parçası haline getirir ve kağıt inceleme sonuçlarını araştırma çalışmasının kalitesine daha sadık kılar.
Araştırmacılar, 2016 yılında düzenlenen üç yazılım mühendisliği ve programlama dili konferansını araştırdılar: IEEE / ACM Uluslararası Otomasyon Yazılım Mühendisliği Konferansı (ASE), ACM Uluslararası Nesne Yönelimli Programlama, Sistemler, Diller ve Uygulamalar Konferansı (OOPSLA) ve ACM SİGPLAN Programlama Dili Tasarım ve Uygulama Konferansı (PLDI). Anonimleştirmenin etkinliği hakkında veri topladılar ve gözden geçirenlerin makale yazarlarını başarılı bir şekilde "anonim hale getirme" derecesini değerlendirmek için kullandı.
Bunu buldular Anonimleştirme mükemmel olmasa da oldukça etkilidir: Gözden geçirenlerin% 70 -% 86'sı inceleme sonuçlarını gönderirken makalenin yazarını tahmin etmedi ve% 74 -% 90'ı doğru tahmin etmedi. Makale konusunda uzman olduklarını düşünen hakemlerin yazarın kimliğini tahmin etmeye çalışmaları daha olasıdır, ancak doğru tahmin etme olasılıkları daha düşüktür.
Genel olarak, araştırmacılar, çift kör inceleme sisteminin sürekli kullanımını güçlü bir şekilde destekledikleri ve bunun için ekstra çabanın çok değerli olduğu sonucuna vardılar.
Anonimleştirmenin etkinliği
Anonimleştirme etkisi
Bu üç toplantıda yorumların% 70 ila% 86'sı tahminde bulunulmadan sunuldu, bu da hakemlerin genellikle çoğu makalenin yazarının kim olduğunu bilmediğini veya umursamadığını gösteriyor. Şekil 1, her konferansta işlenen hakemlerin, makalelerin ve hakemlerin sayısını ve yazarlık hakkındaki tahminlerin yüzdesini özetlemektedir.
Şekil 1
Gözden geçirenler tahminlerde bulunduklarında, muhtemelen doğru tahminlerde bulunacaklardır. Bunlar arasında ASE'nin tahmin doğruluk oranı% 72, OOPSLA% 85 ve PLDI% 74'tür. Bununla birlikte, çoğu makalenin bir yazarı bile tahmin eden tek bir eleştirmeni yoktur ve çoğu inceleme yorumu yanlış tahminler içerir (ASE% 90, OOPSLA% 74, PLDI% 81).
Uzmanların doğru tahmin etme olasılığı daha mı yüksek?
şekil 2
Yukarıdaki şekilde, X bir uzmanı temsil eder, Y bilgili bir kişiyi temsil eder ve Z bilgili bir yabancıdır. Şekil 2, tahminlerin sıklığını ve doğruluğunu özetlemektedir. Her toplantı için, istatistiksel olarak, X gözden geçirenlerin tahmin etme olasılığı Y ve Z yorumcularından daha fazladır. Ancak tahminin doğruluğundaki fark önemli değildir. Vardığımız sonuç, uzman olduklarını düşünen gözden geçirenlerin yazarın kimliği hakkında tahminlerde bulunma olasılıklarının daha yüksek, ancak doğru tahmin etme olasılıklarının daha düşük olmasıdır.
Belgelerin anonimleştirme etkisi her zaman zayıf mı?
İsimsizleştirmenin olası bir nedeni, anonimleştirmenin etkisinin zayıf olmasıdır. Anonimleştirmesi zayıf olan makaleler daha fazla yorumcuyu tahmin etmeye çekebilir ve daha yüksek bir doğru tahmin oranına sahip olabilir.
resim 3
Şekil 3, yazarı tahmin etmeye çalışan gözden geçirenlerin sayısını göstermektedir. En büyük yüzde (% 26-% 30), yalnızca bir gözden geçiren makalenin yazarını tahmin etmeye çalıştığında ortaya çıkar. Daha fazla tahmine dayalı kağıtların oranı daha küçüktür. Gölgeli çubuk, yazarın tahmininin doğru olduğunu ve daha fazla tahmin içeren makalelerin daha düşük yanlış tahmin oranına sahip olduğunu gösterir. Verilerin analizi yoluyla, nispeten az sayıda makalenin anonimleştirilmesinin iyileştirilmesinin tahmin sayısını önemli ölçüde azaltabileceği öğrenilebilir. Bu üç konferans, çift kör inceleme sürecini daha yeni kullanmaya başladı.Yazarlar, çift körlemenin etkinliğini daha da artıran daha anonim gönderim deneyimi kazandıkça, anonimleştirme görünümü azaltılabilir.
Tahmin edilen yazarın makalelerinin kabul edilme olasılığı daha mı yüksek?
Makalenin kabulü ile incelemecinin tahmininin doğruluğu arasındaki ilişkiyi araştırdık.
Şekil 4
Şekil 4, her toplantının kabul oranı ile tahminsiz, en az bir doğru tahmin ve tüm yanlış tahminler arasındaki veri ilişkisini göstermektedir. Bu üç toplantıda farklı davranışlar gözlemledik: istatistiksel olarak, hakemlerin davranışlarından bağımsız olarak, istatistiksel kabul oranı aynıdır.
Gözden geçirenler anonimliği nasıl kaldırır?
OOPSLA ve PLDI için hakemlere, alıntıların kullanımının yazarı açığa vurup çıkarmayacağı soruldu. Yapının analizi, bazı anonimleştirmenin kaçınılmaz olabileceğini göstermektedir. Bazı gözden geçirenler, son yorumlarına ipucu vermek için ilgili çalışmaları ararken GitHub depolarını veya proje web sitelerini buldular. Gönderilen bazı materyaller, yazarın önceki çalışmasının açık bir uzantısı veya aşinalığını temsil eder. Ancak bu aynı zamanda anonimliğin iyileştirilmesi için fırsatlar da getirir. Bununla birlikte, program komitesi toplantısında, program komitesi başkanı, üyelerinin defalarca başka bir program komitesi üyesinin makalenin yazarı olduğundan emin olduğunu söyledi, ancak yanılıyordu. Gözden geçirenler, yazarı dolaylı, kör edici olmayan bir şekilde tanıdıklarını düşündüklerinde, kendilerine aşırı güvenebilirler ve hatta bazen yanlış olabilirler.
Program Komitesi Başkanı'nın Görüşleri
Bu süreci tamamladıktan sonra, üç toplantının program komitelerinin başkanları çift kör incelemenin başarısını ve zorluklarını yansıtıyordu. Tüm program komitesi başkanları, gelecekte çift kör incelemenin devam eden kullanımını kuvvetle desteklemektedir. . Herkes, çift kör incelemenin bilinçaltında var olan önyargının etkisini azalttığına inanır ve bu, çift kör incelemenin temel amacıdır. Bazı program komitesi üyeleri de bunun farkındadır, bu da yorumlarının ve kararlarının daha az önyargılı olduğuna inanma konusunda daha emin olduklarını göstermektedir. Bir program komitesi üyesi, çift kör incelemenin bir tür kurtuluş olduğunu, çünkü değerlendirme sürecinde tanıdığınız kişilerin kariyeriniz üzerindeki etkisi hakkında endişelenmenize gerek olmadığını söyledi.
Tüm program komitesi başkanları yazarın zamanını açıklama kararını destekler: belki de kabul edilen makaleler için, gözden geçirme gönderildikten sonra ve program komitesi toplantısından önce yapılmalıdır. PLDI Program Komitesi başkanı, tam çift körlüğü şiddetle savunur; bu, reddedilen makalelerin aynı gözden geçirenin çift kör alanına isimsiz olarak yeniden gönderilebileceği ve böylece anonimleştirmenin nedeninin çözülebileceği anlamına gelir. ASE Program Komitesi başkanı, bazı durumlarda yazarın kimliğinin açığa çıkarılmasının makalenin katkısını ve değerini daha iyi anlamaya yardımcı olduğunu gözlemledi. PLDI Program Komitesi başkanı, makaleyi değerlendirmek için gerektiğinde yazarın kimliğini ifşa etmek için kesinlikle gerekli görüldü.
Genel olarak, program komitesi başkanlarından hiçbiri, çift kör incelemenin ek büyük bir idari yük getirdiğini düşünmüyor. ASE Program Komitesi başkanı, yardımcı olmaları için iki inceleme süreci başkanı görevlendirdi ve herkes bu ek yatırımın makul olduğu konusunda hemfikir oldu.
Christopher Manning: ACL New Deal, bilimsel ilerlemeyi hızlandırmak ve önyargıyı önlemek arasında bir uzlaşmadır
Stanford NLP grubunun (Stanford NLP grubu) direktörü ve 2015'teki eski ACL başkanı Christopher Manning de bir konuşma yaptı ve ACL'nin yeni politikası hakkında ayrıntılı bir açıklama yaptı.
Araştırma sonuçlarını hızla yayarak bilimsel ilerlemeyi hızlandırmak iyi bir şeydir. Çift kör inceleme, zaten ayrıcalıklı kişilere karşı önyargının önlenmesi açısından da iyi bir şeydir. ACL'nin yeni gönderme, inceleme ve alıntı politikası, ikisi arasında bir uzlaşmadır.
Bir uzlaşma olarak, bazı anonim olmayan makalelerin yayılmasının ertelenmesini gerektirir; bu, çift kör incelemenin bütünlüğünü zayıflatmaya çalışmaktan ziyade yalnızca gelişecektir.
Yazarı isimsiz tutmak asla mutlak değildir: İnsanlar çalışmaları hakkında konuşacak veya bunu meslektaşlarına gönderecek. Diğer bir deyişle, ACL politikası asla taslakları meslektaşlarınızla paylaşmanızı kısıtlama çabası değildir.
Aslında bu politika, ön baskılar için yüksek kullanım değeri sağladığından hızlandırılmış bilimsel ilerlemeyi destekleme eğilimindedir: örneğin, bir sonraki toplantı için son tarihten çok önce bir makale yazmak veya meslektaşlardan erken fikirler hakkında geri bildirim almak .
ACL'nin politikası iki insan eksikliğine dayanıyor: erteleme ve unutkanlık. Son teslim tarihinden 35 gün önce herkes ödevi bitirebilir, ancak çok az kişi bitirebilir. Bazı iyi ön baskılar veya önceden reddedilmiş makaleler yaygın olarak kullanılacak, ancak insanların yazarı hatırlaması pek olası değil.
Yüksek anonimlik olasılığı, büyük ölçüde çift kör incelemenin faydalarını korur.
Referans bağlantısı:
https://aclweb.org/adminwiki/index.php?title=ACL_Policies_for_Submission,_Review_and_Citation
https://cacm.acm.org/magazines/2018/6/228027-effectiveness-of-anonymization-in-double-blind-review/fulltext
https://twitter.com/chrmanning
Topluluğa katıl
Xinzhiyuan AI teknolojisi + endüstri topluluğunun işe alımında, AI teknolojisi + endüstrisiyle ilgilenen öğrenciler küçük bir WeChat asistanı hesabı ekleyebilirler: aiera2015_3 Gruba katılın; incelemeyi geçtikten sonra sizi gruba katılmaya davet edeceğiz. Topluluğa katıldıktan sonra, grup açıklamalarını değiştirmelisiniz (isim-şirket-pozisyon; profesyonel grup incelemesi katıdır, lütfen anlayın).
