En üst düzey konferans raporu teklif için nasıl gerekli bir koşul haline geldi?
Araştırma yolu ne kadar yalnız olursa olsun, aklınızı ve umudunuzu kaybetmeyin
umut!
Yazar | Andreas Madsen
Derleme | MrBear
Düzenle | Kongun Sonu
Akıl hocası yok, akran yok, maddi yardım yok, bu koşullar altında "kağıt için savaşmak" nasıl bir deneyim?
Makine öğrenimi alanında bağımsız bir araştırmacı olan Andreas Madsen, karanlıkta sessizce keşif yapan bağımsız araştırmacılara umut veren bir ICLR Spotlight makalesini 7 ayda tamamladı! Tabii kendisi de bir teknik uzman ve fırsatlar her zaman hazırlıklı olanlar için ayrılıyor!
Andreas Madsen'i en iyi konferans makalesini yayınlamaya iten nedenin, doktora başvurusu sürecinde duvarlara çarpma deneyimi olduğunu belirtmek gerekir.
Makine öğrenimi alanında yüksek lisans derecesi, makine öğrenimi geliştirme konusunda zengin deneyime sahip ve ayrıca bazı önemli makaleler yayınlayan bir araştırmacı, sırf en iyi konferans makalesini yayınlamadığı için bir grup profesör tarafından geri çevrildi mi?
Ona göre, bu fenomen aslında daha çok akademide bir tür "yeni elitizm" e benziyor ve sonunda bu endüstriye meydan okuyan içsel önyargıları büyütecek.
Bu bağlamda, nihayet sadece denemeler değil, net bir akademisyen akışı istedi!
Aşağıdaki kişisel deneyim paylaşımıdır:
Nisan 2019'da önemli akademisyenler için toplantı Bir makale yayınladıktan sonra bağımsız bir araştırmacı olmaya karar verdim. Nihayet, Aralık 2019'da, yedi veya sekiz aylık finanse edilmemiş araştırma çalışmasından sonra, başardım! Makalem ICLR tarafından kabul edildi. Daha sevindirici olan bu makalenin bir Spotlight ödevi olarak kabul edilmiş olması!
Bu makaleyi Twitter platformunda yayınladıktan sonra, hızla yayıldı ve benim gibi araştırmacılara umut getirdi. Bu yüzden neredeyse 100 aldım Özel mektup , Hepsi benim fikrimi soruyor ve bağımsız bir araştırmacı olarak bir makalenin nasıl yayınlanacağını öğrenmek istiyorlar.
Bu yazıda bu konuda bazı fikirler sunacağım Önermek . Ama daha da önemlisi, neden bağımsız bir araştırmacı olmayı seçtiğimi konuşmak istiyorum. Herhangi bir finansal destek olmadan 7 ay çalışmanın önemsiz bir konu olmadığını bilmelisiniz Bu yaklaşım dikkatli bir değerlendirmeyi hak ediyor!
Şekil 1: Evet! İlk konferans makalem ICLR spot ışığı olarak kabul edildi! DeepMind'ın "NALU" kağıdı performansını 3-20 kat artırdık. Herhangi bir fon sağlamayan bağımsız bir araştırmacı olarak bu işi 7-8 ayda tamamladım.
-
Kağıt adresi: https://openreview.net/forum?id=H1gNOeHKPS.
-
Kod adresi: https: // github .com / AndreasMadsen / kararlı-nalu
Neden bağımsız bir araştırmacı olmayı seçtim
Mart 2018'de, "distill.pub" platformunun tek yazarı olarak "RNN'lerde ezberlemeyi görselleştirme" başlıklı makaleyi yayınladım ve iki tanesini kanıtlamak için doğal dil işleme görevleri için etkileşimli bir belirgin görselleştirme tekniğinin nasıl kullanılacağını açıkladım. Neredeyse aynı doğruluğa sahip modeller son derece farklı performanslara sahiptir.
-
Kağıt adresi: https://distill.pub/2019/memorization-in-rnns
Şekil 2: Distill'de yayınlanan ilk makale "RNN'lerde ezberlemeyi görselleştirme"
Bir keresinde, yukarıda bahsedilen tez ve makine öğrenimi alanındaki yüksek lisans derecem ile doktora başvurusu veya araştırma yazılımı mühendisi, staj projesi veya makine öğrenimi mühendisi olarak bir pozisyon için başvurmanın yeterli olduğunu düşündüm. Böylece birçok profesöre doktora başvuru mektupları göndermeye başladım ve aynı zamanda Google, Microsoft, Rakuten, ElementAI, Nvidia, Hypefactors, Intel, JD, Amazon, Samsung, Shift Technology, Corti vb. Şirketlerden iş başvurusu yapmaya başladım.
Ama sonunda bir röportaj fırsatı bile bulamadım!
Google'da bir araştırma yazılımı mühendisi için başvurduğumda, Google'dan kıdemli bir araştırmacı bana bile yaklaştı, beni departmanlarında bir pozisyona başvurmam için teşvik etti ve resmi olarak tavsiye etti. Güvenli tarafta olmak için, Google'dan başka bir kıdemli yazılım mühendisinin de beni önermesini istedim ve benimle açık kaynak Node.js projesinde çalıştı.
Buna rağmen yine de görüşme fırsatı bulamadım ve hiçbir İK benimle iletişime geçmedi.Haber olmadı!
Gerçek şu ki: "Makine öğrenimiyle ilgili en iyi konferansta en iyi dergi makaleleri çok önemlidir."
Başvuru sürecinde bir hocadan bir mektup aldım:
E-postanız için çok teşekkür ederim, içerik çok ilginç. Genel olarak konuşursak, en önemli konferansın en önemli sayısında bir veya iki makine öğrenimi / NLP makalesi olmadan doktora başvurusu yapmak oldukça zordur. Distill'de yayınlanan yazılarınız ve sektördeki deneyiminiz bunu bir ölçüde telafi ediyor. Maalesef şu anda başvuracak boş yerim yok. QS tarafından derecelendirilen ilk 100 üniversiteden bir profesör.
Bir arkadaşım (başka bir üniversiteyi tanıyan eski bir komite üyesi) şu yanıtı aldı:
En iyi yapay zeka doktora programları, başvuru sahiplerinin en iyi konferansta bir makale yayınlamasını gerektirir. ACL / EMNLP / CVPR / ICCV / NeurIPS veya ICML'de bir makale yayınlamadıysanız, kabul edilme şansınız çok düşüktür. QS küresel sıralamasında ilk 5 üniversitenin eski bir komite üyesi.
Tabii ki, başka e-postalar da aldım (çoğu insan bana cevap vermedi), profesörler o kadar basit değildi, ama başvurumla hiç ilgilenmediler.
Bence başvuru sahiplerinden bir veya iki üst düzey konferans bildirisine sahip olmalarını gerektiriyorlar, ancak bunu doğrudan kabul etmek istemiyorlar çünkü bu kötü standart sadece çok şanslı öğrenciler için yararlı. Yüksek lisans derecem sırasında katıldığım üniversite bizi makale yayınlamaya teşvik etmedi, ancak Danimarka aynı zamanda yüksek lisans eğitimi almak için iyi bir yer.
Bu nedenle, içselleştirmeden doktora derecesine başvurmak istiyorsanız, yarım doktora derecesi alabilecek sonuçlara sahip olmanız gerekir.
Gerçek bu! 2011'den beri hayalimi gerçekleştirmek için 1-2 önemli konferans bildirisi yayınlamam gerekiyor. Bu nedenle, Nisan 2019'da, Ocak 2020'ye kadar kendimi bilimsel araştırmalara adamaya ve NeurIPS veya ICLR ile ilgili makaleler yayınlamaya karar verdim. Sonunda hala başarılı olamazsam, JavaScript programcısı olacağım.
Kendinize nasıl finansal destek sağlayabilirsiniz?
Kendi araştırma fikirlerimi nasıl bulabilirim? Kendime nasıl mali destek sağlayabilirim? Şu ana kadar bana en çok sorulan soru bu. Ancak bu sorunların çözülmesi gerekse de bence o kadar da önemli değil.
Aslında, araştırma fikirlerini keşfetmenin birçok yolu vardır; Başkalarının masraflarını üstlenmek zorunda değilseniz, paradan tasarruf etmenin birçok yolu vardır. "Yalnız yaşama ama akıl ve umuttan vazgeçmeme" durumuna girebilirsiniz. Bu sizi çok rahatsız etmeyecektir.
Eylül 2017'den Ekim 2018'e kadar serbest çalışıyorum. İlk bağımsız araştırmacı olduğumda, arkadaşım Emil Bay beni NearForm'a tavsiye etti, "clinic.js" adlı yeni bir proje yapmak istediler. Bu proje yalnızca mühendislerin Node.js'nin dahili uygulaması hakkında ayrıntılı bir anlayışa sahip olmasını gerektirmez, aynı zamanda istatistik ve web görselleştirme teknolojisinde bir arka plan gerektirir.
Bu proje tam anlamıyla bana özel! Ondan önce çok sayıda görselleştirme çalışması yaptım, 6 yıl boyunca Node.js'nin dahili uygulamasıyla ilgili çalışmaya katıldım ve makine öğrenimi alanında yüksek lisans derecesi aldım. Bu nedenle, bu projede cömert tazminat aldım. Harcama ve tüketimimi çok düşük düzeyde kontrol edebiliyorsam, bu ücret araştırmamı 3 ila 4 yıl desteklemeye yetiyor.
Finansman açısından çok şanslı olduğum söylenebilir. Bununla birlikte, Danimarka yüksek düzeyde tüketime sahip bir ülkedir ve başka bir ülkede kendi araştırmanızı finanse etmek daha kolay olabilir.
2019'da, beni NodeConf EU 2019'da piyasaya sürülen IoT akıllı saatleri / rozetleri için bir TensorFlow bileşeni geliştirmeye davet ettiler. Bu gelir, yıl boyunca tüm giderlerimi karşılamaya yetmese de bana çok yardımcı oldu.
Şekil 3: Bu makalenin yazarı tarafından geliştirilen akıllı saat cihazı
İyi araştırma fikirleri nereden geliyor?
Dediğim gibi, araştırma fikirlerini keşfetmenin birçok yolu var, bu yüzden söylediklerime çok fazla dikkat etmeyin ve kendi yaratıcılığınızı tam anlamıyla oynayın.
Şubat 2019'da bir yapay zeka öğrenci kulübünün açılış törenine katılmak için önceki öğretmenimle doktora başvurusu hakkında konuşmak umuduyla mezun olduğum okuluma döndüm. Ancak maalesef bana herhangi bir giriş fırsatı sağlayamadı.
Ancak bir ortak bulmak isteyen yardımcı araştırmacı Alexander R Johansen ile tanıştım. Mart 2019'un sonlarında ona bir mektup yazdım ve bana birkaç öğrencisinin DeepMind'ın "NALU" makalesini yeniden üretmeye çalıştığını ama hepsi başarısız olduğunu söyledi. Bu yüzden bana bunu çalışmak isteyip istemediğimi sordu, belki bundan bir NeurIPS makalesi yazabiliriz.
Yüksek lisans tezim ve Distill'de yayınlanan tezim, başkalarının abartılı veya yanıltıcı çalışmaları hakkında eleştirel düşünmek ve sonra bu çalışmaları geliştirmekle ilgili. Ve bu araştırmanın zorluğu optimizasyon ve bunda çok iyiyim. Yani, bu görevi yapabileceğimi düşünüyorum.
Neredeyse tüm yayınlanan makaleler performansını abartır, bu nedenle başkalarının çalışmalarını iyileştirmek, uygulanabilir bir araştırma stratejisidir.
benim Önermek Bu kadar. Bu, araştırma fikirleri bulmak için çok aydınlatıcı bir strateji değildir. Süreçte bazı büyük zorluklarla da karşılaşacaksınız, ancak gerçekten uygulanabilir bir stratejidir.
Aşağıda en önemli olana bir göz atalım:
Araştırma yolu ne kadar yalnız olursa olsun, aklınızı ve umudunuzu kaybetmeyin
Bağımsız bir araştırmacı olarak, herhangi birinden cesaret almanız zor olabilir. Tabii ki, birçok doktora müfettişinin kendi öğrencilerini cesaretlendirmeyeceğini de biliyorum, ancak bu öğrenciler benzer sıkıntılarda meslektaşlarından cesaret isteyebilirler. Bağımsız bir araştırmacının böyle bir teşvik alması neredeyse imkansızdır. Önermek Bağımsız bir araştırmacı olmanın birincil nedeni herkes olmamalıdır.
Tezin ilk yazarı olarak, tez yazım sürecinde sizinle empati kuran birinden destek görmemeniz zordur. bu benim Önermek Bağımsız bir araştırmacı olmanın birincil nedeni herkes olmamalıdır.
Herkesin az çok cesaretlendirmeye ihtiyacı var. Hiçbir cesaret almadan 7 ay yaşayabileceğinizi düşünmeyin. Şu durumlar beni endişelendiriyor: bir çözüm bulamama, haksız hakem incelemesiyle karşılaşma, faydalı deneysel sonuçlar elde edememe, çalışmada bazı önemli kusurlar bulma ve hatta makale yayınlansa bile konunun çok fazla olacağından endişe ediyorum. Küçük ama etkisi yok.
Aynı zamanda, 7 aylık kendi kendini artıran araştırma fonu da çok risklidir. Son makale yayımlanmazsa, kaybım büyük olur. Bağımsız bir araştırmacı olarak kabul edilme şansım ortalamanın altında çünkü daha az geri bildirim alıyorum.
Şekil 4: Bağımsız bir araştırmacı olarak, bir makale yayınlamak muhtemelen yapamayacağım bir şey, başarısız olacağını da düşündüm ama her durumda elimden geleni yapacağım.
Ancak, sizi destekleyecek sizin gibi biri olmasa da, bu sorunu çözmenin başka yolları da vardır. Bunu ben yaptım:
1. Araştırma fikirlerini genellikle her hafta İskender ile tartışırım. İskender'in kendisi doktora yapmamasına rağmen, büyük bir eleştirel düşünceye sahip. Çok sayıda ilk makalesi olan veya uzun yıllar makale rehberliği deneyimi olan insanlarla iletişim kurmanın gerekli olduğunu düşünmüyorum. Önemli olan, araştırmamız hakkında soru sorabilecek insanlarla konuşmamız gerektiğidir. Aksi takdirde tembelleşebilir ve kağıtlarımızdaki hataları görmezden gelebiliriz. Lütfen tezinizi başkalarıyla tartışmaya çalışın, bu sizin üzerinizdeki baskıyı artıracak, böylece oportünizm için umut vermeyeceksiniz.
2. Ana araştırmaya ek olarak bazı tesadüfi projeler de yaptım. Her zaman aynı işe ayırmak çok risklidir, bu nedenle yararlı olduğunu düşündüğünüz küçük projelere zaman ayırabilirsiniz. Açık kaynak kodlu bir araç yazabilir veya iyi bilinen bir makaleyi yeniden üretebilirsiniz. Ayrıca araştırmadan çıkıp rahatlamak da gerekiyor. Bu sayede araştırma projesi başarısız olsa bile en azından bazı küçük projeler tamamlanmış olur. Benim için bu tesadüfi projelerin tanınmış araştırmacılar tarafından tanınmasını sağlamak da büyük bir teşvik.
Şekil 5: Üç günde tamamlanan bir yan proje örneği Bu projeyi kullanan araştırmacılar size çok teşekkür edecek ve kendinizi cesaretlendirebilirsiniz. (Twitter etkisi: Burada "pip install Ircurve" yayınlamaktan çok mutluyum. TensorBoard kadar külfetli olmayan gerçek zamanlı bir öğrenme eğrisi çizmek için kullanılabilir. Bir Keras yardım dosyası ve modelden bağımsız bir arayüz içerir.
İyi bir makale nasıl yazılır?
Gönderilen tüm makalelerin yalnızca% 20'si kabul edilecek ve hakemleriniz makalenizi reddetmek için çeşitli nedenler arayacaklar. Makalenin "yeterince iyi" olduğunu düşünüyorsunuz, makalenizin "harika" olarak övülmesine izin vermelisiniz!
Bununla birlikte, (bağımsız araştırmacılar için) size yardımcı olacak herhangi bir danışmanınız yok ve daha önce bir makale yayınlamadınız, öyleyse nefes kesici bir makaleyi nasıl yazabilirsiniz?
Benim durumumda, ilk makalem distill.pub dergisindeydi. Geriye dönüp baktığımda çok şanslıydım - Distill özellikle kağıdın kalitesiyle ilgileniyordu. Çünkü (yazma konusunda yetkin olmayan) hakemlerle karşılaştırıldığında, Distill makalenin açıkça açıklayabileceğini ve başkalarını eğitebileceğini vurguluyor. Benim için açıklama ve eğitim amaçlı bir makale yazmak, akran değerlendirmesini memnun edecek bir makale yazmaktan çok daha kolay.
Ancak, Distill'e ilk başvurum editör tarafından reddedildi! İşimin katkısını bilmiyorlar. Bu, Nested LSTM'nin bir eleştirisi mi, yoksa yeni bir NLP görevi "otomatik tamamlama" mı öneriyor yoksa etkileşimli bir görselleştirme teknolojisi mi?
Bir yazıda bir veya iki önemli bilgi olabilir, yanlış anlaşılırsa okuyucuların kafasını karıştırır ve reddedilir. Bu nedenle, bu sorunları önlemek için bazı önemli bilgileri tekrar tekrar vurgulamaktan korkmayın.
Distill makalemde yukarıda bahsedilen bilgiler şudur: "Görselleştirme insanların modeli anlamasına yardımcı olabilir, ancak doğruluk değil. Ancak, bunu yansıtmak için herkesin sezgisel olarak hissedebileceği bir soru kullanmanız gerekir. Açıkçası, Çin şiirinin nesli böyle bir sorun değil. "
Benim ICLR makalemde şu mesaj var: "Heterojen birimler arasında geçit yapmak göründüğünden çok daha zor, ancak geçitleme sorunu çözülmeden çözülmesi gereken başka sorunlar da var, bu yüzden Gelecekteki araştırmalar geçitleme sorununu çözecek. "
Bunu sadece bu şekilde yazmak yeterli değildir, en tembel yorumcunun bile görebilmesi için makale boyunca bu noktayı defalarca ifade etmeniz gerekir.
Makalede büyük revizyonlar yaptım ve revize edilmiş makaleyi tekrar Distill'e gönderdim. Bu sefer daha açıklar. Distill'den Chris Olah ve Ludwig Schubert, makale meslektaş incelemesine geçmeden önce bana çok faydalı geri bildirimler verdi.
Onlardan kazanılan deneyim olmadan, ICLR tarafından hala kabul edilebilir miyim emin değilim. Edindiğim deneyimin çoğunu kapsayan bilimsel makalelerin nasıl yazılacağı konusunda romancı McCarthy'nin becerilerini okuyabilirsiniz.
-
Makale okuma adresi: https: // www. doğa .com / makaleler / d41586-019-02918-5
Son olarak, İskender ve ben bu makaleyi özellikle özet ve girişte uzun süre parlatarak geçirdiğimizi söylemek istiyorum, onun yardımı çok değerli.
Kağıt NeurIPS tarafından reddedildi
Makaleyi NeurIPS 2019'a gönderdik, ancak reddedildi. O zamanlar çok acı çekiyordum. Sonuçta, çok zaman harcadım ve hiçbir şeyim olmadı. Rüyamın kırıldığını hissediyorum ve asla hayalimi gerçekleştirme fırsatım olmayacak ve sevdiğim makine öğrenimi araştırmalarına katılamam.
Kendi kaderinizin anonim hakemlerin ellerinde kalmasına izin vermek garip.
Şekil 6: NeurIPS 2019'dan yorum alma hakkındaki düşüncelerim.
Öyleyse neden reddediliyoruz? Öğrendiğim dersler:
-
Bazı eleştirmenler, NALU sonuçlarını (üzerinde geliştirdiğimiz makale) başarıyla çoğalttığımıza inanmadı. Pek çok eleştirmen şu soruyu soracaktır: "Neden orijinal makaledeki sonuçlar verdiğiniz sonuçlardan çok daha iyi"?
-
Bazı eleştirmenler, NALU makalesinin sunulan makalelerde yapabileceğini iddia ettiği her şeyi yapmamızı talep ediyor (NALU modelinin bunları tatmin edici derecede yapmadığına dair net kanıtlar sağlamış olsak da). Bu makaleyi okuduysanız, çözmediğimiz şey bölme ve toplama ile çarpma arasındaki geçittir. Bununla birlikte, diğer alanlarda da iyileştirmeler yaptık.
Aslında ikinci nokta, bazı hakemlerin deneysel sonuçlarımıza ve tekrarlarımıza inanmamasına da bağlanabilir. Başkalarının abarttığı deneylerin sonuçlarını iyileştirirken karşılaşabileceğimiz zorluk budur.
Hakemler, yayınlanmış araştırma sonuçlarını desteklemeyi tercih ederler. Daha önce yayınlanmış makaleleri eleştirmekle karşılaştırıldığında (özellikle bu makaleler DeepMind'dan geldiyse), yeni gönderilen makalelerinizi eleştirme olasılığı daha yüksektir.
DeepMind tarafından "NALU" makalesinin sonunda verilen sonuçların yanlış olmadığını, tekrarlanabilir olduklarını açıklığa kavuşturmak istiyorum. Ancak, bu tür sonuçlar "ekstrapolasyon görevi" için en uygun şekilde yapılandırılmamıştır Görev ana hedeftir, modelin birinci ve ikinci okumalardan daha iyi görünmesini sağlar. (Deneysel sonuçları daha dikkatli okumalısınız).
Dahası, NALU kağıdı sonucu yalnızca tek bir tohumla gösterirken, kağıdımız sonucu 100 tohumla gösteriyor. Bu konuda, "Aritmetik Ekstrapolasyon Performansını Ölçme" adlı bir çalıştay makalesi yayınladık (kağıt adresi: https://arxiv.org/abs/1910.01888).
Bu sefer ICLR'ye sunulan kağıtta farklı olan nedir?
NeurIPS 2019'un inceleme yorumlarını çürütmeden önce, makalede bazı iyileştirmeler yaptık. ICLR'ye gönderilen versiyonda, görüşlerimizi desteklemek için daha fazla kanıt ve deney ekledik.
Çok akıllıca bir şey yaptık! NeurlIPS 2019'un SEDL seminerinde tamamladığımız NALU'nun deneysel kurulum ve reprodüksiyon sonuçlarını yayınladık.
Bu çalışmayı Twitter'da da yayınladık ve NALU etiketini yayınladık. O yanıt verdi: "Harika iş! İyi bir kıyaslama ile modeli geliştirmeye devam edebiliriz." Bu bizim için çok faydalıdır, deneysel ayarlar ve yeni modelimiz hakkında tartışmak zorunda değiliz. Bunun yerine, önerdiğimiz modele odaklanabiliriz.
Şekil 7: Sinir ağlarında matematiksel ekstrapolasyon elde etmek çok zordur. Yeni bir karşılaştırma kriteri önerdik ve NALU'nun çok kırılgan olduğunu gördük. Öyleyse aritmetik yöntemleri öğrenebilen bir sinir ağını nasıl kurarız? Basitçe daha fazla veri kullanmak bunu yapamaz.
Umarım iyileştirmelerimizin büyük bir rol oynadığını söyleyebilirim, ancak gerçek şu ki, sadece şanslıydık ve harika bir eleştirmenle tanıştık. Yorumlar halka açık olduğundan, OpenReview üzerindeki çalışmalarımıza ilişkin yorumları daha geniş tartışmalara, daha derin eleştirel düşünceye ve daha az sözlü yoruma yol açtı.
Dört inceleme yorumu aldığımızı belirtmekte fayda var ki bunun alanımız Başkan Bununla çok ilgileniyorum. Gözden geçirenlerden biri, NeurIPS hakkındaki makalemizi de (muhtemelen o sırada gözden geçiren 3 numaradır) inceledi ve NeurIPS hakkındaki inceleme yorumları da en yapıcı olanıydı.
Bu revizyon serisini yaptıktan sonra, gözden geçirenin görüşü NeurIPSin zayıf reddinden ICLRnin zayıf kabulüne dönüştü ve ICLRnin son inceleme fikirlerinde kabul olarak değiştirildi. Hatta başka gözden geçirenlere de verdi "Bu makaleye yansıyan katkılar çok gelişti."
İncelemecinin yorumları aşağıdaki gibidir:
Diğer gözden geçirenlerin endişelerini anlıyorum. Bu makalede verilen model, diğer modellerde aşamalı olarak değiştirilmiştir. Ancak bu makalenin avantajının sadece modelin kendisinde olduğunu düşünmüyorum, tam metinde somutlaştırılan teorik ve deneysel analizde, dolayısıyla modelin performansını artırmakta ve bu makalenin kodu da açıklanmaktadır.
Bu makale çok okunabilirdir.Yakın zamanda önerilen model üzerinde bazı çalışmalar yapmaya çalışır.Başkalarının önerdiği modelin kusurlarına dikkat çeker ve detaylı bir analiz süreci verir ve ardından modeli ve karşılaştırmayı geliştirir. Bu makale doğrudan orijinal modelin yeniden üretilmesi sorunuyla karşı karşıya ve onu büyük ölçüde geliştirdi. Bu yüzden bu yazının kabul edilmesi gerektiğini düşünüyorum.
Burada önerilen modelin alanda büyük bir değişikliğe neden olup olmayacağından emin değilim, ancak bu yöntem diğer araştırmacıları daha kapsamlı bir analiz yapmaları için etkileyebilir ve ilham verebilir.
Bu nedenle, bu makalenin notunu "kabul" e yükselttim.
Bu yorumcu yorumu beni çok mutlu etti. O zamanlar, makalemizde hala iki zayıf ret vardı, bu yüzden hala reddedilme olasılığı vardı. Ama reddedilse bile, en azından başarısız olmadığımı, ancak gözden geçirme sürecinin kusurlu olduğunu düşünürdüm.
Tüm bu çabaya değer mi?
Sonunda makalemiz ICLR tarafından kabul edildi. Umarım bu makalenin bir araştırma işi bulmama yardımcı olacağını kesin olarak söyleyebilirim, ancak dürüst olmak gerekirse, gelecekte ne getireceğini bilmiyorum.
"En iyi doktora programı tarafından alınmak için en iyi 2 konferans makalesine (tercihen ünlü bir araştırmacıyla birlikte)" ihtiyacım olduğunu söyleyen bir e-posta gördüm, ancak bağımsız bir araştırmacı olarak Ne yapılamaz - Umarım sadece bu üniversitenin böyle bir gereksinimi vardır.
Şekil 9: Makine öğrenimi araştırmalarına giden yol uzundur. Ancak, ilk adımı atmaya cesaret edemezseniz, her şey imkansız görünecektir. Bunu gerçekten yapmak istiyorsan, başka yollar bulmaya çalış.
sonuç olarak
Diğer bağımsız araştırmacılar için ana noktaları tekrarlamak istiyorum Önermek :
1. Başkalarıyla işbirliği yapın. Çalışmanız hakkında yapıcı yorumlar yapabilecek biri olduğu sürece, bu kişinin makale yazmada uzman olması gerekmez. Bu nedenle, üniversitede size yardımcı olacak bilgi işlem kaynaklarına sahip birini bulmanız gerekebilir.
2. En kötüsüne hazırlanın ve elinizden gelenin en iyisini yapın. Bildirilerin sadece% 20'si kabul edilecektir. Bağımsız bir araştırmacı olarak kabul edilme olasılığınız ortalamanın altında olabilir. Bir kez reddedildikten sonra cesaretiniz kırılmasın! Ayrıca bazı tesadüfi projeler de gerçekleştirebilirsiniz, böylece başarısız olsanız bile tamamen zaman kaybettiğinizi hissetmezsiniz.
3. Bağımsız bir araştırmacı olmaktan kaçının. Daha iyi seçenekler varsa, bağımsız bir araştırmacı olmak için herhangi bir nedeniniz olmamalıdır. Belki ustanızın öğretmeni sizi umursamıyor, ama en azından diğer doktora öğrencileriyle iletişim kurabilirsiniz. Bağımsız bir araştırmacı olursanız, sizi destekleyen çok önemli ağı kaybedersiniz.
Şekil 10: Bağımsız bir araştırmacı olmak son derece zor ve yalnızlıktır. Ancak, eğer şanslıysanız, köşede umut bulabilirsiniz.
Son itiraz: Sadece tez değil, net bir akademisyen akışı olmalıdır!
Son olarak, bildirilerimizden biri ilgili bir seminer tarafından kabul edildiği için NeurIPS 2019'a katıldım. Toplantıda, birkaç işveren, profesör ve araştırmacı ile konuşma şerefine eriştim. Şok oldum: İşe alım görevlilerinin ihtiyaçları, araştırmacıların istekleri ve profesörlerin sağlayabileceği koşullar arasında büyük bir boşluk var. boşluk .
Araştırmacıların bilmesini istediğim şey, bu akademik alanda arz ve talep arasındaki ilişkinin son iki yılda büyük ölçüde değiştiğidir. Günümüzde doktora fırsatı almak, doktora derecesini tamamlamaktan daha zor görünüyor.
2017 veya daha önce bir yüksek lisans derecesi aldıysanız, iyi bir doktora programı için seçilmek yine de mümkündür.
Ancak günümüzde, kabul koşullarını karşılamak için (NeurIPS / ICLR / ICML) (ve tercihen ünlü bir araştırmacı ile) gibi en iyi konferanslarda 1-2 makale yayınlamanız gerekiyor.
Umarım araştırmacılar, profesörler, komite üyeleri ve toplantı Organizatörler, bu hızla yayılan "yeni elitizmi" frenlemeye yardımcı olabilir çünkü bu, yalnızca endüstriye meydan okuyan içsel önyargıları büyütür.
Ek: QA
Bir önceki makale aldığım tüm soruları cevaplamadı, mevcut içeriğin yeterince çekici olmadığını düşünüyorum. Bu yüzden aşağıda diğer önemli soruları tek tek cevaplayacağım:
S: Bu güzel resimleri nasıl çizdin?
C: Tüm grafiklerim R dilinin ggplot2 kitaplığı kullanılarak çizildi.Bu kod kitaplığı bana çok yardımcı oldu. Başka şeyler yapmak için R kullanmadım, sadece CSV dosyasını Python'dan dışa aktardım, R'ye aktardım ve ardından güven aralığını hesaplamak ve grafiği çizmek için R'yi kullandım.
S: Çalışmanız işe yaramaz, sadece bir şakasınız.
C: Teşekkürler, hiç yorumcu olmayı düşündünüz mü?
S: Ne kadar zaman harcadınız?
C: Bu kağıt için haftada yaklaşık 48 saat, bazen 100 saate kadar harcıyorum. Ama unutma, ben de bazı yan projeler ve ücretsiz işler yapıyorum.
S: Bilgi işlem kaynaklarınızı nereden alıyorsunuz?
C: Alexander, yardımcı araştırmacı olduğu için bize bilgi işlem kaynakları sağlayabilir.
S: Mentorum bana doktora okuma şansı vermek istiyor. Kabul etmeli miyim?
C: Gerçekten araştırma yapmak istiyorsan, belki de kabul etmelisin. Artık rekabet sertleştiğine göre, elde edebileceğiniz fırsatları değerlendirmeniz gerektiğini düşünüyorum.
S: Şu anda bir staj yapıyorum, ancak öğretmenim pek sorumlu olmadığı için hiçbir şey öğrenemeyeceğimi hissediyorum.
C: İnançlarınızdan siz sorumlusunuz ve öğretmeninizin size gelmesini beklemeyin. Staj fırsatı yakalayabileceğiniz için şükretmelisiniz, daha önce almadım. Eğitmeninizle iletişim kurmaya başlayabilirsiniz, ancak eğitmene ek olarak başkalarından da tavsiye isteyebileceğinizi unutmayın.
S: Yüksek lisans için çalışıyorum, teze nasıl hazırlanırım?
C: Buna açık olan bir öğretmen bulabilirseniz, bir makale yayınlamayı deneyebilirsiniz. Aynı zamanda, çalışmalarınız sırasında staj bulmaya çalışın. Stajların çoğu sadece öğrencilere açıktır. Bir zamanlar staj yapma fırsatı buldum ama çoktan mezun olduğum için gidemedim.
S: Programlama yeteneğimi nasıl geliştirebilirim?
C: Yıllardır açık kaynak kod yazmakta ısrar ettim, bu da bana bazı seçkin programcılar tarafından yönlendirilme fırsatı veriyor.
S: Spotlight yayınlamak için başka neye ihtiyacım var?
C: Dürüst olmak gerekirse, en çok şansa ihtiyaç olduğunu düşünüyorum.
S: Bazı kişilerin yüksek lisans derecesi aldıktan sonra Google araştırmacısı olduklarını gördüm, bunu nasıl yaptılar?
C: Aslında durum bu. Bu fenomenin altın çağı 2013 2015'e kadar. Yüksek lisans dereceniz varsa ve yeterince şanslıysanız, uzun bir yol kat edebilirsiniz.
Https: // aracı ile .com / @ andreas_madsen / bağımsız bir araştırmacı olma ve iclr'de yayınlanan-spot-c93ef0b39b8b
