Kağıdın tekrarlanabilirliği nicel olarak analiz edilebilir mi?
Yazar | Edward Raff
Derleme | Mr Bear
Düzenle | Kongun Sonu
Her araştırmacı için bir makaleyi çoğaltmak bir makaleyi anlamanın tek yoludur, ancak aynı zamanda en zahmetli bağlantıdır. Ne tür bir kağıt çoğaltılabilir? Ne tür bir kağıt çoğaltılamaz? Bu aslında bilimsel bir sorundur.NeurIPS 2019'da meta-bilimci Edward Raff, bunun derinlemesine bir analizini yaptı ve makalenin tekrarlanabilirliğinin gizemini ortaya çıkardı.
300 yıldan fazla bir süredir, hakem değerlendirmesi bilimsel araştırmanın gerekli bir parçası olmuştur. Bununla birlikte, bir emsal değerlendirme mekanizmasının uygulanmasından önce bile, tekrarlanabilirlik bilimsel yöntemin önemli bir parçasıydı.
MS 800'de Jabir Ibn, tekrarlanabilir deneylerin ilk partisini gösterdi. Geçtiğimiz birkaç on yılda, herkesin dikkatini çeken, tekrarlanamayan deneysel sonuçlar birçok alanda ortaya çıktı. Amerikan Psikoloji Derneği, yazarın deneysel veri sağlayamadığı sorunu çözmek için çok çalışıyor (https://psycnet.apa.org/doi/10.1037/0003-066X.61.7.726). 2011'de yapılan bir araştırma, tıbbi araştırmaların yalnızca% 6'sının tamamen kopyalanabileceğini buldu. 2016 yılında, birden fazla disiplinden araştırmacılar arasında yapılan bir anket, çoğu araştırmacının önceki makalelerini yeniden üretemediğini ortaya çıkardı.
Şimdi, yapay zeka ve makine öğrenimi alanında "tekrarlanabilirlik krizi" ile ilgili bazı uyarılar da duyduk.
Sormaktan kendimizi alamıyoruz: Bu doğru mu? Bu inanılmaz görünüyor, çünkü makine öğrenimi teknolojisi tüm akıllı cihazlara nüfuz etti ve günlük hayatımızı etkiliyor. E-posta yoluyla nasıl kibarca davranılacağına dair pratik ipuçlarından Elon Musk'ın gelecek yıl vaat ettiği sürücüsüz arabaya kadar her şey bize makine öğreniminin gerçekten yeniden üretilebilir olduğunu kanıtlıyor gibi görünüyor.
En son makine öğrenimi araştırması ne kadar yeniden üretilebilir? Tekrarlanabilirliğini etkileyen faktörleri nicel olarak analiz etmeye başlayabilir miyiz? Bu soru, şu anda NeurIPS 2019'da yayınlanan "Bağımsız Olarak Yeniden Üretilebilir Makine Öğrenimi Araştırmalarının Ölçülmesine Doğru Bir Adım" (https://arxiv.org/abs/1909.06674) makalesini yazmamı sağladı.
"Anlama" ilkesi doğrultusunda, geçtiğimiz sekiz yılda çeşitli makine öğrenimi algoritmalarını sıfırdan uygulamaya çalıştım. Sonunda, makine öğrenimi kitaplığı "JSAT" yi (https://github.com/EdwardRaff/JSAT) tamamladım. Tekrarlanabilir makine öğrenimi üzerine araştırmalarım da Mendeley'de (https://www.mendeley.com/) ve kişisel notlar ve kayıtlar Github'da barındırılıyor.
Bu verilerle, yardım edemem ama niceliksel analize başlayıp tekrarlanabilirliği doğrulayabiliyorum! Kısa bir süre sonra, bilimin kendisini incelemeyi hedefleyerek gelecekte "meta-bilim" araştırmalarına katılacağımı fark ettim.
1. Tekrarlanabilir makine öğrenimi nedir?
Resimdeki gözlük takan kişi doğrudan kağıt üzerindeki açıklamayı takip etmedi: https://abstrusegoose.com/588
Derinlemesine tartışmadan önce, "yeniden üretilebilirlik" denen şeyin tanımlanması gerekir.
İdeal olarak, tam tekrarlanabilirlik, bilimsel bir makaleyi okumanın, aşağıdaki 3 adımı tamamlamak için ihtiyacınız olan tüm bilgileri doğrudan size vermesi gerektiği anlamına gelir:
1) Aynı deneyi kurun;
2) Aynı yöntemi izleyin;
3) Benzer deneysel sonuçlar elde edin.
Yukarıdaki adım (1) ila adım (3) 'ü tamamen bu makalede verilen bilgilere dayanarak tamamlayabilirsek, bu özelliğe "bağımsız tekrarlanabilirlik" adını vereceğiz. Bu durumda, aynı deneysel sonuçları bağımsız olarak (orijinal makalenin çalışmasından tamamen bağımsız olarak) alabildiğimiz için, deneysel sonuçlarımız tekrarlanabilir.
Bununla birlikte, yukarıdaki çizgi romandaki karakterlerin bize söylediği gibi, makalenin içeriğini doğrudan takip etmek, deneysel sonuçları yeniden üretmek için her zaman yeterli değildir. Makaledeki bilgileri (veya makalede alıntı yapılan önceki çalışmaya dayanarak) adım (1) ila adım (3) arasında kullanamazsak, makaleyi "bağımsız olarak yeniden üretilebilir" olarak değerlendirmeyeceğiz.
Bazı insanlar merak ediyor olabilir: "Yeniden üretilebilirlik" ve "bağımsız yeniden üretilebilirlik" neden ayırt edilmeli?
Yapay zeka ve makine öğrenimi alanındaki hemen hemen tüm araştırmalar bilgisayar koduna dayanmaktadır. Pahalı ve yoğun emek gerektiren kimyasal sentezlere, bir petri kabında bakterilerin büyümesini beklemeye veya zahmetli insan deneylerine ihtiyacımız yok. Sadece yazardan kodu almamız, kodu aynı veriler üzerinde çalıştırmamız ve aynı deneysel sonuçları almamız gerekiyor!
Daha önce bir araştırmacının kodunu hiç okumadıysanız, çok fazla beyin hücresi kaybedersiniz.
Makale yazarlarından kod istemekten ve bunları kullanmaktan hoşlanmıyoruz, sadece dokümantasyonu olmayan araştırma sınıfı kodu kullanmaktan korktuğumuz için değil.
Chris Drummond, yazarın kodunu kullanma yöntemini "yeniden kullanılabilirlik" olarak tanımladı ve çok net bir argüman yaptı: yani, kağıdın yeniden üretilmesine gerçekten ihtiyacımız var, ancak iyi bilimsel çalışma için bu hala yeterli değil. Bir makale, belirli bir çalışmanın bilimsel bir süblimasyonu olmalıdır.Öğrendiklerimizi ve şimdi anladığımızı temsil eder, böylece yeni deneysel sonuçlar ortaya çıkabilir. Yazarın kodu olmadan makalenin sonuçlarını yeniden üretemezsek, bu, makalenin kendisinin önemli bilimsel katkıları başarılı bir şekilde içermediğini gösterebilir. Bundan sonra, koddaki olası hataları veya kod ile kağıt arasındaki olası tutarsızlıkları dikkate alacağız.
Geçen yıl ICML'de yayınlanan "Unreproducible Research is Reproducible" ( makalesi, deneysel sonuçları yeniden üretebilsek bile deneyi biraz değiştirirsek Ayarlar da çok farklı sonuçlar alabilir.
Bu nedenlerle, önyargıya neden olabileceğinden yazarın kodunu dikkate almak istemiyoruz. Tezin yeniden üretilmesi bataklığına girmek yerine, yeniden üretilebilirlik sorununa odaklanmayı umuyoruz.
2. Makine öğrenimi belgelerinin yeniden üretilebilirliğini etkileyen önemli faktörler
Bazı özelliklerin yeniden üretilebilirlikle hiçbir ilgisi yoktur, ancak onları en ilginç buldum.
2017'ye kadar uygulamaya çalıştığım her makaleyi inceledim ve bu makaleleri iki kritere göre taradım: (1) Makaleyi uygulamaya çalışma çalışmasının, yayınlanan kaynak kodu okuyarak getirilip getirilmeyeceği Taraflıdır; (2) Yazar ile kişisel bir ilişki olup olmadığı.
Her kağıt için, bir dizi ölçülebilir özellik oluşturmak için olabildiğince fazla bilgi kaydediyorum. Bazı özellikler tamamen nesneldir (makalede kaç yazar vardır), diğerleri ise çok özneldir (makale şaşırtıcı görünüyor mu?) Bu analizin amacı, mümkün olduğunca fazla bilgi elde etmektir. Kağıdın yeniden üretilebilirliğini etkiler.
Bunu yapmak için 255 makaleyi yeniden üretmeye çalışmam gerekiyordu ve sonunda 162'sini başarıyla çoğalttım. Her kağıt 26 özellikten oluşan bir sete dönüştürülür ve ardından hangi özelliklerin önemli olduğunu belirlemek için üzerinde istatistiksel testler yaparım. Yukarıdaki tabloda, en ilginç olduğunu düşündüğüm en ilginç ve önemli deneysel sonuçları ve ilk tepkilerimi listeledim.
Bazı sonuçlar şaşırtıcı değil. Örneğin, bir makalenin tekrarlanabilirliği için yazar sayısı özellikle önemli olmamalıdır ve aralarında önemli bir ilişki yoktur.
Hiperparametreleri ayarlayarak algoritmanın performansını değiştirebiliriz, ancak algoritmanın kendisi hiperparametreleri öğrenmez. Hiperparametrenin değeri insanlar tarafından ayarlanmalıdır (ya da değeri seçmenin akıllıca bir yolu anlaşılabilir).
Bir makalenin kullanılan hiperparametreleri ayrıntılı olarak tanımlayıp tanımlamasının çok önemli olduğunu gördük (nedenini sezgisel olarak düşünebiliriz). Hiperparametre ayarlarını okuyucuya açıklamazsanız, okuyucunun kendisinin tahmin etmesi gerekir. Bu çok fazla çalışma ve zaman gerektirir ve hata yapmak kolaydır! Bu nedenle, araştırma sonuçlarımızdan bazıları, makaleyi daha tekrarlanabilir hale getirmek için araştırma topluluğunun peşinde olduğu fikrini doğruladı.
Ve daha da önemlisi, bunların neden takip edilmeye değer olduğunu şimdi ölçebiliriz. Diğer bulgular da temel mantığı takip eder.Örneğin, okunabilir makalelerin çoğaltılması daha kolaydır. Bunun nedeni anlaşılmalarının daha kolay olması olabilir.
Bu konuyu daha derinlemesine incelemek isteyen okuyucular orijinal makaleyi okuyabilirler ve makalede çok ilginç olduğunu düşündüğüm bazı tesadüfi deneysel sonuçlar var: ya da iyi bir makale hakkında "bildiğimiz" şeye meydan okurlar. Veya bazı şaşırtıcı sonuçlar çıkardılar. Tüm bu sonuçlar o kadar incedir ki bu makalede ayrıntılı olarak açıklanamaz.
Bu makalede, bu konuda daha derinlemesine araştırmayı teşvik etmek ve mevcut soruları cevaplamak için aşağıdaki bulgular sunulmuştur.
Bulgu 1: Kağıdın her sayfasında ne kadar az formül varsa, kağıdın tekrarlanabilirliği o kadar yüksek olur.
Matematik eleştirmenler için "kedi nanesi" dir! Böylece kendilerine yardım edemezler! https://xkcd.com/982/
Bunun nedeni, en okunabilir makalelerin en az formülü kullanma eğiliminde olmasıdır. Çeşitli nedenlerle birçok formülü ve türevi listeleyen kağıtları sıklıkla görüyoruz. Bununla birlikte, formüllerin dikkatli ve makul kullanımı, görünümlerin okunmasını kolaylaştırıyor gibi görünüyor. Bunun temel nedeni, yazarın matematiği daha etkili iletişim için seçici olarak kullanabilmesidir.
Bu sonuç, basılı yayın için teşvik mekanizması ile çelişmektedir. Gözden geçirenlerin makaleye daha fazla matematiksel argüman eklememi istediklerinde birden fazla kez karşılaştım. Belki de makaleyi daha bilimsel veya objektif hale getiren matematiğin kendisidir. Kağıdın daha standart hale getirilmesi daha iyi görünse de, yeniden üretilebilirlik anlamına gelmez. Bu, araştırma topluluğunun çözmesi gereken kültürel bir sorundur.
Bulgu 2: Ampirik makalelerin yeniden üretilmesi teori odaklı makalelere göre daha kolay olabilir
Makine öğrenimi topluluğunda, topluluğun neresinde ve ne kadar standardizasyona ihtiyaç duyulduğu konusunda çok fazla tartışma var. Şu anda izlenen yol gösterici ideoloji şudur: Bir topluluk olarak, belirli bir ölçüt karşısında en iyi deneysel sonuçları elde etmeye odaklanmalıyız.
Bununla birlikte, karşılaştırma kıyaslamasını optimize etme sürecinde, gerçekte ne olduğu ve bu yöntemlerin neden etkili olduğu konusundaki anlayışımızı kaybetme riskiyle karşı karşıyayız. Teorik analiz ve biçimsel kanıtlarla, terimlerle ifade edilen tüm çağrışımlar kesin bir şekilde açıklanamaz.
Genel olarak ayrıntılı matematiksel kanıtların belirli bir yöntemin daha iyi anlaşılmasını sağlayabileceğine inanılır, ancak ilginç olan aslında daha iyi bir matematiksel tanımlamanın araştırmanın yeniden üretilmesini kolaylaştırması gerekmemesidir. Dikkat edilmesi gereken nokta, teorik ve ampirik araştırmayı birleştiren makalelerin genel tekrarlanabilirliğinin, yalnızca ampirik araştırma içeren makalelerinkine benzer olmasıdır. Tekrarlanabilirlik açısından, ampirik araştırma yapma eğiliminde olmak faydalıdır, ancak aynı zamanda uygunsuz teşvik etkileri veya beklenmedik yan etkiler nedeniyle araştırmanın ilerlemesini de engelleyebilir (https://openreview.net/ pdf? id = rJWF0Fywf).
Bulgu 3: Kod paylaşımı her derde deva değildir
Tartışmamız zaten böyle bir bakış açısına değindi: Yazarın yayınladığı kod aracılığıyla yeniden üretim ile bağımsız çoğaltma aynı şey değildir.
Bu farkı ayırt edebilir miyiz? Araştırmam açık kaynak kodunun en iyi ihtimalle yeniden üretilebilirliğin zayıf bir göstergesi olduğunu gösteriyor. Akademik konferanslar, gözden geçirme sürecinin bir parçası olarak giderek daha fazla kod gönderimini ve kod incelemesini teşvik etmeye başladığında, bunu anlamanın kritik olduğuna inanıyorum.
Bir araştırma topluluğu olarak amacımızın ne olduğunu ve gerçekte ne yaptığımızı anlamamız gerekir. Kodu göndermeye ve incelemecilere kodu değerlendirmek için yönergeler sağlamaya zorlanırsak, ikisi arasındaki farkı dikkatlice düşünmeli ve dikkate almalıyız.
Başkalarının tepkilerinden yola çıkarak, yukarıdaki araştırma sonuçlarının özellikle dikkate değer olduğunu gördüm. NeurIPS hakkındaki makaleyi sunduğumda, birçok kişi onun hakkında yorum yaptı.
Yarısı yayın kodunun ve tekrarlanabilirliğin birbiriyle ilişkili olduğuna inanırken, diğer yarısı ikisinin açıkça ilgisiz olduğuna inanıyor. Bu net görüşler güçlü bir tezat oluşturuyor ve bu araştırmayı neden yaptığımın en iyi örneğidir. Aslında oturup bu görüşleri değerlendirdiğimizde, aslında kimin haklı kimin yanlış olduğunu bilmiyoruz.
Bulgu 4: Makalede, yeniden üretilebilirlik üzerinde hiçbir etkisi olmayan herhangi bir ayrıntılı sözde kod var mı?
Adım adım sözde kod, çok kısa, ancak makalenin diğer bölümleri bağlamında açıklanması gerekiyor.
Standart sözde kod: nispeten ayrıntılı, temelde kendi kendine yeten, genellikle matematiksel semboller
Gerçek koda benzer sözde kod: neredeyse tamamı kendi kendine yeten ve kolayca gerçek koda dönüştürülebilir
Bu keşif, iyi bir makalenin bileşenleri hakkındaki önceki varsayımlarıma meydan okudu, ancak bu sonucu düşündüğümde, onu giderek daha anlamlı buldum.
Gazetenin bir yerinde, çalışma sürecini tanımlamalıyız. Eğitimli bir bilgisayar bilimcisi olarak, her zaman sözde "sözde kod" tanımını tercih ederim. Ancak sözde kod birçok farklı biçimde olabilir.
Tezi dört kategoriye ayırdım: sözde kod yok, adım adım sözde kod, standart sözde kod ve gerçek koda benzer sözde kod. Bu dört kategoride yaygın olarak çoğaltılan temsili makaleleri özetledim ve bazılarını da bu araştırmada kullandım.
"Standart sözde kod" ve "gerçek koda benzer sözde kod" kabaca aynı tekrarlanabilirliğe sahip olduğunu görünce şok oldum. Sözde kodların hiçbirinin iyi sonuçlara sahip olmadığını görünce şaşırdım.
Bununla birlikte, mantıksal olarak net ve ikna edici yazma, iletişim iş akışı için hala çok etkilidir. Daha az etkili olan, sözde "adım adım sözde kod" dur. Bu tür sözde kod, bazı adımlar için girişleri numaralandırır ve her adım, makaledeki başka bir bölümle ilgilidir. Ancak, bu adım adım sözde kod aslında Okuyucuların makaleyi okuması ve anlaması daha zordur, çünkü okuyucular birleşik bir sıralı akış boyunca okumak yerine farklı bölümler arasında gidip gelmelidir.
Bulgu 5: Basitleştirilmiş bir örnek soru vermek, yeniden üretilebilirliğe yardımcı olmuyor
Bu başka bir şaşırtıcı keşif ve hala üzerinde çalışıyorum.
Karmaşık fikirleri daha basit ve daha anlaşılır biçimlere yoğunlaştırabilen yazarları her zaman takdir etmişimdir. Ayrıca "oyuncak problemi" veren kağıtları da takdir ediyorum. "Oyun problemi", belirli özellikleri görselleştirmesi ve denemesi kolay bir şekilde göstermektedir.
Öznel olarak konuşursak, basitleştirilmiş örneklerin her zaman makalenin başarmaya çalıştığını anlamak için çok yararlı olduğunu düşünüyorum. Hata ayıklama için kullanılabilecek daha küçük bir test senaryosu oluştururken, bu "oyun problemini" yeniden oluşturmak çok yararlı bir yoldur.
Ancak nesnel bir bakış açısına göre, örneği basitleştirmek, kağıdı daha tekrarlanabilir hale getirmiyor gibi görünüyor. Aslında, kağıtları daha okunaklı hale bile getiremezler! Hala bu sonucu anlamakta ve yorumlamakta zorlanıyorum.
Bu nedenle araştırma topluluğunun bu sorunları ölçmesi önemlidir. Bu nicel çalışmayı yapmazsak, yapmamız gereken şeyin elimizdeki araştırma sorusuyla en alakalı konuları ele almak olduğunu asla bilemeyeceğiz.
Bulgu 6: Lütfen e-postanızı kontrol edin
Son olarak, tartışmak istediğim bulgu, soruları yanıtlamanın makalenin tekrarlanabilirliği üzerinde büyük bir etkiye sahip olmasıdır. Bu sonuç beklenir, çünkü tüm makaleler yöntemlerini mükemmel bir şekilde tanımlamaz.
50 farklı yazara deneysel sonuçlarını nasıl yeniden üreteceklerini sormak için e-posta gönderdik. Yanıt almadığım 24 vakada, yalnızca makalelerden birinin deneysel sonuçlarını yeniden ürettim (başarı oranı yaklaşık% 4'tür).
Kalan 26 makale için yazar yanıt verdi ve ben 22 tanesini başarıyla yeniden üretebildim (başarı oranı yaklaşık% 85). Bence bu tür deneysel sonuçlar çok ilginç çünkü makalenin yayınlanma sürecine meydan okuyor.
Ya yayınlanmış makalelerin bir tür "yeni" makale haline gelmek yerine zaman içinde sürekli olarak güncellenmesine izin verirsek?
Bu şekilde yazar, orijinal makalede çeşitli ortak geri bildirimleri ve soruları dikkate alabilir. ArXiv'de makale yayınlama mekanizması bunu mümkün kılmıştır ve konferanslarda yayınlanan makaleler aynı olmalıdır. Bu uygulamalar, tekrarlanabilirliği iyileştirerek bilimin gelişimini potansiyel olarak destekleyebilir, ancak yalnızca bunları uygularsak.
3. Hangi ilhamları kazandık?
Uzmanlar buna "hiperparametre ayarı" diyor. https://xkcd.com/1838/
Bu çalışma, "Yapay Zeka Yeniden Üretilebilirlik Kriziyle Karşı Karşıya" başlıklı makaleden esinlenmiştir. Bu ifade abartılı mı? Yoksa yapay zeka alanındaki sistemik sorunlara mı işaret ediyor? Bu çalışmayı tamamladıktan sonra, bu alanda hala iyileştirme yapılması gerektiğine inanma eğilimindeyim.
Ancak yapay zeka ve makine öğrenimi alanındaki bilim insanları, diğer alanlardaki bilim adamlarından daha iyi iş çıkarıyor. Yapay zeka alanında% 62 yinelenen başarı oranı, diğer bilimsel alanlardaki meta-analizde yinelenen başarı oranından daha yüksek, hatta% 62 başarı oranının gerçekte olduğundan daha düşük olduğunu düşünüyorum. Uzmanlık alanım dışındaki araştırma alanlarına daha aşina olan diğerleri başarısız vakalarımda başarılı olabilir. Bu nedenle,% 62 tahmininin daha düşük bir limit olduğunu düşünüyorum.
Açıkça belirtmek isterim ki, yukarıda verilen tüm deneysel sonuçlar, neyin yeniden üretilebildiğine veya neyin olmadığına dair net bir ifade olarak görülmemelidir. Bu sonuçları etkileyebilecek çok sayıda potansiyel önyargı vardır. En bariz olanı, bu 255 tekrarlanabilirlik girişiminin hepsinin aynı kişi tarafından yapılmış olmasıdır. Meta analistler arasında iç tutarlılık için tek tip topluluk standardı yoktur.
Bence yeniden üretilmesi kolay işler başkaları için zor olabilir ve bunun tersi de geçerlidir. Örneğin, Bayesçi veya adalete dayalı kağıtları çoğaltamam, ancak bu alanlarda çalışmanın tamamen tekrarlanamaz olduğuna inanmıyorum. Arka plan, eğitim, kaynaklar, ilgi alanları vb. Konulardaki kişisel önyargılarım, elde edilen deneysel sonuçlardan ayrılmaz olabilir.
Başka bir deyişle, bu çalışmanın araştırma topluluğumuzun şu anda karşı karşıya olduğu bir dizi zorluğa güçlü kanıtlar sağladığını ve aynı zamanda toplulukta tekrarlanabilirlik üzerine çok sayıda araştırma olduğunu doğruladığını düşünüyorum. En büyük faktör, sözde yeniden üretilebilir makine öğrenimi hakkındaki tüm varsayımları ciddiye alamayacak olmamızdır. Bu hipotezlerin test edilmesi gerekiyor ve umarım bu çalışma başkalarına bu verileri ölçmeye ve toplamaya başlama konusunda ilham verir.
Metascience araştırma topluluğunda, biz yapay zeka araştırmacıları çok özel bir konumdayız ve tekrarlama maliyetlerimiz diğer herhangi bir bilimsel alandan çok daha düşük. Bu araştırmadan elde ettiğimiz aydınlanma, yapay zeka ve makine öğreniminin kapsamının ötesine geçerek bilgisayar biliminin diğer alanlarına da uzanabilir.
En önemlisi, bu çalışmanın bilimsel araştırmanın tekrarlanabilirliğini değerlendirmenin ne kadar zor olduğunu vurguladığını düşünüyorum. Her özelliğin ayrı ayrı ele alınması, bu tür bir analizi gerçekleştirmenin oldukça basit bir yoludur. Bu analiz bir dizi potansiyel keşif, beklenmedik sonuçlar ve karmaşıklık sağlamıştır.
Ancak, yazara dayalı olarak makaleler arasındaki korelasyonu düşünmeye ve verileri bir grafik olarak nitelendirmeye, hatta sadece mevcut özellikler arasındaki doğrusal olmayan etkileşimi analiz etmeye başlamadı! Bu nedenle, diğerlerinin daha derinlemesine analiz yapabilmesi için verilerin çoğunu halka açık hale getirmeye çalışıyorum.
-
Veri ifşa adresi: https://github.com/EdwardRaff/Quantifying-Independently-Reproducible-ML
Son olarak, biri bana araştırmamın tarihteki en üretilemez makine öğrenimi araştırması olabileceğini söyledi. Ama aslında, meta-bilimsel araştırmayı nasıl yürüttüğümüz, araştırmamızı nasıl uygulayabileceğimizi ve değerlendirebileceğimizi inceleyen bir dizi soru ortaya çıkarıyor.
Kendi çalışmanızın insan bilgisi ve biliminin büyük planına nasıl uyduğunu hayal edin? Yapay zeka ve makine öğrenimi araştırmaları yeni ilerleme kaydetmeye devam ettikçe, bu görevleri kullanma ve bunlardan öğrenme becerimiz de, giderek daha fazla bilgiyi anlaşılması kolay formlara dönüştürme becerimize büyük ölçüde bağlı olacaktır.
Aynı zamanda, iş süreçlerimiz ve sistemlerimiz bizi yanıltmayacak tekrarlanabilir işler üretmelidir. Meta-bilim araştırma alanına katılan herkesi dört gözle bekliyorum!
https://thegradient.pub/independently-reproducible-machine-learning/ aracılığıyla
