Makine öğrenimi belgeleri, "su enjeksiyon araştırması" nda uzmanlaşmak için "ön kayıt" ve ön inceleme gerektirir!
Xinzhiyuan Raporu
"Ön-kayıt" denen araştırma, araştırmaya fiilen başlamadan önce, araştırma hipotezinin ve deneysel tasarım planının ve diğer önemli bilgilerin sunulacak akademik dergiye önceden kaydedilmesi gerektiği ve derginin önceden hakem değerlendirmesi yapacak uzmanları organize edeceği şeklindedir. .
İnceleme geçilirse, dergi genellikle ilke olarak yayınlama sözü verir. Ardından, resmi araştırma ve kağıt yazma ve gönderme gibi takip bağlantılarını girin.
Açıkçası, bu yaklaşım mevcut araştırma ve makale yayınlama sürecinden çok farklı.
Birleşik Krallık'taki Cardiff Üniversitesi'nden araştırmacılar, "ön kayıt" sistemi ve etkisi hakkında ilk analiz ve araştırmayı yaptı.
Araştırma gösteriyor ki, Bu model ile geçersiz sonuçların sayısı (yani araştırma sonuçları hipotezi kanıtlayamaz) büyük ölçüde artacaktır. Özellikle psikoloji alanında. Bu, "ön kayıt" sisteminin "ayak kesme ve ayakkabı takma" gibi bazı yanlış sonuçların filtrelenmesinde önemli bir rol oynadığını göstermektedir.
Geleneksel araştırma sürecinde, "yüksek kaliteli sonuçlar" elde etmek için araştırmacılar, yayın yanlılığı, p değeri aldatma ve düşük tekrarlanabilirlik gibi ciddi sorunlara eğilimlidir.
Sonuç olarak, bugün Reddit'te makine öğrenimi belgelerinin de "önceden kaydedilmesi" gerektiği tartışılıyor.
Ön kayıt ne kadar iyi? "Yayın önyargısından" kaçınabilir
Araştırmacılar, hipotez önerme-deneyler tasarlama-sonuçları doğrulama-makaleleri yayınlanmak üzere göndermeye yönelik geleneksel araştırma sürecinde, araştırmacıların olumlu sonuçlar elde etmek için "önyargı yayınlamaya" yatkın olduklarını ve bunun da araştırma hipotezlerini kanıtlamaya elverişli olmayan sonuçlara yol açabileceğini belirtti. Verileri kasıtlı olarak gizlemek, hatta tahrif etmek ve aldatmak.
Araştırma yapmadan önce araştırma hipotezlerini ve deneysel planları kaydetmenin gerçekten de beklenen sonuçlara ulaşabileceğine ve olumlu sonuçlar elde etmek için "yayın yanlılığını" azaltabileceğine inanıyorlar.
Birkaç gün önce, "Nature" web sitesi, "ön kayıt" sisteminin gerçekten de "sahteyi ortadan kaldırmak ve gerçeği korumak", bilimsel araştırmanın güvenilirliğini ve tekrarlanabilirliğini artırmak gibi beklenen rolü oynayabileceğine dair bir makale yazdı.
Veri toplamadan önce, araştırmanın sonuçlarını değiştirebilecek araştırma protokolünü kaydedin ve kaydedin. Resim kredisi: Ariana Lindquist / Bloomberg / Getty
Olumlu sonuç alamayan çalışmaların sıklıkla arşivlendiği ve günü hiç görmediği yazıda belirtiliyor, bu da olumlu sonuçlar alınmasında "yayın yanlılığına" yol açacak ve bilimsel literatürün güvenilirliğini zedeleyecektir.
Mevcut analiz, araştırma yapmadan önce araştırma önerilerini kaydetmenin ve meslektaş incelemesinin bu sorunu iyileştirebileceğini ve olumlu sonuçlar elde etmek için yayın önyargılarını düzeltmeye yardımcı olabileceğini göstermektedir.
Birleşik Krallık'taki Cardiff Üniversitesi'nden araştırmacılar, çalışmalarının "ön kayıt" araştırma yönteminin etkili olup olmadığının ilk analizi olduğunu söylediler. Araştırma protokollerini önceden kaydeden çalışmaların geçersiz sonuçları bildirme olasılığının daha yüksek olduğu ortaya çıktı. Analiz, 17 Ekim'de PsyArXiv deposunda yayınlandı.
Yanlışı ortadan kaldırmak ve gerçeği korumak için ön kayıt: araştırma sonuçlarının kalitesini gerçekten artırabilir
"Ön kayıt" sistemi kapsamında, araştırmacıların araştırma tekliflerini araştırmaya başlamadan önce ilgili dergiye sunmaları gerekmektedir. Araştırma önerisi hakem incelemesinden geçerse, dergi araştırma sonuçlarından bağımsız olarak araştırma tamamlandığında makaleyi geçici olarak yayınlama sözü verecektir.
Bu uygulama geçtiğimiz birkaç yıl içinde bilim camiasında görünmeye başlamıştır.Bu sistem, ABD yasalarının zorunlu kıldığı klinik araştırmalardaki "ön kayıt" sisteminden kaynaklanmıştır. Şu anda bu yöntemi kullanan yaklaşık 140 dergi ve nihai araştırma sonuçları yayınlanmış olan 130 ön-kayıtlı araştırma raporu bulunmaktadır.
"Ön kayıt" sisteminin savunucuları, bu yaklaşımın, önce sonuçlara bakmak veya olumsuz sonuçları hiç bildirmemek ve ardından geriye dönüp araştırma hipotezleri öne sürmek gibi şüpheli araştırma faaliyetleriyle mücadele edebileceğini umuyorlar.
Psikolog Chris Allen ve David Mehler, ön kayıt yaklaşımının araştırma raporlarının geçersiz sonuçlarının sıklığını artırıp artırmayacağını incelemek için biyotıp ve psikoloji alanındaki 113 ön kayıt raporunun sonuçlarını analiz ettiler.
Bu çalışmalarda, 296 bağımsız araştırma hipotezini incelediler ve genel olarak, bu çalışmaların daha sonra yayınlanan sonuçlarının% 61'inin orijinal hipotezi desteklemediğini buldular. Tekrarlanabilirlik çalışmalarını araştıran doğrulama çalışmaları için bu sayının yüzdesi% 66 ile daha yüksektir ve orijinal çalışmalar için bu oran% 55'tir.
Kaynak: PsyArXiv, https://psyarxiv.com/3czyt (2018).
Bu rakamlar, genel bilimsel literatürde önerilen geçersiz sonuçların oranından çok daha yüksektir.Önceki çalışmalar, araştırmacıların oranın% 5 ile% 20 arasında olduğunu tahmin ettiğini göstermiştir.
Ön kayıt raporlarının sayısı katlanarak arttı, ancak araştırmanın temsil gücünün iyileştirilmesi gerekiyor
Bununla birlikte, Hollanda'daki Eindhoven Teknoloji Üniversitesi'nde psikoloji araştırmacısı Anne Scheel, çalışmanın geçersiz araştırma sonuçlarının gerçek oranını hala hafife alabileceğini söyledi.
Scheel, diğer çalışmalardan elde edilen tahminlere göre, psikolojide test edilen hipotezlerin yüzdesinin aslında% 90 kadar yüksek olabileceğini söyledi. Bu, mevcut bilimsel literatürdeki gerçek geçersiz sonuçların "herhangi bir yayın yanlılığı olmaksızın beklediğimizden çok farklı" olduğunu göstermektedir.
Bu analizin açıklayıcı olduğunu ve çalışmanın sonuçlarının başka açıklamaları da olabileceğini söyledi.
Örneğin Scheel, "ön kayıt" kullanımının, makalelerin yayınlanmasını aşağı yukarı garanti edebileceğini söyledi. İnsanlar bu sistemi stratejik olarak kullanabilir ve doğrulamada başarısız olması beklenen bazı araştırma hipotezleri ileri sürebilirler.
"Ön kayıt" sisteminin yakında doğduğunu ve şu ana kadar yayınlanan araştırmanın psikoloji alanındaki durumu daha geniş bir şekilde temsil etmemesinin mümkün olduğunu da sözlerine ekledi. Scheel, "Hala birçok bilinmeyen faktör var" dedi. "Ama bilim adamları için bu aynı zamanda çok heyecan verici bir zaman."
Şu anda, ön kayıt raporlarının sayısı katlanarak artıyor.Allen şimdi, önceki çalışmada ortaya atılan bazı soruları yanıtlamak için daha büyük bir örneklem büyüklüğünde başka bir çalışma yapmayı umuyor ve bu çalışmayı da "ön kayıt" yapmayı planlıyor.
Reddit, ML'de "ön kayıt" çağrısı yapıyor: geçersiz sonuçlar diğer alanlardan çok daha faydalı olacak
Reddit'teki bir kullanıcı bir tartışma başlattı:
Makine öğrenimi alanında önceden kaydedilmiş deneyler yapabilen bir konferans / dergi olması harika olurdu. Sadece makalenin teorik kısmını ve deneyin tasarımını göndermeniz ve ardından gözden geçirenlerin bunu değerlendirmesine izin vermeniz gerekir. Sorun olmadığını düşünürlerse, deneyi yapmaya devam edebilirsiniz. Dahası, deneyin sonuçlarına bakılmaksızın, bu makale kabul edilmiş sayılır.
Bu gönderi yayınlanır gönderilmez, birçok netizen izledi ve yorum yaptı. Netizen Flag_Red yorum yaptı:
Şu anda birçok makine öğrenimi araştırması mühendisliğe ait. Bu durumda geçersiz sonuçların diğer alanlardan çok daha faydalı olacağını düşünüyorum. Bunun temel olarak makine öğreniminin mühendislikte teoriden çok daha ileride olmasından kaynaklandığını düşünüyorum.
Diğer alanlarda, "Bu benim hipotezim" derler ve sonra test ederler. Sonuç geçersizse, yine de çok ilginç bir şeydir. "Benim hipotezim" geçerli olmalı, ama bir nedenle geçersiz hale geliyor.
Bununla birlikte, makine öğreniminde, neredeyse hiç kimse bir hipotezi test etmeden önce "Bunun bir nedenden dolayı işe yarayacağını düşünüyorum" demez. Pek çok keşif basit deneylerden gelir.
Makine öğrenimi akademisinde daha geleneksel bir bilimsel kültür geliştirebilirsek, geçersiz sonuçlara sahip makalelerin sayısındaki artış iyi bir şey olacaktır. . Ancak mevcut durum söz konusu olduğunda, pek yardımcı olacağını düşünmüyorum.
Başka bir netizen şöyle dedi:
Çok erken olabilir . Geçersiz sonuçlar fizik alanında çok kullanışlıdır ve eksiksiz bir teorik çerçeveye sahiptir.
Derin öğrenmenin çoğu artık sezgisel ve deneysel sonuçlara dayalı olarak lisansüstü öğrenciler tarafından birleştirilmektedir. Geçersiz sonuçlar iyi bir buluşsal yöntem olabilir, ancak sağlam bir teorik çerçeve olmadan, bu varsayımsal dergideki sinyal-gürültü oranı çok yüksek olacaktır.
Tabii ki, bu büyük ölçekli hiperparametre arama ve rastgele başlatma problemini bile çözmedi.Bence gerçek problem bu. Yönteminiz, orijinal konseptiniz sağlam olmadığı için mi yoksa doğru hiperparametreler ve / veya rastgele başlatma kombinasyonunu bulamadığınız için mi başarısız oldu?
Bundan dolayı Makine öğrenimi alanında da "ön kayıt" sistemi kullanılmaktadır ,Ne düşünüyorsun?
Referans bağlantısı:
https://www.nature.com/articles/d41586-018-07118-1
https://www.reddit.com/r/MachineLearning/comments/9racim/d_nature_first_analysis_of_preregistered_studies/
Xinzhiyuan AI DÜNYA 2018
Dünya Yapay Zeka Zirvesi Tam inceleme
Xinzhiyuan, 20 Eylül'de Pekin'deki Ulusal Kongre Merkezi'nde AI WORLD 2018 Dünya Yapay Zeka Zirvesi'ne ev sahipliği yaptı. Makine zekası ve insan kaderi.
Xinzhiyuan AI World 2018'in büyük olayını hatırlatarak:
IQIYI
Sabah: https://www.iqiyi.com/v_19rr54cusk.html
Öğleden sonra: https://www.iqiyi.com/v_19rr54hels.html
Sina:
