Derin öğrenmeye nasıl başlanır? İki Google tanrısı bir kılıç ruhu savaşı başlattı
İçbükey tapınaktan Xia Yi
Qubit Üretildi | Genel Hesap QbitAI
Derin öğrenmede (Huashan Okulu'nun yeni bir öğrencisi) yeni başlayan biri olarak, önce çerçeveyi hızlı bir şekilde bir sinir ağı kurmak ve gerçek problemlerde kullanmak için kullanmayı öğrenmelisiniz veya önce elle bir model oluşturmak için Python kullanarak pratik yapmalı ve anlamak için küçük bir veri seti üzerinde eğitim almalısınız. Nasıl çalışırlar?
İki Google araştırmacısı kısa süre önce Twitter'da uzun süreli bir tartışma başlattı. İki grubun ana temsilcileri çevrede tanınmış ve yerleşik kişilerdir:
"Qizong" Google Brain araştırmacısını temsil ediyor David Ha (@hardmaru) , SketchRNN'nin babası.
"Jianzong" temsilcisi Google araştırmacısı François Chollet (@fchollet) , Keras'ın babası.
Not: "Qi Zong" ve "Jian Zong" un ahlak, hizip vb. Üzerine herhangi bir iması yoktur.
Kılıç Qi Tartışması
İki tartışmalı konu tam olarak hangisi daha önemli: iç güç veya kılıç ustalığı Derin öğrenmeye yeni başlayanlar için giriş yolu: modelin iç ilkelerini anlamak ve sorunu çözmek için modeli hızlı bir şekilde uygulamak, hangisi daha önemli?
Qubits, herkesin anlayıp düşünmesine izin vermek için görüşlerinin geri dönmeye değer olduğunu hissederek tartışmayı okyanusun ötesindeki izledi.
David Ha'ya göre, derin öğrenmeyi iyi yapmak istiyorsanız, elbette önce temeli atmalısınız. "Qi pratiği yapmak" çok önemlidir. Bu bakış açısını bir ay önce dile getirdi:
Tamamen bağlı ağları, evrişimli sinir ağlarını, RNN'leri, geri yayılımı, SGD'yi uygulamak için sıfırdan başlamak (saf Python, numpy ve hatta JS kullanarak) ve ardından bu modelleri eğitmek için küçük eğitim setlerini kullanmak, sinir ağlarının nasıl çalıştığını öğrenmek için iyi bir yoldur. yöntem. Çerçeveye geçmeden önce, buradan değerli sezgiler kazanmak için zaman ayırmalısınız.
Yeni başlayanlar için, en basit üst düzey çerçeveyi kullanmanız gerekmez mi? Keras'ın yazarı Chollet, yeni başlayanların ilk önce "kılıcı pratik etmesini" bile destekliyor. David'i çürütmesi şudur:
Sinir ağlarını uygulamak, size sinir ağlarını nasıl uygulayacağınızı öğretebilir ve algoritmik olarak nasıl çalıştıklarını anlamanıza izin verebilir.
>
Ancak bu size ne yaptıklarını veya hangi işlevleri gerçekleştirebileceklerini öğretemez. Bunları öğrenmek için, bunları bir dizi gerçek probleme uygulamalısınız (XOR, MNIST değil).
Kim daha mantıklı? İkili görüşlerini ayrıntılı olarak göstermek için yedi veya sekiz Twitter kullandı ve okuduktan sonra size uygun yöntemi seçmek için çok geç değil.
Kılıcı hava ile kontrol et
Açıkçası, çıplak ellerinizle bir model oluşturmanın ve gizemi çözmek için MNIST veya hatta XOR gibi küçük bir veri kümesi kullanmanın hızlı bir yolu olmadığı açıktır. Öyleyse, "meditasyon yapmak ve Qi pratiği yapmak" için bu kadar çok zaman geçirmenin amacı nedir?
Elbette takip etmek, kılıcı Qi ile kontrol etmektir.
David Ha, derin öğrenme çerçevelerinin hepsinin prototip modeller olduğunu söyledi. Başlarken sadece çerçeveyi kullanın, bu ufkunuzu sınırlayacak ve kafanızı karıştıracaktır.
El ile sıfırdan bir model oluşturmak aynı değildir.Sektörler arasında derin öğrenmeye başlayanlar, çoğu insanın kendi benzersiz bakış açılarından neyi görmezden geldiğini görme fırsatına sahiptir.
"Qizong", David'den daha fazlasıdır. Li Feifei'nin koruyucusu ve şu anki Tesla AI direktörü Andrej Karpathy de benzer görüşler dile getirdi.
Stanford CS231n sınıfında, öğrencilerden sinir ağının ileri ve geri geçişlerini uygulamak için numpy kullanmalarını istedi. Öğrencilerin kesinlikle fikirleri vardır: Neden bir çerçeve ile otomatik olarak hesaplanabilen bir şey oluşturmalıyım?
En önemli neden, çalışma prensibini gerçekten anlamak için hem ileri hem de geri gitmeniz gerektiğidir. Yalnızca çerçevenin otomatik olarak hesaplanmasına güvenirseniz, geri yayılım sorunlarıyla baş edemezsiniz.
Karpathy özellikle bunun için bir blog yazdı:
https://medium.com/@karpathy/yes-you-should-understand-backprop-e2f06eab496b
Bilgi ve eylem birliğinin bazı uygulayıcıları, böyle öğrenmenin çok faydalı olduğunu söylüyor:
Örneğin, Oculus VR CTO'su John Carmack de derin öğrenmeyi düşünüyor. Kısa bir süre önce tatilde iyi değildi ve bir hafta tatilde geçirdi ve kod yazmak için geri çekildi (Yani ... kübit tatili geri çekilmeli ve taslaklar yazmalı).
Üst düzey bir kod çiftçisi olarak Carmack, TensorFlow'u kurmadı ve PyTorch'u kullanmadı. Bunun yerine Carmack, C ++ 'da geri yayılım dahil olmak üzere sıfırdan bazı sinir ağı uygulamaları yazdı ve ardından MNIST ile bazı deneyler yaptı.
Bu savurganlıktan sonra aşırı eğitim, genelleme ve düzenleme konusunda daha iyi bir anlayışa sahip olduğunu söyledi.
BTW bir öneri ekledi Video kurslarını izlemekten hoşlanmayan bir kişi olarak Carmack, Stanford CS231n açık sınıfını çok övdü.
Daha da aşırılıklar var. Başka bir kıdemli kod çiftçisi olan Thomas Lahore, makine öğrenimine başladığında kasıtlı olarak herhangi bir literatür veya ders okumadığını söyledi. Birkaç ay düşündükten sonra bu deneyim onun için çok değerliydi.
Hepsi David'in zihninde sağlam bir temele sahip iyi öğrenciler. David özellikle altta yatan ilkelerin anlaşıldığını vurguladı ve bunun sadece böcekleri daha hızlı ortadan kaldırmaya yardımcı olmadığını, aynı zamanda yeni problemleri çözmek için mevcut paradigmanın ötesine geçerken daha güvenli olduğunu söyledi.
Daha da önemlisi, "(temelde çıplak elle bir sinir ağı inşa etmek) o kadar da zor değil ve Keras gibi iyi düşünülmüş bir çerçeve yazmak sizin için değil. :)"
Düşmanı yenmek için bir hareket
Yukarıdaki öğrenme yöntemi için, Fast.ai'nin kurucusu Jeremy Howard konuya katılmak için geçti ve "Qi Zong" un en güçlü gücü olan kolejler ve üniversitelerdeki bilgisayar bölümü hakkında şikayet etti.
Bilgisayar eğitiminin insanlara en dipten bir şeyler inşa ettirmesi gerektiğini ve sonra bu soyut şeyleri öğrenebileceklerini söyledi.Sonuç olarak, birçok arkadaşı birinci sınıflarını bitirmeden okulu bıraktı.
Sıkıcı gerçekten de elle sinir ağları kurmada büyük bir kusurdur.
Bununla birlikte, Chollet'in bu yaklaşıma itirazları başka nedenlerden dolayıdır. Bu büyük adam bir Keras inşa edebilir, tabii ki sinir ağını kurmanın çok zor ya da sıkıcı olduğunu düşünmüyor, bu yöntemin bilgisini uygulamak için gerçekten yeterli olmadığını düşünüyor.
Hareketin iç prensibi ne kadar net analiz edilirse edilsin, nerede kullanılacağını bilmemenin faydası yok.
Chollet, bu noktayı açıklamak için birçok örnek verdi:
El yazısı tekil değer ayrıştırması (SVD) uygulamasının faydası nedir? Yazdıktan sonra, SVD'nin neler yapabileceğini hâlâ bilmiyorum. Sadece sonuçları görmek için onu çeşitli veri kümelerinde kullanarak sezgisel bir izlenim edinebilirim.
Yüksek lisans öğrencileri, 2000 yılında C dilinde sinir ağları yazacaklar, ancak sinir ağları konusundaki anlayışları, yalnızca çerçeveyi kurcalayabilen bir 2018 lise öğrencisi kadar iyi olmayabilir.Ne de olsa, artık daha fazla uygulama ortamı var.
Şimdi pek çok insan bunu hiçbir zaman elle uygulamadı ve sinir ağlarında oldukça yetkinler ve bu şeyin nasıl çalıştığını biliyorlar. 10 yıl sonra, bu tür insanlar% 90'lık bir paya sahip olabilir, tıpkı yazılım mühendislerinin artık işletim sistemlerini anlaması ancak temelde hiç operasyon geliştirmemiş olması gibi.
Bir de vahiy vardı:
"2009'da okurken ilk kez C dilinde sinir ağları yazdım. Sinir ağlarından daha fazla C öğrendim. Sinir ağlarının neler yapabileceğini ve neden yararlı olduklarını anlamam birkaç yılımı aldı. Kilit nokta daha fazlasında yatıyor. Gerçek dünya veri setlerinde iyi araçlar + uygulamalar. "
Kısacası, zaman ilerliyor ve gelecek neslin öğrendikleri daha soyut ve öğrencilere aynı şekilde sormak aynı olmamalı.
Öğrencilerin sinir ağlarına ek olarak Kaggle yarışmalarına katılmalarını, diğer makine öğrenimi modellerini de kullanmalarını ve ardından özellikleri keşfetmek için görselleştirme yöntemlerini kullanmalarını önerdi.
"Kılıç Hareketi" paketlendi. Chollet, gelecekteki öğrencilerin ne zaman ve hangi numarayı yapacaklarını bileceklerini umuyor ve iç ilkelere girmeye gerek yok.
Onunla ilgilenmek ister misin?
Twitter üzerinden bu tartışmaya katılan yoldan geçenler her iki tarafı da destekliyor. Tabii ki en yaygın nokta "her şeyin önemli olduğu ve hesaba katılması gerektiği".
Yerli arkadaşların ne düşündüğünü bilmiyorum?
Zhu Qizong'un öğrencisi yüksek kılıç becerisine sahiptir ve Jianzong'un amcası güçlü bir iç güce sahiptir.
- Bitiş -
Samimi işe alım
Qubit, editörleri / muhabirleri işe alıyor ve merkezi Pekin, Zhongguancun'da bulunuyor. Yetenekli ve hevesli öğrencilerin bize katılmasını dört gözle bekliyoruz! Ayrıntılar için, lütfen QbitAI diyalog arayüzünde "işe alım" kelimesiyle yanıt verin.
Qubit QbitAI · Toutiao İmzalama Yazarı
' ' Yapay zeka teknolojisi ve ürünlerindeki yeni eğilimleri takip edin
