Düşük seviyeli AI çerçevesini ve üst seviye AI uygulamasını hangisinin akademik seviyesini (veya kapsamlı yeteneğini) daha fazla teşvik edecek mi?
Xinzhiyuan AI WORLD 2018 Dünya Yapay Zeka Zirvesi
Sol taraftaki "düşük seviyeli AI çerçevesi" ve sağ taraftaki "üst AI uygulaması" nasıl seçilir?
Yapay zeka ile ilgili işler yapan insanlar için hangi yönü seçecekleri derinden dolaşılması gereken bir sorun olabilir.
Zhihu, bu soruyu kullanıcıya yöneltti ve bu da çok fazla dikkat ve tartışmaya neden oldu:
Xinzhiyuan, Junyuan'ı anlamak ve ince ayar yapmak için iki kullanıcı tarafından yetkilendirildi ve bu konuyla ilgili derinlemesine analizlerini derleyip okuyucularla paylaştı.
Odaklanın, ama ikisini de anlamalısınız
Derin öğrenmeyi sistemlere dönüştüren bir kişi olarak, son zamanlarda bir soru üzerine de düşünüyorum: Derin öğrenme sisteminin (Derin Öğrenme Sistemi) özü derin öğrenme mi yoksa bir sistem mi?
Önce sonucu koyun : İster derin öğrenme isterse derin öğrenme sistemi yapmak isteyin, bilginin her iki yönünü de aynı anda anlamanız gerekir.Kendi yönünüze odaklanabilirsiniz, ancak bir yönü tamamen anlamamalısınız, aksi takdirde pratikte kullanışlı hale getirmek zor olacaktır. Sonuçların.
Öncelikle, popüler çerçevelerin geliştirme ekiplerine ve geliştirme çerçevelerinin itici güçlerine bir göz atalım:
-
Caffe: Jia Yangqing ve Berkeley Vision Lab tarafından geliştirildi. İlk başta, talebe dayalı olan kendi kendine kullanım içindi.
-
Torch: Yann LeCun'un öğrencisi. Talep odaklı.
-
Theano: Yoshua Benjio'nun öğrencisi. Kendi araştırması için kullanılır, ancak aynı zamanda talep + araştırma tarafından yönlendirilen sistematik bir makale yayınladı.
-
Tensorflow: Jeff Dean liderliğindeki Google çalışanları çoğunlukla sistemlerden geliyor. Google'ın yapay zeka alanındaki sermaye düzeni gereksinimlerinden kaynaklanıyor.
-
Neon: bir başlangıç şirketinin ürünü olarak nervana çalışanı. Sermaye odaklı.
-
MXNet: DMLC'nin küçük bir ortağı (esas olarak Çinli makine öğrenimi ve dağıtılmış sistem öğrencileri). Esas olarak Minerva, Purine ve cxxnet'in geliştirme ekibi birlikte çalışır; bunların yarısı makine öğrenimi ve yarısı da sistemlerdir. Talep + faiz odaklı.
Sistemlerle ilgilenen veya bilimsel araştırma amaçlarıyla uğraşan insanlar tarafından geliştirilen birçok çerçeve var, ancak bunların çoğu popüler hale gelmedi, bu yüzden onları tekrar etmeyeceğim.
Google'ın zorunlu Tensorflow'u dışında çoğunun kendi kendine kullanım ve ilgiyle başladığı görülebilir. Ve Tensorflow'un kalkınma fonu, diğer tüm çerçevelerin toplamından onlarca kat daha fazla, ancak bir yılda dünyaya hakim olamadı. Görüldüğü gibi, talebin "ihtiyaçlar buluşun anasıdır" denen şey tarafından yönlendiriliyor.
Ana akım derin öğrenme çerçeveleri neden "biraz derin öğrenmeyi anlayan ve sistemlerle uğraşan insanlar" yerine "küçük bir sistemi anlayan ve derin öğrenmeyle meşgul olan kişilerden" geliyor?
Sanırım esas olarak çünkü Derin öğrenme sistemleri ile geleneksel sistemler (işletim sistemleri, veritabanları gibi) arasında önemli bir fark vardır : Derin öğrenme algoritmasının çeşitli kısımlarının birbirine çok yakın olması tüm vücudu etkiler.
Sistem insanlarının düşüncesi, bir sistem kurduğum, arayüzü tanımladığım, arayüzün doğru olduğundan emin olduğum ve kullanıcının uygulama detaylarını bilmeden kullanabildiğidir. Sonuçta, bir işletim sistemini kullanmak için dosya sistemi formatını anlamanız ve bir veritabanı kullanırken tutarlılığın nasıl sağlandığını anlamanız gerekmez.
Ancak bu düşünce kümesi derin öğrenme sistemleri için uygun değildir.
İlk olarak, bir veri matrisi tüm sistem boyunca akar ve her adımın ayrıntıları yüz adımdan sonra sonuçları etkileyebilir. Ara sonuçlar için, neyin doğru olduğunu kesin olarak tanımlayamazsınız İyi bir algoritma, N iyi parçanın basit bir üst üste binmesi değildir. Hinton, Dropout'un bir hata gibi göründüğünü ancak doğruluğu artırdığını, dolayısıyla "iyi bir hata" olduğunu söyledi. .
İkincisi, derin öğrenme algoritması karmaşık olduğundan ve birçok faktörün kontrol edilmesi gerektiğinden, sabit bir arayüzün tüm kullanıcıların ihtiyaçlarını karşılaması zordur. Sistemi basit ve esnek yazmak daha iyidir, böylece kullanıcılar kendi ihtiyaçlarına göre kolayca değiştirebilirler.
Tersine, derin öğrenmeyle uğraşan insanlar için, sistemin iç detaylarını anlamazsanız, algoritmanız iyi çalıştığında, hangi faktörlerin iyi sonuçlara yol açtığını bilemezsiniz. Belki bir çerçeveyi değiştirirsiniz, etki iyi değildir ve bunun nedeni, bazı uygulama ayrıntılarını bilmemenizdir. Etki iyi olmadığında, nasıl iyileştirileceğini bilemezsiniz.
Öte yandan, yeni bir algoritma uygulamaya ihtiyaç duyduğunuzda, genellikle çerçevenin mevcut arayüzlerinin problemlerinizi çözemediğini göreceksiniz.Bu zamanda, kendi hedeflerinize ulaşmak için sistemi değiştirmek için sistem iç kısımlarını anlamanız gerekir.
Alt katmanın geliştirilmesi daha zordur ve üst katman daha topraklanmıştır
Geçen hafta TAMU'dan Bay Hu Xia ile tanıştım ve grubu tarafından yakın zamanda geliştirilen otomatik makine öğrenimi için açık kaynaklı bir çerçeve olan Auto Keras'ı tanıttı. Hu Öğretmen orijinal sözleriyle şunları söyledi: " Açık kaynaklı bir çerçeve yapmak çok anlamlı bir şey, özellikle işiniz kısa sürede pek çok kişi tarafından dikkate alınır ve kullanılırsa çok tatmin edicidir. . "
Gerçekten de, sektördeki birçok kişi, otomatik parametre ayarı, büyük ölçekli makine öğrenimi ve paralel makine öğrenimi gibi "altyapı" yönüne daha yakın olan alt seviyeye yavaş yavaş dikkatlerini çeviriyor. Sonuçta, iyi bir algoritma daha fazla kişi tarafından kullanılmak istiyorsa, kullanım eşiğini düşürmesi ve ortak bir çerçeve sunması gerekir. Sklearn olmadan makine öğrenimi yapan insan sayısının en az yarısı olacağı tahmin ediliyor. TF veya Torch olmadan derin öğrenme yapan insan sayısının yarıdan az olduğu tahmin edilmektedir.
Aslında, kesin anlamda, algoritmalar önermekten, algoritmaları kapsüllemekten ve bunları gerçek veri setlerine uygulamaktan yukarıdan aşağıya doğru bir boru hattı işlemidir. Gözlemlerimden biri, Algoritma araştırması yapan birçok kişi çok kaba kodlar yazıyor ve işletim verimliliği çok düşük olabilir. .
Basit bir örnek olarak, basit bir K-en yakın komşu algoritması gösterdiğinizde, bunu her seferinde yeniden aramak için yazabilir veya zaman karmaşıklığını azaltmak için önce bir K-D ağacı oluşturabilirsiniz. Tek başına Cong mantığı açısından bakıldığında, ilki ve ikincisi doğrudur, ancak verimlilik oldukça farklı olabilir.
Bu fenomen, en son araştırma sonuçlarının çoğunun uygulanmasını zorlaştırır, çünkü kod optimize edilmemiştir veya uygulamada çeşitli hatalar vardır. . Bence en basit vektörleştirme ve paralel işlemlerden daha karmaşık yapısal tasarımlara ve hatta büyük ölçekli paralel hesaplamaya kadar çeşitli geleneksel ve son teknoloji algoritmaların nasıl verimli bir şekilde uygulanacağını incelemenin çok iyi bir atılım perspektifi olduğunu düşünüyorum. Temel çerçeve iyi yapılırsa, endüstri ve bilimsel araştırma için büyük önem kazanacaktır:
-
Endüstri, en yeni algoritmaları hızla deneyebilir ve algoritmaların gerçek veriler üzerindeki güvenilirliğini ve uygulanabilirliğini doğrulayabilir.
-
Bilimsel araştırma topluluğu, bilimsel araştırma sahtekarlığını önlemek için en son algoritmaları oldukça karşılaştırabilir. Birçok makale, algoritmalarının mevcut en iyi algoritmadan (SOTA) çok daha üstün olduğunu iddia ediyor, ancak aslında bunun nedeni SOTA'yı doğru şekilde uygulamamaları olabilir.
Geçen yıldan beri küçük tekerlekler yapmaya çalıştım ve ayrıca küçük çerçeveler yaptım. Bu süreçte birçok yeni duygu var:
-
Çerçeveyi tasarlamak ve uygulamak kolaydır.Orijinal algoritmadaki eksiklikleri bulmak yeni fikirlere ilham vermeye yardımcı olacaktır. Örnek olarak K-en yakın komşu tabanlı algoritmayı ele alın.Tüm programın verimliliğinin uygulama sırasında K-en yakın komşu parçası tarafından kısıtlandığını fark ederseniz, K-en yakın komşu adımını hızlandırmak veya hatta değiştirmek için K-D ağacını kullanmayı deneyebilir ve bu işlemi simüle etmek için kümelemeyi kullanabilirsiniz. Dolayısıyla, algoritmanın darboğazını anladığınızda, akademik araştırmaları geri beslemek için yeni ve anlamlı iyileştirmeler önerebilirsiniz.
-
Kendi farkındalık yeteneğinizi geliştirin ve araştırmadan sonra kağıt konuşmaya dalmaktan kaçının. Son iki yılda en çok ilgi gören geleneksel sınıflandırma yöntemi, kullanımı gerçekten çok kolay olan Chen Tianqi'nin XGBOOST'udur. Bence XGBOOST'un başarısı, algoritmanın Bay Chen Tianqi'nin derin sistem tasarımı ve uygulama becerilerine dayanan olgun bir araç kitaplığında çok erken paketlenmiş olmasına bağlanabilir. Son on yılda bazı çok iyi algoritmalar olması gerektiğini düşünüyorum, ancak yazarlarının bunları herkesin kullanması için olgun tekerleklere dönüştürememesi üzücü.
-
Sektörün konumu ile daha uyumludur ve iş aramaya puanlar ekler. Aslında çoğu durumda, sektör ne kadar güçlü makale yayınladığınızla ilgilenmez, ancak şirketin ihtiyaçlarını karşılayıp karşılayamayacağınızla daha çok ilgilenir. Benim kendi deneyimim, akademik katılımcılar olmalarına rağmen pek çok insanın benim hidrolojimle ilgilenmediği, ancak çerçeveler geliştirme konusundaki deneyimlerimden bahsediyorum çünkü sadece bunu değil, kullanıcıları da duymuşlar.
-
Bir başarı duygusu. Makalenin okuyucularından çok daha fazla çerçeve kullanıcısı var Tasarladığınız çerçevenin dünyanın her yerinden insanlar tarafından yaygın olarak kullanıldığını fark ettiğinizde, güçlü bir başarı hissine sahip olacak ve bu alanın gelişimine katkıda bulunduğunuzu hissedeceksiniz. Bu hayatta artık görülmeyecek bir hidroloji yazmak yerine yavaş yavaş katkıda bulunun.
Yukarıdaki bakış açısı, esas olarak geliştirme çerçevesini öğrenmeye çalışıp çalışmayacağınızı ve bazı yeni tekerlekler yaratmaya çalışıp çalışmayacağınızı tartışmaktır. Konuya geri dönersek, hangi "üst uygulama" "alt düzey çerçeve" için daha iyidir? Benim fikrim, sahip olduğunuz becerilere bağlı olduğu yönünde:
-
Temel çerçeve: Zorluk paketleme ve performansta yatıyor. Örneğin, API (arayüz) nasıl tasarlanır, çalışma hızı nasıl geliştirilir ve optimize edilir, yöntemin doğru olduğundan emin olmak için nasıl iyi bir test yazılır.
-
Üst düzey uygulama: Zorluk, mevcut tekerleklerin gerçek veriler üzerinde nasıl kullanılacağında yatmaktadır; bu, temel işlevlerin nasıl doğru şekilde çağrılacağını anlamak gibi veri temizleme gibi birçok pratik sorunu içerir.
Genel olarak konuşursak, çoğu insan alt katmanı yazmak için uygun değildir . Sonuçta, birçok mükemmel çerçeve var ve sistem mimarisi ve kod optimizasyonu için gereksinimler çok yüksek ve çoğu insan gerekli bilgiye sahip değil.
Üst uygulama daha sağlamdır , Verilere olan duyarlılığımızı derinleştirebilir, üst düzey uygulamalarda başarılı olan öğrenciler aynı zamanda iş hasatçıları olacaktır. Aslında, problemin derinlemesine anlaşılmasını gerektiren üst düzey uygulamada iyi bir iş yapabilmek kolay değildir.
Diğer bir deyişle, alt katman çerçevesi ve üst katman uygulaması, farklı odaklarla farklı keklere bölünmüştür.
Araştırma perspektifinden, bir algoritma icat etmek son olmamalıdır. Algoritmanın savunucusu olarak kendi modelini kendisi uygulamalı, sonuçta şarabın kokusu da derin ara sokaklardan korkuyor.
