Artık "tek bir fide" değil, yerli derin öğrenme açık kaynak çerçevesi İlkbahar ve Sonbahar Dönemine giriyor
Şimdiye kadar, açık kaynak derin öğrenme çerçevesinin "dağı", esas olarak yabancı teknoloji devleri ve üniversiteler tarafından "sağlamlaştırılmıştır". Ancak şimdi, bu durum ince değişikliklerden geçiyor.
Sadece bu ay, bir Tsinghua ekibinin geçen hafta derin öğrenme çerçevesi "Jittor" un açık kaynağını duyurmasının ardından, bugün "Dört Ejderha Bilgisayar Görüşü" nden biri olan Megvii, derin öğrenme çerçevesi olan "MegEngine" (Çince adı "") "). Zamanın bu noktasına dönüp baktığımızda, Huawei tarafından 2019'da duyurulan ve 2020'nin ilk çeyreğinde tamamen açık kaynak olacak MindSpore derin öğrenme çerçevesi de var. Bir süre için, yerel derin öğrenme açık kaynak çerçevesi hareketliydi. 2020 baharında, "İlkbahar ve Sonbahar ve Savaşan Devletler Dönemi" ne girme olasılığı oldukça yüksek. Artık Baidu Paddle Paddle'ın "tek fide" olarak adlandırıldığı sahne değil.
Şekil Huawei MindSpore, Megvii MegEngine, Tsinghua Jittor (Kaynak: resmi web sitesi)
Analog çip bir bilgi işlem gücü platformudur ve derin öğrenme çerçevesi, bir programlama üretkenliği platformuna eşdeğerdir.İki, AI altyapısının iki yüzüdür. ZTE ve Huawei olaylarının patlak vermesinden sonra, sektördeki birçok kişi, çip endüstrisinin derslerine dayanan yabancı açık kaynak sürümlerinin ABD tarafından "sıkışmış" olmasına dayanan bir programlama üretkenliği platformu olarak derin öğrenme çerçevesini çağırdı.
Artık daha fazla yerli işletme ve üniversitenin katılmasıyla, bu bir dereceye kadar hafifletilebilir. Bununla birlikte, genel olarak konuşursak, endüstri normları nadiren yüzlerce düşünce okulunun uzun vadeli rekabetine sahiptir.Yerel AI endüstrisi ve geliştiriciler için, giderek daha fazla yerli derin öğrenme açık kaynak çerçeveleri nasıl "sindirilecek"?
Yerli şirketler neden kendi derin öğrenme çerçevelerini açık kaynak yapmak için rekabet ediyor?
Derin öğrenmenin gelişimine dönüp bakıldığında, birçok AI teknolojisi arasında hızlı gelişimin ana yönü olmasının nedeni, verilerin, hesaplama gücünün ve algoritmaların kullanılabilirliğidir. Şimdi, derin öğrenmeye dayalı çok sayıda uygulama, gerçek toplumda da geniş bir etki alanı yarattı. Derin öğrenme çerçevelerinin ortaya çıkışı da bundan kaynaklanmaktadır.
Teknik bir bakış açısıyla, derin öğrenme çerçevesi, temelde yatan dilin ve önemli algoritma modellerinin bir kapsüllenmesi olarak anlaşılabilir.Daha erişilebilir bir şekilde, veri, hesaplama gücü (çip) ve algoritmalar arasında hızlı bir şekilde yardımcı olabilecek bir bağlayıcıdır. AI algoritmalarını dağıtın. Baidu CTO'su ve Ulusal Mühendislik Laboratuvarı Derin Öğrenme Teknolojisi ve Uygulaması direktörü Wang Haifeng'in bir keresinde metaforik olarak bir olayda söylediği gibi: Derin öğrenme çerçevesi "akıllı çağın işletim sistemidir".
Şekil Baidu PaddlePaddle (Kaynak: Baidu)
Kurumsal seviyeden anlaşıldığında, ana açık kaynak çerçeveleri giderek artan bir şekilde AI araştırmacıları için gerekli altyapılardan biri haline geldiğinden, işletmelerin geliştiricileri birbirine bağlamaları için harika bir araç haline geldi. Kendi AI ekosistemlerini oluşturmak isteyen platform şirketleri için "geliştiricilerin dünyayı elde etmesini sağlamak" daha da stratejik. Yabancı bilim ve teknoloji çevrelerinin pratiği, ilk olarak, açık kaynak derin öğrenme çerçeveleri dahil olmak üzere birçok açık kaynak teknolojisinin bir AI inovasyon ekosistemi oluşturmanın önemli bir parçası olduğunu doğruladı.
Hong Kong Baptist Üniversitesi'nden Profesör Chu Xiaowen, iyi bir derin öğrenme modeli geliştirmenin genellikle çok fazla model eğitimi gerektirdiğini ve her model eğitimi için gereken sürenin (1) donanım kaynaklarına ve (2) karşılık gelen yazılım optimizasyonuna bağlı olduğunu söyledi.
Ayrıca şu açıklamayı yaptı: Aynı donanım platformu altında, farklı derin öğrenme çerçeveleri, özellikle Doka eğitimi sırasında genellikle farklı eğitim performansına yol açar. Derin öğrenme çerçevelerinin geliştirilmesi ve sürdürülmesi, çok sayıda üst düzey insan kaynağı gerektirir. Bu nedenle, açık kaynak derin öğrenme çerçevesi, bir yapay zeka şirketinin teknik gücünü belirli bir dereceye kadar temsil eder.Stratejik bir bakış açısından, bir şirket, üretim araçlarında ve gelecekteki pazarda başkaları tarafından kontrol edilmekten kaçınmak için bağımsız bir derin öğrenme çerçevesine sahiptir. Yeni AI donanımı ortaya çıktığında veya akademi tarafından yeni bir eğitim algoritması önerildiğinde, diğer rakipler karşısında liderliğini korumak için mümkün olan en kısa sürede kendi platformuna da entegre edilebilir.
Açık kaynağın faydaları açıktır. Her derin öğrenme çerçevesinin kendine özgü avantajları ve dezavantajları olduğu için, herkesin yinelemeli yükseltmeleri çok hızlıdır. Daha fazla rakiple, herkes yatırımı artıracak, birbirlerinin güçlü yönlerini tamamlayacak ve derin öğrenme çerçevesini daha iyi hale getirmek için çaba gösterecektir. Bu, tüm AI endüstrisi içindir. Hepsi çok büyük katkılar. "
Çeşitli büyük teknoloji şirketlerinin küresel geliştiricilerin kendi teknoloji yığınlarını kullanacağını ve geliştireceğini umduğu doğrudur.Tüm endüstri perspektifinden, farklı teknoloji devleri tarafından desteklenen farklı derin öğrenme çerçeveleri kesinlikle birbirini teşvik edebilir ve yeniliği hızlandırabilir. Rakip şirketler için, bugünün penceresindeki lider konumunu yakalamak ve sürdürmek aynı zamanda yarının endüstri standartlarının tanımlanmasında daha fazla söz sahibi olabilecekleri anlamına gelir.
Şekil Yabancı açık kaynak derin öğrenme çerçevesinin zaman çizelgesi (Kaynak: İnternet)
Daha önce Montreal Teknoloji Enstitüsü'nde ortaya çıkan Theano'ya ek olarak, Jia Yangqing tarafından Amerika Birleşik Devletleri'ndeki Berkeley Üniversitesi'nde geliştirilen ve şu anda Berkeley Üniversitesi tarafından yönetilen Caffe de dahil olmak üzere, açık kaynak derin öğrenme çerçevelerinin ilk grubu 2012 ve 2015 yılları arasında ortaya çıkmaya başladı. Ve daha ikonik 2015'te, Google TensorFlow açık kaynak, Keras, Neon vb. Duyurdu. 2016'da aynı yıl, açık kaynaklı FaceBook'un PyTorch'u, AWS'nin MXNet'i ve Baidu'nun PaddlePaddle'ı tipik "yükselen yıldızlar" idi.
Son yıllardaki başlıca sıralamalara bakıldığında, bu açık kaynak çerçeveleri, TensorFlow (güçlü endüstriyel dağıtım) ve PyTorch (birçok akademik hayran) iki "gemini" tükenmiş olmasına rağmen, birbiri ardına gelip gitmenizi sağladı. Geliştiricilerin payı, ancak henüz mutlak bir tekele ulaşmadı. PyTorch'un geç performansı, tasarımı sayesinde hiçbir çerçevenin kesin bir zafer kazanamayacağını da kanıtlıyor. Bu nedenle, giderek artan dinamik ve çeşitlenen gerçek geliştirme ihtiyaçlarını karşılamak için ortaya çıkan yeni açık kaynaklı derin öğrenme çerçeveleri vardır.
Şekil PyTorch, akademide giderek daha baskın hale geliyor (Kaynak: https://thegradient.pub/state-of-ml-frameworks-2019-pytorch-dominates-research-tensorflow-dominates-industry/)
Kendi açık kaynak çerçevelerini tanıtırken, çeşitli bilgi işlem güç kaynağı paketleri sunmanın yanı sıra, büyük şirketler kasıtlı veya bilinçsiz olarak AI alanındaki ilgili birikimlerini çerçeveye "sorunsuz bir şekilde bağlayabileceklerini" vurgulayacaklardır. Örneğin Huawei, 2019 basın toplantısında MindSpore'u tanıttığında, geliştiricileri mobil terminal ürünlerinin avantajlarıyla cezbetmek için tam senaryo işbirliğine sahip olduğunu ve uç, uç ve bulut için birleşik eğitim ve muhakeme çerçevelerini desteklediğini vurguladı. Huawei MindSpore'un kıdemli mimarı Yu Fan, 2019'da halka açık bir teknik konferansta, MindSpore'un Tensorflow'u hedeflediğini açıkça belirtti.
TensorFlow ve PyTorch gibi olgun yapay zeka çerçevelerinin neden olduğuna gelince, Huawei ayrıca "tekerleği yeniden yaratmayı" seçti. Xu Zhijun bir keresinde şöyle cevap verdi: "Bunun nedeni, hangi çerçevenin tüm sahneyi gerçekten destekleyebileceğini henüz görmemiş olmamızdır. Huawei MindSpore'un amacı böyle bir çerçeve haline gelmektir. "
Ancak, MegEngine'in bugün açık kaynak olarak duyurulmasından önce, açık kaynak derin öğrenme çerçevesi, yerli AI girişimleri tarafından nadiren görülüyordu ve bu, büyük teknoloji şirketlerinin oynamaya gücünün yeteceği bir "oyun" değil gibi görünüyor.
Google TensorFlow'un başkanı bir keresinde Çinli oyuncuların rekabetinden korkmadığını söyledi.
Sadece bugünkü MegEngine açık kaynak konferansının konuk kadrosundan, yalnızca Turing Ödülü kazananları Yao Qizhi, Huai Jinpeng ve Gao Wen'i değil, aynı zamanda şirketin kendi açık kaynak çerçevesinin olduğunu gösteren eski Microsoft yapay zeka lideri Shen Xiangyang platformunu da hor görme Dikkat.
Basın toplantısında Megvii, MegEngine'in endüstriyel sınıf ve araştırma enstitüsü ölçekli araştırma ve geliştirme kurumları için tasarlanmış algoritma araştırma ve geliştirme için temel bir bileşen olduğunu ortaya koydu.Temel tasarım konsepti, eğitim ve akıl yürütme sırasında algoritma araştırma ve geliştirme ve algoritma mühendisliğinin verimliliğini hesaba katma arzusunu içeriyor. , Çıkarım için eğitilmiş modeli doğrudan kullanın ve aynı zamanda TensorFlow ve PyTorch'tan farklı olan MegEngine, dinamik ve statik grafikleri birleştiren bir tasarım benimseyecektir.
Bu sefer açık kaynak derin öğrenme çerçevesi ile ne tür bir durumun açılabileceği uzun zamandır görülecek. Akademisyen Gao Wen'in basın toplantısının canlı yayınında belirttiği gibi, MegEngine'den MegEngine açık kaynağını duyurduktan sonra, pazar eğitimi, kolejler ve üniversitelerle işbirliği gibi teknoloji dışında hala birçok çalışma var.
Gelecekte açık kaynak derin öğrenme çerçevelerinin uzun süre mücadele edeceği söylenirse, yerli açık kaynak derin öğrenme çerçeveleri yabancı ürünlerle doğrudan rekabetten kaçınamayacaktır.
Tsinghua Üniversitesi'nden Profesör Deng Zhidong, "Yerli açık kaynak derin öğrenme çerçevelerinin rekabeti harika bir şey. Adil ve açık piyasa rekabeti yoluyla endüstrinin sağlıklı gelişimini teşvik etmek. Uzun vadede, ana akım uluslararası çerçevelerle de rekabet edecek. Özgün yenilikçiliği, ekolojik yapıyı ve kullanıcı deneyimini vurgulamak daha gerekli.Kısa vadede, yerel çerçevelerin rekabeti esas olarak 0'dan 1'e odaklanacak, var olup olmadığı ve kullanıcıların dikkatinin nasıl çekileceği, geliştiricilerin onayının nasıl alınacağı ve pazar ve kaynaklar hakkında bir anlayış oluşturacak. Rekabet avantajı".
Yeni bir açık kaynak derin öğrenme çerçevesinin doğduğuna inanıyor.İyi geliştirip geliştiremeyeceği kullanım kolaylığına, verimliliğine ve eksiksizliğine bağlıdır. Tamlık operatörler, modeller, alet zincirleri ve eksiksiz toplulukları içerir. Örneğin, PyTorch'un daha iyi kullanım kolaylığı nedeniyle, TensorFlow'a neredeyse ayak uyduracak noktaya hızla gelişti. Yeni bir açık kaynak derin öğrenme çerçevesi iyi bir şekilde geliştirilebilir mi, genel olarak konuşursak, bu üç yönden belirgin bir eksiklik olmamalı ve bazı yönlerden benzersiz avantajlar da dahil olmak üzere kendi uzun tahtasına veya artımına sahip olmalıdır. Ancak bu şekilde pazar segmentindeki açığı kapatabilir ve pazar yapısını değiştirebiliriz. Aksi takdirde, kullanıcı deneyimi benzer olacaktır ve akademi ve sektördeki kullanıcıların ataletlerinden dolayı yeni bir çerçeveye uyum sağlamak için inisiyatif almaları pek olası değildir. Ölçek ve ekoloji bir an önce kurulamazsa, AI hızlandırıcı çip üreticileri tarafından uzun süre desteklenmeyebilir.
Şekil Kemal El Moujahid (Kaynak: Google)
Örnek olarak en tipik TensorFlow'u ele alın. Çerçeve, Google Brain ekibi tarafından oluşturulmuştur. Çerçevenin üstünlüğüne, olgun araç zincirine ve eksiksiz topluluk ekolojisine ek olarak, aynı zamanda Google Cloud ve TPU gibi güçlü AI Ar-Ge cephanelerine de dayanır.
TensorFlow'un küresel ürün direktörü Kemal El Moujahid, 2019'da Şangay'daki Google Developers Konferansı sırasında, DeepTech'e Çinli şirketlerin agresif açık kaynak derin öğrenme çerçeveleri için büyük şirketlerin tüm AI ile yüzleşmek için bilgi işlem çerçevelerinde ilerleme kaydettiğini söyledi. Sektör için iyi bir şey.
"Sektörün gelişimini görmekten çok mutluyuz. Şimdi, küresel ölçekte makine öğrenimi ve yapay zekanın popülerliği hala erken aşamalarda olsa da nihai hedefi unutmamalıyız: makine öğrenimini ve yapay zekayı küresel olarak tanıtmak ve yaygınlaştırmak. Yani Şimdi yapabileceğimiz şey, tüm uygulama senaryosunu daha fazla olanak ve daha hızlı popüler hale getirmek için en iyi uygulamayı ve en iyi teknoloji platformunu sağlamaktır "dedi.
O sırada, TensorFlow'un dünya çapında 41 milyon indirme ve 9.900'den fazla kod değişikliği talebi olduğunu söyledi. En olgun AI çerçevelerinden biri olarak, Çinli geliştiriciler ve şirketler için hala oldukça cazip.
Şekil 2019'da Google Şangay Geliştiriciler Konferansı tarafından yayınlanan TensorFlow ekolojik verileri
Arama işi çıktıktan sonra, TensorFlow'un tanıtımının Google'ın anakara Çin'deki mevcut öncelikli çalışması olduğu anlaşılıyor (Google, TensorFlow için özel bir WeChat halka açık hesabı bile açtı ve güncelleme oldukça özenli).
Kemal El Moujahid, TensorFlow geliştirme ekibinin yaptığı iyileştirmelerden bahsederken, tüm TensorFlow ekibinin kullanımı kolay, güçlü ve genişletilebilir TenorFlow 2.0 sürümünü geliştirmekle meşgul olduğunu ortaya koydu.İki özel iyileştirme yönünde. Bu, kullanım kolaylığının daha da iyileştirilmesi ve uç taraf adaptasyonunun optimizasyonudur.
Kemal El Moujahid özellikle ikincisi için şunları söyledi: "Mobilin gelecekte makine öğrenimi için çok önemli bir yön olduğuna inanıyoruz. Gittikçe daha fazla sayıda küçük mobil cihazın popülaritesi ile ölçeği şu anda yaklaşık 5,5 milyar mobil cihaza ulaştı, 250 milyar mikro kontrol birimi. Bu temelde, makine öğreniminin uygulama senaryoları çok yüksek. Gelecekte TensorFlow, TensorFlow'u daha hafif hale getirmeyi ve son tarafta daha fazla alana makine öğrenimini getirmeyi umarak bu yöne odaklanacak ", Dedi.
Güç tarafı tarafıyla eşleşen bir karar da 5G'nin yükselişinden geliyor. Kemal El Moujahid, 5G'nin makine öğrenimi ve TensorFlow'un geliştirilmesinde büyük etkisi olacağını, çünkü mobilin çok önemli bir alan olduğunu söyledi.
Uygulamalar daha düşük gecikme için daha yüksek gereksinimlere sahip olduğundan, makine öğrenimini uç cihazlarda çalıştırmak gittikçe daha önemli hale gelecektir. Bu, TensorFlow'un birden çok güncellenmiş sürümüne yansımıştır: Google'ın baskın Android mobil ekosistemi doğrultusunda Google, daha fazla uç taraf senaryosunun geliştirme ihtiyaçlarını karşılamak için TensorFlow Mobile ve TensorFlow Lite'ın hafif sürümlerini art arda piyasaya sürdü.
Aslında, sadece TensorFlow değil, aynı zamanda PyTorch, vb. Dahil olmak üzere birçok yabancı açık kaynak derin öğrenme çerçevesi, güncellemelerini mobil senaryoları desteklemeye odakladı ve her şeyin İnternetinin bir sonraki AIoT döneminin, çerçeve anlaşmazlığının olacağını gösterdi. Daha da yükseltilecek.
Ek olarak, Hong Kong Baptist Üniversitesi'nden Profesör Chu Xiaowen, çeşitli yerel açık kaynak derin öğrenme çerçevelerinin birbirleriyle iletişiminin acil bir konu haline geleceğini belirtti.
"Farklı şirketler ve akademik kurumlar eğitim için farklı çerçeveler kullandığı için, bilgi paylaşımını engelleyecektir. Mevcut ONNX projesi bu sorunu çözmeye çalışmaktır" dedi.
Açık kaynak çerçevesi "savaş ateşi" AI çiplerini etkileyebilir
Şekil TPU (Kaynak: Google)
Dikkate değer bir diğer fenomen de, daha fazla açık kaynak derin öğrenme çerçevesinin nasıl ortaya çıktığıdır ve bu, zaten tüm hızıyla AI çip yakın dövüşünü etkileyecektir.
Sonuçta, son birkaç yılda Google, Baidu, Huawei ve Intel gibi endüstri liderleri, yazılım ve donanım kombinasyonunun AI geliştirmenin genel eğilimi olacağını kamuoyuna açıkladı. Giderek daha fazla algoritma şirketi endüstri zincirinin üst kısmına yayılıyor ve çekirdekler yapmaya başlıyor ki bu da bu yargı ile ilgili.
Benzer şekilde, derin öğrenme endüstri entegrasyonunun derin sularına doğru ilerlemeye devam ettikçe, derin öğrenme çerçevelerinin evrimi de yazılım ve donanım entegrasyonunun peşinde koşuyor.
Google TensorFlow'u da gözlem örneği olarak alın. Google'ın kendi geliştirdiği TPU (Tensor Processing Unit), yalnızca Birinci Dünya Savaşı'ndaki ünlü "AlphaGo" nun arkasındaki kahraman değil, aynı zamanda TensorFlow iş yüklerinin farklılaştırılmış performansını uzun süre destekleyerek makine öğrenimi mühendislerinin ve araştırmacıların bilgi işlem gücü açısından daha hızlı yinelemeler elde etmesine yardımcı oluyor.
TPU, Google'ın yapay zeka hizmetleri için özel bir çip tasarlamak üzere attığı ilk adımdır. Şu anda "çekirdek oluşturmaya" çalışan birçok yerli ve yabancı İnternet şirketi ve algoritma şirketi var, ancak Google yine de kendi geliştirdiği AI çiplerinin tadını çıkarıyor İnternet şirketlerinin ilk grubu: Google, derin öğrenme platformunun dağıtımını hızlandırmakla kalmayıp, aynı zamanda sistemin kapsamlı şekilde uygulanması, özel AI çipinin maliyetini de sürekli olarak düşüren TensorFlow'a dayalı TPU özelleştirilmiş.
(Kaynak: Huawei)
Yapay zeka çipleri, derin öğrenme çerçeveleri ve endüstri uygulamaları arasındaki ilişki, derin öğrenme çerçevesinin geçmişi ve sonrakini birbirine bağlaması, çipleri ve büyük bilgisayar sistemlerini birbirine bağlaması ve çeşitli iş modellerini ve endüstri uygulamalarını miras almasıdır. İşletmeler ve uygulamalar derin öğrenme çerçevelerine gittikçe daha karmaşık yeni gereksinimler koyduğunda, geleneksel çipler derin öğrenme çerçevelerinin yeni yeteneklerinin çıktılarını destekleyemeyebilir ve ikincisi, özel AI çiplerini tersine özelleştirme yolu haline gelecektir. Bir çeşit olasılık.
Google'ın yanı sıra AI çip araştırma ve geliştirme yeteneklerine sahip olan Huawei, MindSpore'u piyasaya sürdüğünde MindSpore ile Huawei'nin kendi geliştirdiği Ascend işlemcisinin birlikte optimizasyonunu da vurguladı. Bu varsayımdan, Megvii'nin MegEngine için özel bir AI çip araştırma ve geliştirme planı sağlayıp sağlamayacağını merak ediyorum.
Yazılım düzeyinde iyileştirme alanı doygunluğa ulaştığında, derin öğrenme çerçeveleri için verilen savaş, özel donanım yetenekleri için bir rekabete dönüşür ve bu yalnızca bir zaman meselesi olabilir.
