Zhou Zhihua: Bu üç koşulu karşılamak için derin sinir ağlarını kullanmamayı düşünebilirsiniz.
Son yıllarda, derin sinir ağları konuşma ve görüntü alanlarında olağanüstü ilerleme kaydetti, bu nedenle birçok insan derin öğrenmeyi ve derin sinir ağlarını aynı şekilde görüyor. Bununla birlikte, Zhou Zhihua, Kaggle yarışmasındaki ödüllerin sonuçlarını özetlediğinde, sinir ağının genellikle görüntü, video ve ses gibi tipik görevlerde ve hibrit modelleme, ayrık modelleme ve sembolik modellemeyi içeren diğer görevlerde kazandığı görülebileceğini söyledi. Görevler açısından diğer modellerden daha kötü olacak.
Neden böyle bir sonuç var? Zhou Zhihua, derin sinir ağlarının derin anlamından yola çıktı ve sinir ağlarının başarısının üç nedenini özetledi: Katman katman işleme, karakteristik dahili değişiklikler ve yeterli model karmaşıklığı vardır
Ve sonuca vardık: Bu üç koşul karşılanırsa, bunun sadece derin bir sinir ağı olması gerekmez.
Sinir ağlarının bazı eksiklikleri nedeniyle, insanlar genellikle diğer modelleri düşünmek zorunda kalır. Zhou Zhihua, ekibi tarafından önerilen gcforest yöntemini tanıttı ve yöntemin iyi bir görevler arası performansa ve uyarlanabilir model karmaşıklığına sahip olduğunu söyledi.
Gcforest araştırmasının önemine gelince, Zhou Zhihua'nın paylaşımda söylediği gibi, derin öğrenme siyah bir odadır. Herkes daha önce derin bir sinir ağı olduğunu bilir. Şimdi bu odaya bir kapı açtık ve gcforest'i yerleştirdik. Gelecekte daha fazla şey olabileceğini düşünüyorum, bu da akademik bilimin gelişmesinden bu çalışmanın daha önemli değeridir.
Profesör Zhou Zhihua, American Computer Society (ACM), American Association for the Advancement of Science (AAAS), International Association for Artificial Intelligence (AAAI), International Institute of Electrical and Electronics Engineers (IEEE), International Society for Pattern Recognition (IAPR), International Engineering Technology (IET / IEE) üyesidir. ) Ve Topluluğun diğer üyeleri, AI alanında Grand Slam'i kazandı ve Çin anakarasında tam derece alan tek AAAI üyesidir. Entegre öğrenme, çoklu etiketli öğrenme ve makine öğreniminde yarı denetimli öğrenmede mükemmeldir. Katkı. Nanjing Üniversitesi'nde Yapay Zeka Okulu'nun oluşturulmasına da katıldı ve dekan olarak görev yaptı.
AI Technology Base Camp tarafından düzenlenen konuşmanın tam metni aşağıdadır:
Son zamanlarda Nanjing Üniversitesi'nin Çin'deki bir C9 üniversitesinde ilk yapay zeka disiplini olan Yapay Zeka Okulu'nu kurduğunu duymuşsunuzdur. Bugün, sadece eleştiriniz ve tartışmanız için derin öğrenme üzerine kendi çok yüzeysel görüşlerimizden bahsedeceğim.
Derin öğrenme nedir?
Yapay zekanın şu anda çok popüler olduğunu hepimiz biliyoruz ve bu yükselişi ateşleyen en önemli teknolojilerden biri de derin öğrenme teknolojisi. Bugün derin öğrenme hakkında konuştuğumuzda, aslında görüntüler, videolar, ses, doğal dil işleme vb. Dahil olmak üzere çeşitli uygulamalar görebiliriz. Bir soru sorarsak, derin öğrenme nedir? Çoğu insan temelde derin öğrenmenin neredeyse derin sinir ağlarına eşdeğer olduğunu düşünüyor.
Size bir örnek göstereyim. Uluslararası Endüstriyel ve Uygulamalı Matematik Derneği çok ünlü bir topluluktur ve SIAM News adlı bir gazeteleri vardır. Geçen yıl haziran ayında ön sayfada bir makale vardı, buradaki asıl nokta derin öğrenme nedir? Bu (derin öğrenme), derin sinir ağlarının kullanıldığı makine öğreniminin bir alt alanıdır.
Yani temelde derin öğrenme hakkında konuşmak istiyorsak, önce sinir ağları ile başlamalıyız. Sinir ağı yeni bir şey değil, insanlar yarım yüzyıldan fazla bir süredir üzerinde çalışıyorlar. Ancak geçmişte, ortada bir gizli katman veya iki gizli katman bulunan böyle bir sinir ağını kullanırdık. Böyle bir sinir ağında, her birimi nasıl bir şeydir? Çok basit bir hesaplama modelidir.
Örneğin, böyle bir hesaplama modeli, aslında bunu yarım asırdan daha uzun bir süre önce sonuçlandırdık. Bazı bağlantılarla güçlendirilen bazı girişler alıyoruz Hücreye ulaştıktan sonra, "toplamı" bir eşiği aşarsa, hücre etkinleştirilecektir. Aslında, açıkça söylemek gerekirse, bu çok basit bir formüldür.Sözde sinir ağı, bu tür birçok formülün iç içe geçmiş haliyle elde edilen matematiksel bir sistemdir.
Bugün derin sinir ağlarından bahsettiğimizde ne demek istiyoruz? Aslında, basitçe söylemek gerekirse, kullanılan sinir ağının çok derin birçok katmanı vardır. ne kadar? Bir veriye bakıldığında, 2012'de derin öğrenme herkesin ilgisini çekerken, bir ImageNet yarışma şampiyonu 2015'te 8 katman, 152 katman ve 2016'da 1207 katman kullandı. Bu çok büyük bir sistem.
Bu sistemi eğitmek çok zor ama çok güzel bir haber var.Gerçek sinir ağındaki hesaplama biriminin en önemli aktivasyon fonksiyonu sürekli ve farklılaşabilir. Geçmişte, sürekli farklılaştırılabilen sinir ağlarında Sigmoid'i sıklıkla kullandık.Şimdi derin sinir ağlarında, aynı zamanda sürekli türevlenebilir olan tanh veya tanh varyantlarını sıklıkla kullanıyoruz. Böyle bir özellik ile çok iyi bir sonuç alacağız, bu da sistemin gradyentini artık kolaylıkla hesaplayabilmemizdir. Bu nedenle, iyi bilinen BP algoritması (not: geri yayılım algoritması), bu sistemi eğitmek için kolayca kullanılabilir.
Bugün, bu algoritma sayesinde sinir ağı pek çok zafer kazandı, ama aslında akademik dünyadaki herkes tek bir şey hakkında net bir şekilde düşünmedi, yani neden bu kadar derin bir model kullanıyoruz? Pek çok insan derin öğrenmenin çok başarılı olduğunu söyleyebilir, ancak bununla ilgili büyük bir sorun teorik temelin net olmaması ve hala teorik olarak nasıl yapılacağını bilmiyoruz. Neden başarılı? Buradaki anahtar nedir? Aslında, ona hangi açıdan bakacağımızı bilmiyoruz. Çünkü teorik analiz yapacaksak önce biraz sezgiye sahip olmalıyız, sizin için faydalı olan şeyden dolayı bu yola giderseniz önemli bir sonuç elde edebilirsiniz.
Derin sinir ağlarının neden derin olabileceğine gelince, aslında şu ana kadar akademik çevrede bu konuya ilişkin birleşik bir görüş yok. Burada size bir süre önce yaptığımız bir tartışmayı anlatacağım Bu tartışma aslında ana modelin karmaşıklığı perspektifinden tartışılıyor.
Derin öğrenmenin başarısının anahtarı nedir?
Bir makine öğrenimi modelinin karmaşıklığının aslında kapasitesiyle ilgili olduğunu biliyoruz ve bu kapasite doğrudan onun öğrenme yeteneğini belirlediğinden, öğrenme yeteneği ve karmaşıklık birbiriyle ilişkilidir. Aslında, bir öğrenme modelinin karmaşıklığını artırabilirsek, öğrenme yeteneğinin geliştirilebileceğini uzun zamandır biliyorduk, öyleyse karmaşıklığı nasıl artırabiliriz?
Sinir ağı gibi bir model için iki bariz yol vardır: Biri modeli derinleştirmemiz, diğeri ise onu genişletmemizdir.Ama karmaşıklığı artırma perspektifinden onu derinleştirmek daha etkili olacaktır. Genişledikçe, sadece bazı hesaplama birimlerini ve fonksiyonların sayısını arttırırsınız.Daha derinleştiğinizde, sadece sayıyı arttırmazsınız, aynı zamanda gömme seviyesini de arttırırsınız, böylece fonksiyonallerin ifade kabiliyetleri daha iyi olacaktır. Kuvvetli. O yüzden bu açıdan derinleşmeye çalışmalıyız.
Sorabilirsiniz, çünkü derinleşecek, bunu uzun zaman önce bilmiyor musunuz? Neden şimdi yapmaya başlıyorsunuz? Aslında bu başka bir sorunu da içeriyor: Makine öğreniminde öğrenme yeteneğimizi güçlendirdik, bu gerçekten iyi bir şey olmayabilir. Çünkü makine öğreniminde mücadele ettiğimiz sorunlardan biri, sıklıkla aşırı uyumla karşılaşmamızdır.
Bir veri seti verildiğinde, veri setindeki şeyleri öğrenmeyi umuyoruz, ancak bazen verinin kendisinin bazı özelliklerini öğrenebiliriz, ancak bu özellik genel bir kural değildir. Öğrenilen hatalar genel kural olarak kullanıldığında çok büyük hatalar yapılacaktır, bu fenomen gereğinden fazla uygundur. Verinin kendisinin özelliklerini neden öğrendiniz? Çünkü model öğrenme yeteneğimiz çok güçlü.
Yani geçmişte çok karmaşık modeller kullanmıyorduk, şimdi neden bu tür modelleri kullanabiliyoruz? Aslında birçok faktör var İlk faktör şu anda çok fazla veriye sahip olmamız.Örneğin, elimde yalnızca 3000'den fazla veriye sahipsem, öğrenilen özelliklerin genel kanunlar olma ihtimali düşüktür. Ancak 30 milyon veya hatta 30 milyon veri varsa, bu verilerdeki özellikler aslında genel yasalardır, bu nedenle büyük verilerin kullanılması, aşırı uyumu azaltmak için anahtar koşuldur.
İkinci faktör, günümüzde çok sayıda güçlü hesaplama cihazının olmasıdır, bu nedenle bu tür modelleri eğitebiliriz.Aynı zamanda, bu alandaki birçok akademisyenin çabalarıyla, bu tür karmaşık modelleri eğitmek için birçok becerimiz ve algoritmamız var, bu da bizi yapar Karmaşık modeller kullanmak mümkündür.
Bu düşünce tarzına göre aslında üç şey var: birincisi, bugün daha fazla veriye sahibiz; ikincisi, güçlü bilgi işlem ekipmanı var; üçüncüsü, birçok etkili eğitim tekniği var.
Bu bizi oldukça karmaşık modeller kullanmaya yönlendiriyor. Derin sinir ağı, kesinlikle uygulanması kolay, oldukça karmaşık bir modeldir. Öyleyse, böyle bir dizi teorik açıklama, bunun bir açıklama olduğunu söylersek, bize neden şimdi derin sinir ağlarını kullanabileceğimizi anlatıyor gibi görünüyor. Neden başarılı olabilir? Karmaşıklıktan kaynaklanıyor.
Bir yıldan fazla bir süre önce bu açıklamayı yaptığımızda, aslında yurtiçi ve yurtdışındaki pek çok meslektaşım da bu açıklamaya çok katılıyor çünkü herkes bunun oldukça mantıklı olduğunu düşünüyor, aslında ben bundan pek memnun kalmadım neden? ? Aslında cevaplamadığımız potansiyel bir soru var. Karmaşıklıktan açıklanırsa, düz veya geniş ağların neden derin sinir ağlarının performansına ulaşamayacağını söylemenin hiçbir yolu yok? Ağı genişlettiğimiz için verimliliği çok yüksek olmasa da karmaşıklığı da artırabilir.
Aslında, 1989'da, sinir ağlarının evrensel yaklaşım yeteneklerine sahip olduğunu söyleyen teorik bir kanıtımız zaten vardı: gizli bir katman kullandığınız sürece, kompakt bir küme üzerinde rastgele bir hassasiyetle tanımlanan sürekli bir keyfi karmaşıklık fonksiyonuna yaklaşabilirsiniz. .
Çok derin olması gerekmiyor. Burada sinir ağlarının evrensel yaklaşım yeteneklerine sahip olduğu bir sözden alıntı yapmak istiyorum Bazı insanlar sinir ağlarının bu kadar güçlü olmasının ana nedenlerinden birinin bu olduğunu düşünebilir Aslında bu bir yanlış anlaşılmadır.
Makine öğreniminde kullandığımız tüm modeller evrensel yaklaşım yeteneklerine sahip olmalıdır. Bu yetenek olmadan, hiçbir şekilde mevcut değildir. Yani en basit olanı, hatta Fourier dönüşümü, zaten bu yeteneğe sahiptir, bu nedenle bu yetenek sinir ağlarına özgü değildir. Peki burada vurgulamak istediğimiz tek şey nedir? Aslında gizli bir katmana sahip olduğum ve ona sonsuz nöron eklediğim sürece yeteneği çok güçlenecek ve karmaşıklığı çok yüksek olacak. Fakat uygulamada böyle bir modeli nasıl denersek deneyelim, derin bir sinir ağı kadar iyi olmadığını görürüz. Dolayısıyla bu sorunu karmaşık bir perspektiften çözmek zor olabilir, biraz daha derinlemesine düşünmeye ihtiyacımız var.
Öyleyse şu soruyu sormalıyız: derin sinir ağlarında en önemli şey nedir? Bugün cevabımız öğrenme yeteneğini ifade etmek olabilir. Geçmişte, önce bir veri parçası elde etmek için makine öğrenimini kullandık. Örneğin, veri nesnesi bir görüntüdür ve onu açıklamak için renk, doku vb. Gibi birçok özelliği kullanırız. Bu özellikler insan uzmanlarımız tarafından manuel olarak tasarlanmıştır. Evet, bunu ifade ettikten sonra öğreneceğiz.
Bugün, derin öğrenmeden sonra, artık özellikleri manuel olarak tasarlamamıza, verileri bir uçtan vermemize ve diğer uçtan modele atmamıza gerek kalmadı. Ortadaki tüm özellikler kendi kendine öğrenilerek çözülür. Bu sözde özellik öğrenme veya temsil öğrenme. , Bu, önceki makine öğrenimi teknolojisine kıyasla büyük bir gelişmedir. Artık özellikleri tasarlamak için tamamen insan uzmanlara güvenmemize gerek yok.
Bazen endüstri dostlarımız uçtan uca öğrenme denen çok önemli bir şey olduğunu söyleyecekler, herkes bunun çok önemli olduğunu düşünüyor. Aslında, bu konu iki açıdan ele alınmalıdır: Bir yön, özellik öğrenimi ile sınıflandırıcı öğrenmeyi birleştirdiğimizde, iyi bir yön olan ortak optimizasyona ulaşabileceğimizdir; ancak diğer yandan, eğer bu olursa Bilmediğimiz şey, uçtan-uca öğrenmenin şu anda gerçekten iyi olmayabileceğidir, çünkü belki ilk bölüm doğuya gidiyor, ikinci bölüm batıya gidiyor. Birlikte daha doğuya doğru görünüyor. Aslında, içeride bir şey dengelendi.
Aslında, makine öğreniminde özellik seçimi gibi uçtan uca öğrenme olmuştur, ancak bu tür bir yöntem diğer özellik seçme yöntemlerinden daha güçlü mü? Mutlaka değil, bu yüzden en önemli şey bu değil, gerçekten önemli olan özellik öğrenme veya temsil öğrenme.
Bir sonraki soruyu soralım: Öğrenilmesi gereken en önemli şey nedir? Şimdi bu konuya öyle bir cevabımız var ki, katman katman onunla ilgilenmek. Şimdi çok popüler olan "Derin Öğrenme" kitabından bir resim alıntılayacağız Bir görüntü elde ettiğimizde, sinir ağını çok sayıda katman olarak düşünürsek, her şeyden önce altta bazı pikseller görürüz. Katman katman yukarı çıktığımızda, yavaşça kenarlara sahip oluruz ve sonra ana hatlar vb. Olur. Gerçek sinir ağı modelinde, bu kadar net bir katman olmayabilir, ancak genel olarak gerçekten Yukarı nesneleri soyutlamaya devam edin.
Ve bu özellik, şimdi bunun derin öğrenmenin gerçek başarısı için anahtar faktörlerden biri olduğunu düşünüyoruz, çünkü düz sinir ağları, derin sinir ağlarının yaptığı birçok şeyi yapabilir, ancak yapamayacağı bir şey vardır: düz olduğunda, Derin bir işleme yoktur, bu nedenle katman katman derin soyutlama kritik olabilir. Sonra tekrar bakarsak, herkes sorabilir, aslında, bu maddeyi katman katman işlemenin makine öğreniminde yeni bir şey olmadığını.
Geçmişte, katman katman işlenen karar ağaçları gibi katman katman işlenen birçok şey vardı, bu çok tipik bir model. Bunun elli ila altmış yıllık bir geçmişi var, ancak neden derin sinir ağlarıyla bu kadar iyi yapamıyor? Birincisi, karmaşıklığı yeterli değildir, çünkü karar ağacının derinliği, yalnızca ayrık özellikleri ele alırsak, en derin derinliği özelliklerin sayısını aşmayacaktır, bu nedenle model karmaşıklığının bir üst sınırı vardır; ikincisi, tüm karar ağacı öğrenme süreci , İçeride özellik değişikliği yoktur, her zaman bir özellik alanında yapılır ki bu da sorun olabilir.
Gelişmiş makine öğrenimi modelleri hakkında bir anlayışınız varsa, şu anda birçok Boosting modeli katman katman aşağı indiğine göre, neden derin öğrenmenin başarısına ulaşmadığını sorabilirsiniz. Bence problem hemen hemen aynı. Birincisi, karmaşıklık yeterli değil. İkincisi, daha kritik olan nokta, işleri her zaman orijinal uzayda yapmasıdır. Tüm bu öğrenciler, aralarında herhangi bir özellik dönüşümü olmadan orijinal özellik uzayındadır.
Derin sinir ağları neden başarılı oldu? İçerideki anahtar neden nedir? Bence ilk önce iki şeye ihtiyacımız var: Birincisi katman katman işlemek, ikincisi ise iç özellik dönüşümü yapmak. Ve bu iki şeyi düşündüğümüzde, derin modelin aslında çok doğal bir seçim olduğunu göreceğiz. Böyle bir model ile yukarıdaki iki şeyi kolaylıkla yapabiliriz. Ancak bu kadar derin bir modeli kullanmayı seçtiğimizde, birçok sorunumuz olacak, üstünü örtmek kolay, bu yüzden büyük veri kullanmamız gerekiyor, eğitmek zor, çok sayıda eğitim numarasına ihtiyacımız var, bu sistemin hesaplama maliyeti çok büyük Bu nedenle, GPU ve benzeri gibi çok güçlü bilgi işlem ekipmanına ihtiyacımız var.
Aslında bütün bunlar derin bir model seçmenin bir sonucudur, derin öğrenmeyi kullanmamızın nedeni değil. Yani bu önceki düşüncemizle aynı değil Geçmişte, bu şeylerin bizi derin modeli kullanmaya yönlendirdiğini düşündük Şimdi bu nedenselliğin tam tersi olduğunu hissediyoruz - çünkü onu kullanmak istiyoruz, yukarıdakileri ele alacağız Bunlardan.
Ve dikkat etmemiz gereken bir nokta daha var: Çok fazla eğitim verisine sahip olduğumuzda, bu bizim çok karmaşık bir modele sahip olmamızı gerektirir. Doğrusal bir modelimiz olduğunu varsayarsak, 20 milyon veya 200 milyon örnek istediğiniz, aslında bunun için çok da farklı değil, öğrenilemez. Ve yeterli karmaşıklığa sahibiz, aslında, derin modeli kullanımımıza tam olarak başka bir nokta eklediğini görüyoruz.
Bu nedenlerden dolayı, bunun derin öğrenmede en kritik şey olabileceğini düşünüyoruz. Yani şu anki anlayışımız şu: birincisi, katman katman işlemeye sahip olmalıyız; ikincisi, karakteristik iç değişikliklere sahip olmalıyız; üçüncüsü, yeterli model karmaşıklığına sahip olmalıyız.
Bu üç şey, derin sinir ağlarının şimdi başarılı olabileceğini düşünmemizin ana nedenleridir veya bu bir tahmindir. Bu şartlar karşılanırsa hemen düşünebilirim Sinir ağı ille de kullanılmıyor.Sonuçlardan biri sinir ağı.Bu üç şeyi aynı anda yaptığım sürece diğer modeller de çalışabilir. Derin sinir ağları kullanmak gerekli değildir.
Derin sinir ağlarının kusurları
Bunun hakkında düşünmeliyiz, sinir ağlarından başka modelleri de düşünmemiz gerekiyor mu? Aslında var. Çünkü sinir ağlarının birçok kusuru olduğunu herkes bilir.
Birincisi, derin bir sinir ağı kullanan herkes, parametrelerini ayarlamak için çok fazla enerji harcamanız gerektiğini bilir, çünkü bu çok büyük bir sistemdir. Bu pek çok sorunu da beraberinde getirecektir Öncelikle parametreleri ayarladığımızda bu deneyimi paylaşmak aslında zor. Bazı arkadaşlar, ikinci görüntü veri setini kullandığımda birinci görüntü veri setindeki verileri ayarlama deneyimimin yeniden kullanılabileceğini söyleyebilir. Ama bunu hiç düşündük mü, örneğin, görüntüde büyük bir sinir ağı kurduk, şu anda konuşma yapmak istiyorsak, aslında görüntüdeki parametreleri ayarlama deneyimi konuşma problemleri için yararlı olmayabilir. Bu nedenle, görevleri çapraz yaptığımızda, deneyimin etkili olması zor olabilir.
Ve aynı zamanda ikinci bir sorunu da beraberinde getiriyor. Bugün sonuçların tekrarlanabilirliği konusunda çok endişeliyiz. İster bilimsel araştırma ister teknolojik geliştirme olsun, sonuçların tekrar edilebileceğini umuyoruz. Tüm makine öğrenimi alanında, derin öğrenmenin tekrarlanabilirliği En güçsüz. Sıklıkla böyle durumlarla karşılaşıyoruz.Bir grup araştırmacı bir makale yayınlıyor ve bir sonucu bildiriyor ve bu sonucun diğer araştırmacılar için tekrar etmesi zor. Çünkü aynı verileri ve aynı yöntemi kullansanız bile, hiperparametre tasarımı farklı olduğu sürece sonuçlarınız farklı olacaktır.
Derin bir sinir ağı kullandığımızda, modelin karmaşıklığı önceden belirtilmelidir çünkü modeli eğitmeden önce sinir ağının belirlenmesi gerekir ve ardından BP algoritması onu eğitmek için kullanılabilir. Aslında bu büyük bir soruna yol açacak çünkü bu görevi çözmeden önce ne kadar karmaşıklık olması gerektiğini nasıl bileceğiz? Aslında, herkesin yaptığı şey genellikle daha karmaşıktır.
Buradaki herkes son üç veya dört yılda derin sinir ağlarının ve derin öğrenmenin ilerlemesine dikkat ederse, birçok modern işin ne yaptığını görebilir misiniz? Aslında, ağın karmaşıklığını etkili bir şekilde azaltıyorlar. Örneğin, ResNet ağı ve son zamanlarda herkesin sıklıkla kullandığı model sıkıştırması, vb. Aslında, karmaşıklığı azaltmak için değil, aslında önce aşırı karmaşıklığı kullanmak ve sonra azaltmak için düşünüyoruz.
Peki bu modelin karmaşıklığını başlangıçtaki verilerle değiştirmemiz mümkün mü? Bu, sinir ağları için zor olabilir, ancak diğer modeller için mümkündür. Zor teorik analiz, çok büyük veri gereksinimleri, kara kutu modelleri vb. Gibi birçok başka sorun vardır.
Bir başka açıdan arkadaşlar akademik araştırma yaparken bunları dikkate almanız gerekebileceğini söyleyebilir, ben uygulamalar yapıyorum, sadece benim için sorunu çözmeniz gerekiyor. Bu perspektiften bile, sinir ağları dışındaki şeyleri incelememiz gerekiyor. Sinir ağları çok popüler ve başarılı olsa da, aslında birçok görevdeki en iyi performansın mutlaka derin bir sinir ağı olmadığını görebiliriz.Örneğin, herkesin sıklıkla ilgilendiği Kaggle yarışması her türden Uçak biletleri, otel rezervasyonları, ürün önerileri gibi gerçek sorunlar.
Yukarıdaki kazananlara bakarsak, çoğu bugün sinir ağları değil, Çoğu rastgele ormanlar gibi modellerdir. Gerçekten buna gerçekten dikkat edersek, gerçek sinir ağı genellikle görüntü, video ve ses gibi tipik görevlerde kazanırken, aslında hibrit modelleme, ayrık modelleme ve sembolik modellemeyi içeren diğer görevlerde, Sinir ağının performansı diğer modellerden daha kötü .
Dolayısıyla, bu konuyu akademik bir bakış açısıyla tekrar özetlersek, bugün bahsettiğimiz derin modellerin temelde derin sinir ağları olduğunu görebiliriz. Terim açısından, çok katmanlı parametreleştirilebilir ve türevlenebilir doğrusal olmayan modüllerden oluşan bir modeldir ve bu model BP algoritması kullanılarak eğitilebilir.
Yani burada iki sorun var: Birincisi, gerçek dünyada karşılaştığımız çeşitli sorunların doğası tam olarak ayırt edilebilir değildir veya en iyi türevlenebilir bir modelle modellenebilir; ikincisi Geçtiğimiz birkaç on yılda, makine öğrenimi topluluğumuz birçok model yaptı. Bunlar sistemimizin temel taşı olarak kullanılabilir ve ortada ayırt edilemeyen epeyce modül var.
Bunlar derin bir model oluşturmak için kullanılabilir mi? Derin bir model oluşturduktan sonra daha iyi performans elde edebilir misiniz? Bugünün derin modelinin bazı rastgele orman modellerinin görevlerini yerine getirememesi ve daha iyi sonuçlar alabilmesi için bunları derinleştirebilir miyiz?
Bu yüzden şimdi sadece akademik değil, aynı zamanda teknik olan büyük bir zorluğumuz var, yani, derin modeller oluşturmak için farklılaştırılamayan modüller kullanabilir miyiz?
Aslında bu soru cevaplandıktan sonra birçok soruya aynı anda cevap alabiliyoruz. Örneğin, derin bir model derin bir sinir ağı mıdır? Türevlenemeyen bir modelle derinleştirebilir miyiz? Şu anda BP algoritmasını eğitmek için kullanamayız ve aynı zamanda derin modelin daha fazla görev kazanmasını sağlayabilir miyiz? Aslında biz bu soruyu gündeme getirdikten sonra, bazı uluslararası akademisyenler benzer görüşler ileri sürdüler. Örneğin derin öğrenmede çok ünlü bir lider olan Profesör Geoffrey Hinton'un ileride derin öğrenmenin BP algoritmasından kurtulabileceği umudunu da yükselttiğini herkes bilir, bu fikri bizden daha sonra önerdi. Bu yüzden bu sorunlardan bazılarının son derece modern bir perspektiften keşifler olduğunu düşünüyorum.
Sonra bundan ilham alıyoruz. Sizinle birlikte analiz ettiğimiz üç sonuç olan bu üç şeyi göz önünde bulundurmalıyız: birincisi, katman katman işlemeliyiz, ikincisi, özelliklerin iç dönüşümünü ve üçüncüsü, elde etmeyi umuyoruz Yeterli bir model karmaşıklığı.
Derin orman
Kendi araştırma grubum son zamanlarda bu alanda bazı çalışmalar yaptı ve biz yakın zamanda bir derin orman yöntemi önerdik.
Bu yöntemde bugün size teknik detayları anlatmayacağım: Ağaç modeline dayalı bir yöntemdir ve temelde birçok fikri bütünleşik öğrenmeden ödünç alır. İkinci olarak, birçok farklı görevde, modelinin elde ettiği sonuçlar, bazı büyük ölçekli görüntüler ve benzerleri dışında, derin sinir ağlarına oldukça benzer. Diğer görevlerde, özellikle görevler arası performans çok iyidir, iyi performans elde etmek için farklı görevlerde kullanılan aynı parametre setini kullanabiliriz, parametreleri göreve göre yavaşça ayarlamaya gerek yoktur.
Ayrıca çok önemli bir özelliği de var, uyarlanabilir bir model karmaşıklığına sahip olması, modelin veri boyutuna göre ne kadar uzun olacağını otomatik olarak belirleyebiliyor. İçinde pek çok iyi özellik var ve birçok arkadaş da bizim açık kaynak kodumuzu indirip deneyebilir. Daha büyük ölçekli dağıtılmış bir sürümümüz olacak ve benzeri. Büyük ölçekli görevler daha büyük olmalı. Bunun gerçekleşmesi artık bağımsız versiyonun yapabileceği şey değil.
Ama öte yandan, bunun aslında disiplinlerin gelişiminde yepyeni bir keşif olduğunu görmeliyiz. Yani bugün bazı problemleri çözebilmiş olsa da, daha da gelişmesini görebilmeliyiz. Bugün tam olarak öngöremiyoruz, bu yüzden evrişimli sinir ağını kısaca gözden geçireceğim, çok popüler bir teknoloji, aslında uzun bir gelişim sürecinden geçti.
Sinyal işlemede evrişimin en erken ortaya çıkışı aslında bir asırdan fazladır, ancak derin sinir ağlarının tarihi şimdi, 1962'de iki Nobel Ödülü sahibi tarafından biyolojik görsel korteksi incelemeyle başlıyor. Ama her halükarda, sinir ağlarında ilk kez evrişim tanıtıldı 1982'de oldu. Ondan sonra çok iş yaptılar. 1989'da BP algoritması tanıtıldı, o sırada algoritma zaten şekillenmişti. Tam bir tanımla, Amerikan çeklerinin tanınması 1998'de büyük başarı elde etti. 2006'da, denetimsiz eğitim yoluyla derin modellerin katman katman eğitilmesi önerildi. 2009'da bu teknoloji CNN'e tanıtıldı. Yapabiliriz Deep CNN. 2012'de Deep CNN, doğrudan bir derin öğrenme dalgası başlatan ImageNet yarışmasında kullanıldı.
Evrişimli sinir ağının başlangıcından bu algoritmanın sektörde harika sonuçlar elde ettiği gerçeğine kadar geriye dönüp baktığımda, 30 yıllık geliştirmeden sonra, aslında gerçekten yıkıcı teknolojilere sahip olmadığımızı söylüyorum. Tüm teknolojiler Adım adım geliştirin. Bugün yeni keşiflerimiz var, yeni keşifler bazı sorunları çözebilir, ancak uzun vadede bakmalıyız.Yıllar ve birçok insanın daha fazla çabasından sonra, bugünün keşifleri gelecekteki teknolojiler için daha önemli bir temel oluşturmalıdır.
Yaptığımız iş, aslında derin orman modelinin başlangıcı olduğunu düşünüyorum, teknik detaylar genişletilmeyecek, ancak bildiğim kadarıyla çeşitlilik geliştirme açısından tamamen entegre öğrenmede kullanılıyor. Tüm teknolojiler kullanılmaktadır.
Yaptığım işin en önemli anlamı nedir? Derin öğrenmenin siyah bir oda olduğunu söylerdik, bu siyah odada ne var? Herkes derin bir sinir ağına sahip olduğunu biliyor Şimdi bu odaya bir kapı açtık ve derin ormanı içeriye koyduk. Gelecekte daha fazla şey olabileceğini düşünüyorum. Dolayısıyla bu çalışma akademik bilimsel gelişme anlamında daha önemli bir değere sahiptir.
Yapay zeka çağındaki en önemli şey yetenek
Son olarak, iki dakika içinde bundan bahsetmek istiyorum Nanjing Üniversitesi Yapay Zeka Okulu, bilimsel araştırma ve personel eğitiminde JD.com ile kapsamlı ve derinlemesine bir işbirliği başlatacak.
Yapay zeka endüstrisinin gelişimi ile ilgili olarak bir soru sormalıyız, tam olarak neye ihtiyacımız var? Ekipmana ihtiyacınız var mı? Aslında, yapay zeka araştırması yapmak için özel gizli ekipmana ihtiyacınız yok, sadece bu ekipmanları satın almak için para harcamanız gerekiyor.GPU'lar üst düzey ambargolu ürünler değildir. İkincisi, veri eksikliği var mı? Hayır, veri toplama, depolama, iletme ve işleme yeteneklerimiz büyük ölçüde geliştirildi Veri her yerde. Gerçekten eksik olan nedir?
Aslında yapay zeka çağında en eksik olanı yetenek. Çünkü bu sektör için ne kadar iyisiniz, yapay zeka ne kadar iyi. Artık dünyanın yapay zeka yetenekleri için sadece Çin'de değil, Amerika Birleşik Devletleri'nde de yarıştığını görüyoruz. Yani Yapay Zeka Enstitüsü'nü kurduğumuzda, aslında bu tür düşüncelerimiz var.
Bilgilendirme sonrasında insan toplumu kaçınılmaz olarak zekaya girecek ve bunun geri dönüşü olmayan ve değiştirilemez bir eğilim olduğu söylenebilir. Çünkü insanlara işleri kolaylaştırmak için verilere ve bilgiye dayalı akıllı yardım sağlıyoruz Bu hepimizin dileğidir. Buhar makinesinin devrimi bizi el işçiliğinden kurtarır. Yapay zeka devrimi, bizi bazı basit ve tekrarlayan entelektüel emeklerden kurtarmalıdır.Ayrıca, yapay zeka ve diğer kısa vadeli yatırım noktaları ve kısa vadeli sıcak noktalar konusu değildir. Fazlasıyla aynı. 60 yılı aşkın bir süredir geliştirmenin ardından, devasa ve gerçek bir bilgi sistemine sahip.
Belki de yatırım patlamamızda bu yıl hala çok sıcak olan ve gelecek yıl geçecek olan bazı sözler var ... Az insan bunu açıkça söyleyebilir ve yapay zeka bunlardan tamamen farklıdır, 60 yılı aşkın bir süredir geliştirilen bir disiplin.
Üst düzey yapay zeka yeteneklerinde aşırı bir eksiklik var.Bu dünya çapında bir sorundur.Şirketlerimizin çoğu insanları yoğun bir şekilde kazıyor ama aslında kazmak insanı büyütemiyor.Bu nedenle kaynağından başlayıp ülkeye, topluma ve topluma katkıda bulunmalıyız. Endüstrinin gelişimi, üst düzey yapay zeka yeteneklerini yetiştiriyor.
