Temel derin öğrenme modelleri nelerdir?
Yazar: Assam | PricewaterhouseCoopers veri bilimcileri
Qubit, düzenleme ve yayınlama yetkisine sahiptir
Yeniden yazdırmak için lütfen orijinal yazarla iletişime geçin
Derin öğrenme patlamasından sonra, sonsuz bir akışta çeşitli modeller ortaya çıktı.Birçok arkadaş, DNN, CNN ve RNN nedir, bu kadar çok ağ arasındaki farklar ve rolleri nelerdir?
"Derin öğrenmenin ana sınıflandırması nedir? Bu ağlar arasındaki ilişki nedir cnn dbn dnm rnn? "Bu soru bir fırsat, ayrıca ana akım sinir ağı modelini de tanıtmak istiyorum. Biçim sorunları ve yaygınlaştırma nedenleri nedeniyle, bu yazıda orijinal yanıtı size tekrar tanıtacağım.
Çeşitli ağları daha ayrıntılı olarak tanıtmadan önce, önce şunları açıklayın:
Çoğu sinir ağı, aşağıda ayrıntılı olarak analiz edilecek olan derinlik ve bağlantı yapısı ile tanımlanabilir.
Genel anlamda, sinir ağları denetimli sinir ağlarına ve denetimsiz / yarı denetimli öğrenmeye ayrılabilir, ancak aslında, genellikle ben ve size sahip olan sizsiniz, bu yüzden kelimeleri kazıp çıkarmak zorunda değilsiniz.
Makalenin uzunluğu göz önüne alındığında, bu çok benzer ağlar ve uygulama senaryoları hakkında sadece genel bir fikir verebilirim.Özel ayrıntılar ayrıntılı olarak tartışılamaz.Sütunda derinlemesine analiz etme fırsatım var.
Makalede tanıtılan ağlar şunları içerir:
1. Denetlenen Sinir Ağları
1.1. Yapay Sinir Ağları ve Derin Sinir Ağları
Kaynağa geri dönersek, sinir ağının temel modeli Perceptron'dur, bu nedenle sinir ağı, kısaca Çok Katmanlı Perceptron veya MLP olarak da adlandırılabilir. Tek katmanlı algılayıcı, algılayıcı ve çok katmanlı algılayıcı (MLP) yapay sinir ağı (YSA) olarak adlandırılır.
Öyleyse kaç katman birden çok katmandır? Genel olarak konuşursak, 1-2 gizli katmana sahip bir sinir ağı, çok katmanlı veya kesin olarak adlandırılabilir (Sığ Sinir Ağları). Gizli katmanların artmasıyla daha derin sinir ağlarına (genellikle 5 katmandan fazla) derin öğrenme (DNN) adı verilir.
Bununla birlikte, "derinlik" yalnızca bir iş kavramıdır ve çoğu zaman endüstri üç katmanlı gizli katmanı "derin öğrenme" olarak adlandırır, bu nedenle katmanların sayısı konusunda çok gerçekçi olmayın. Makine öğrenimi alanındaki kural, adında derinliği olan bir ağın yalnızca 5-7'den fazla gizli katmana sahip olduğu anlamına gelmesidir.
Bir sinir ağının yapısı, "nöronların" nasıl bağlandığını ifade eder ve herhangi bir derinlikte olabilir. Aşağıdaki şekilde yer alan üç farklı yapıya örnek olarak bağlantı yapısının çok esnek ve çeşitli olduğunu görebiliriz.
Deep'in Evrişimli Ağlar (CNN) ve Tekrarlayan Ağlar (RNN) ismine dahil edilmemesinin sebebinin yapılarının genellikle daha derin olması, dolayısıyla derinliği belirtmeye gerek olmadığını belirtmek önemlidir. Karşılaştırma için, Otomatik Kodlayıcı çok sığ bir ağ veya çok derin bir ağ olabilir. Böylece insanların derinliğini belirlemek için Derin Otomatik Kodlayıcıyı kullandığını göreceksiniz.
Uygulama senaryosu: Tam Bağlantılı İleri Beslemeli Sinir Ağları (Tam Bağlantılı İleri Beslemeli Sinir Ağları), yani DNN, numara tanıma gibi çoğu sınıflandırma görevi için uygundur. Ancak genel gerçek hayat senaryolarında, DNN'yi desteklemek için nadiren bu kadar büyük miktarda veriye sahip oluruz, bu nedenle tamamen bağlı ağın uygulanması çok güçlü değildir.
1. 2. Tekrarlayan Sinir Ağları ve Özyinelemeli Sinir Ağları
Çoğu zaman bu iki ağı RNN olarak adlandırmamıza rağmen, aslında bu iki ağın yapısı aslında farklıdır. Genellikle iki ağı bir araya getirmemizin nedeni, her ikisinin de zaman serileri gibi sıralı problemlerle başa çıkabilmeleridir.
En basit örneği vermek gerekirse, hisse senedi trendlerini sıradan DNN'den daha iyi tahmin etmek için RNN kullanıyoruz. Bunun nedeni, hisse senedi trendlerinin zamanla ilgili olmasıdır. Bugünün fiyatı dün, geçen hafta ve geçen ayla ilgilidir. RNN "hafıza" yeteneğine sahiptir ve veriler arasındaki bağımlılığı "simüle edebilir".
Bu "hafıza yeteneğini" güçlendirmek için, insanlar "uzun vadeli ve uzun mesafeli bağımlılığı" çözmek için kullanılan çok ünlü Uzun Kısa Süreli Bellek (LSTM) gibi çeşitli varyantlar geliştirirler. Aşağıdaki şekilde gösterildiği gibi, soldaki küçük resim, tekrarlayan ağın en basit sürümüdür ve sağdaki, hafızayı geliştirmek için insanlar tarafından geliştirilen LSTM'dir.
Aynı şekilde, tekrarlayan ağ-Çift yönlü RNN'nin bir başka varyasyonu da bu aşamada doğal dil işleme ve konuşma analizinde önemli bir modeldir. İki yönlü döngüsel bir ağ geliştirmenin nedeni, dil / konuşma bileşiminin bağlama bağlı olmasıdır, yani "şimdiki zaman" "geçmişe" ve "geleceğe" bağlıdır. Tek yönlü döngüsel ağ, yalnızca "şimdiki zamanın" "geçmişten" girişine odaklanır ve "geleceğin" bağımlılığını etkili bir şekilde modelleyemez.
Tekrarlayan sinir ağı, tekrarlayan sinir ağından farklıdır Hesaplamalı grafik yapısı, ağ yapısı yerine ağaç yapısıdır. Yinelemeli yinelemeli ağın amacı yinelenen ağınkine benzer ve aynı zamanda veriler arasındaki uzun vadeli bağımlılık sorununu çözmeyi umuyor. Ve daha iyi özelliği, ağacın dizinin uzunluğunu O (n) 'den O (log (n))' ye indirebilmesi ve veri yapılarına aşina olan arkadaşların yabancı olmamasıdır. Ancak diğer ağaç veri yapıları gibi, dengeli ağaç / dengeli ikili ağaç gibi en iyi ağaç yapısının nasıl inşa edileceği kolay değildir.
Uygulama senaryoları: konuşma analizi, metin analizi, zaman serisi analizi. Ana nokta, veriler arasında bir öncesi ve sonrası bağımlılık olması ve bir dizi ilişkisi olmasıdır. Genellikle LSTM tercih edilir Tahmin nesnesi hem geçmişe hem de geleceğe bağlıysa, iki yönlü bir LSTM gibi iki yönlü bir yapı seçilebilir.
1.3. Evrişimli Sinir Ağları
Evrişimsel ağlar uzun zamandır ünlüdür ve bir anlamda derin öğrenmeye de katkıda bulunurlar. Sadece bu değil, evrişimli ağlar da sinirbilimden öğrenen bilgisayar bilimi için iyi bir örnek. Evrişimli ağların özü aslında parametreleri birden çok mekânsal lokasyonda paylaşmaktır.Görsel sistemimizin de benzer bir modele sahip olduğu söyleniyor.
Öncelikle evrişimin ne olduğu hakkında kısaca konuşun. Evrişim işlemi bir tür matematiksel hesaplamadır.Matris çarpımının aksine, evrişim işlemi seyrek çarpma ve parametre paylaşımını gerçekleştirebilir ve giriş ucunun boyutlarını sıkıştırabilir. Sıradan DNN'nin aksine, CNN'nin her bir nörona karşılık gelen her girdi verisi için ayrı bir ağırlık sağlamasına gerek yoktur.
Havuzlama ile birleştirildiğinde, CNN ortak bir özellik çıkarma işlemi olarak anlaşılabilir.Sadece CNN değil, çoğu sinir ağı, çoğu nöronun özellik çıkarımı için kullanıldığını tahmin edebilir.
Yukarıdaki resmi örnek olarak alın, evrişim ve havuzlama süreci resmin boyutlarını sıkıştırır. Diyagramdan, evrişimli ağların özünün yapılandırılmış verileri işlemek için uygun olduğunu ve verilerin bölgeler arasında hala geçerli olduğunu görmek zor değildir.
Uygulama senaryosu: Genelde CNN'i resimlerle ilişkilendirmemize rağmen, aslında CNN, grid benzeri verilerin çoğunu işleyebilir. Örneğin, bir resmin pikselleri iki boyutlu ızgara benzeri verilerdir ve zaman dizisi, tek boyutlu ızgara benzeri verileri eşit zamanda çıkarır Video verileri, video karesinin genişliğine, yüksekliğine ve zamanına karşılık gelen üç boyutlu veriler olarak anlaşılabilir.
2. Denetlenmemiş Önceden Eğitilmiş Sinir Ağları
2.1. Derin Üretken Modeller
Üretken modellerden bahsetmişken, denetimsiz öğrenmede, Gauss karışım modeline uydurma veya Bayes modelini kullanma gibi, insanların genellikle düşündüğü birçok modelleme yöntemi vardır. Derin öğrenmedeki üretken model, esas olarak, denetimli öğrenmeye yardımcı olmak için denetimsiz öğrenmeyi kullanma isteği üzerine odaklanmıştır. Sonuçta, denetimli öğrenim için gereken etiketlemenin maliyeti genellikle çok yüksektir ... bu yüzden lütfen doğru olma. Bu yöntemleri denetimsiz öğrenmeye koyuyorum.
2.1.1. Boltzmann Makineleri ve Sınırlandırılmış Boltzmann Makineleri
Boltzmann makinelerinden ve kısıtlı Boltzmann makinelerinden her bahsettiğimde aslında başım ağrıyor. Basitçe ifade etmek gerekirse, Boltzmann makinesi, genellikle maksimum olasılık yöntemiyle öğrenilen güzel bir enerji temelli modeldir ve ayrıca Hebb Kuralı'nın biyolojik yasasına da uygundur. Ancak teorik çıkarım için daha uygundur ve oldukça fazla pratik zorluk vardır.
Kısıtlı Boltzmann makinesi daha pratiktir.Yapısını bir Biparitite Grafiği olmalıdır ve gizli katman ile gözlemlenebilir katman arasına bağlanamaz. Burada RBM'den söz edilmesinin nedeni, derin inanç ağlarının kurucu unsurlarından biri olmasıdır.
Uygulama senaryosu: Genellikle gerçek işte RBM'nin tek başına kullanılması tavsiye edilmez ...
2.1.2. Derin İnanç Sinir Ağları
DBN, 2006 yılında patrik Hinton tarafından önerilmiştir ve iki ana parçaya sahiptir: 1. İstiflenmiş kısıtlı Boltzmann makinesi (İstiflenmiş RBM) 2. Sıradan ileri beslemeli ağ katmanı.
DBN'nin en önemli özelliği iki aşamalı öğrenme olarak anlaşılabilir.Aşama 1, denetimsiz öğrenme yoluyla ön eğitim için yığınlanmış RBM'ler kullanır ve aşama 2, ince ayar için sıradan ileriye dönük ağları kullanır.
Yukarıda bahsettiğim gibi, sinir ağlarının özü özellik çıkarımıdır. Daha sonra bahsedilecek olan otomatik kodlayıcıya benzer şekilde, yığınlanmış RBF'nin verileri yeniden yapılandırma yeteneğine sahip olmasını bekliyoruz ve bazı verileri girdikten sonra verileri RBF'den sonra yeniden yapılandırabiliriz, bu da bu verilerin önemli özelliklerini öğrendiğimiz anlamına gelir.
RBF'yi istiflemenin nedeni, alt RBF tarafından öğrenilen özellikleri kademeli olarak üst RBF'ye aktarmak ve kademeli olarak karmaşık özellikleri çıkarmaktır. Örneğin, aşağıdaki şekilde soldan sağa, yüksek seviyeli RBF tarafından öğrenilen karmaşık özelliklere düşük seviyeli RBF tarafından öğrenilen özellikler olabilir. Bu iyi özellikleri edindikten sonra, öğrenmek için geleneksel sinir ağının ikinci bölümünü kullanabilirsiniz.
Bir şey daha, özellik çıkarma ve yeniden yapılandırma süreci yalnızca yığınlanmış RBM'yi değil, aynı zamanda daha sonra açıklanan otomatik kodlayıcıyı da kullanabilir.
Uygulama senaryosu: DBN artık derin öğrenmenin "felsefesini" ve "düşünme modunu" anlamak için bir araçtır. Pratik uygulamalarda CNN / RNN, vb. Hala tavsiye edilmektedir. Benzer derin Boltzmann makineleri benzer özelliklere sahiptir ancak endüstriyel Dünya daha az kullanıyor.
2.1.3. Üretken Çekişmeli Ağlar
Üretken yüzleşme ağı, iki modeli aynı anda eğitmek için denetimsiz öğrenmeyi kullanır ve temel felsefe oyun teorisinden türetilmiştir ...
Basitçe söylemek gerekirse, GAN iki ağı eğitir: 1. Üretken ağ, eğitim verilerine benzer görüntüler oluşturmak için kullanılır 2. Ayrımcı ağ, üretken ağda elde edilen görüntünün gerçekten eğitim verileri mi yoksa gizlenmiş veriler mi olduğunu belirlemek için kullanılır. Üretim ağı genellikle bir ters evrişim katmanına sahiptir ve ayırıcı ağ genellikle yukarıda açıklanan CNN'dir. Eski çağlardan beri kırmızı ve mavi CP üretmiştir.Aşağıdaki şeklin sol tarafı üretim ağı, sağ tarafı ise ayrımcılık ağıdır, birbirini sevip öldürür.
Oyun teorisine aşina olan arkadaşlar, sıfır toplamlı oyunların optimizasyon denklemleri veya optimizasyonu elde etmede zorluk yaşayacağını bilirler ve GAN da bu problem için kaçınılmazdır. Ancak ilginç olan, GAN'ın gerçek performansının beklediğimizden daha iyi olması ve gerekli parametrelerin, verilerin dağıtımını daha verimli bir şekilde öğrenebilen sinir ağını eğitmek için normal yöntemden uzak olmasıdır.
Genellikle GAN ile birlikte tartışılan başka bir model, Varyasyonel Otomatik kodlayıcı olarak adlandırılır ve ilgilenen okuyucular kendi başlarına arama yapabilir.
Uygulama senaryosu: Bu aşamada, GAN esas olarak görüntü alanında popülerdir, ancak birçok kişi, geniş ölçekte ses ve video alanlarına genişletilmesi için büyük bir potansiyele sahip olduğunu düşünüyor.
2.2. Otomatik kodlayıcı
Otomatik kodlayıcı, adından sinir ağıyla hiçbir ilişkisi olmayan, denetimsiz bir sinir ağıdır ve rolünü adından tahmin etmek zordur. Nasıl çalıştığını anlamak için bir resme bakalım ...
Yukarıdaki şekilde gösterildiği gibi, Autoencoder temelde 2 bölümden oluşur: 1. Enkoder 2. Dekoder. Sol uçtan girişi (resim 2) girdikten sonra, kodlayıcı ve kod çözücüden geçtikten sonra çıktıyı alıyoruz ... a 2. Ama aslında, gerçekten öğrendiğimiz şey, sayının düşük boyutlarda sıkıştırılmış gösterimi olan ortada kırmızı ile işaretlenmiş kısımdır. Kendi kendine kodlayıcıyı değerlendirme yöntemi, yeniden yapılandırma hatasıdır, yani çıkış numarası 2 ile orijinal giriş numarası 2 arasındaki farktır. Tabii ki, ne kadar küçük olursa o kadar iyidir.
Temel bileşen analizine (PCA) benzer şekilde, otomatik kodlayıcılar, orijinal verilerden en önemli özellikleri çıkarmak için veri sıkıştırma (Veri Sıkıştırma) için de kullanılabilir. Ciddi okuyucular, 2 numaralı girişin 2 numaralı çıkıştan biraz farklı olduğunu keşfetmiş olmalıdır. Bunun nedeni, çok normal olan veri sıkıştırmadaki kayıptır.
Uygulama senaryosu: Temelde PCA'ya benzer boyut azaltma (Boyut Azaltma) için kullanılır. Aynı zamanda, gürültüyü gidermeye ve orijinal verileri geri yüklemeye adanmış bir Denoising Auto-encoder (Denoising Auto-encoder) da bulunmaktadır.
Sol alt köşeye tıklayın " Orijinali okuyun "Daha fazla yazar makalesinin kilidini açmak için
Doğrudan tartışmaya da katılabilirsiniz ~
Qubit özel el yazması, yeniden basılması için lütfen orijinal yazarla iletişime geçin.
- Bitiş -
Samimi işe alım
Qubit, editörleri / muhabirleri işe alıyor ve merkezi Pekin, Zhongguancun'da bulunuyor. Yetenekli ve hevesli öğrencilerin bize katılmasını dört gözle bekliyoruz! İlgili ayrıntılar için lütfen QbitAI diyalog arayüzünde "işe alım" kelimesini yanıtlayın.
Qubit QbitAI
' ' Yapay zeka teknolojisi ve ürünlerindeki yeni eğilimleri takip edin
