"Derin öğrenmenin yerini türevlenebilir programlama alıyor mu?" 30 yıl sonra sinir ağı ve işlevsel programlamayı dört gözle bekliyoruz
Xin Zhiyuan Rehberi içinde Yann LeCun "Derin Öğrenme Öldü" Şaşırtıcı konuşmasının altında, farklılaştırılabilir programlama kavramı büyük ilgi gördü. Ünlü makine öğrenimi blog yazarı colah (Christopher Olah), 30 yıl sonra 2015'te derin öğrenmeyi dört gözle bekledi ve farklılaştırılabilir programlamadan bahsetti. Derin öğrenmenin üç ana bakış açısından biri olan temsil perspektifinden, derin öğrenmenin optimizasyon ve fonksiyonel programlama arasındaki bağlantıyı incelediğine, farklılaştırılabilir programlamanın ise fonksiyonel programlama ve optimizasyonun doğal kesişim noktası olduğuna inanıyor ki bu çok zarif ve özlü. Daha fazla çalışmaya değer.
Şu anda derin öğrenme çok başarılı bir araçtır. Ancak bu araç tesadüfen keşfedilmiştir Alan olarak, birleşik bir görüş veya ortak bir anlayış yoktur. Aslında, bu alanda birbiriyle yarışan birkaç ifade var!
30 yıl sonra geriye dönüp baktığımızda, çok farklı bir derin öğrenme göreceğiz.
30 yıl sonra derin öğrenme: nörobilim, olasılık ve istatistik ile temsili görüşlerden kim kazanacak?
30 yıl içinde derin öğrenmeye çok farklı bir şekilde bakabileceğimizi düşünürsek, bu ilginç bir soruyu gündeme getiriyor:
O zamana kadar derin öğrenmeye nasıl bakacağız?
Elbette gelecekte bu alanı nasıl anlayacağımızı kimse gerçekten bilemez. Ama ilginç olan şey, şimdi bazı spekülasyonlar yapabilmemiz.
Şu anda, üç ifade birbiriyle rekabet halindedir ve derin öğrenme anlayışımızın anahtarı haline gelmeleri amaçlanmaktadır. Biyolojik prensiplerden ödünç alındı Sinirbilimin İfadesi . Veri dönüşümü ve doğal çoklu varsayımlara odaklanmıştır Temsil (temsil) . Son olarak, başka biri var Olasılık ifadesi Sinir ağını gizli değişkenler olarak yorumlayın. Bu ifadeler birbirini dışlamaz, ancak derin öğrenme hakkında çok farklı düşünme yollarına sahiptirler.
Ve bu makale, temsil ifadesini yeni bir cevaba genişletecek: Derin öğrenme, optimizasyon ve işlevsel programlama arasındaki bağlantıyı inceler.
Bu açıdan, derin öğrenmede temsilin ifadesi, fonksiyonel programlamadaki tip teorisine karşılık gelir. Bu teori, derin öğrenmenin bildiğimiz iki alanın kesişme noktasında olduğuna inanıyor.Bu iki alanda çok fazla araştırma yapıldı. Çok güzeller ve çok doğallar. Kalbimdeki matematikçi neredeyse bunun olduğuna inanabilir Gerçekliğin temel bir tanımı.
Bu çıkarımsal bir fikirdir. Bunun doğru olduğunu söylemiyorum, ancak bunun inanılır olduğunu ve derin öğrenmenin bu yönde gelişmesinin tamamen makul olduğunu ileri sürmek istiyorum. Şunu belirtmek gerekir: Gerçeklere dayalı değil, esas olarak estetik tartışmalar yapıyorum. Bunun şu anda derin öğrenme dediğimiz şeyi kapsayan doğal ve zarif bir fikir olduğunu göstermek istiyorum.
Optimizasyon ve fonksiyon bileşimi
Derin öğrenmenin benzersizliği, derin sinir ağlarını - çok katmanlı sinir ağlarını incelemesidir. Birden çok katman sürecinde, model, verileri kademeli olarak bükerek belirli bir görevi çözmesi kolay bir biçime dönüştürür.
Bu katmanların ayrıntıları arada bir değişecektir. Aynı kalan şey, bir dizi katman olmasıdır.
Her katman, önceki katmanın çıktısına etki eden bir işlevdir. Genel olarak, bu ağ birleşik işlevler zinciridir. Bu bileşik işlev zinciri, görevleri gerçekleştirmek için optimize edilmiştir.
Bildiğim tüm derin öğrenme modelleri, bileşik işlevleri optimize etmeyi içerir. Bence bu, mevcut araştırmanın özü.
Temsil bir tamsayıdır
Her katmanda sinir ağı, görevi kolaylaştırmak için verileri başka bir forma dönüştürür. Bu dönüştürülmüş verilere "temsil" (temsil) diyoruz.
Temsiller ve tam sayılar (türler) karşılık gelir.
Bilgisayar biliminde tamsayı (tür), belirli verileri n bit ile gömmenin bir yolunu ifade eden temel bir veri türüdür. Benzer şekilde, derin öğrenmedeki temsil, veri manifoldlarını n boyuta yerleştirmenin bir yolunu ifade eder.
İki işlevin yalnızca türleri aynı olduğunda birleştirilebilmesi gibi, iki katman da yalnızca temsilleri aynı olduğunda birleştirilebilir. Yanlış gösterimdeki veriler, sinir ağı için anlamsızdır. Eğitim süreci sırasında, bitişik katmanlar sunacakları temsili müzakere edeceklerdir.Ağın performansı, ağ tarafından beklenen temsildeki verilere bağlıdır.
F katmanını bir f izler. F'nin çıktısı f'nin girdisini temsil eder.
Çok basit bir sinir ağı mimarisi durumunda, yalnızca doğrusal dizi katmanları vardır. Bir katmanın çıktısının temsili, bir sonraki katmanın girdisinin temsiliyle eşleşmelidir.
Ancak birçok sinir ağının daha karmaşık yapıları vardır. Çok basit bir örnek olarak, birden çok ilgili görevi yerine getiren, çok sayıda benzer girdiye sahip bir sinir ağı hayal edelim. Giriş olarak RGB görüntüleri ve gri tonlamalı görüntüler gerektirebilir. Belki girdi olarak bir kişinin fotoğrafını çeker ve ardından fotoğraftaki kişinin yaşını ve cinsiyetini tahmin etmeye çalışır. Girdi türleri ve görev türleri benzer olduğundan, eğitim verilerinin faydalı olabilmesi için tüm bu görevleri tek bir modelde tamamlamak en iyisidir. Sonuç, birden çok girdi katmanının tek bir gösterimde eşleştirilmesi ve birden çok çıktının aynı gösterimle eşlenmesidir.
Belki bu örnek fazla yapaydır, ancak farklı veri türlerini aynı sunumla eşleştirmek bazı harika sonuçlar sağlayabilir. Örneğin, iki dilden kelimeleri bir temsile eşleyerek, başlangıçta bilinmeyen karşılık gelen kelimeleri çeviride bulabiliriz. Görüntüleri ve kelimeleri aynı temsile eşleyerek, görüntüleri bilgisayarların hiç görmediği sınıflara ayırabiliriz!
Temsiller ve tamsayılar, sırasıyla derin öğrenmenin ve işlevsel programlamanın temel yapı taşları olarak kullanılabilir. Derin öğrenmenin ana tanımları, yani manifold ve temsil, verileri yeni temsillere büken sinir ağına odaklanır. Geometri, mantık, topoloji ve işlevsel programlama arasındaki bilinen bağlantılar, temsil ve tamsayılar arasındaki bağlantının temel bir öneme sahip olabileceğini gösterir.
Derin öğrenme ve işlevsel programlama: RNN, CNN ve diğer modeller ve işlevler arasındaki harika yazışma
Modern sinir ağlarının arkasındaki önemli bir içgörü, bir nöronun birçok kopyasının sinir ağlarında kullanılabileceğidir.
Programlamada, fonksiyonların soyutlanması anahtardır. Kodu bir kez yazabilir ve daha sonra gerektiğinde kullanabiliriz, böylece tekrarlanan kodlama ihtiyacını ortadan kaldırabiliriz. Bu sadece yazmamız ve korumamız gereken kod miktarını büyük ölçüde azaltmakla kalmaz, geliştirme sürecini hızlandırır, aynı zamanda hata yapma riskini de azaltır ve yaptığımız hataları bulmayı kolaylaştırır.
Bir sinir ağında, aynı nöronun birden çok kopyasını farklı yerlerde kullanmak aslında bir işlevi programda birden çok kez çağırmaya eşdeğerdir. Öğrenilecek daha az içerik olduğundan, model öğrenme hızı daha hızlıdır ve daha iyi modeller öğrenilebilir. Bu tekniğe "ağırlık bağlama" da denir ve son zamanlarda derin öğrenmede gördüğümüz mükemmel performans için kritik öneme sahiptir.
Elbette, nöronların kopyalarını her yere koyamazsınız. Modelin kullanışlı olabilmesi için kullanım ilkelerine sahip olmanız ve verilerde belirli yapıları kullanmanız gerekir. Uygulamada, tekrarlayan katmanlar ve evrişimli katmanlar gibi yaygın olarak kullanılan bazı modeller vardır.
Bu sinir ağı modelleri sadece üst düzey işlevlerdir, yani işlevleri parametre olarak alan işlevlerdir. Fonksiyonel programlamada benzer durumlar kapsamlı bir şekilde incelenmiştir. Aslında, bu ağ modellerinin çoğu, katlama işlevi gibi ortak işlevlere karşılık gelir. Tek fark, nesneler olarak normal işlevleri almamaları, bunun yerine sinir ağı modülleri almalarıdır.
-
Kodlanmış tekrarlayan sinir ağı (RNN), katlama işlevidir. RNN genellikle girdi olarak cümleler gibi değişken uzunluklu listeleri kabul etmek için kullanılır.
katlama işlevi = kodlama RNN
-
Tekrarlayan bir sinir ağı oluşturmak, ortaya çıkan bir işlevdir. RNN üretme genellikle sinir ağının cümledeki kelimeler gibi bir çıktı listesi oluşturmasına izin vermek için kullanılır.
açılma işlevi = RNN üret
-
RNN oluşturmak da Accumulating Map yapıyor. Sırayla tahmin yapmak istediğimizde sıklıkla kullanılırlar. Örneğin, konuşma tanımada, geçmiş bağlama dayalı olarak bir ses klibindeki her zaman adımının fenomenini tahmin etmek isteyebiliriz.
Kümülatif eşleme = RNN
-
İki yönlü RNN Daha belirsiz bir varyant, burada bundan bahsedeceğim. Fonksiyonel programlama terminolojisinde, fermuar gibi bir sol ve bir sağ olmak üzere iki kümülatif harita olup, geçmişi ve geleceği tahmin etmek için kullanılırlar.
Dislokasyon birleşik sol ve sağ kümülatif haritalama = iki yönlü RNN
-
Evrişimli Sinir Ağı (CNN) bir haritalama çeşididir. Sıradan eşleme, her öğeye bir işlev uygular. Evrişimli sinir ağları da komşu öğeleri dikkate alır ve işlevi her bir öğenin etrafındaki küçük bir pencereye uygular.
Pencere eşleme = evrişimli katman
İki boyutlu bir evrişimli sinir ağında bu durum özellikle önemlidir.
İki boyutlu evrişimli ağ
-
Tekrarlayan sinir ağları ("TreeNets"), katlama işlevinin genellemeleridir . Veri yapılarını, temelde doğal dil işleme için aşağıdan yukarıya doğru işlerler ve sinir ağlarının ayrıştırma ağaçları üzerinde işlemler gerçekleştirmesine olanak tanır.
Katamorfizm = TreeNet
Yukarıdaki örnek, sinir ağlarındaki ortak modellerin çok doğal olarak basit işlevsel programlara karşılık geldiğini göstermektedir.
Yeni bir programlama türü, farklılaştırılabilir programlama: fonksiyonel programlama ve optimizasyonun doğal kesişimi
Bu modeller, daha büyük bir ağ oluşturmak için birleştirilebilen tüm modüllerdir. Tıpkı temel yapı taşları gibi, bu kombinasyonlar da çok sayıda sinir ağı içeren işlevsel programlardır. İşlev programı, üst düzey bir yapı sağlar ve yapı taşları, işlev programı tarafından sağlanan çerçeve dahilinde gerçek görevleri gerçekleştirmeyi öğrenebilen esnek parçalardır.
-
Sutskever ve diğerleri (2014), kodlayıcı RNN ve oluşturucu RNN'yi birleştirerek İngilizceyi Fransızcaya çevirme görevini gerçekleştirdi. İşlevsel programlama terimlerinde, temelde İngilizce cümleleri katlarlar ve daha sonra bunları Fransızca çeviriler oluşturmak için açarlar.
-
Vinyals ve diğerleri (2014) diyagramlar oluşturmak için evrişimli ağlar ve oluşturucu RNN kullandı. Esasen, bu sistem giriş görüntüsünü işlemek için evrişimli bir ağ kullanır ve ardından görüntüyü açıklayan bir cümle oluşturmak için sonuç vektörünü açar.
Bu modeller yeni ve farklılaştırılabilir bir işlevsel programlama olarak kabul edilir.
Esnek ve öğrenilebilir modüllerden oluşan çok kaba bir fonksiyon programı yazıyorsunuz, ayrıca programın doğru davranışını tanımlıyorsunuz ve ona bol miktarda veri veriyorsunuz. Ardından gradyan inişi veya başka bir optimizasyon algoritması uygularsınız. Sonuç, güçlü bir sisteme sahip olmanızdır Bu sistemi doğrudan nasıl kuracağımızı bilmiyoruz, ancak çizimler ve sınıflandırılmış resimler oluşturabilir.
Bu, fonksiyonel programlama ve optimizasyonun doğal kesişim noktası ve bence çok güzel.
Sonuç
Bu fikrin gerçekten güzel olduğunu düşünüyorum. Aynı zamanda bu da çok garip bir makale ve yayınlamak için kendimi biraz tuhaf hissediyorum. Kendi tutkuma ek olarak, hiçbir destek almadan spekülatif bir fikir önerdim. Dürüst olmak gerekirse, bildiğim bazı nesnel görüşlere göre, yukarıda bahsettiğim fikir yanlış ve çoğu kanıtlanmamış fikir yanlış. Ama doğru da olabilir ve bence bahsetmeye değer.
Ayrıca, bu yönü keşfetmek için doğru kişi ben değilim.Bu, sinir ağlarını homotopi tipi teorisi perspektifinden analiz etmeyi gerektiriyor. İlgili bir geçmişim yok. Ancak, bu fikrin giderek daha kapsamlı tartışmaya ihtiyacı var. Bu nedenle bu makaleyi yayınlamam gerekiyor.
Son olarak, bu makalenin derin öğrenme hakkında daha fazla tartışma ve düşünmeyi teşvik edeceğini umuyorum.
Ayrıca, spekülasyon yapamıyorsam, blog yazmanın ne anlamı var? Umarım heyecan ve belirsizliğim arasında doğru dengeyi bulabilirim.
Orijinal adres:
