"Derin öğrenmede devrim", bilgisayarların bir bakışta "kedileri" tanımasını sağlar: Harvard yeni bir yüksek boyutlu veri analizi yöntemi önerir
Xinzhiyuan Raporu
Kaynak: journals.aps.org, reddit
Yazar: Ming hanedanı
Xin Zhiyuan Rehberi Şu anda, hedef sınıflandırma görevinde derin ağın çalışma modunu ve ilkesini gerçekten kimse anlayamıyor. Bunun ana nedeni, sınıflandırma görevlerinde derin ağlar tarafından yapılan "işin" iyi bir ölçüsünün olmamasıdır. "Evrensel algısal manifoldlar" teorisi üzerine yakın zamanda yayınlanan bir makale, bu sorunu çözmeye çalışır.
Bu makale 5 Temmuz'da "Genel Algısal Manifoldların Sınıflandırılması ve Geometrisi" başlıklı "Phisical Review X" te yayınlandı. Makalenin yazarları Harvard Üniversitesi Mühendislik ve Uygulamalı Bilimler Bölümü'nden Sue Yeon Chung, Pennsylvania Üniversitesi Mühendislik ve Uygulamalı Bilimler Bölümü'nden Daniel D. Lee ve Harvard Üniversitesi Beyin Bilimleri Merkezi'nden Haim Sompolinsky'dir.
Makine öğrenimini anlamak ve hiyerarşik ağların temsilini analiz etmek için istatistiksel mekanik kullanın
Makale, bir nöron grubu, aynı algısal hedefin farklı fiziksel özellikleriyle (yön, duruş, ölçek, konum ve yoğunluk vb.) İlgili bir dizi duyusal sinyale yanıt verdiğinde, bir algısal manifoldun ortaya çıkacağını önermektedir. . Hedeflerin tanınması ve farklılaştırılması, manifolddaki dahili değişikliklere duyarlı olmayan bir şekilde manifoldların sınıflandırılmasını gerektirir. Nöron sisteminin sınıflandırılması ve değişmeyen hedeflerin tanınması, beyin teorisinde ve makine öğreniminde temel bir sorundur.
Makale, okuma ağının nesneleri manifold gösteriminden sınıflandırma yeteneğini inceler ve gelişigüzel geometrinin manifoldlarının doğrusal sınıflandırması için istatistiksel bir mekanik teori geliştirir ve bu teorinin koni ayrışması ile uyumlu olduğunu gösterir. Matematiksel olarak önemli ölçüde ilişkili. Makale, manifoldlar üzerindeki özel bağlantı noktalarının, çeşitli geometrik şekillerin manifoldlarının sınıflandırma yeteneklerini açıklayabilen yeni geometrik yarıçap ve boyut ölçülerini tanımlayabildiğini göstermektedir.
Bu genel teori, tipik bir kesinlikle dışbükey manifold olan l2 elipsoidal manifold, sonlu bir numuneye sahip bir polihedronu temsil eden ve ayarlama nedeniyle sürekli bir serbestlik derecesini temsil eden l1 küresel manifold dahil olmak üzere birçok temsilci manifoldda kanıtlanmıştır. Ortaya çıkan dışbükey olmayan sürekli yapı halka şeklindeki manifold. Aynı zamanda, etiket seyrekliğinin genel manifold sınıflandırma yeteneği üzerindeki etkisini de netleştirdik ve etiket seyrekliği ile manifold yarıçapı arasında geniş bir orantılı ilişki olduğunu gösterdik. Makale, çeşitli ikiye bölünme yöntemlerinin maksimum marjinal çözümünü hesaplamak için yeni geliştirilmiş bir algoritma kullanır ve teorik tahmin, sayısal simülasyonla doğrulanır. Bu makalede önerilen teori ve uzantıları, doğrusal sınıflandırmanın istatistiksel mekaniğini duyusal nöron tepkileri ve hedef tanıma görevleri için eğitilmiş yapay derin ağlar tarafından oluşturulan verilere uygulamak için güçlü ve zengin bir çerçeve sağlar.
Beynimiz gördüğümüz nesneleri doğru bir şekilde sınıflandırabilir.Bu farklı nesnelerin öznitelik parametreleri (parlaklık, şekil ve arka plan özellikleri gibi) birbirinden büyük ölçüde farklı olsa bile, bu genellikle beyin için bir sorun değildir. Makine öğrenimindeki en son gelişmeler, beynimize benzer yeteneklere sahip sinir ağları üretti. Bununla birlikte, biyolojik ve yapay zeka sistemlerinin neden bu kadar yüksek tanıma doğruluğuna ulaşabildiğine gelince, araştırmacılar bu problemi yeterince matematiksel olarak anlamıyorlar. Bu makale, bu problemin temel prensiplerini açıklamak için istatistiksel mekanik teorisinin nasıl kullanılacağını göstermektedir.Bu prensipler, nöral devrelerin, büyük fiziksel değişkenlik karşısında hedefleri tanıması ve ayırt edebilmesi için temel oluşturur.
Bu makalede, belirli bir nesnenin sinirsel temsilindeki değişkenlik, bir manifold olarak geometrik olarak modellenmiştir. Ağın belirli bir aşamasında başarıyla sınıflandırılabilen manifold sayısındaki artış, sinirsel temsilin boyutuyla orantılıdır, ancak belirli oran, manifoldun şekline bağlıdır. Teorimiz, ağda değişen ve hareket eden manifold tarafından temsil edilen yapıyı analiz edebilir ve sonunda onu başarılı bir şekilde sınıflandırabilir.
Bu yazıda sunulan teori, nöral manifoldların şeklini tanımlamak için grafiksel ölçümler kullanır. Bu ölçümler, rastgele etiketlenmiş bir dizi manifoldun ne zaman ayrılabileceğini ve filtrelenebileceğini tahmin edebilir. Bu ölçümler, rastgele geometrik şekillere sahip manifoldların sayısıyla sonuçlanır ve verimli bir şekilde hesaplanabilir; bunları, nöral tepkinin prototip manifold modelini analiz etmek için kullanıyoruz.
Bu makale, hiyerarşik sinir ağları tarafından oluşturulan temsilleri anlamak ve analiz etmek için yeni bir teorik çerçeve sağlar. , Algılama sisteminin duyusal bilgileri nasıl etkili bir şekilde kodladığı ve işlediği konusunda yeni anlayışlar geliştirebilir.
Uzun bir süredir, algısal öğrenmenin istatistiksel mekanik teorisi, tek katmanlı sinir mimarisinin ve çekirdek uzantısının performansını ve temel sınırlamalarını anlamak için temel oluşturmuştur. Bununla birlikte, önceki teoriler, grafiksel bir çerçeve olmadan yalnızca sınırlı sayıda rastgele noktayı dikkate aldı ve fiziksel parametrelerdeki değişiklikler nedeniyle değişkenlikteki artışı açıklayamadı ve farklı manifoldlara sahip büyük ölçekli, muhtemelen sonsuz sayıda girdi olarak sunuldu. , Doğrusal sınıflandırıcının performans düşüşü. Bu çalışmada önerilen istatistiksel mekanik teorisi, genel manifoldların doğrusal sınıflandırmasının yetenek ve sınırlamalarını açıklayabilir ve hiyerarşik duyu sisteminin sinirsel temsilindeki değişiklikleri açıklığa kavuşturmak için kullanılabilir. Bu teorinin uygulanmasının ve çıkarımlarının genişletilmesinin, insanların duyusal bilgileri nasıl etkili bir şekilde kodlayıp işleyebileceklerine dair yeni bilgiler sağlayacağına inanıyoruz.
Manifoldları tanımlamanın genel teorisi: Hangi ağ koşulları manifoldları tanımlayabilir?
Bu makale, Reddit forumunun makine öğrenimi bölümünde bazı ilginç tartışmaları ateşledi. Ancak Reddit'teki küçük bir ortak, gazetenin profesyonel dilinin onu 5 yaşında bir çocuk gibi gösterdiğini söyledi, lütfen açıklayın. İşte bu makale hakkında daha popüler terimler ve örneklerle kendi açıklamalarını veren hevesli birkaç izleyici.
Örneğin hayatınızda ilk kez bir kedi görürsünüz, kedi sizden uzakta ve kıvrılmış olsa bile, vücut şekline bakılırsa, onun bir kedi olduğunu hala bilebilirsiniz. Bu yazıda önerilen yöntem, makineye benzer bir tanıma yönteminde ustalaşmasını öğretmek ve hedefin geometrik şeklinden ne olduğunu tahmin etmektir. Başka bir deyişle, bilgisayara bir dizi grafik gösterin ve ardından hedefe her açıdan bakmak yerine geri kalanının neye benzediğini tahmin etmesine izin verin.
"Hanmilton" kimliğine sahip arkadaşlardan biri sistematik ve ayrıntılı bir yanıt verdi (yukarıdaki resim). İlk önce bu makalenin yazarı olmadığını, ancak yazarlardan birinin akademik raporlarını dinleme ayrıcalığına sahip olduğunu belirtti. o düşünüyor, Bu matematiksel bir makale, ancak sonucu oldukça "yenilikçi". Ardından mesajda makaleyi araştırma geçmişi, önemi ve uygulama açısından özetledim ve analiz ettim. Xinzhiyuan ilgili içeriği derledi, hadi bir göz atalım:
Makalede yer alan Şekil 1'in (aşağıda) temelde sinir uzayındaki "manifold" kavramına öğretici bir görünüm sağladığını söyledi. Nöral uzayda, bir kedi veya köpek için gözlemlediğimiz yön / açı / konumdaki her değişiklik, nöronların ateşleme frekansından oluşan bir düzlem veya "manifold" olarak kabul edilebilir. Şekilde mavi bir köpeğe, pembe ise bir kediye karşılık gelir. Bu iki bölge çakışmazsa, sinir ağı kedileri köpeklerden ayırabilir.
Hedefin "sinirsel manifold" temsilinin, derin ağın hedefi anlaması ve beynin hedefi tanıması / görmesi için bir çerçeve olduğuna inanıyor.
2. Tezin geri kalanı, size hangi ağ koşullarının manifoldları tanıyabildiğini ve hangilerinin yapamayacağını söyleyen genel bir teori oluşturmaktır. Örneğin, bir kedi ile köpeği ne zaman ayırt edersiniz ve ne zaman yapamazsınız. Makale, alt uzaylarda manifoldların nasıl bulunduğuna ve bunların matematikte nasıl tanımlanacağına (aşağıda gösterildiği gibi) ilişkin teorik bir çerçeve oluşturmak için çok fazla alan harcadı.
3. Bu teoriyi kanıtlamak için bazı örnekler kullanılmıştır. Aslında, kediler ve köpekler kullanılabilir, ancak yazar daha genel şekiller kullanır: küre, elipsoid ve halka.
4. Makale, teorinin hangi manifoldların tanımlanabileceğini ve hangilerinin manifoldların özelliklerine göre tanımlanamayacağını tahmin edebileceğini göstermektedir. Görülebileceği gibi, belirli bir boyutta (örneğin, D = 20), yarıçap arttıkça tanınabilirliğin azalacağı, yani bu, verilen veriler altında kurulan ağın sınırını gösterebilir.
