"Hafta Sonu Yapay Zeka Sınıfı" Doğrusal olmayan boyutsallık azaltma yöntemi (makine öğrenimi teorisinde karşılaşacağınız "çukur"
Bu hafta herkes nasıl? Bunaltıcı sıcaklık vurur, sakinleşmek ve ateşi düşürmek için sınıfa acele edin.
Geçen hafta boyunca, boyutsal azaltmanın iki sınıflandırma yönteminden bahsettik: hedef değerin (hedef) katılımına göre, denetimli boyutluluk azaltma ve denetimsiz boyutluluk azaltma; ikincisi, yüksek boyutlu uzay ve düşük boyutlu uzaya göre Boyutsal uzay ilişkisi, doğrusal boyutluluk azaltma ve doğrusal olmayan boyutluluk azaltma olarak ikiye ayrılır. Ve ayrıca iki doğrusal boyutluluk azaltma yöntemini ayrıntılı olarak tartıştı: PCA ve LDA.
Doğrusal \ denetimli
Denetimsiz
Denetleme
Doğrusal
PCA
LDA
Doğrusal olmayan
ISOMAP
KLDA
Bu haftanın kursunda, doğrusal olmayan boyutluluk azaltmayı ayrıntılı olarak tartışacağız.
Öyleyse, doğrusal nedir ve doğrusal olmayan nedir? Genel olarak konuşursak, doğrusal bir fonksiyon iki koşulu karşılamalıdır:
Hem PCA hem de LDA, yüksek boyutlu uzayın düşük boyutlu uzaya doğrusal dönüşümleridir, çünkü dönüşümden önce ve sonra, yüksek boyutlu uzaydaki vektörler ve düşük boyutlu uzay aynı özellikleri ve uzaydaki herhangi bir vektör için:
Aynı zamanda, toplamsallık ve homojenlik sağlanır.Bu ilişkiye süperpozisyon ilkesi de denir. Bir teori süperpozisyon ilkesini kullandığında, aslında doğrusal ilişkileri kullanır. Süperpozisyon ilkesini dikkatlice parçalara ayırırsak, bunun matris çarpımına karşılık geldiğini bulacağız. Aslında matris çarpımı, doğrusal haritalamanın üst üste binme ilkesine göre tanımlanır.
Bu temelde, izdüşüm tipik bir doğrusal dönüşümdür, çünkü izdüşüm dönüşümü bir matrisle temsil edilebilir ve bu bir simetrik matristir, matrisin bazı köşegen öğeleri sıfırdır ve sıfır köşegen öğeler karşılık gelen boyutların atılmasına karşılık gelir.
Varsayılan olarak, doğrusal boyut azaltma ilk önce projeksiyon dönüşümünü gerçekleştirir ve ardından hedefi maksimize edilen düşük boyutlu bir alan arar.Bu, en iyi düşük boyutlu uzayın yüksek boyutlu uzayda sayısız doğrusal olarak dönüştürülmüş alanlardan biri olması gerektiği anlamına gelir. PCA, düşük boyutlu bir uzayda örneklerin maksimum varyansını korumayı umarken, LDA büyük bir sınıflar arası ıraksama ve küçük bir sınıf içi sapmaya sahip olmayı umuyor. Yüksek boyutlu bir uzayın yapısını korumak için doğrudan düşük boyutlu bir uzay bulmayı tercih edersek, en benzer yapıyı bulma süreci genellikle orijinal uzayın doğrusal olmayan bir dönüşümüdür.
MDS (çok boyutlu ölçekleme) ve ISOMAP (eşit metrik eşleme)
Matematik hazırlığı:
1. Manifold : Öklid uzayına yerel olarak yaklaşan bir topolojik uzay Manifold üzerindeki herhangi bir noktanın Öklid uzayına yakın bir komşuluğu vardır. (Örneğin, göz ardı edilebilir kalınlıkta bir kağıdı bir kovaya yuvarlarsanız, kağıt parçası üç boyutlu bir alanda iki boyutlu bir manifold haline gelir ve kağıt parçasının her noktası ve çevresi yaklaşık olarak düzdür)
2. İçsel uzay (iç uzay) Manifoldun iç yapısının alanı
3. Jeodezik : Riemann manifoldundaki iki noktayı birleştiren yerel en kısa çizgi Düz bir uzayda düz bir çizgiye benzer şekilde eğimli bir uzaydadır.
4. İzleme : Matrisin köşegen elemanlarının toplamı
MDS'nin (Multiple Dimensional Scaling) amacı, yüksek boyutlu uzayda mesafe bilgisini mümkün olduğunca düşük boyutlu uzayda korumaktır. Örnekler arasındaki mesafe bir kare kare matrisi oluşturabilir. Satır ve sütun sayısı örnek sayısına eşittir ve köşegen öğelerinin tümü sıfırdır, çünkü her bir matris öğesi karşılık gelen örneğin mesafesidir, yani:
Amacımıza göre, düşük boyutlu uzayda örnekler
İlişkiler var:
İç çarpım matrisi D'yi düşük boyutlu bir uzayda tanımlarsak, her bir matris elemanı, numune ile numune arasındaki iç çarpımı temsil eder,
,dayanarak,
. Düşük boyutlu uzaydaki örneklerin ortalandığını varsayalım:
, Var:
O zaman M matrisinin matris elemanlarının toplamı:
Ortadan kaldırabiliriz
, İç çarpım matrisi D'yi temsil etmek için M matrisini kullanabilirsiniz:
Özdeğer ayrışımının matematiksel özü, matrisi köşegenleştirmektir:
Burada E, iç çarpım matrisinin köşegenleştirmesidir ve V, karşılık gelen özvektörlerden oluşan matristir. Özdeğerleri sıralayın ve karşılık gelen özvektörleri alın ve oluşturdukları düşük boyutlu uzay, projeksiyon noktalarının varyansını en üst düzeye çıkaran düşük boyutlu uzaydır, ancak şunu elde etmek için iç çarpım matrisini köşegenleştirdiğimize dikkat edilmelidir. Köşegen matrisi koordinatlarla değil, hala iç çarpımla ilgilidir, bu nedenle aldığımız son örnek şu şekilde ifade edilir:
Bu, MDS'nin matematiksel prensibidir. Orijinal bir uzay mesafe matrisini girer ve düşük boyutlu uzayın iç çarpım matrisini temsil etmek için orijinal uzay mesafe matrisini kullanır ve son olarak düşük boyutlu uzayın örnek gösterimini çıkarır. Ancak mantıksız bir şey olabilir, çünkü orijinal uzayın mesafesini korumak istiyorsak, orijinal uzay bir manifolddur.Örneğin Öklid mesafesini hesaplamak, manifoldun iç alanını kullanmamaya eşdeğerdir.
Gösterildiği gibi, örnek
Mesafe mavi çizgi değil kırmızı çizgi olmalıdır.
ISOMAP (İzometrik haritalama) artık orijinal uzayın Öklid mesafesini kullanmaz, ancak iki noktanın jeodezik mesafesini kullanır. Jeodezik çizginin mesafe hesaplaması, manifoldun yerel Öklid uzay özelliklerine dayanmaktadır.Her nokta için, bir bağlantı grafiği oluşturmak üzere Öklid mesafesi boyunca birkaç komşu nokta bulunur. Bu komşu noktalar dışında kalan noktaların mesafeleri belirlenir. devasa. En kısa yol algoritması (Dijkstra algoritması) ile iki nokta arasındaki mesafe elde edilir ve numunenin uzaklık matrisi elde edilir.
Mesafe matrisinin tanımındaki fark dışında, ISOMAP ve MDS ilkesi aynıdır.Her ikisi de düşük boyutlu uzayın iç çarpım matrisini orijinal uzayın uzaklık matrisi yoluyla elde eder ve son olarak özdeğer ayrışımı (tekil değer ayrışımı) yoluyla düşük boyutlu uzayın örneğini elde eder. Dedim.
KLDA (özlü doğrusal ayırıcı analizi)
Matematik hazırlığı:
1. çekirdek numarası : Örneği düşük boyutlu uzaydan yüksek boyutlu uzaya eşlemek, doğrusal olmayan bir sorunu doğrusal bir probleme dönüştürebilir ve bir çekirdek işlevi vardır:
2. Temsil teoremi (Temsil teoremi) : Monoton olarak artan düzenlilik terimi ile ilgili olarak
Optimizasyon işlevi, çözümü her zaman şu şekilde yazılabilir:
3. LDA: Doğrusal Ayrımcı Analizi
KLDA (Kernelized Linear Discriminant Analysis), çekirdek numarası kullanan LDA'dır. Her numune için yüksek boyutlu dönüşüm yapıyoruz:
Soldaki resim girdi alanı ve sağdaki resim yüksek boyutlu dönüşüm için boşluktur.Yüksek boyutlu dönüşümden sonra sınıflandırmanın çok basit olacağını görebilirsiniz.Ayrılması kolay olan bir dizi örnek, PCA ve LDA çok kolay olacaktır.
niyet
Ele aldığımız nesne olarak: İkili sınıflandırma problemini örnek alırsak, örnek
, Numunenin ortalama vektörü olur
, Örneğin kovaryans matrisi şu şekilde olur:
, LDA gibi, bir projeksiyon matrisi W olduğunu varsayıyoruz, bu miktarlar düşük boyutlu uzayda olacak:
Sınıf içi diverjans matrisi
, Sınıflar arası diverjans matrisi olur
:
Optimizasyon hedefi şu hale gelir:
Kovaryans matrisini hesaplarken ve ardından sınıflar arası diverjans matrisini hesaplarken ve sınıf içi diverjans matrisini hesaplarken, örnek yüksek boyutlu dönüşümün ürünü dahil edilecektir.
, Ancak bu ürünü ifade etmek için çekirdek işlevini kullanabiliriz ve her örnek ürünü yapacağından, bir matris şeklinde yazılabilir:
buraya
Numunenin etiketi değil, gösterge değişkenini tanımlıyoruz
, Numune sayısına eşit boyuta sahip bir vektördür. Örnekleri kategoriye göre seçebilir, çünkü örnek ait olduğu zaman
Örnekleme yapılırken, karşılık gelen konumundaki eleman 1'dir, aksi takdirde sıfırdır.
Temsil teoremine göre, optimizasyon fonksiyonu terimini çekirdek matrisi biçiminde yeniden yazıyoruz, bunlar:
Bunların arasında, M, nispeten basit bir formla yeniden yazılmış sınıflar arası diverjans matrisidir, ancak N, aşağıdaki şekilde tanımlanan yeniden yazılmış sınıf içi diverjans matrisidir:
Bu şekilde optimizasyon hedefimiz şu hale gelir:
Genelleştirilmiş bir Rayleigh bölüm problemine ve ardından tekil bir değer ayrıştırma problemine dönüşmeye devam ederek, projeksiyondan sonraki boşluk elde edilebilir.
Çekirdeği okuyun
Sınıf İPUÇLARI
ISOMAP, manifold öğrenmeye aittir. Manifoldun önemli özelliği, yerel yapının, düşük boyutlu uzayda manifold yapısını korumamıza izin veren Öklid uzayına karşılık gelmesidir. Yapının temel özelliği, örnekler arasındaki mesafedir, bu yüzden Gerçekte genellikle etkili bir şekilde tatmin edilemeyen jeodeziği hesaplamak için sahadan örnekler toplamamız gerekiyor. Başka bir deyişle, çoklu öğrenmenin kalitesi büyük ölçüde verinin kendisine bağlıdır.
KLDA'nın doğrusal olmamasının nedeni, yüksek boyutlu uzayı dönüştürmesi ve ardından projeksiyon gerçekleştirmesidir .. İzdüşüm doğrusaldır, ancak dönüşüm doğrusal değildir. Denetimli öğrenme gösterge değişkeninde somutlaştırılmıştır.Bir kategoriye ait örnekleri seçmek için çekirdek matrisi ile çarpılır, çünkü diğerleri sıfırdır.
Diğer yaygın çoklu öğrenme yöntemleri arasında Laplacian özellik haritalama, yerel doğrusal gömme ve yerel teğet uzay hizalaması, t-dağıtılmış rastgele bitişik gömme vb. Yer alır.
Kerneltrick çok güçlü bir araçtır, makine öğrenimi için neredeyse genel amaçlı bir teknolojidir. Bir çekirdek numarası ve arkasındaki anlam tam olarak nedir, lütfen gelecek haftanın sütun sınıfına dikkat edin.
Yazar: Head & Shoulders olmadan keşiş
Yeniden yazdırmanız gerekirse, lütfen arka planda bir mesaj bırakın ve yeniden yazdırma şartnamelerine uyun.
