Sıfırdan bir destek vektör makinesi (SVM) türetme
Lei Feng.com AI Technology Review Press Bu makalenin yazarı Zhang Hao. Şu anda Nanjing Üniversitesi Bilgisayar Bilimleri Bölümü, Makine Öğrenimi ve Veri Madenciliği Enstitüsü'nde (LAMDA) yüksek lisans öğrencisidir.Araştırma ilgi alanları bilgisayarla görme ve makine öğrenimidir, özellikle görsel tanıma ve derin öğrenmedir.
Kişisel ana sayfa: Bu makale Leifeng.com'un Yapay Zeka Teknolojisi İncelemesine özel bir katkıdır.İzinsiz yeniden basılması yasaktır.
Özet
Destek vektör makinesi (SVM) çok klasik ve verimli bir sınıflandırma modelidir. Bununla birlikte, destek vektör makineleri birçok karmaşık matematiksel türetme içerir ve güçlü bir dışbükey optimizasyon temeli gerektirir; bu da, çalışmaya çok zaman ve enerji ayırmış, ancak yine de kayıp olan bazı yeni başlayanlar yapar ve nihayetinde cesaretleri kırılır. Bu makale, düşünceden biçimlendirmeye, basitleştirmeye ve nihayet gerçekleştirmeye kadar tüm süreci kapsayan sıfırdan bir destek vektör makinesi oluşturmayı ve tüm düşünce bağlamını ve formül türetmenin tüm ayrıntılarını göstermeyi amaçlamaktadır. Bu makale mantıksal olarak açık olmaya ve gereksiz kavram ve sembollerin ortaya çıkmasını önlemeye çalışmaktadır. Ek olarak, bu makale okuyucuların üzerindeki yükü azaltmak için okuyucuların dışbükey optimizasyon temeline sahip olmasını gerektirmez. Kullanılan optimizasyon tekniklerinin tümü makalede tanıtılmıştır.
Derin öğrenme günümüzde çok popüler olsa da, destek vektör makinelerinin ilkelerini anlamak, fikirlerin resmileştirilmesi ve basitleştirilmesi, modeli daha genel hale getirme adım adım süreci ve özel uygulaması hala araştırma değerine sahiptir. Öte yandan, destek vektör makinelerinin yeri hala var. Derin sinir ağları ile karşılaştırıldığında, destek vektör makineleri, özellik boyutunun örnek sayısından fazla olduğu ve küçük örneklem öğrenmenin derin öğrenmede hala büyük bir problem olduğu durumlarda özellikle iyidir.
1. Doğrusal ikili sınıflandırma modeli
Bir dizi veri verildiğinde
,onların arasında
, İkili sınıflandırma görevinin amacı, veriden varsayımsal bir fonksiyon h: R {1,1}, öyle ki h (xi) = yi, yani
Daha özlü bir biçimde,
Ayrıca, doğrusal ikili sınıflandırma modeli, hipotez işlevinin biçiminin, xi özelliklerinin doğrusal kombinasyonuna, yani
Teorem 1. Doğrusal ikili sınıflandırma modelinin amacı, bir dizi uygun parametreyi (w, b) bulmaktır, öyle ki
Yani, doğrusal ikili sınıflandırma modeli, farklı etiketlere ait örnekleri ayırmak için özellik uzayında bir bölünen alt düzlem bulmayı umar.
kanıtlamak.
2. Doğrusal Destek Vektör Makinesi
Doğrusal Destek Vektör Makinesi (SVM) aynı zamanda doğrusal bir ikili sınıflandırma modelidir.Ayrıca Teorem 1'in (w, b) kısıtlamalarını karşılayan bir bölümleme hiper düzlemi bulması gerekir. Örnekleri ayırabilen birçok hiper düzlem olabileceğinden, SVM ayrıca her örnekten uzakta bir hiper düzlem bulmayı umuyor.
Numunelerde rastgele karışıklıklar ile karşılaşıldığında, her bir numuneden uzaktaki bölüm hiper düzlemi, bozulma için güçlü bir toleransa sahiptir, yani, numunenin sınıflandırma oluşturması için rasgele karışıklıktan dolayı numunenin bölüm hiper düzleminin diğer tarafına geçmesine neden olmak kolay değildir. hata. Bu nedenle, böylesine bölünmüş bir alt düzlem, örnekleme göre nispeten sağlamdır ve aşırı sığdırılması kolay değildir. Öte yandan, her bir numuneden uzaktaki bölünmüş hiper düzlem, yalnızca pozitif ve negatif numuneleri ayırmakla kalmaz, aynı zamanda, ayrılması zor numuneler, yani bölünmüş alt düzleme yakın numuneler dahil olmak üzere, nispeten büyük bir kesinlik derecesi ile tüm numuneleri ayırabilir.
2.1 Aralık
Destek vektör makinelerinde, bölünmüş alt düzlem ile örnek arasındaki mesafeyi tanımlamak için kenar boşlukları kullanırız. Aralığı tanıtmadan önce, uzaydaki bir noktadan düzleme olan mesafeyi nasıl hesaplayacağımızı bilmemiz gerekir.
Tanım 1 (aralık ) Aralık, en yakın örnekten bölünmüş hiper düzleme ve bölünmüş hiper düzleme olan mesafenin iki katı anlamına gelir.
Başka bir deyişle, aralık, bölünmüş alt düzlemden farklı etiketlere ait en yakın örneklere kadar olan mesafelerin toplamını temsil eder.
Teorem 3. Doğrusal destek vektör makinelerinin amacı, bir dizi uygun parametre (w, b) bulmaktır, öyle ki
Yani, doğrusal destek vektör makinesi, özellik uzayında bölümlenmiş bir alt düzlem, farklı etiketlere ait ayrı örnekler bulmayı umar ve bölümlere ayrılmış alt düzlem, her örnekten en uzak olanıdır.
İspat: Aralık tanımını getirmeniz yeterli.
2.2 Temel doğrusal destek vektör makinesi türü
Teorem 3 tarafından tanımlanan optimizasyon problemi çok karmaşıktır ve üstesinden gelinmesi zordur. Gerçekte uygulanabilmesi için, onu basitleştirmeyi ve çözülebilecek klasik bir dışbükey ikinci dereceden programlama (QP) problemi haline getirmeyi umuyoruz.
Tanım 2 (Konveks ikinci dereceden programlama) Dışbükey ikinci dereceden programlamanın optimizasyon problemi, amaç fonksiyonunun konveks ikinci dereceden fonksiyon olduğu ve kısıtlamaların doğrusal kısıtlamalar olduğu bir tür optimizasyon problemini ifade eder.
(W, b) 'nin ölçeklendirilmesi çözümü etkilemediğinden, optimizasyon problemini basitleştirmek için (w, b)' yi şu şekilde kısıtlıyoruz:
Sonuç 6. Doğrusal destek vektör makinesinin temel tipinde açıklanan optimizasyon problemi, d + 1 optimizasyon değişkenlerini ve m kısıtlamalarını içeren ikinci dereceden bir programlama problemidir.
Kanıt. Sipariş
Formül 10'u elde etmek için değiştirin.
3. İkili sorun
Şimdi, Teorem 5 tarafından açıklanan optimizasyon problemini, hazır konveks karesel programlama yazılım paketini arayarak çözebiliriz. Bununla birlikte, Lagrange fonksiyonunu ve ikili problemleri kullanarak problemi daha da basitleştirebiliriz.
3.1 Lagrange fonksiyonu ve ikili form
Lagrange fonksiyonunu oluşturmak, kısıtlı optimizasyon problemlerini çözmek için önemli bir yöntemdir.
kanıtlamak.
Sonuç 8 (KKT koşulu) Denklem 21'de açıklanan optimizasyon problemi aşağıdaki koşulları optimum değerde sağlamalıdır.
Kanıt: Lemma 7'den, kısıtlamayı karşılamalısınız, yani, ana problem uygulanabilir. İkili problem, Denklem 21'de açıklanan optimizasyon probleminin kısıtlama terimi olarak uygulanabilir. igi (u) = 0, hem ana problemin hem de ikili problemin uygulanabilir olması koşuluyla maksimum değerdir.
Tanım 4 (ikili problem) Denklem 19 tarafından açıklanan optimizasyon probleminin ikili problemini şu şekilde tanımlayın:
Lemma 10 (Slater koşulu). Asıl sorun bir dışbükey optimizasyon problemi olduğunda, yani f ve gi dışbükey fonksiyonlar olduğunda, hj afin fonksiyondur ve uygulanabilir bölgedeki en az bir nokta eşitsizlik kısıtlamasını kesinlikle doğru kılar, ikili problem orijinal ile eşdeğerdir .
Kanıt: Bu kanıt, bu makalenin kapsamı dışındadır ve ilgilenen okuyucular ona başvurabilir.
3.2 Doğrusal destek vektör makinesi çift tipi
Doğrusal destek vektör makinesinin Lagrange işlevi şu şekildedir:
İspat: Formül 26'daki (w, b) 'nin optimizasyonu sınırsız bir optimizasyon problemi olduğundan, kısmi türevi sıfıra eşit yaparak (w, b)' nin optimal değerini elde edebiliriz.
Formül 26'ya değiştirerek, (w, b) çıkararak elde edersiniz.
Sonuç 13. İkili doğrusal destek vektör makinesinde açıklanan optimizasyon problemi, m optimizasyon değişkenleri ve m + 2 kısıtlamaları içeren ikinci dereceden bir programlama problemidir.
Kanıt. Sipariş
Formül 10'u elde etmek için değiştirin. Bunlar arasında ei, i'inci konum elemanı 1 ve kalan konum elemanları 0 olan bir birim vektördür. İki eşitsizlik sınırlamasını aşmamız gerekiyor
ile
Bir eşitlik kısıtlaması elde etmek için.
3.3 Destek Vektörü
Teorem 14 (Doğrusal destek vektör makinesinin KKT durumu) Doğrusal destek vektör makinesinin KKT koşulu aşağıdaki gibidir.
Almak için Lemma 8'i değiştirin.
Tanım 5 (destek vektörü) Çift değişken i > 0, örneğe karşılık gelir.
Lemma 15. Doğrusal bir destek vektör makinesinde, destek vektörü bölünmüş hiper düzleme en yakın örnektir ve maksimum aralığın sınırına düşer.
Teorem 16. Destek vektör makinesinin parametreleri (w, b) sadece destek vektörü tarafından belirlenir ve diğer örneklerle hiçbir ilgisi yoktur.
Kanıt. Çift değişken i'den beri > Karşılık gelen 0 örneği, destek vektörüdür,
Bunlar arasında, SV, tüm destek vektörlerinin kümesini temsil eder ve b tamamlayıcı gevşeme ile hesaplanabilir. Belirli bir destek vektörü xs ve etiketi ys için, çünkü
Uygulamada, daha sağlam bir b tahmini elde etmek için, genellikle tüm destek vektörlerini çözerek b'nin ortalama değerini elde etmek için kullanılır.
Sonuç 17. Doğrusal destek vektör makinesinin hipotez fonksiyonu şu şekilde ifade edilebilir:
İspat: Elde etmek için formül 35 ile değiştirin.
4. Çekirdek işlevi
Şimdiye kadar, eğitim örneklerinin doğrusal olarak ayrılabilir olduğunu varsaydık. Yani, farklı etiketlere ait eğitim örneklerini ayırabilen bir bölümleme alt düzlemi vardır. Ancak birçok görevde, hiper düzlemlerin böyle bir bölümü mevcut değildir. Destek vektör makineleri, örneklerin doğrusal olarak ayrılamadığı durumu çözmek için çekirdek hilelerini kullanır.
4.1 Doğrusal olmayan ayrılabilir problem
Orijinal özellik uzayından beri
Doğrusal olarak ayrılamaz, destek vektör makinesi bir eşlemeyi geçmeyi umuyor
Verileri yeni alanda yapmak
Doğrusal olarak ayrılabilir.
Lemma 18. d sonlu olduğunda, olmalıdır
Örneği uzayda yapmak
Doğrusal olarak ayrılabilir.
Kanıt: Bu kanıt, bu makalenin kapsamı dışındadır.İlgilenen okuyucular, hesaplamalı öğrenme teorisindeki parçalanmanın karşılık gelen kısmına başvurabilirler.
(x), x örneğinin,
Özvektör, w parametresinin boyutu da şu şekilde değiştirilmelidir:
Boyut, temel ve ikili destek vektör makinesi türleri şu hale gelir:
Bunlar arasında temel tür karşılık gelir
+ 1 optimizasyon değişkeni, m-kısıtlı ikinci dereceden programlama problemi; ikili tip, m optimize edilmiş değişkene, m + 2-kısıtlı ikinci dereceden programlama problemine karşılık gelir.
4.2 Nükleer Teknikler
İkili destek vektörü makinesinde, yüksek boyutlu ile eşleştirilen özellik vektörünün her zaman ikili iç çarpım şeklinde var olduğuna dikkat edin.
Uzaydaki özelliği ilk hesaplarsanız
, Ve sonra iç çarpımı hesaplayın, karmaşıklık
. Özellikler çok yüksek boyutlu uzaya veya hatta sonsuz boyutlu uzaya eşlendiğinde, bu ağır bir depolama ve hesaplama yükü olacaktır.
Çekirdek tekniği, özellik haritalama ve iç üründen oluşan iki işlemi tek bir adıma sıkıştırmayı amaçlar ve karmaşıklık,
Azaltılmış
. Yani, çekirdek tekniği bir çekirdek işlevi (xi, xj) oluşturmayı umar, öyle ki
Ve (xi, xj) 'nin hesaplama karmaşıklığı
.
4.3 Çekirdek işlevi seçimi
Yüksek boyutlu uzay ve çekirdek tekniklerine haritalama yoluyla, numunelerin doğrusal olmayan ayrılabilirliği sorununu verimli bir şekilde çözebiliriz. Ancak gerçekçi bir görev karşısında, ne tür yüksek boyutlu uzayın eşleştirilmesi gerektiğini, yani hangi çekirdek işlevinin seçilmesi gerektiğini bilmek bizim için çok zordur ve çekirdek işlevinin uygunluğu doğrudan genel performansı belirler.
Tablo 1, yaygın olarak kullanılan birkaç çekirdek işlevini listeler. Genel olarak, özellik boyutu d örnek sayısını aştığında (bu genellikle metin sınıflandırma problemleri için geçerlidir), doğrusal çekirdekler kullanılır; özellik boyutu d nispeten küçük ve örnek sayısı m orta ise, RBF çekirdeği kullanılır; özellik boyutu d olduğunda Örnek sayısı m nispeten küçük olduğunda, destek vektör makinesinin performansı genellikle derin sinir ağının performansı kadar iyi değildir.
Ek olarak, kullanıcılar çekirdek işlevini ihtiyaçlarına göre özelleştirebilirler, ancak Mercer koşullarını karşılamaları gerekir.
tersine.
Yeni çekirdek işlevleri, mevcut çekirdek işlevlerinin kombinasyonu yoluyla da elde edilebilir.Çoklu çekirdek işlevlerinin dışbükey kombinasyonlarının kullanılması, çok çekirdekli öğrenmenin araştırma içeriğidir.
4.4 Nükleer yöntem
Yukarıdaki nükleer teknikler sadece vektör makinelerini desteklemek için değil, aynı zamanda büyük bir problem sınıfı için de kullanılmaktadır.
Yani, 'nın w'den daha küçük bir amaç fonksiyonu değeri vardır, bu da w'nin optimal çözüm olmadığını gösterir ve bu varsayımla çelişir. Bu nedenle, optimum çözüm, numunelerin doğrusal bir kombinasyonu olmalıdır.
Ek olarak, orijinal temsil teoremi, monoton olarak artan herhangi bir düzenli terim (w) için geçerlidir. Bu kanıt, bu makalenin kapsamı dışındadır ve ilgilenen okuyucular başvurabilir.
Temsil teoreminin kayıp fonksiyonunun şekli üzerinde herhangi bir kısıtlaması yoktur, bu da birçok optimizasyon problemi için optimal çözümün örneklerin doğrusal bir kombinasyonu olarak yazılabileceği anlamına gelir. Bir adım öteye,
Çekirdek işlevlerinin doğrusal bir kombinasyonu olarak yazılabilir
Çekirdek işlevi aracılığıyla doğrusal modeli doğrusal olmayan bir modele genişletebiliriz. Bu, toplu olarak çekirdek yöntemleri olarak adlandırılan çekirdek işlevlerine dayanan bir dizi öğrenme yöntemine ilham verdi.
5. Yumuşak aralık
İster doğrudan orijinal özellik uzayında isterse eşlenmiş yüksek boyutlu uzayda olsun, numunenin doğrusal olarak ayrılabilir olduğunu varsayıyoruz. Teorik olarak, verileri doğrusal olarak ayrılabilir kılmak için her zaman yüksek boyutlu bir haritalama bulabilsek de, pratik görevlerde böyle uygun bir çekirdek işlevi bulmak genellikle zordur. Ek olarak, verilerde genellikle parazit olduğu için, verilerin doğrusal ayrılabilirliğini körü körüne takip etmek, modelin aşırı uyum batağına düşmesine neden olabilir. Bu nedenle, az sayıda örnek sınıflandırma hatalarına izin vermek için örnek gereksinimlerini gevşetiyoruz.
5.1 Yumuşak Aralıklı Destek Vektör Makinesinin Temel Tipi
Aralığı optimize ederken yanlış sınıflandırılmış örneklerin görünmesine izin vermeyi umuyoruz, ancak bu tür örnekler mümkün olduğunca az olmalıdır:
onların arasında,
Bir gösterge fonksiyonudur ve C, optimizasyon aralığının iki amacını ve az sayıda yanlış sınıflandırılmış numuneyi tartmak için kullanılan ayarlanabilir bir parametredir. Bununla birlikte, optimizasyon problemini artık ikinci dereceden bir programlama problemi haline getiren dışbükey bir fonksiyon bir yana gösterge fonksiyonu sürekli değildir. Bu yüzden onu basitleştirmemiz gerekiyor.
Formül 60'ın pratikte uygulanmasının zor olmasının nedeni, gösterge fonksiyonunun, numunenin doğru / yanlış sınıflandırmasına karşılık gelen yalnızca iki ayrı 0/1 değerine sahip olmasıdır. Optimizasyon problemini ikinci dereceden bir programlama problemi olarak tutmak için, örneğin kısıtlamaları ne ölçüde karşıladığını açıklamak için değeri sürekli bir değer olan bir değişken sunmamız gerekir. Numunenin kısıtlamaları ne ölçüde ihlal ettiğini ölçmek için kullanılan gevşek değişken i'yi tanıtıyoruz. Örnek kısıtlamaları ihlal ettiğinde, slack değişkeninin değeri o kadar büyük olur. hangisi,
Bunlar arasında, C aralığı optimize etmek ve az sayıda örnekle büyük aralık kısıtlamasını ihlal etmek gibi iki hedefi dengelemek için kullanılan ayarlanabilir bir parametredir. C göreceli olarak büyük olduğunda, daha fazla örneğin büyük aralık kısıtlamasını karşılayacağını umuyoruz; C görece küçük olduğunda, büyük aralık kısıtlamasını karşılamayan bazı örneklere izin veriyoruz.
5.2 Yumuşak aralık desteği vektör makinesi çift tipi
Teorem 25 (yumuşak aralık destek vektör makinesi ikili tip) Yumuşak aralık destek vektör makinesinin ikili problemi, uygun bir kümesi bulmaya eşdeğerdir, öyle ki
İç çiftin optimizasyonu (w, b, ) kısıtsız bir optimizasyon problemi olduğundan, kısmi türevi sıfıra eşitleyerek (w, b, ) optimal değerini elde edebiliriz.
Sonuç 26. Yumuşak aralık destek vektör makinesi ikili tipinde açıklanan optimizasyon problemi, m optimizasyon değişkenleri ve 2m + 2 kısıtlamaları içeren ikinci dereceden bir programlama problemidir.
5.3 Yumuşak aralıklı destek vektör makinesinin destek vektörü
Teorem 27 (Yumuşak aralık destek vektör makinesinin KKT durumu) Yumuşak aralıklı destek vektör makinesinin KKT durumu aşağıdaki gibidir.
Lemma 28. Yumuşak aralıklı bir destek vektör makinesinde, destek vektörü maksimum aralığın sınırına düşer, içeride veya yanlış sınıflandırılmış bir örnektir.
Teorem 29. Destek vektör makinesinin parametreleri (w, b) sadece destek vektörü tarafından belirlenir ve diğer örneklerle hiçbir ilgisi yoktur.
İspat: Doğrusal destek vektör makinesi ile aynı yol.
5.4 Menteşe kaybı
Lemma 30. Formula 61 eşdeğerdir
Bunlar arasında, ilk terim, modelin eğitim verilerine ne kadar iyi uyduğunu ölçen ampirik risk olarak adlandırılır; ikinci terime, modelin karmaşıklığını ölçen ve düzenlileştirme terimi olarak da adlandırılan yapısal risk denir. Düzenleme terimi, hipotez alanını azaltır, böylece aşırı uyum riskini azaltır. , ampirik riski ve yapısal riski tartmak için kullanılan ayarlanabilir bir hiperparametredir.
6. Optimizasyon yöntemi
6.1 SMO
Destek vektör makinesi ikili tipini çözmek için doğrudan klasik ikinci dereceden programlama yazılım paketini kullanıyorsanız, çünkü
Depolama ek yükü
Çok sayıda eğitim örneği olduğunda, bu büyük bir depolama ve hesaplama ek yükü olacaktır. Sıra Küçültme (SMO), destek vektör makinelerinin özelliklerini kullanan verimli bir optimizasyon algoritmasıdır. SMO'nun temel fikri koordinatlardan aşağıya inmektir.
Tanım 7 (Koordinatların inişi) Döngüsel olarak farklı koordinat yönleri kullanarak, diğer öğeleri her seferinde sabitleyin ve amaç fonksiyonunun yerel minimumunu elde etmek için yalnızca bir koordinat yönü boyunca optimize edin, bkz. Algoritma 1.
Destek vektör makinesinin ikili tipinde, i dışındaki diğer değişkenler her sabitlendiğinde, i yönündeki uç değerin elde edildiğini umuyoruz. Ama kısıtlamalar nedeniyle
, Diğer değişkenler sabitlendiğinde, i de belirlenir. Bu şekilde, kısıtlamaları ihlal etmeden i'yi optimize edemeyiz. Bu nedenle SMO, her adımda optimizasyon için iki değişken i ve j'yi aynı anda seçer ve kısıtlamaların ihlal edilmemesini sağlamak için diğer parametreleri düzeltir.
Teorem 32 (SMO'nun her adımının optimizasyon hedefi). SMO'nun her adımının optimizasyon hedefi,
Sonuç 33. SMO'nun her adımının optimizasyon hedefi, i için tek değişkenli ikinci dereceden programlama problemine eşdeğer olabilir.
Kanıt çünkü
, j değişkenini ortadan kaldırmak için bunu SMO'nun her adımının optimizasyon hedefine yerleştirebiliriz. Şu anda, optimizasyon amacı fonksiyonu i için ikinci dereceden bir fonksiyondur ve kısıtlama bir L i H değer aralığıdır. Daha sonra amaç fonksiyonunun tepe noktası ile aralık arasındaki konumsal ilişkiye göre, i'nin optimal değeri elde edilebilir. Teoride, i ve j, optimizasyonun her adımı için keyfi olarak seçilebilir, ancak pratikte i genellikle KKT koşulunu en çok ihlal eden değişkendir ve j, karşılık gelen örnek ile karşılık gelen i örneği arasındaki en büyük aralığa sahip değişkendir. SMO algoritmasının yakınsama testi, KKT koşulunun karşılanıp karşılanmadığı kontrol edilerek elde edilebilir.
6.2 Pegasos
Destek vektör makinesini doğrudan orijinal problemde de optimize edebiliriz, özellikle doğrusal çekirdek fonksiyonlarını kullanırken, Pegasos gibi çok verimli optimizasyon algoritmalarımız var. Pegasos, temel doğrusal destek vektör makinesinde gradyan tabanlı yöntemler kullanır
Optimizasyon için Algoritma 2'ye bakın.
6.3 Yaklaşık Algoritma
Çekirdek matrisi nedeniyle, doğrusal olmayan çekirdek işlevi altında destek vektör makinesini kullanırken
Yani zaman karmaşıklığı,
Bu nedenle, birçok bilim insanı bazı hızlı yaklaşım algoritmalarını araştırmaya adanmıştır. Örneğin, CVM, yaklaşık minimum sınırlayıcı küre algoritmasına dayanır Nyström yöntemi, K'nin bir dizi sütunu örnekleyerek K'nin düşük-sıra yaklaşımını elde eder. Random Fourier özellikleri, düşük boyutlu uzaya rastgele bir eşleme oluşturur. Bu bölüm pek çok optimizasyon algoritmasını tanıtır.Aslında, bu algoritmaları çok iyi uygulayan birçok açık kaynak yazılım paketi vardır.Şu anda, en ünlüleri sırasıyla doğrusal ve doğrusal olmayan çekirdek işlevleri için uygun olan LibLinear ve LibSVM'dir.
7. Destek vektör makinelerinin diğer çeşitleri
ProbSVM.Log olasılık regresyonu, örneğin pozitif sınıfa ait olma olasılığını tahmin edebilirken, destek vektör makinesi yalnızca örneğin pozitif sınıfa mı yoksa negatif sınıfa mı ait olduğuna karar verebilir ve olasılığı alamaz. ProbSVM, parametreleri (w, b) almak için önce bir destek vektör makinesini eğitir. Tekrar sipariş ver
,niyet
Yeni eğitim verileri olarak, parametreleri almak için bir logaritmik olasılık regresyon modeli eğitin
. Bu nedenle, ProbSVM'nin varsayımsal işlevi
Logaritmik olasılık regresyon modeli, ölçek (1'e karşılık gelir) ve çeviri (0'a karşılık gelir) dahil olmak üzere eğitimli destek vektör makinesinin ince ayarı olarak düşünülebilir. Genellikle 1 > 0, 00.
Çok sınıflı destek vektör makineleri. Destek vektör makineleri, çok sınıflı problemlere de genişletilebilir.K sınıflandırma problemleri için, çok sınıflı destek vektör makineleri K set parametresine sahiptir.
, Ve doğru etikete ait sonuçlar için modelin diğer kategorilerin sonuçlarından 1 daha yüksek bir aralığa sahip olacağını umuyoruz ve resmileştirme aşağıdaki gibidir
Referanslar
B. E. Boser, I. M. Guyon ve V.N. Vapnik. Optimal marj sınıflandırıcılar için bir eğitim algoritması. Hesaplamalı Öğrenme Teorisi Yıllık Çalıştayı Bildiriler Kitabı, sayfa 144-152, 1992. 5
S. Boyd ve L. Vandenberghe. Dışbükey optimizasyon. Cambridge üniversite basımı, 2004. 4
C.-C. Chang ve C.-J. Lin. LIBSVM: Destek vektör makineleri için bir kitaplık.Akıllı Sistemler ve Teknolojide ACM İşlemleri, 2 (3): 27, 2011. 10
C. Cortes ve V. Vapnik Destek vektör ağları Makine Öğrenimi, 20 (3): 273-297, 1995. 1 N. Cristianini ve J. Shawe-Taylor. Vektör makinelerini ve diğer çekirdek tabanlı öğrenmeyi desteklemek için bir giriş yöntemler. Cambridge University Press, 2000. 6
H. Drucker, C. J. Burges, L. Kaufman, A. J. Smola ve V. Vapnik. Destek vektör regresyon makineleri. Nöral Bilgi İşleme Sistemlerinde Gelişmeler, sayfalar 155161, 1997. 10
R.-E. Fan, K.-W. Chang, C.-J. Hsieh, X.-R. Wang ve C.-J. Lin. LIBLINEAR: Büyük doğrusal sınıflandırma için bir kütüphane. Makine Öğrenimi Araştırmaları Dergisi , 9 (8): 18711874, 2008. 10
T. Hofmann, B. Schölkopf ve A. J. Smola. Makine öğreniminde çekirdek yöntemleri. İstatistik Yıllıkları, sayfa 11711220, 2008. 6
GR Lanckriet, N. Cristianini, P. Bartlett, LE Ghaoui ve MI Jordan. Yarı kesin programlama ile çekirdek matrisini öğrenme. Journal of Machine Learning Research, 5 (1): 2772, 2004. 6 J. Platt. Sıralı minimum optimizasyon: Destek vektör makinelerini eğitmek için hızlı bir algoritma Micriosoft Research, 1998. 9
J. Platt ve diğerleri. Destek vektör makineleri için olasılıklı çıktılar ve düzenlenmiş olasılık yöntemleriyle karşılaştırmalar. Büyük Marj Sınıflandırıcılarındaki Gelişmeler, 10 (3): 6174, 1999. 10
A. Rahimi ve B. Recht. Büyük ölçekli çekirdek makineleri için rastgele özellikler Sinirsel Bilgi İşlem Sistemlerindeki Gelişmelerde, sayfa 11771184, 2008. 10
B. Scholkopf ve A. J. Smola. Çekirdeklerle öğrenme: vektör makinelerini destekleyin, düzenlileştirme, optimizasyon ve ötesi MIT press, 2001. 6
S. Shalev-Shwartz, Y. Singer, N. Srebro ve A. Cotter Pegasos: SVM için Primal tahmini alt gradyan çözücü Matematiksel Programlama, 127 (1): 330, 2011. 9
I. W. Tsang, J. T. Kwok ve P.-M. Cheung. Çekirdek vektör makineleri: Çok büyük veri kümeleri üzerinde hızlı SVM eğitimi.Makine Öğrenimi Araştırmaları Dergisi, 6 (4): 363 392, 2005. 10
V. Vapnik. İstatistiksel öğrenme teorisinin doğası Springer Science and Business Media, 2013. 5
J. Weston, C. Watkins, et al. Çok sınıflı örüntü tanıma için vektör makinelerini destekleyin. Avrupa Yapay Sinir Ağları Sempozyumu Bildiriler Kitabı, cilt 99, sayfa 219224, 1999. 10
C. K. Williams ve M. Seeger. Çekirdek makinelerini hızlandırmak için nyström yöntemini kullanma Sinir Bilgi İşlem Sistemlerindeki Gelişmelerde, sayfalar 682688, 2001. 10
Zhou Zhihua. Machine Learning. Tsinghua University Press, 2016. 9
