LFOA algoritmasına dayalı alaka vektör makinesinin çekirdek parametrelerinin optimizasyonu
Lu Yan, Fang Liqing, Zhao Yulong, Zhang Qiantu
(Topçu Mühendisliği Bölümü, Mühimmat Mühendisliği Koleji, Shijiazhuang, Hebei 050003)
Korelasyon vektör makinesinin (RVM) çekirdek fonksiyon parametrelerinin performansı üzerinde büyük etkisi vardır.Korelasyon vektör makinesinin sınıflandırma yeteneğini geliştirmek için Gemini Meyve Sineği Algoritmasının (LFOA) Levy uçuş özelliğine dayalı bir RVM çekirdek parametresi optimizasyon yöntemi önerilmiştir. . Uygunluk işlevine bakıldığında, meyve sineği popülasyonu, birden fazla Levy uçuşu ve yinelemesinden sonra belirtilen aralıktaki nükleer parametreler için küresel bir arama gerçekleştirir. 4 set UCI standart veri setinin MATLAB simülasyon deney testi sonuçları, önerilen yöntemin etkili ve güvenilir olduğunu, RVM'nin sınıflandırma yeteneğini geliştirebileceğini ve diğer algoritmalardan daha yüksek optimizasyon doğruluğu ve kararlılığına sahip olduğunu göstermektedir.
Alaka vektör makinesi; parametre optimizasyonu; meyve sineği optimizasyon algoritması; Levy uçuşu
Çin Kütüphanesi Sınıflandırma Numarası: TN02
Belge tanımlama kodu: Bir
DOI: 10.16157 / j.issn.0258-7998.2017.02.030
Çince alıntı biçimi: Lu Yan, Fang Liqing, Zhao Yulong ve diğerleri.LFOA algoritmasına dayalı alaka düzeyi vektör makinelerinin çekirdek parametre optimizasyonu.Elektronik Teknoloji Uygulaması, 2017, 43 (2): 124-127.
İngilizce alıntı biçimi: Lv Yan, Fang Liqing, Zhao Yulong ve diğerleri.LFOA'ya dayalı alaka vektör makinesinin parametreler optimizasyon araştırması.Elektronik Tekniğin Uygulanması, 2017, 43 (2): 124-127.
0 Önsöz
Uygunluk Vektör Makinesi (RVM), bir eğitim modeli oluşturmak için seyrek Bayes istatistiklerine dayanan Destek Vektör Makinesi'ne (SVM) dayalı bir öğrenme yöntemidir. SVM ile karşılaştırıldığında, RVM benzer işlev biçimine sahiptir, ancak RVM'nin çekirdek işlevinin Mercer koşulunu karşılaması gerekmez ve olasılıklı çıktı sağlayabilir, bu da onu daha avantajlı hale getirir. Son yıllarda, RVM regresyon tahmini, örüntü tanıma ve mühendislikte yaygın olarak kullanılmaktadır, ancak yine de optimum çekirdek parametrelerinin belirlenmesinin kolay olmadığı bir problem vardır.Bu nedenle, bazı bilim adamları, RVM çekirdek parametrelerinin optimizasyonuna akıllı optimizasyon algoritmaları uygulamakta ve elde etmiştir. Belli bir etki.
Meyve Sineği Optimizasyon Algoritması (FOA), meyve sineklerinin yiyecek arama davranışına dayanan PAN W T tarafından önerilen akıllı bir optimizasyon algoritmasıdır. Algoritma, çeşitli alanlarda yaygın olarak kullanılmasına rağmen, gerçek uygulama sürecinde yerel bir optimal çözüme düşme durumu da vardır.Linatür, FOA'yı etkin bir şekilde çözen Levy uçuş özelliklerine sahip bir Gemini Fruit Fly Optimization Algoritması (LFOA) önermektedir. Yerel optimallik problemine düşmek, algoritmanın performansını artırır. RVM sınıflandırıcısının performansını iyileştirmek için, bu makale, LFOA algoritmasına dayalı RVM çekirdek işlevi için bir parametre optimizasyon yöntemi önermektedir.UCI standart veri tabanı üzerindeki simülasyon deneyi, yöntemin etkililiğini ve güvenilirliğini doğrular.
1 Alaka düzeyi vektör makinesi
1.1 Model açıklaması
Her bir örneğin bağımsız olarak dağıtıldığını ve p (t | x) 'in Bernoulli dağılımını benimsediğini varsayarsak, tahmin edilen sonuç t'nin arka olasılığının olasılık fonksiyonu:
Olasılık tahmin formülüne göre, yeni girdi vektörü x Yan'a karşılık gelen hedef vektörü t? Yan tarafından elde edilen koşullu olasılık:
Seyrek Bayes teorisine göre, w ağırlık vektörüne bağımsız bir sıfır ortalama Gauss ön dağılımı atanır:
Birçok yinelemeden sonra, ağırlıkların çoğunun çok küçük hale geldiği ve ağırlıkların yalnızca birkaçının sıfır olmadığı görülebilir.Formül (1) 'e göre, yalnızca sıfır olmayan ağırlığa karşılık gelen eğitim vektörü, korelasyon adı verilen hedef değer üzerinde bir etkiye sahiptir. Vektörler (RV'ler), RVM modeli şu şekilde yeniden ifade edilebilir:
1.2 RVM çoklu sınıflandırma
Son olarak, tüm sınıflandırıcıların olasılık çıktıları formül (8) ile toplanır ve "maksimum kazanma olasılığı" stratejisi, birikmiş en büyük arka olasılığa sahip kategori olarak xtest'i belirlemek için benimsenir.
1.3 Çekirdek parametrelerinin RVM sınıflandırma performansı üzerindeki etkisi
Korelasyon vektör makinesinin çekirdek işlevi, örneklerin doğrusal ayrılabilirliğini gerçekleştirmek için düşük boyutlu veri örneklerini yüksek boyutlu özellik uzayına eşleyebilir, bu nedenle parametrelerinin ayarlanması RVM'nin sınıflandırma performansı üzerinde son derece önemli bir etkiye sahiptir. Araştırma, güçlü doğrusal olmayan haritalama yeteneği ile daha yaygın olarak kullanılan radyal temel çekirdek fonksiyonunu (RBF Kernel) örnek olarak alır, deneyler yapmak için UCI veritabanındaki Sonar sınıflandırma verilerini (toplamda 208 örnek) kullanır ve Sonar veri setindeki tüm verileri eğitim örnekleri olarak kullanır RVM sınıflandırma modelini eğitin ve aynı zamanda tüm verileri test örnekleri olarak öğrenme yeteneği testi için eğitimli RVM modeline girin. Çekirdek parametre değeri ile korelasyon vektörü (RV'ler) ve eğitim süresi arasındaki ilişki Tablo 1'de gösterilmektedir.
Tablo 1'e göre, çekirdek fonksiyon parametreleri kademeli olarak arttıkça, korelasyon vektörlerinin sayısı kademeli bir düşüş eğilimi göstermektedir.Farklı çekirdek parametrelerine karşılık gelen eğitim süresi farklıdır.Kernel fonksiyon parametrelerinin RVM performansı üzerindeki etkisini daha fazla göstermek için, Şekil 1 Sınıflandırma doğruluk oranı nükleer parametrelerle değişir.
Şekil 1 ve Tablo 1'den, çekirdek işlevi parametrelerinin değiştirilmesinin aslında eşleme işlevi ilişkisini değiştirdiği ve ardından yüksek boyutlu özellik uzayıyla eşlenen veri örneğinin ayırt edilebilirlik derecesini değiştirdiği, böylece çekirdek parametrelerinin seçiminin RVM performansı üzerinde daha büyük bir etkiye sahip olduğu görülebilir. Aynı zamanda, RVM'nin öğrenme yeteneği ve genelleme yeteneği yalnızca uygun çekirdek parametreleri seçilerek geliştirilebilir.
2 LFOA-RVM çekirdek parametresi optimizasyon yöntemi
2.1 LFOA algoritması
LFOA algoritması, Levy uçuş özelliklerini meyve sineği algoritması ile birleştirir ve meyve sineği popülasyonunun yerel optimumdan kolayca atlamasını sağlamak için Levy uçuşunun yüksek rastlantısallığını kullanır.LFOA algoritmasının spesifik adımları literatürde bulunabilir.
LFOA algoritması, meyve sineği bireyiyle optimizasyon sürecindeki çağdaş en iyi birey ve en kötü birey arasındaki Öklid mesafelerini hesaplar Distbest ve Distworst. < Distworst, tek tek meyve sineklerini daha iyi alt gruplara ayırır, aksi takdirde onları zayıf alt gruplara ayırır.İterasyon işlemi sırasında, iki alt gruptaki meyve sineklerinin sayısı dinamik olarak değişir. Daha iyi olan alt grup, denklem (9) 'a göre en iyi birey etrafında Levy uçuşunu gerçekleştirir:
2.2 Nükleer parametrelerin LFOA-RVM optimizasyon süreci
RVM çekirdek parametrelerini LFOA algoritmasına göre optimize etme süreci Şekil 2'de gösterilmektedir. Spesifik adımlar aşağıdaki gibidir:
(1) Veri seti eğitim örnekleri ve test örneklerine bölünmüştür Eğitim örnekleri, RVM çekirdek parametre seçimi ve RVM sınıflandırma modellerinin oluşturulması için kullanılır ve test örnekleri RVM sınıflandırıcısının performansını test etmek için kullanılır;
(2) LFOA algoritması popülasyon boyutunu, yinelemelerin sayısını, Drosophila'nın bireysel başlangıç pozisyonunu ve arama mesafesini ve Levy uçuş adım uzunluğunu başlatın;
(3) Eğitim örnekleri için 5 kat çapraz doğrulama kullanma, çapraz doğrulamanın ortalama doğruluğunu bir uygunluk işlevi olarak alma ve maksimum doğruluğa karşılık gelen çekirdek parametresi değerini RVM sınıflandırma modeli parametresinin ayar değeri olarak seçme;
(4) Tek tek meyve sineklerinin uygunluğuna göre, meyve sineklerini en iyi birey ile en kötü birey arasındaki Öklid mesafesine göre sınıflandırın ve pozisyonunu denklem (9) ve (10) 'a göre güncelleyin;
(5) Yeni konumdaki meyve sineklerinin uygunluğunu hesaplayın ve küresel bilgileri kurallara göre güncelleyin;
(6) Adım (4) ve (5) 'i tekrarlayın ve son olarak en uygun çekirdek parametresi değerini verin.
3 Simülasyon deneyi
3.1 Veri kaynağı ve parametre ayarları
LFOA-RVM'nin etkinliğini doğrulamak için, simülasyon deneyleri için UCI makine öğrenimi standart veri tabanından dört veri seti seçildi. Algoritma MATLAB R2011b kullanılarak uygulanmıştır, RVM araç kutusu SB2_Release_200'dür ve deneyde kullanılan UCI veri seti Tablo 2'de gösterilmiştir.
Karşılaştırmayı kolaylaştırmak için, LFOA, FOA, genetik algoritma (GA) ve partikül sürüsü optimizasyonu (PSO), RVM'nin temel parametrelerini aynı anda optimize etmek için kullanılır. Tüm algoritmaların popülasyon boyutu 20'ye ayarlanmıştır, maksimum yineleme sayısı 100'dür ve g'nin arama aralığı 0 ~ 500'e ayarlanmıştır; LFOA algoritmasında, adım uzunluğu 1.5'e ayarlanmıştır; GA algoritmasında, geçiş olasılığı pc = 0.7 ve mutasyon olasılığı pm = 0.1; PSO algoritmasında, yerel arama parametresi c1 = 1.5 ve global arama parametresi c2 = 1.7.
3.2 Sonuç analizi
Bölüm 2.2'de açıklanan optimizasyon sürecine göre LFOA-RVM performansını test etmek için Tablo 2'deki 4 veri setini kullanın ve optimizasyon yineleme işlemi sırasında uygunluk eğrisi Şekil 3'te gösterilmektedir.
Şekil 3'e göre, FOA, GA ve PSO algoritmalarının tümü, farklı derecelerde yerel optimal çözüme düşmektedir ve optimal çözümden atlayamazlar.Yukarıdaki üç algoritma ile karşılaştırıldığında, LFOA, Levy'nin uçuş yüksekliğinin rastlantısallığından dolayı daha fazladır. Yerel optimumun dışına çıkmak kolaydır ve uyarlanabilirlik daha yüksektir ve optimizasyon hızı daha hızlıdır.
4 set test numunesinin test sonuçları Tablo 3-6'da gösterilmektedir. Tablo 3 ~ 6'da, ortalama doğruluk oranı, veri seti kullanılarak 5 deneyden sonra elde edilen ortalama test doğruluk oranıdır; en yüksek doğruluk oranı, deney sırasında elde edilen en yüksek test doğruluk oranıdır; optimal çekirdek parametresi, en yüksek test doğruluk oranıdır. RVM sınıflandırma modelinin çekirdek işlevi parametresinin değeri.
Test sonuçlarına göre, LFOA-RVM, iki sınıflandırma problemini mi yoksa çoklu sınıflandırma problemini mi çözdüğüne bakılmaksızın yüksek test doğruluğuna ulaşabilir ve 4 set UCI veri setinin optimal çekirdek parametre değerleri, LFOA algoritmasını gösteren geniş bir aralığa sahiptir. RVM çekirdek parametrelerini optimize etmek için LFOA algoritması kullanmanın etkinliğini doğrulayan güçlü global arama yeteneğine sahiptir. Her algoritmanın optimizasyon kararlılığını karşılaştırmak için, Tablo 7'de gösterildiği gibi, çoklu deneylerin test sonuçlarının varyansı hesaplanır.
Tablo 7'den İyonosfer, Şarap ve Segment veri setlerinin birçok kez test edildiği ve LFOA algoritması ile elde edilen varyansın diğer algoritmalardan daha küçük olduğu görülmektedir.Araç veri setindeki LFOA test sonuçlarının varyansı FOA'dan biraz daha büyük olsa da diğer iki algoritmadan önemli ölçüde daha küçüktür. LFOA-RVM test sonuçları, yöntemin yüksek optimizasyon kararlılığına sahip olduğunu doğrulayan küçük bir dalgalanma derecesine sahiptir; LFOA, FOA algoritmasının avantajlarını yüksek yerel optimizasyon doğruluğu ile birleştirir ve Levy, yerel optimum değerden kolayca uçarak genel Arama yeteneği, bu nedenle FOA, GA ve PSO 3 algoritmaları ile karşılaştırıldığında, LFOA algoritması daha yüksek arama doğruluğuna ve daha kararlı performansa sahiptir. Yukarıdaki analize dayanarak, LFOA algoritmasının, RVM'nin optimal çekirdek parametrelerini daha doğru bir şekilde arayabildiği ve daha yüksek bir test doğruluğuna ulaşabildiği görülebilir.Diğer algoritmalarla karşılaştırıldığında, belirli avantajları vardır.
4. Sonuç
RVM çekirdek işlevi parametrelerinin seçimi, sınıflandırma performansı üzerinde önemli bir etkiye sahiptir. Bu soruna yanıt olarak, bu makale RVM çekirdek parametrelerini optimize etmek için LFOA algoritmasını kullanır.Birkaç tipik UCI veri setini test ettikten sonra, algoritmanın RVM'nin optimal çekirdek parametrelerini daha doğru bir şekilde arayabileceği ve güçlü yerel Optimizasyon doğruluğu ve global arama yeteneği, RVM sınıflandırma modelinin performansını etkin bir şekilde iyileştirir. Geleneksel meyve sineği algoritması, genetik algoritma ve partikül sürüsü algoritması ile karşılaştırıldığında, daha yüksek optimizasyon hassasiyetine ve kararlılığına sahiptir ve optimum RVM çekirdek işlevi parametrelerini seçmek için yeni bir yöntem ve yeni bir yol sağlar.
Referanslar
TIPPING M E. Seyrek Bayesçi öğrenme ve alaka vektör makinesi.Makine Öğrenimi Araştırmaları Dergisi, 2001, 1 (3): 211-244.
Fan Geng, Ma Dengwu, Zhang Jijun, vb. Karar ağacı ve korelasyon vektör makinesine dayalı akıllı hata teşhis yöntemi Bilgisayar Mühendisliği ve Uygulamaları, 2013, 49 (14): 267-270.
Zhang Xufeng, Yang Fengrui, Zheng Jianhong.RVM'ye Dayalı Yeniden Kullanılabilir SoC Test Platformunun Tasarımı Elektronik Teknoloji Uygulaması, 2006, 32 (5): 82-84.
Chen Jingzhu, Ağ Trafik Tahmini için Guguk Kuşu Optimizasyonu Hibrit Çekirdek Uygunluk Vektör Makinesi Bilgisayar ve Modernizasyon, 2015 (5): 94-97.
PAN W T. Yeni bir meyve sineği optimizasyon algoritması: Mali sıkıntı modelini örnek olarak ele alırsak Knowledge-Based Systems, 2012, 26 (Tam): 69-74.
Liu Cuiling, Zhang Lulu, Wang Jinqi ve diğerleri FOA-GRNN petrol kuyusu ölçümüne dayalı olarak ham petrolün su kesintisinin tahmini. Bilgisayar simülasyonu, 2012, 29 (11): 243-246.
Zhang Qiantu, Fang Liqing, Zhao Yulong. Levy uçuş özellikli Gemini meyve sineği optimizasyon algoritması Bilgisayar Uygulamaları, 2015, 35 (5): 1348-1352.
Ren Xueping, Pang Zhen, Xin Xiangzhi ve diğerleri.Dalgacık paketi optimal entropisine ve RVM'ye dayalı rulmanlı yatak arıza teşhis yöntemi. Rulmanlar, 2014 (11): 48-53.
Zhou Yong, He Chuangxin Bağımsız özellik seçimi ve korelasyon vektör makinesine dayalı değişken yük taşıma arıza teşhisi Titreşim ve Şok, 2012, 31 (3): 157-161.
Yao Quanzhu, Cai Jie. LS-SVM özellik seçimi ve PSO'ya dayalı parametre optimizasyon algoritması Bilgisayar Mühendisliği ve Uygulamaları, 2010, 46 (1): 134-136.
Yao Chang, Chen Houjin, YANG Y Y, vd.Uyarlanabilir çekirdek öğrenme korelasyon vektör makinesine dayalı mamografi görüntüsündeki mikrokalsifikasyon noktalarının küme işleme yöntemi üzerine araştırma. Acta Phys. Sin., 2013, 62 (8): 1-11.
TIPPING M E. Seyrek Bayes modelleme algoritmasının verimli bir MATLAB uygulaması. (2009-03-12). Http://www.Relevancevector.com.
-
- Gemi çelik levhaları için yüksek güçlü lazer kaynak parametrelerinin optimizasyonu üzerine araştırma
