Derin öğrenmeye ve yarı denetimli öğrenmeye dayalı web kabuğu algılama yöntemi
Wu Bin, Zhao Li
(Beijing Netsikeping Technology Co., Ltd., Pekin 100089)
Özet: Yarı denetimli öğrenme, öğrenme için hem etiketli örnekleri hem de etiketlenmemiş örnekleri kullanabilen önemli bir makine öğrenme yöntemidir. Web kabuğu tespiti alanında çok az sayıda etiketli örnek, esnek form vardır ve karıştırılması kolaydır.Özellik eşleştirmesine dayalı olarak doğru tespit yapmak zordur. Daha az sayıda etiketli örnek olması nedeniyle derin öğrenmeye ve yarı denetimli öğrenmeye dayalı bir web kabuğu algılama yöntemi önerilmiş, örneklerin metin vektörleri önce ki-kare testi ve derin öğrenme yöntemleriyle elde edilmiş, ardından eğitim için tek sınıflandırma ve artımlı öğrenme yöntemleri kullanılmıştır. Sınıflandırma performansını iyileştirin. Eğitim ve test için github genel veri setini kullanan deneysel sonuçlar, bu yöntemin yanlış pozitif oranını ve web kabuğu tespitinin yanlış pozitif oranını etkili bir şekilde iyileştirebileceğini doğrulamaktadır.
Çin Kütüphanesi Sınıflandırma Numarası: TP399
Belge tanımlama kodu: Bir
DOI: 10.19358 / j.issn.2096-5133.2018.08.005
Teklif biçimi: Wu Bin, Zhao Li. Derin öğrenme ve yarı denetimli öğrenmeye dayalı web kabuğu algılama yöntemi J. Bilgi Teknolojisi ve Ağ Güvenliği, 2018,37 (8): 19-22.
Derin öğrenmeye ve yarı denetimli öğrenmeye dayalı web kabuğu algılama yöntemi
Wu Bin, Zhao Li
(Beijing Onescorpion Technology Co., Ltd., Beijin 100089, Çin)
Öz: Yarı denetimli öğrenme, öğrenme için hem etiketli hem de etiketsiz örnekleri kullanabilen önemli bir makine öğrenme yöntemidir. Web kabuğu tespiti alanında, birkaç etiketli örnek, esnek formlar nedeniyle özellik eşleştirmesine dayalı olarak web kabuğunu doğru bir şekilde tespit etmek zordur. Bu makalede, derin öğrenmeye ve yarı denetimli öğrenmeye dayalı bir web kabuğu algılama yöntemi önerilmiştir, bu yöntem ilk olarak örneklerin belge vektörünü elde etmek için ki-kare testi ve derin öğrenme yöntemini kullanır ve ardından tek sınıflı sınıflandırma kullanır. ve sınıflandırma performansını iyileştirmek için artımlı öğrenme yöntemi. Github'daki açık kaynak veri seti eğitim ve test için kullanılır ve deneysel sonuçlar, bu yöntemin, web kabuğu tespitinin flase negatif ve yanlış pozitif oranını etkili bir şekilde iyileştirebileceğini göstermektedir.
Anahtar kelimeler: derin öğrenme; yarı denetimli öğrenme; web kabuğu algılama; tek sınıflı sınıflandırma; artımlı öğrenme
0 Önsöz
İnternetin gelişmesiyle birlikte, B / S mimarisine dayalı Web uygulamaları, hükümetler, bankalar, operatörler, e-ticaret ve büyük portallardaki uygulamalar dahil olmak üzere hızla popüler hale geldi. Farklı Web sistemlerindeki Ar-Ge personelinin düzeyindeki farklılıklar nedeniyle, tasarım sürecinde güvenlik sorunlarının dikkate alınmaması, sık sık web güvenliği sorunlarına neden olması kaçınılmazdır. Yaygın güvenlik tehditleri şunları içerir: SQL enjeksiyon güvenlik açıkları, dosya yükleme güvenlik açıkları, form gönderme güvenlik açıkları, siteler arası komut dosyası çalıştırma saldırıları vb. Bir saldırgan, bir web sistemi güvenlik açığı elde ettikten sonra, web sunucusunun işletim yetkisini elde etmek için bir web kabuğu yükleyecektir. Davetsiz misafir için webshell, genellikle ASP, PHP, JSP ve diğer web betikleri olan bir arka kapı programıdır. İzinsiz giriş uygulandıktan sonra, ilk olarak komut dosyasını web sunucusunun web dizininin altına yerleştirin ve ardından web sayfası [2] aracılığıyla web sunucusunu kontrol edin. Webshell işlemleri sistem güvenlik günlüğünde kayıt bırakmayacağından ve normal web dosyalarıyla karıştırıldığından, genel yöneticilerin izinsiz giriş izlerini görmesi zordur [3].
Web güvenlik tespiti alanında, örneklerin eksikliğinden dolayı, doğru bir denetimli öğrenme modeli oluşturmak zordur. Denetimsiz öğrenme, yüksek bir yanlış alarm oranına neden olur. Makine öğrenimi uyarılarını analiz etmek ve filtrelemek için çok sayıda güvenlik mühendisi gerekir ve analiz sonuçlarında yapay hatalar vardır. Web saldırı yöntemlerinin çeşitliliği nedeniyle, geleneksel tahmin yöntemlerinin karmaşık gerçek ortamlarla başa çıkması zordur. Bu makale, yarı denetimli öğrenmeyle birlikte yüksek eksiksizlikli özellikleri çıkarmak için derin öğrenmeyi kullanır, webshell yerel algılamasına makine öğrenimi uygular, github genel örnek verilerini kullanır [4-5], tek sınıflandırma ve artımlı öğrenme yöntemlerini kullanır ve modeli sürekli olarak optimize eder. Birçok deneyden sonra sonuçlar, bu makaledeki yöntemin yanlış alarm oranını etkili bir şekilde azaltabileceğini ve algılama oranını iyileştirebileceğini kanıtladı.
1 derin öğrenme
Makine öğrenimi alanında bilim adamları, "verilerin ve özelliklerin makine öğreniminin üst sınırını belirlediği ve modellerin ve algoritmaların yalnızca bu üst sınıra yaklaştığı" konusunda hemfikir. Bu makaledeki web kabuğu algılamanın test verileri, temsili olan github'da derlenen web kabuğu örneklerinden gelir. Özellik seçimi, ki-kare testi ve sinir ağının bir kombinasyonunu kullanır.İlk olarak, ki-kare testi en önemli K önemli özellikleri seçmek için kullanılır, test metni filtrelenir ve sinir ağı algoritması ayrıca her örneğin metin vektörünü elde etmek için kullanılır.
1.1 Ki-kare testi
Ki-kare testi yaygın bir özellik seçme yöntemidir. Temel fikir, popülasyon dağılımının, örnek verilere dayalı olarak beklenen dağılımdan önemli ölçüde farklı olup olmadığını anlamak veya iki kategorik değişkenin ilişkili olup olmadığını anlamaktır.
Genel olarak, sıfır hipotezi H0 olarak ayarlanabilir: gözlenen frekans ile beklenen frekans arasında bir fark yoktur veya iki değişken birbirinden bağımsızdır. Pratik uygulamalarda, önce H0'ın kurulduğunu varsayın ve 2'nin değerini hesaplayın. 2 dağılımına göre, 2 istatistiği ve serbestlik derecesi, H0 kurulduğunda mevcut istatistiği elde etme olasılığı P belirlenebilir. P küçükse, gözlemlenen değerin teorik değerden saptığını ve sıfır hipotezinin reddedilmesi gerektiğini gösterir. Aksi takdirde, boş hipotez reddedilemez.
2'nin hesaplama formülü:
Bunlar arasında, A gerçek değerdir ve T teorik değerdir.
Bu makaledeki github örneğinde ki-kare testi, "eşittir", "bir", "eşittir" gibi web kabuğu saldırılarıyla daha az alakalı olan kelimeleri ortadan kaldırmak için kullanılır. "Kabuk", "paket" gibi ilk 500 karakteristik kelimeyi seçin.
1.2 Sinir ağı
Derin öğrenme, makine öğreniminin önemli bir dalıdır. Şu anda, derin öğrenme; görüntülerde, konuşmada ve doğal dilde büyük atılımlar yapmıştır. Metin analizi alanında, word2vec [6] ve doc2vec, derin öğrenmenin önemli araştırma sonuçlarıdır. Doc2vec, word2vec'e benzer, ancak word2vec, kelime tabanlı anlam analizi temelinde bağlam tabanlı anlambilimsel analiz yetenekleri ekler.
doc2vec, kelimeleri gerçek değerli vektörler olarak temsil eden verimli bir algoritma modelidir.İki katmanlı bir sinir ağı, yani giriş katmanı gizli katman çıktı katmanı oluşturmak için derin öğrenme fikrini kullanır. Eğitim yoluyla, metin içeriğinin işlenmesi basitleştirilir K-boyutlu vektör uzayında vektör işlemleri. Eğitim ve tahmin süreci Şekil 1'de gösterilmektedir.
Şekil 1 Belge vektörü öğrenme çerçeve diyagramı
Bu makaledeki test örneklerinde ki-kare testi tarandıktan sonra örneklerin metin vektörlerini eğitmek için doc2vec modeli kullanılmıştır: [-2.08397750 × 10-2, -4.90234122 × 10-2, -2.03357283 × 10 -2, -7.65093416 × 10-2, ...].
2 Yarı denetimli öğrenme
Geleneksel makine öğrenimi genellikle denetimli öğrenme ve denetimsiz öğrenme olarak ikiye ayrılır. Denetimli öğrenme, etiketli örnekleri eğitimin dışındaki etiketlenmemiş örnekleri olabildiğince doğru bir şekilde tahmin etmek için eğitmektir; denetimsiz öğrenme, etiketlenmemiş örnekler arasındaki dahili özellikleri keşfetmek için etiketlenmemiş örnekleri eğitmektir. Yarı denetimli öğrenme, denetimli öğrenme ile denetimsiz öğrenme arasındaki bir makine öğrenimi yöntemidir. Makine öğrenimi modellerini eğitmek için hem etiketli hem de etiketsiz örnekler kullanır.
Pratik uygulamalarda, etiketlenmiş web kabuğu örneklerinin sayısı son derece azdır ve manuel etiketleme pahalıdır.Örneklerde çok sayıda işaretsiz örnek bulunurken, az sayıda etiketli web kabuğu örneği son derece değerlidir. Bu makalenin web kabuğu algılama modelinde, normal örneklerin sayısı web kabuğu örneklerinin sayısından kesinlikle daha fazla olduğundan, önce tüm etiketlenmemiş örnekleri normal örnekler olarak işleyin ve tek sınıf SVDD modelini eğitmek için denetimsiz yöntemler kullanın; ardından değiştirmek için etiketli örnekleri kullanın Tek sınıflı SVDD modeli, artımlı öğrenme amacına ulaşır.
Bu makale, yarı denetimli öğrenmeyi kullanarak, önceki tek sınıflandırma SVDD model bilgilerini ve modeli güncellemek için yeni etiketli örnekleri kullanarak mevcut az sayıda etiketli web kabuğunu ve çok sayıda etiketlenmemiş örnek veriyi tam olarak kullanır.Bir yandan, önceden öğrenilen bilgileri devralabilir ve Tüm öğrenme birikimlidir; Öte yandan, çevrimiçi öğrenme gerçekleştirilebilir ve web kabuğu algılama modeli sürekli güncellenebilir.
2.1 Tek kategorili SVDD modeli
Destek Vektör Alan Tanımlaması (SVDD), TAX DMJ ve DUIN R PW [7] tarafından önerilen ve geliştirilen tek değerli bir sınıflandırma algoritmasıdır. Standart SVDD modeli, denetimsiz öğrenmeye aittir ve tanımlanacak nesneyi şu şekilde alır: Bir bütün olarak, kapalı ve kompakt bir hiper küre oluşturulur, böylece açıklanan nesnenin tamamı veya çoğu bu küre içine alınır.
Şekil 2 Tek sınıf SVDD model diyagramı
Eğitim veri setinin SVDD olduğunu varsayarsak, optimizasyon hedefi T'de minimum yarıçap R'yi bulmaktır. Optimal hiper kürenin çözümü, aşağıdaki optimizasyon problemine dönüştürülebilir:
Bunlar arasında, R, topun bulunacak minimum yarıçapı, C ceza katsayısı, i ceza terimi ve a hiper kürenin merkezidir.
Eğitimden sonra, yeni Z veri noktasının bu kategoriye ait olup olmadığını belirlemek gerekir, yani:
(z-bir) T (z-bir) R2 (3)
Şimdiye kadar, tek sınıf SVDD modeli etiketlenmemiş örneklerle eğitildi ve model, test verilerini doğrudan değerlendirmek için kullanılabilir. Bununla birlikte, etiketlenmemiş örneklerde az sayıda webshell saldırı örneği vardır ve tek sınıflı SVDD modelinin doğrudan kullanımında bazı hatalar vardır. Daha sonra, denetimli öğrenme yoluyla SVDD modelini aşamalı olarak eğitmek için etiketli örnekleri kullanın ve eğitilmiş tek sınıf SVDD modelini değiştirin.
2.2 Artımlı öğrenme SVDD modeli
Web kabuğu saldırı yöntemleri değiştirilebilir, komut dosyası güncelleme hızı hızlıdır ve saldırı özellikleri statik değildir. Tek sınıflı bir SVDD modelini eğitmek için mevcut web kabuğu örneklerini kullanmak, sürekli güncellenen web kabuğu saldırı yöntemlerinin mevcut durumuna uyum sağlamak zordur. Artımlı öğrenme, yeni örneklerden sürekli olarak yeni bilgiler öğrenebilen ve önceden öğrenilen bilgilerin çoğunu kaydedebilen bir öğrenme sistemine atıfta bulunan çevrimiçi bir öğrenme yöntemidir. Kesin olmak gerekirse, artımlı öğrenme bir model değil, modeli eğitmenin ve güncellemenin bir yoludur.
Bu yazıda önerilen artımlı öğrenme SVDD modeli, tek kategorili SVDD modeline dayanmaktadır ve artımlı öğrenme amacına ulaşmak için tek kategorili SVDD modelini güncellemek için etiketli örnekler kullanır. Bu süreçte, önceden işlenmiş numunelerin çoğunun tekrar tekrar işlenmesine gerek yoktur.Sadece destek vektörleri olarak kullanılan numuneler seçilir, yeni etiketli numunelerle birleştirilir ve SVDD modeli yeniden öğrenilir ve güncellenir. Öğrenme tamamlandıktan sonra, eğitilen numuneler atılır . Öğrenme sistemi, eğitim örneğinin tamamı hakkında hiçbir ön bilgiye sahip değildir.
Derin öğrenmeye ve yarı denetimli öğrenmeye dayalı 3 Web kabuğu algılama algoritması
3.1 web kabuğu algılama algoritması akışı
Derin öğrenmeye ve yarı denetimli öğrenmeye dayalı web kabuğu algılama algoritması temel olarak ki-kare testi, derin öğrenme, yarı denetimli öğrenme, tek sınıflı SVDD, artımlı öğrenme SVDD vb. İçerir. Algoritma yapısı Şekil 3'te gösterilmektedir.
3.2 Web kabuğu algılama algoritmasının açıklaması
Bu makale, derin öğrenme ve yarı denetimli öğrenmeyle ilgili algoritmaları, etiketli örnek kümesi {(X1, Y1), (X2, Y2), ..., (Xn, Yn)} için kullanır; burada Yi = karşılık gelen örnek Xi =, Ve web kabuğu modelleme analizi için etiketlenmemiş örnekler {Z1, Z2, Z3, ..., Zm}. Web kabuğu algılama algoritmasının spesifik süreci aşağıdaki gibidir:
(1) Etiketli örnek üzerinde kelime segmentasyonu gerçekleştirin ve ardından her özellik kelimesi ile örnek etiket arasındaki korelasyonu analiz etmek için ki-kare testini kullanın ve tarama özelliği kelimeleri olarak ilk K önemli özellik kelimesini seçin;
(2) Etiketsiz numuneler için, etiketlenmemiş numune özelliklerini elde etmek için (1) 'de elde edilen tarama özelliği kelimelerini kullanın;
Şekil 3 Web kabuğu algılama algoritmasının akış şeması
(3) (2) 'de elde edilen etiketlenmemiş örnek özellikler için, etiketlenmemiş her örneğin metin vektörünü ve doc2vec'ini elde etmek için sinir ağı eğitimini kullanın;
(4) (3) 'te elde edilen metin vektörünü kullanarak, hiper kürenin yarıçapını en aza indirmek için tek sınıflı bir SVDD modelini eğitmek için denetimsiz bir öğrenme yöntemi kullanın ve en büyük durum etiketlenmemiş örnekleri içerir;
(5) Yeni etiketli örnekler için, artımlı öğrenme SVDD modelini eğitmek, tek sınıf SVDD modelini değiştirmek ve mevcut modelin tanıma yeteneğini geliştirmek için çevrimiçi öğrenmeyi kullanın.
4 Deney ve analiz
Bu makalede derin öğrenme ve yarı denetimli öğrenmeye dayalı web kabuğu algoritmasının algılama performansını doğrulamak için deneyler için github'daki veriler kullanılmıştır.Veri örneklerinin dağılımı aşağıdaki Tablo 1'de gösterilmiştir.
Tablo 1 Veri kategorisi dağılım tablosu
4.1 Veri ön işleme
Orijinal webshell eğitim örnekleri, doğrudan github'a indirilen webshell komut dosyalarıdır.Örnek eğitimden önce, verilerin ön işlemesi gereklidir. Yüksek kaliteli bir özellik seti elde etmek için, tüm veri setlerinden etiketli örnekleri ki-kare eğitim örnekleri olarak seçin Bunlar arasından artımlı eğitim seti W1'deki 50 örnek, artımlı eğitim seti W2'deki 50 örnek ve normal test seti W3 seçildi. Ortada 50 örnek, webshell örnek seti W4'te 50 örnek, 200 etiketli ki-kare eğitim örneğinde birleştirildi.
Ki-kare testinden sonra örneklemin önemli özellikleri olarak ilk 500 özellik seçilmiş ve ilk 7 özelliğin sonuçları Tablo 2'de gösterilmiştir.
Tablo 2 İlk 7 ki-kare testinin özellikleri
Ki-kare testi ile seçilen özellikler, etiketli örnekle oldukça ilişkili olan özellik kelimeleridir. Örnek karmaşıklığını basitleştirmek için, ilk eğitim seti W0'ı filtrelemek için ki-kare testi ile elde edilen ilk 500 özellik değerinin daha fazla kullanılması gerekir. Ardından, eğitim örneğinin metin vektörünü, yani doc2vec'i elde etmek üzere filtrelenmiş örnekleri eğitmek için sinir ağını kullanın. Son metin vektörünün bir örneği aşağıdaki gibidir
X1 = [- 2.08397750 × 10-2, -4.90234122 × 10-2, -2.03357283 × 10-2, -7.65093416 × 10-2,]
X2 = [0.340425997972, -0.0160844456404,
-0.757030189037,0.497053474188,]
X3 = 0,256792724133,0.113478787243,
-0.708586812019,0.289009481668,]
4.2 Deneysel sonuçlar ve analiz
Az sayıda etiketli örnek ve çok sayıda etiketlenmemiş örnekle, yarı denetimli öğrenme, eğitim örneklerini hesaba katabilen ve aynı zamanda eğitim sonuçlarını iyileştirebilen bir öğrenme yöntemidir. Denetimsiz öğrenme aşamasında, bu makale tek sınıflı SVDD model M0'ı eğitmek için ilk eğitim seti W0'dan elde edilen metin vektörünü kullanır. Denetimli öğrenme aşamasında, ilk olarak, tek sınıflı SVDD modeli M0 temelinde, artımlı SVDD model M1'i eğitmek için artımlı eğitim seti W1'i kullanın; daha sonra artımlı SVDD modeli M1 temelinde, artımlı eğitim için artımlı eğitim seti W2'yi kullanın. SVDD modeli M2. Her model için, normal test seti W3 ve webshell örnek seti W4'ün karışık bir testi kullanılır. Bu makaledeki web kabuğu algılama yöntemi için, model sınıflandırma etkisini doğrulamak için yanlış pozitif oranı ve yanlış pozitif oranı kullanılmıştır Test sonuçları Tablo 3'te gösterilmiştir.
Tablo 3 Test sonucu tablosu
Deneysel sonuçlardan, aynı W3 + W4 test örneği için, artımlı SVDD ile eğitilen modelin, hem yanlış alarm oranı hem de yanlış alarm oranında tek kategorili SVDD modelinden daha iyi olduğu ve artımlı örnek düzeltmesinin daha fazla kez kullanıldığı görülebilir. , Modelin etkisi o kadar iyi olur. Web kabuğu tespitinde derin öğrenme ve yarı denetimli öğrenme yöntemlerinin üstünlüğüne dayalı olarak, az sayıda etiketli örneği tam olarak kullandığını, artan SVDD modellerini eğitmek için çevrimiçi öğrenme yöntemlerini kullandığını, nihai modeli sürekli olarak optimize ettiğini ve yanlış negatif oranı ve yanlış pozitif algılama oranını azalttığını göstermektedir.
5. Sonuç
Birçok deneysel sonucun ardından, bu yazıda önerilen derin öğrenme ve yarı denetimli öğrenmeye dayalı web kabuğu algılama yönteminin, web kabuğu tespitinde sistemin performansını bir ölçüde iyileştirdiği, yanlış alarm oranını ve yanlış alarm oranını etkin bir şekilde düşürdüğü ve artırdığı görülmektedir. Öğrenme çerçevesi altında, sistem, yeni eklenen etiketli örneklerin sürekli öğrenilmesiyle sürekli olarak optimize edilebilir. Derin öğrenme alanında, bu makale örnek özellikler elde etmek için metin vektörlerini kullanır ve sonraki araştırmanın odak noktası, daha değerli örnek özelliklerin nasıl elde edileceğidir. Yarı denetimli öğrenme alanında, bu makale tek sınıf SVDD modelini ve artımlı SVDD modelini kullanır ve sonraki araştırmanın odak noktası, modelin yanlış alarm oranını ve yanlış alarm oranını artırmak için nasıl optimize edileceğidir.
Referanslar
[1] QUINLAN J R.C4.5: makine öğrenimi için programlar [M] San Francisco: Morgan Kaufmann, 1993.
2 Hu Jiankang, Xu Zhen, Ma Duohe, ve diğerleri.Karar ağacına dayalı Webshell algılama yöntemi üzerine araştırma J. Network New Media Technology. 2012, 1 (6): 15-19.
[3] Long Xiao, Fang Yong, Huang Cheng ve diğerleri.Webshell araştırma incelemesi: tespit ve kaçış arasındaki oyun J Cy. Siber Uzay Güvenliği, 2018, 9 (1): 62-68.
[4] https://github.com/tanjiti/webshellSample
[5] https://github.com/tennc/webshell
6 MIKOLOV T, LE Q V, SUTSKEVER I. Makine çevirisi için diller arasındaki benzerliklerden yararlanma J arXiv, arXiv1309.4168,2013.
7 TAX D M J, DUIN R P W. Destek vektör veri açıklaması J. Desen Tanıma Mektupları, 1999,20 (11-13): 1191-1199.
(Geliş Tarihi: 2018-07-10)
Yazar hakkında:
Wu Bin (1991-), muhabir yazar, erkek, usta, büyük veri analisti, ana araştırma yönü: veri madenciliği, makine öğrenimi. E-posta: wubin@onescorpion.com.
Zhao Li (1990-), kadın, usta, büyük veri analisti, ana araştırma yönü: veri madenciliği, makine öğrenimi.
