Yapay zekaya dayalı ağ alarmı korelasyon analizi ve işlemesinin uygulanması
1 Genel Bakış
Son yıllarda iletişim ağlarının hızla gelişmesiyle ölçeği oldukça büyümüştür.Alarm bilgisi her gün ağda üretilmekte ve bilgi miktarı çok büyüktür ve çok sayıda ani arıza yaşanmaktadır.Ağ ekipmanı arızalandığında ve bir alarm tetiklediğinde İlgili ekipman aynı zamanda ilgili arızalara neden olur ve kısa sürede [1-2] büyük miktarda alarm bilgisi üretir. Bir arızanın meydana gelmesi genellikle birden fazla alarm olayını tetiklediğinden, arızayla ilgili ekipman ve iş süreçleri ilgili alarm bilgilerini yayınlayacak ve birden çok arızanın neden olduğu alarm bilgileri, gerçek alarm bilgileri su altında kalacak şekilde bir araya getirilecektir. Arıza tespiti çok zordur. Ağ alarmlarının mevcut izleme ve yönetimi esas olarak manuel tamamlamaya dayanır ve ağ çalıştırma ve bakım maliyeti yüksektir ve işleme süreci çok zaman alır.Çok sayıda arıza alarmı meydana geldiğinde, alarm işlemenin gerçek zamanlı gereksinimleri temelde karşılanamaz.
Alarm korelasyon analizi, ağ hatası teşhisi için önemli yöntemlerden biridir.Alarm korelasyon analizinde, kurala dayalı alarm korelasyon analizi, vaka bazlı alarm korelasyon analizi, nedensel model bazlı korelasyon analizi ve Sinir ağlarının korelasyon analizi vb. Bununla birlikte, bu yöntemlerin bazı eksiklikleri vardır.Örneğin, vaka tabanlı yöntem ağ değişikliklerinin işlenmesine duyarlı değildir.Bunun nedeni, belirli bir uygulama alanı tarafından belirlenmesi ve her alanda ortak bir durumun olmamasıdır.Kural tabanlı yöntemin büyük ölçeğe uyarlanması zordur. Ve teknik olarak karmaşık iletişim ağı modeli, bunun nedeni çok sayıda alarm kuralının manuel olarak bakımını gerektirmesidir. Şu anda, Çin'in entegre ağ yönetimi pazarında, çoğu ilgili ürün, alarm korelasyon analizinin destek işlevini önermiştir ve bazı şirketler, ürünlerinin alarm korelasyon analizini gerçekleştirdiğini, ancak gerçekte yalnızca bazı nispeten temel alarmları uyguladıklarını belirtmiştir. Filtreleme, uyarıdan kaçınma ve diğer işlevler için kuralların oluşturulması daha fazla deneysel araştırma gerektirir [3-7].
Bu makale, tespit edilen alarmları yargılayarak ve karşılık gelen çıkarım kurallarını kullanarak, esas olarak alarm sistemleri alanındaki mevcut alarm bilgisini bir dizi kurala dahil etmek için, kural madenciliği ve kurala dayalı ilişkilendirme [8] kullanma yöntemini önermektedir. Bir veya daha fazla alarm oluşumunun belirli bir kurala uyup uymadığını sınıflandırmak ve ardından spesifik hata tipini belirlemek [9]. Çalışma prensibi esas olarak kural tabanına ve çıkarım motoruna bağlıdır. Kural tabanında, pratikte elde edilen birçok bilgi, IF-THEN tarzı kuralları oluşturmak için uygun şekilde kodlanır ve nihai başarısızlığın kaynağını bulmak için kurallar tekrar tekrar eşleştirilir. Yeni bir alarm oluştuğunda, sistem çıkarım motorunun alarmı işlemesini sağlayacaktır. Bu yöntemin tek ve sezgisel bir formu vardır, bu nedenle uzun eğitim ve öğrenim gerektirmez ve ağdaki hataları bulmak için ağın temel mimarisini anlamasına gerek yoktur.
2 Ağ alarm analizi ve işleme sistemi tasarımı
Alarm analizi ve işleme aşaması iki aşamaya bölünmüştür: alarm kuralı madenciliği aşaması ve alarm analizi ve işleme aşaması. Alarm kuralı madenciliği aşaması, geçmiş alarm verilerine dayalı büyük veri analizi gerçekleştirmek ve bir kural veritabanı oluşturmak için geçmiş verilerden alarmlar arasındaki ilişki kurallarını elde etmektir; alarm analizi işleme aşamasının amacı, elde edilen kural veritabanındaki ilişkilendirme kurallarına dayanmaktır. Ağdaki mevcut alarmlar, mevcut alarmlarda temel neden alarmları ve türetilmiş alarmları elde etmek için analiz edilir ve işlenir.
Alarm kuralı madenciliği aşaması, gerçek zamanlı gereksinimler olmadan geçmiş verileri analiz etmek ve madencilik yapmak için çevrimdışı işlemeyi benimser. İlk dağıtım sırasında, çok sayıda geçmiş ağ alarmı elde edilir, kural madenciliği başlatılır ve bir kural veritabanı oluşturulur Ağda konuşlandırıldıktan sonra, kural veritabanı aşamalı olarak güncellenir ve normal madencilik kuralları şeklinde tamamlanır.
Alarm analizi ve işleme aşaması, gerçek zamanlı performans gerektiren mevcut alarmları işlemek için çevrimiçi işlemeyi kullanır. Yazılım dağıtıldıktan sonra, ağ alarmlarını gerçek zamanlı olarak işlemek için ağ yönetimi arka plan arayüzü aracılığıyla ağ yönetimi ile iletişim kurar.
Şekil 1, alarm analizi ve işleme sisteminin genel mimarisini göstermektedir.
2.1 Alarm verilerinin istatistiksel analizi
Bu makale, Şekil 2'de gösterildiği gibi, ağ alarm türlerinin sıklığı hakkında ön istatistikler yapmıştır. Dağıtım şemasından, alarm bilgilerinin birkaç türde yoğunlaştığı görülebilir; örneğin, PK_LOS, RCONTEXT_PACKET_LOS, VP_RDI, RCONTEXT_PACKET_LOS, E1_AIS ve diğer alarm türleri, bilginin% 90'ından fazlasını oluştururken, M_BCFGRDIF, VP_MMG, MANUAL_SWITCH ve diğer alarm türlerinin% 90'ından fazlasını oluşturur. Oran% 1'den çok daha azdır ve alarm türlerinin eşit olmayan dağılımı, sonraki analiz ve işleme için büyük zorluklar getirir.
Şekil 2 Alarm türlerinin frekans dağılım şeması
2.2 Uyarı kurallarının madencilik aşaması
Alarm kuralı madenciliği aşamasının şematik diyagramı Şekil 3'te gösterilmektedir.
Şekil 3 Uyarı kurallarının madenciliği
a) Geçmiş alarm veri dosyası, kural madenciliği ile öğrenilen veriler olarak IPRAN ağ yönetim sistemi tarafından dışa aktarılır.
b) Veri ön işleme, geçmiş alarm verilerini okuduktan sonra, tüm verilerin geçerliliğini kontrol edin, geçersiz verileri filtreleyin ve alarm verilerini kodlayın ve alarm veri tabanına aktarın; alarm veri tabanı ayrıca ağ topolojisini, iş bilgilerini, Alarm seviyesi bilgileri vb.
c) Veri kümeleme, kümeleme için gerekli olan anahtar veri alanlarını alarm veritabanından çıkarın, alarm verilerinin kümelenmesini daha da gerçekleştirin ve verileri zaman alanında ve coğrafi konumda bölün.
d) Kural madenciliği yapmak, kümeleme sonuçlarını elde etmek ve aynı zamanda alarm veri tabanından alarm verilerini çıkarmak, kural madenciliğini gerçekleştirmek için her alarm verisi kümesi üzerinde korelasyon analizi gerçekleştirmek.
e) Kazılan kuralları alarm veri tabanına aktarır, uzmanların manuel müdahalesi ile etkin kural taraması gerçekleştirilir.
2.3 Alarm analizi ve işleme aşaması
Şekil 4, alarm analizini ve işlemeyi gösterir.
a) IPRAN ağ yönetim sistemi, verileri arka plan arayüzü aracılığıyla veri arayüzüne iletir.
b) Veri arayüzü mevcut alarm verilerini okuduktan sonra işlenir ve alarm veritabanına aktarılır; alarm veritabanı ayrıca ağ topolojisi, iş bilgileri, alarm seviyesi bilgileri vb.
c) Veri kümeleme, alarm veri tabanından analizle alarm verilerinin anahtar alanlarını çıkarır, mevcut alarm verilerinin kümelenmesini daha da gerçekleştirir ve verileri zaman alanına ve coğrafi konuma böler.
d) Alarm işleme analizi, kümeleme sonuçları elde etme ve alarm veri tabanından alarm verilerini alma. Kural veritabanındaki tüm alarm kurallarını geçin, her alarm verisi kümesini analiz edin, temel neden alarmını alın ve alarm sıkıştırmasını gerçekleştirin.
3 Ağ alarmı korelasyon analizi ve işleme yöntemi
3.1 Veri kümeleme
Kümeleme, denetimsiz bir makine öğrenimi yöntemidir. Kümeleme, bilinmeyen etiket örneğinin veri setinin veri özelliklerine göre veri setini çok sayıda farklı sınıfa böler, böylece aynı sınıftaki veri örnekleri mümkün olduğunca benzer olur ve farklı sınıflardan veri örnekleri arasındaki benzerlik mümkün olduğunca küçük olur. Geleneksel ilişkilendirme kuralı analizinde, istatistiksel alarm bilgileri toplandığında, istatistikler genellikle zamanın zor kayan pencerelerinden sonra gerçekleştirilir, ancak, zamanın sert kayan pencereleri bilgileri tam olarak kullanamaz.Çok fazla alarmı tek bir kategoriye koymak veya aynı kategoriye çok fazla alarm koymak mümkündür. Bir arıza alarmı, farklı temel nedenli alarmları ve bunların türetilen alarmlarını karıştıracak şekilde farklı kategorilere bölünür ve istatistiksel sonuçlar yeterince doğru değildir.Bu nedenle, önce alarm bilgilerinin kümelenmesi ve farklı alarm bilgilerinin alarm bilgilerinin veri özelliklerine göre sınıflandırılması önerilir. Kök neden alarmı ve türev alarmları ayırt edilir, yani her kategori bir kök neden alarmını ve türev alarmlarını temsil eder ve ardından doğruluğu artırmak için korelasyon kuralı analizi gerçekleştirilebilir. Deneyde, esas olarak konum ve zaman bilgisine dayalı olarak kümeleme yapılarak bir kümeleme şeması yapılmıştır (bkz. Şekil 5).
Şekil 5 Kümelenmenin şematik diyagramı
Konum ve zaman bilgilerine dayalı kümeleme: Alarm verilerini "sabit bölümlemek" için doğru konum bilgilerini (ağ öğeleri gibi) kullanın; alarmın başlangıç ve bitiş zamanını kullanın ve zaman boyutunda kümelemek için DBSCAN algoritmasını [10-11] kullanın. sınıf.
3.2 Kural madenciliği
Kural madenciliğinin şema tasarımı Şekil 6'da gösterilmektedir.
Alarm kuralı madenciliği esas olarak üç sürece bölünmüştür: İlk olarak, kümeleme sonuçları bir alarm korelasyon matrisi (ACM Alarm Korelasyon Matrisi) [13-15] oluşturur ve ardından alarm korelasyon matrisinden potansiyel kuralları çıkarır ve eşikleri ayarlayarak veya Manuel müdahale, etkili uyarı kuralları anlamına gelir. Aşağıda, yukarıdaki üç işlemin ayrıntılı bir açıklaması bulunmaktadır.
3.2.1 Kümeleme sonuçları, alarm korelasyon matrisi oluşturur
Büyük alarm bilgilerinin kümelenmesinden sonra, kümeleme sonuçlarında alarm bilgileri arasındaki ilişki çıkarılır. İki alarm arasındaki ilişkiyi araştırırken, iki değerlendirme göstergesi kullanılır: destek ve güven. Destek, kümeleme sonucundaki sıralı alarm çiftinin (a b) oluşum sayısını, yani ilişkilendirme sıklığını ifade eder. Güven, alarm b'nin a alarmının öncülü altında görünmesi koşullu olasılığını ifade eder. Aynı zamanda, sonucun güvenirliği de tanımlanır, sonrakinin güveni, güvenin, sonraki kuralda ayarlanan öğenin desteğini göz ardı etmesi problemini çözmektir.Önceki güven a b'nin istatistiksel sonucu% 100'dür, bu da a olduğu anlamına gelir. Eğer b varsa ve sonraki bölümün güvenirliği% 100 ise, bu, b'den önce a olması gerektiği ve mevcut parçanın güveninin çok düşük olduğu anlamına gelir, ancak sonraki bölümün güvenirliği yüksek olduğunda, a b kuralı da geçerli kabul edilir. Bu nedenle, müteakip güven seviyesi, yani, alarm b'nin keşfedildiği öncülüne göre alarm b'nin alarm a neden olduğu koşullu olasılık tanıtılmaktadır [12]. Destek derecesi, sıralı alarm çiftinin (a b) sık görünüp görünmediğini ölçmek için kullanılabilir ve güven derecesi ve sonraki güven derecesi, sıralı alarm çifti (a b) arasındaki korelasyon gücünü göstermek için kullanılır. Güven ve müteakip güven ne kadar yüksekse, sıralı alarm çifti arasındaki korelasyon gücü o kadar güçlüdür (a b).
Kümeleme sonuçları, istatistiksel destek, güven ve daha sonra kümeleme sonuçlarına güven elde ettikten sonra. İstatistikler tamamlandıktan sonra, üç alarm korelasyon matrisi elde edilebilir.Bu kare matriste, elemanın satır kodu önceki alarmı, elementin sütun kodu ise sonraki alarmı temsil eder. Tablo 1'deki kırmızı sayılarda gösterildiği gibi, 04 alarm 02 alarmının destek derecesini temsil eder.
Tablo 1 Alarm korelasyon matrisinin şematik diyagramı
3.2.2 Alarm ilişki matrisinin potansiyel madencilik kuralları
Alarm korelasyon matrisinde pek çok bilgi vardır.Potansiyel kuralları filtrelemek için iki parametre tanımlanır: türetilmiş yoğunluk türetilir ve sıralı bir alarm çiftinin türetilmiş yoğunluğunu ölçmek için kullanılan daha sonra bileşen türetilmiş yoğunluk bderive (a b). Türetilen kuvvet ve sonraki türetilen kuvvet için formüller aşağıdaki gibidir.
Türetilen yoğunluk ve sonuç olarak türetilen yoğunluk, iki alarmın birbirinden çıkarılamayacağı varsayımına dayanır. (A b) varsa, mevcut değildir (b a). Türetilen kuvvet veya sonraki elde edilen kuvvet 1'den büyükse, o zaman a b, b a'dan daha güvenilirdir ve istatistiksel kurallarla daha tutarlıdır.
(1) ve (2) denklemlerinden, alarmlar arasında kendi kendine azalma olmadığı görülebilir, çünkü derivea b ve bderivea b'nin her ikisi de 1'e eşittir ve filtrelenecektir. Yukarıdaki ilkelere göre, potansiyel alarm ilişkilendirme kuralları elde edilebilir. Güven derecesi, a b'nin korelasyon gücünü gösteren müteakip güven derecesini içerir. Değer ne kadar büyükse, korelasyon gücü o kadar büyük olur. Ancak, a'nın b'yi türetebileceğini tam olarak açıklamaz, çünkü bu durumda b a'nın güveni, sonucun güveni de dahil olmak üzere çok yüksek olabilir. Bazı etkili kuralların filtrelenmesini önlemek için, alarm ilişkilendirme matrisinden potansiyel gelişmiş kurallar çıkarılırken, algoritmadaki bazı eşikler daha düşük ayarlanabilir, böylece buna göre daha fazla potansiyel kural elde edilebilir.
3.2.3 Etkili kurallar elde etmek için eşik filtrelemeyi ve manuel müdahaleyi ayarlayın
Potansiyel kurallar elde edildikten sonra, daha fazla eşik filtreleme veya manuel müdahale ayarlayarak etkili kurallar elde edilebilir. Manuel inceleme yoluyla, yanlış alarm kurallarının bir kısmı ortadan kaldırılarak alarm kurallarının doğruluğu daha da iyileştirilebilir.
Gerçek uygulamalarda, potansiyel alarm kurallarının ölçeği nispeten büyük olabilir ve manuel denetim iş yükü büyüktür. Manuel incelemenin iş yükünü azaltmak için, potansiyel alarm kurallarının ölçeğini daha da azaltmak için eşik yükseltilebilir. Ancak eşik ne kadar yükseltilirse, o kadar etkili kurallar ortadan kalkacak ve ikisinin tartılması gerekecektir.
3.3 Alarm işleme analizi
Alarm işleme analizi, kümeleme ve filtrelemenin işleme yöntemini benimser. Spesifik işleme ve analiz adımları aşağıdakilere ayrılır:
a) Etkin ilişkilendirme kurallarına göre, alarm ilişkisi hiyerarşisi ve kök nedene dayalı alarm ilişkisi oluşturulur.
b) Kümelenmiş alarm verilerine göre, her alarmın temel neden alarmı ile birlikte var olup olmadığına karar verin, varsa alarm ortadan kalkacak, yoksa alarm tüm alarm verileri geçilene ve temel neden alarm veri seti elde edilene kadar tutulacaktır.
c) Hariç tutulan türev alarmları işaretleyin, temel neden alarmlarını işaretleyin ve daha fazla filtreleme için bunları ağ yönetimine bildirin.
Bir dizi etkili kural elde ettikten sonra, bu alarmları sırayla işaretleyin ve yönlendirilmiş bir grafik elde edilecektir.
3.4 Alarm işleme analizi örneği
Alarm analizi ve işlemesi, giriş bir dizi alarmdır, bu alarmlar kümelenir ve aynı hatanın neden olduğu alarmlar mümkün olduğunca bir kümeye yerleştirilir. Simülasyon sürecinde kullanılan örnek veriler Tablo 2'de gösterilmiştir.
Tablo 2 Alarm verileri örneği
Kümeleme, alarm bilgisinin zaman özelliğine göre yapılır ve Tablo 3'te gösterilen sonuçlar elde edilir.
Tablo 3 Kümeleme sonuçları
Daha sonra, kural ağacına göre farklı kategorilerdeki alarm bilgilerine göre kök neden alarmlarını ve türetilmiş alarmları değerlendirin.Kural ağacı, alarm kuralı araştırma aşamasındaki doğru kurallara göre oluşturulur. Her düğüm, VP_LOC, VC_LOC, vb. Gibi alarm türünü temsil eder. VP_LOC VC_LOC çizgi segmenti, Şekil 7'de gösterildiği gibi VP_LOC alarmının VC_LOC alarmının üretilmesine neden olabileceğini gösterir.
Şekil 7 Doğru kurallara göre çizilmiş kural ağacı
Kural ağacına göre madenciliğin nihai sonuçları Tablo 4'te gösterilmektedir.
4. Sonuç
Alarm bilgilerinin hacmi büyük veri ölçeğine ulaştı ve işleme yöntemi de zamana ayak uydurmalıdır. Bu makalede önerilen kümeleme yöntemi, kural madenciliği yürütür ve kurala dayalı ilişki analizine dayalı ağ alarm bilgilerinin analizi ve işlenmesi, alarm bilgisinin hacmindeki hızlı artış olgusuna uyum sağlar. Ağ alarm bilgilerinin işlenmesi sorunu artık yalnızca insanlar tarafından çözülemez ve daha yüksek gereksinimleri ortaya koyan yapay zeka yöntemleriyle birlikte ele alınmalıdır.
Referanslar:
1 Deng Xin, Meng Luoming. Akıllı dağıtılmış iletişim ağı alarm korelasyon modeli ve uygulaması J. Journal of Electronics and Information, 2006, 28 (10): 1902-1905
[2] Zhu Qiuyan. Dernek kuralı madenciliğine dayanan ağ alarm derneği D Beijing Pekin: Pekin Posta ve Telekomünikasyon Üniversitesi, 2008.
[3] Yu Man. Telekom Şebekesi için Akıllı Alarm Sisteminin Araştırma ve Uygulaması [D] Changchun: Changchun Teknoloji Üniversitesi, 2010.
[4] Huang Yu, telekomünikasyon uyarı sisteminde ilişki kuralı analizinin araştırması ve uygulaması D Chengdu: Çin Elektronik Bilim ve Teknoloji Üniversitesi, 2007.
[5] Wang Zhongjia Dinamik ağırlıklandırma karakteristiklerine sahip ilişki kuralı algoritması ve telekomünikasyon hatası alarm dizisi modellerinin madenciliğindeki uygulaması D Changchun: Jilin Üniversitesi, 2005.
[6] Yang Yibing Mobil iletişim ağı alarmı ve korelasyon analizi D Harbin: Harbin Mühendislik Üniversitesi, 2008.
[7] Liu Bin. Mobil iletişim ağı arıza alarmı korelasyon analiz yöntemi ve sistem uygulaması D Changsha: Central South University, 2009.
8 HARRISON K A. Telekomünikasyon Ağı Yönetiminde Olay Korelasyonu Z. INCL HP Labs, 1994.
[9] STERRITT R, BUSTARD D, MCCREA A. Hata yönetim sistemi evrimi için otonom hesaplama korelasyonu C // IEEE Uluslararası Endüstriyel Bilişim Konferansı, IEEE, 2003.
[10] ESTER M, KRIEGEL HP, XU X. Kümeleri keşfetmek için yoğunluk tabanlı bir algoritma, gürültülü büyük uzamsal veritabanlarında kümeleri keşfetmek için yoğunluk tabanlı bir algoritma C // Bilgi Keşfi ve Veri Madenciliği Uluslararası Konferansı AAAI Press , 1996: 226-231.
[11] OLIVEIRA D P D, JR J H G, SOIBELMAN L. İçme suyu dağıtım boru kırılmasının yerel göstergelerini tanımlamak için yoğunluk temelli bir uzamsal kümeleme yaklaşımı [J] Advanced Engineering Informatics, 2011, 25 (2): 380-389.
[12] ZHU B, GHORBANI A A. Saldırı Stratejisinin Çıkarılması için Uyarı Korelasyonu [J] International Journal of Network Security, 2006, 3 (3): 244-258.
[13] SKINNER K, VALDES A. Olasılıksal Uyarı Korelasyonu J.. İzinsiz Giriş Algılamada Son Gelişmelerin Bildirileri, 4. Uluslararası Sempozyum, (RAID 2001), LNCS2212: 54-68.
14 İzinsiz Giriş Uyarısı Analizi için Araç Seti EB / OL. 2018-08-11. Http://discovery.csc.ncsu.edu/software/correlator/ver0.4/index.html.
[15] NING P, CUI Y. Saldırıların Ön Koşullarına Dayalı Bir Saldırı Uyarısı İlişkilendiricisi M. North Carolina Eyalet Üniversitesi, Raleigh, 2002.
Yazar hakkında:
Tsinghua Üniversitesi'nde esas olarak optik ağlar üzerine araştırma yapan bir yüksek lisans öğrencisi olan Lu Bin; Hua Nan, Tsinghua Üniversitesi'nden mezun, yardımcı araştırmacı, ana öğretmen, esas olarak akıllı optik ağ yönetimi ve anahtarlama üzerine araştırma yapan; Zheng Xiaoping, Tsinghua Üniversitesi'nden mezun oldu. Profesör, doktora süpervizörü, ulusal geniş bant bilgi ağlarının geliştirilmesinin temel ihtiyaçlarıyla, tüm optik iletişim ağları ve mikrodalga fotonik araştırmalarına uzun vadeli bağlılık; Chen Wenjun, mühendis, araştırma alanı IPRAN ağ hizmeti dağıtımı için IPRAN ekipmanı 4G, 5G hizmet taşıyıcı çözümleri , Alarm oluşturma mekanizması ve ekipman iş alarmı korelasyon analizi hakkında derinlemesine anlayış
