Büyük Veri Güvenlik Sisteminin Teknik Sistem Bölümü Giriş
1. Arkaplan
Bilişim 3.0 aşamasına girdikçe, her şeyin dijitalleşmesini ve birbirine bağlanmasını ve büyük verilere dayalı derin öğrenme ve veri madenciliğinin akıllı özelliklerini giderek daha fazla gösteriyor. Veri güvenliği, resmi olarak zamanın spot ışığı altında durdu ve büyük çıkışını yaptı. Bilgisayar endüstrisinde güvenlik uzun süredir devam eden bir kavramdır Dr. Lei Wanyun'un bilgi güvenliği geliştirme aşamaları bölümünü tanıyoruz ve bilgi güvenliğinin şu ana kadar aşağı yukarı beş dönemden geçtiğine inanıyoruz.
İlk dönem iletişim güvenliği dönemidir ve ana sembolü Shannon tarafından 1949'da yayınlanan "Gizli İletişimin Bilgi Kuramı" dır. Bu dönemde temel amaç, spektrum kanallarının paylaşımı ile başa çıkmak ve iletişim güvenliğinin gizlilik sorununu çözmektir.
İkinci dönem, 1970'ler ve 1980'lerde "Güvenilir Bilgisayar Değerlendirme Kriterleri" (TCSEC) tarafından işaretlenen bilgisayar güvenliği dönemiydi. Bu dönemde, esas olarak bilgi işlem kaynaklarının kıtlığı ile uğraşmak ve bilgisayarda depolanan verilerin gizliliğini, bütünlüğünü ve kullanılabilirliğini çözmekti.
Üçüncü dönem, 1990'larda ortaya çıkan ağ güvenliği dönemidir.Bu dönemde, esas olarak ağ iletim kaynaklarının kıtlığı ile ilgilenmek ve ağ iletim güvenliği sorununu çözmek olmuştur.
Dördüncü dönem bilgi güvenliği çağıdır ve ana sembolü "Bilgi Güvencesi Teknolojisi Çerçevesi" dir (IATF). Bu dönemde temel amaç bilgi kaynaklarının kıtlığı ile başa çıkmak ve bilgi güvenliği sorununu çözmektir. Bu aşamada ilk kez bir bilgi güvenliği güvence çerçevesi kavramı ortaya atılmış ve bir veya birkaç OSI katmanının güvenlik sorunları genel ve derinlemesine savunma kavramına dönüştürülmüş, bilgi güvenliği aşaması da genel bir bakış açısıyla sistem yapısını ele alan bilgiye dönüştürülmüştür. Güvenlik dönemi.
Bilgi değerli verilerdir.Dünyanın her köşesinden gelen devasa, heterojen, gerçek zamanlı ve düşük değerli verilerle, insanlar bu güçlü veri seline beşinci döneme kadar çabucak sarılır. Bu, mevcut veri güvenliği çağıdır.
2. Büyük veri güvenliğinin çelişkileri ve hedefleri
Büyük veri çağında güvenlik, acilen çözülmesi gereken aşağıdaki çelişkilerle karşı karşıyadır:
1. Veri toplama yöntemlerinin çeşitliliği ve evrenselliği ile teknik uygulama ve geleneksel sınır temelli koruyucu önlemlerin kolaylığı arasındaki çelişki;
2. Veri kaynakları, dağıtılmış düğümler ve hatta büyük verilerle ilgili bileşenler arasında büyük ve çeşitli veri iletimi ve doğu-batı veri iletiminin izlenmesi ile geleneksel iletim kanalı yönetimi ve kuzey-güney veri aktarımının izlenmesi arasındaki çelişki;
3. Verilerin dağıtılmış ve isteğe bağlı olarak depolanması talebi ile geleneksel güvenlik önlemlerinin gecikmiş konuşlandırılması arasındaki çelişki;
4. Veri füzyonu, paylaşımı ve çeşitli senaryoların kullanımı ile güvenlik uyumluluğunun nispeten kapalı yönetim gereksinimleri arasındaki eğilim ve talep arasındaki çelişki;
5. Veri sonuçlarını görüntüleme ihtiyacı ile gizli güvenlik sorunlarının keşfi arasındaki çelişki. Bu nedenle, büyük verilerin güvenlik koruması yalnızca geleneksel OSI genel savunma sistemine dayalı olmamalı, aynı zamanda veri yaşam döngüsüne dayalı bir güvenlik koruma stratejisi oluşturmalıdır.
Veri güvenliği koruma çalışmasının hedefleri, güvenlik sorumluluğu konularına göre değişiklik gösterecektir, bu da farklı odaklara yol açabilir, ancak kabaca üç seviyeye ayrılabilir:
1. Ulusal çıkarlar, kamu güvenliği, askeri bilimsel araştırma ve üretimi, vb. İçeren ve ulusal ekonomi ve insanların geçim kaynakları üzerinde büyük bir etkisi olacak ulusal veriler Bu tür verilerin, veri sızıntısını ve kötü niyetli kullanımı önlemek için ülkenin kontrol yeteneklerini güçlendirmesi gerekir.
2. Sektör ve kurumsal ticari sırları ve iş güvenliğini içeren veriler için veri gizliliği, bütünlüğü, kullanılabilirliği ve reddedilmemesi garanti edilmelidir.
3. Kullanıcının kişisel ve mahremiyetine ilişkin veriler için, bilgi öznesinin kişisel bilgileri kontrol etme hakkı, kullanıcının bilgilendirilmiş onayı ve kendi güvenlikleri kapsamında korunur ve vatandaşların meşru hakları ve çıkarları korunur.
3. Yaşam döngüsü boyunca veri güvenliği yönetimi
Veri yaşam döngüsü güvenliği kavramı oldukça tartışmalıdır.Bazı insanlar, birçok şirketin önce işi olduğunu, sonra da güvenliğe sahip olduğunu düşünür.Güvenlik departmanı, günlük ortalama yüzlerce veri tablosu artışı ile büyük stok verileriyle karşı karşıya. Verileri kullanan ve verileri kullanan kişiler Taban sürekli genişliyor ve akış büyük ölçüde değişiyor Patron büyük sosyal ve ekonomik baskı altında ve başarılar elde etmek için acil olarak güvenlik departmanına ihtiyaç duyuyor.Bu durumda, veri sınıflandırması ve sınıflandırması nasıl yapılır?
Her şeyden önce, verileri sınıflandırmanın ve derecelendirmenin ön koşulu, iyi veri yönetişimi etkileridir. O sırada karşılaştığımız zorluk, ülke genelinde 31 il ve 340+ şehirdeki şirketlerin çeşitli verilerini entegre etmekti.Veri departmanındaki küçük ortaklar, 28 tür veriden oluşan 4 kategoriyi ayırarak bütün bir yılı geçirdiler ve günlük ortalama erişim verilerine ulaştılar. 400T'den fazla olan veri kalitesi, veri yönetişimi hedefinin% 80'i veya daha fazlası kadar yüksektir ve "yedi aşamalı" bir veri yönetişimi yöntemi ve veri kalitesi değerlendirme sistemi oluşturarak veri sınıflandırması ve veri güvenliği koruması için sağlam bir temel oluşturur.
İkinci olarak, binlerce veri erişim personeli ve yaklaşık 7000 sunucudan oluşan dev bir kümeye erişim karşısında, platform departmanı ayrıca bir yıl boyunca platform kümesini veri erişim bölgesi, geliştirme ve test bölgesi, çekirdek üretim bölgesi ve DMZ bölgesine ayırdı. , Veri erişim personelini farklı işlevsel haklara göre ilgili alanlarla sınırlandırmak ve başlangıçta platformun veri güvenliği yönetimi ve kontrolü için önemli bir bağlantı sağlayan erişim kontrol mekanizmasını kurmak.
Veri güvenliğimiz, çeşitli departmanların sıkı çalışmasına dayanmaktadır.Pratik deneyime göre, veri yaşam döngüsü etrafında bir veri güvenlik sistemi kurmak tamamen mümkündür.
4. Veri oluşturma / toplama bağlantıları için güvenlik teknik önlemleri
1. Veri sınıflandırma sistemi
Meta verilerin sınıflandırılması ve hiyerarşik yönetimi, büyük veri ortamında verimliliği sağlamak için otomatikleştirilmiş araçlara dayanır. Veri tablolarının hızlı eklenmesi ve değiştirilmesi nedeniyle, her tablonun sınıflandırılması ve sınıflandırılması sağlanamaz. Alanları hassas bir şekilde derecelendirme ve hassas üst veri sınıflandırma ve sınıflandırma düzeyine ve olası uygulama senaryolarına göre farklı duyarsızlaştırma stratejileri formüle etme yöntemi.
2. Kanal şifreleme teknolojisi
Veri aktarım bağlantısı, veri gizliliğini sağlamak için esas olarak kanal şifreleme teknolojisini kullanır. Şifrelenmiş bir aktarım bağlantısı HTTPS, VPN ve diğer teknolojiler aracılığıyla kurulabilir. Bu teknoloji nispeten olgunlaşmıştır ve burada genişletilmeyecektir.
5. Veri depolama için güvenlik teknik önlemleri
1. Veri duyarsızlaştırma sistemi
Hassas ve değerli verilerin duyarsızlaştırılması, veri depolama ve kullanım için bir ön koşuldur. Duyarsızlaştırmadan sonra, veriler orijinal verilerle bir algoritma, anahtar veya karşılaştırma tablosu eşleştirme ilişkisi oluşturacaktır. Duyarsızlaştırma verileri ve haritalama ilişkisi aynı anda elde edildiği sürece Gerçek verilere doğru bir şekilde ulaşmak için veri hırsızlığının fırsat maliyeti artırılabilir.
Duyarsızlaştırma söz konusu olduğunda, veri simgeleştirme ve MASK kavramlarından bahsetmek zorundasınız. Simgeleştirme fikri, verileri gizlemek için belirli bir algoritma kullanmaktır.Örneğin, 13300000000 numaralı belirli bir cep telefonu için numara karışıklıktan sonra değiştirilebilir. 18910001234'te, sayının bazı öznitelikleri tutarlı veya kullanılabilir tutulur, ancak bu yöntem yalnızca az miktarda verinin geliştirme ve test ortamına uygulanabilir ve tekrarlanan saldırılardan ve büyük miktarda verinin karşılaştırma saldırılarından kaçınmak imkansızdır.Gerçek durumlarda, katı olmalıdır. Verilerin uygulama kapsamı.
Maske yöntemi tıkanmadır.Örneğin, 13300000000 cep telefonu numarası tıkandıktan sonra 133 **** 0000 olabilir ve atıf bilgisini gizleyebilir. Bu yöntem veri görselleştirme ortamında ve büyük veri ortamında yaygın olarak kullanılmaktadır. Diğer bilgileri ve tahmin saldırılarını ilişkilendirme riski vardır.
Benzer şekilde, verilerin tam disk şifrelemesi tavsiye edilmez. Hadoop üretim kümelerinde genellikle binlerce düğüm bulunur. Kümeler ve bileşenler arasında sık şifreleme ve şifre çözme işlemleri iş geliştirmeyi destekleyemez. Bazı veri alanlarının duyarsızlaştırılması, yalnızca veri işlem yükünü etkili bir şekilde azaltmakla kalmaz, aynı zamanda iş için gerekli alanları talep üzerine tutar, böylece Siber Güvenlik Yasası'nın gereklilikleri belirli kişilerin uyumluluk gereksinimlerine geri döndürülemez.
2. eUID kodlama teknolojisi
Cep telefonlarının gerçek isim sisteminin tanıtılmasıyla, cep telefonu numaraları ile kişisel kullanıcı bilgileri arasındaki zayıf ilişki giderek artmaktadır.Bir dereceye kadar, cep telefonu numaraları belirli senaryolarda kişisel tanımlayıcı olarak kullanılabilmekte ve çeşitli veri türlerinin de bunları ilişkilendirmek için birincil anahtarlara sahip olması gerekmektedir. . EUID (esurfing Unique Identifier) Tianyi benzersiz tanımlayıcısı, eUID'yi her tablo ile gerçek veriler ve duyarsızlaştırılmış veriler arasında "geçiş köprüsü" olarak tasarladık, geliştirmede duyarsızlaştırılmış verileri kullanıyoruz ve veri omuzunu azaltmak için süreç kullanıyoruz risk. Aynı zamanda, ilk kez farklı kullanıcı kimlikleri ve Bloom filtresine dayalı veri alışverişi çözümü için sektörler arası bir eşleştirme ve iletişim modeli gerçekleştirdi.Alan verimliliği ve sorgu süresi, endüstrinin ortak algoritmalarını çok aşıyor ve yanlış tanıma oranı düşük.
3. Veri güvenliği alanı
Veri güvenliği alanı, sanallaştırılmış bir ortamda doğu-batı trafik kontrolü sorununu çözmek için geleneksel alan izolasyonu kavramını benimser.İçerik, yönetim seviyesine odaklanır ve aynı zamanda düzensizlikten düzene kadar bir süreçtir, bu nedenle burada genişletilmeyecektir.
6. Veri işleme için güvenlik teknik önlemleri
1. Platform operasyon denetim sistemi
Büyük veri platformunda, farklı departmanlarda farklı yetkilere ve farklı kimliklere sahip operatörler, farklı kaynaklara, bileşenlere ve ekipmanlara erişmek için farklı stratejiler izler, bu da çok sayıda çalışma davranışıyla sonuçlanır, bu da algoritma karmaşıklığı en az (n3) olan ilişkisel bir ağ ile sonuçlanır.Düğüm sayısı arttıkça, Bir düğümün eklenmesiyle, ilişkisel ağın karmaşıklığı (n3) 'ten (n3 + n)' ye değişecektir ve bu sayı çok büyük bir miktar olabilir. Neyse ki, iyi bir etki alanı ve rol yönetimi yaptık.Belirli bir rolün tüm düğümlere eriştiği bir durum olmayacak.İlişkinin karmaşıklığı (n3) 'ten (m * n2)' ye düşürülebilir. m bir sabittir. Bu nedenle, platformun işleyişini denetlemek mümkündür.
Platform işlem denetim sistemi, hadoop bileşenlerinde (HDFS, Hive, Hbase gibi), sanal makinelerde ve ana makinelerde rollerin işlem loglarını toplar.Kimlik ilişkilendirme modeli kullanılarak, doğrudan rol tarafından belirlenemeyen iki tanımlama işlemi iki kimlik ile karşılaştırılır. Doğrudan veya dolaylı olarak ilişkili olan ve kapsamlı bir değerlendirmeden sonra ilişkilendirilen birkaç gösterge vardır. Örneğin, farklı sistemlerin iki hesabının belirli bir işleminin aynı kişi olup olmadığını belirlemek için, kullanıcı hesaplarının, davranışsal işlemlerin ve terminal erişiminin analizi yoluyla kapsamlı bir analiz ve değerlendirme yapmak gerekir. Rolün yetki ve erişim stratejisine göre, bir rol davranışı temelini analiz etmek ve oluşturmak için K-ortalamalı algoritmayı ve UEBA (Kullanıcı ve Varlık Davranışı Analizi) teknolojisini kullanın ve rolün günlük işlemlerinde otomatik işlem denetimleri ve kararları yürütün ve anormal veya hassas işlemleri bulun ve Makine öğrenimi tarafından yönlendirilen yarı gerçek zamanlı alarm işlevinin gerçekleştirilmesi yeni sürprizler getirebilir.
2. Veri erişim kontrol sistemi
Hadoop platformu, Anonim (kimlik doğrulama gerektirmez), Düz (base64-bit şifreli düz metin iletimi kullanır, şifreleme algoritması kullanılmaz), Özet-Md5 (MD5 tabanlı güvenlik hizmetlerini kullanarak) ve Kerberos kimlik doğrulama yöntemlerini sağlayan SASL kimlik doğrulama mekanizmasını kullanır. İster korucu, ister Apache sisteminin knox bileşeni veya CDH'nin nöbetçi bileşeni olsun, hepsi Kerberos'a dayanmaktadır. Şu anda, çeşitli güvenlik bileşenlerinin belirli uyarlanabilirlik sorunları vardır: Örneğin, nöbetçi şu anda yalnızca HDFS ve HIVE gibi birkaç bileşeni desteklemektedir ve korucunun Hadoop sürümü için belirli gereksinimlere sahip olması gerekir. Aynı zamanda, dinamik erişim gereksinimleri, işletme ve bakım ortakları için de büyük sorunlara neden oluyor, bu nedenle gerçek çalışmada, biz sadece küçük ölçekli bir denemeyiz.
Veri uygulaması için yedi, güvenlik teknik önlemleri
1. Veri filigran sistemi
Büyük veri ortamında, veriler birden çok formatta depolanır.Veriler sızdırıldığında, kaynağın nasıl bulunacağı ve izleneceği zor bir sorundur.Görüntülerin üzerine açık ve koyu filigran yerleştirmenin geleneksel yöntemi, metin formatının izlenebilirlik gereksinimlerini karşılayamaz. Veri filigran algoritmaları tasarlar ve geliştiririz ve günlük iş verilerinde algoritma kodlaması yoluyla sözde veri kayıtları oluşturur ve ekleriz. Bu sözde veri kayıtları, veri filigranları oluşturmak için bu tür verilerin ilgili alanlarının niteliklerine (sayılar, fiyatlar, adlar veya e-posta adresleri gibi) uyar. Veri filigranı, veri sahibinin işaretini gerçekleştirmek, veri sahibinin haklarını ve menfaatlerini korumak ve aynı zamanda veri kötüye kullanımını takip etmek için ilgili veri setine otomatik olarak eşit dağıtılmış bir şekilde eklenir, veri yayınlama ve imha aşamasını ve veri sızıntısından sonra geriye dönük analiz ihtiyacını garanti eder. , Bu teknoloji, 2015 yılında ulusal bir buluş patenti için başvurdu.
2. İhracat denetim sistemi
Telekom, BDCSC (bigdata müşteri hizmetleri merkezi) platformu üzerinden 2B kullanıcılarına 4 + 1 ürün hizmeti vermektedir.Çıktı arayüzünün spesifikasyonları karşılamasını ve hassas veriler içermemesini sağlamak için arayüz üzerinden veri çıkışı yapabilen bir ihracat denetim sistemi tasarladık ve uyguladık. Otomatik şifre çözme, desen eşleştirme ve anormal keşif gibi işlevler, dışa aktarılan veri sızıntısı riskini zamanında tespit edebilir.
8. Veri imhası için güvenlik teknik önlemleri ve diğer teknolojiler
1. Veri yok etme
Veri imha sürecinde iki güvenlik hedefi vardır: Birincisi, Siber Güvenlik Yasasının veri silme hakkını gerektirmesi, diğeri ise verilerin kalıcı olarak silinmesi ve fiziksel düzeyde kurtarılamaz olmasıdır. Teknik düzeyde daha olgun teknolojiler var, bu yüzden burada genişletmeyeceğim.
2. Veri yakalama teknolojisi
Bu teknolojiden özellikle söz ediyorum çünkü bazı üreticilerin büyük ölçekte kullandığını duydum. Bu teknolojinin prensibi bir veri kancası yapmak ve kancayı veri toplamaya yerleştirmektir. Birisi koleksiyona dokunursa ziyaretçinin çalışmasını yakalar. Ve diğer saldırgan davranışlar, çok ilginç bir fikir.
3. Veri haritası
Güvenlik, veri ve operasyon ve bakım departmanları, verilerin platformda nereye dağıtıldığını, hangileri oldukça hassas veri varlıkları, verileri kimin kullandığını, bu kişilerin hangi izinlere sahip olduğunu ve veri aktarım yolunun ne olduğunu bilmek konusunda çok istekliler. Veri tablosunun kalıtım ve kan ilişkisi nedir, bu nedenle görsel bir veri haritasına nasıl ekleneceği ve haritaya göre ilgili müdahale ve operasyon büyük bir talep haline gelmelidir.
4. Gözlem BT sistemi
ObserveIT mükemmel bir işletim denetim sistemidir. Linux ve Windows işlemlerini metin olarak kaydedebilir, video olarak görüntüleyebilir ve hatta Windows ortamında kısayol tuş işlemlerini geri yükleyebilir. Denetçiler işletim kurallarını belirleyebilir ve bunları geri alabilir. Anahtar kelime yöntemi, anormal ve yüksek riskli işlemler bulur.
5. Diğer diğer
Dağıtılmış bir ortamda veri bütünlüğü doğrulaması, veri etiketleme, blok zinciri, ayrıntılı erişim kontrolü ve veri izlenebilirliği gibi teknolojiler. Aynı zamanda, ağ güvenliği saldırı tespiti, güvenlik durumsal farkındalığı, ağ saldırısı adli tıp, tehdit istihbarat analizi ve diğer güvenlik uygulamaları araştırma ve geliştirme için büyük veri güvenliği teknolojisinin kullanımı da gelecekteki araştırmaların odak noktasıdır.
Dokuz, özet
Büyük veri çağında, güvenliğin odağı nihayet güvenliğin özüne geri döndü: veri güvenliği sorunu. Veri akışı su gibidir, durdurulamaz ve her yerde bulunur. Yeni zorluklar karşısında, sınır savunmasına dayalı demir kumaş gömlek yöntemi giderek daha yetersiz hale geliyor. Yalnızca iç ve dış eğitim, sıkı çalışma ve teknik, düzenleyici ve yönetim yönleri. Verilerin güvenliği yalnızca ortak çabalarla korunabilir.
* Yazar: smoonsoso, lütfen FreeBuf.COM'dan belirtin.
