Ekipman Testi için Büyük Veri Yönetim Platformu Tasarımı ve Araştırması
Ekipman testi, ekipman yaşam döngüsünün önemli bir parçasıdır ve ekipmanın normal kullanımı için önemli bir garantidir. Çeşitli toplama yöntemleri, dağınık toplama ekipmanı ve çok sayıda toplama departmanı nedeniyle, büyük miktarlarda ekipman test verileri farklı yerlerde [1] depolanır ve bu da merkezi yönetimi zorlaştırır. İlişkisel veri tabanına dayalı geleneksel ekipman test veri yönetimi platformu, ekipman test verilerinin bir kısmını merkezi olarak yönetmesine rağmen, toplama kapasitesi zayıf, depolama kapasitesi yetersiz, yönetim yöntemi tek ve madencilik yöntemleri geriye dönük, ekipman test verilerinin tam yaşam döngüsü yönetimini gerçekleştirmek zordur. . Aynı zamanda, makine öğrenimi ve büyük veri gibi bilgi teknolojileri hızla gelişti ve kademeli olarak olgunlaştı, ekipman test verileri yönetimi için birçok gelişmiş kavram ve teknoloji sağladı, ekipman test verileri toplama, depolama, yönetim ve madenciliği büyük veri ve diğer gelişmiş teknolojilerle entegre etti. Kombinasyon daha acil hale gelir. Bu nedenle, ekipman test verilerinin tam yaşam döngüsü yönetimini gerçekleştirmek için büyük veri mimarisine dayalı bir dizi ekipman testi veri yönetimi platformu geliştirmek gerekir.
Yurtiçi ve yurtdışında statüko
Test verilerinin ölçeğindeki hızlı artışla birlikte, test verileri yönetimi departmanının test verileri için hassas yönetim gereksinimleri ile mevcut kapsamlı test verileri yönetimi yöntemi arasındaki çelişki giderek daha belirgin hale geldi. Bu sorunu çözmek için yurtiçi ve yurtdışında birçok test veri yönetim platformu ortaya çıkmış ve test verilerinin merkezi yönetimi gerçekleştirilmiştir.
Yabancı test veri yönetimi platformu, test verilerinin ve diğer ilgili verilerin ve grafiksel iş akışı tasarımının birleşik yönetimini gerçekleştiren, Amerika Birleşik Devletleri Newtera Corporation tarafından geliştirilen Newtera TDM tarafından temsil edilmektedir. Lockheed Martin, Honeywell ve Boeing, şirketin müşterisidir [2].
Yurtiçi test veri yönetimi platformunun temsili ürünleri, China Pratt & Whitney'in Uygulama testi veri yönetimi sistemi, Beijing Haiji Technology Development Co., Ltd.'nin Hi-key test veri yönetimi sistemi ve Beijing Ruifeng Synergy Technology Co., Ltd.'nin TDM3000 dijital test iş platformudur. Uygulama testi veri yönetim sistemi, yönetim nesnesi olarak test mühendisliğini alır, test verilerinin birleşik yönetimini ve veri analizini gerçekleştirebilir, sistem Java dil gelişimine dayanır, iyi taşınabilirlik ve veri geçişine sahiptir ve ana akım Windows, Linux, Unix vb. Üzerinde çalışabilir. İşletim sistemi sunucusunun üstünde. Ancak sistem esas olarak veri yönetimine yöneliktir ve veri analizi işlevi zayıftır. Hi-key test veri yönetim sistemi, tüm test süreci ve tüm veriler için, veri ile bilgi arasındaki ilişkiyi kurabilen ve veri ve bilgilerin geriye dönük izlenmesini gerçekleştirebilen kapsamlı bir test iş yönetimi çözümü sağlar. Bununla birlikte, sistem modülleri nispeten sabittir ve ikincil geliştirme kapasitesi zayıftır. TDM 3000 dijital test hizmeti platformu, .NET çerçevesine dayalı olarak geliştirilmiştir.Test planlama, kapsamlı ölçüm ve kontrol, kalite yönetimi ve diğer yollarla, test işinin tüm aşamalarında verimli işbirliğini gerçekleştirmiştir.Platform güçlü veri toplama işlevlerine ve yönetim kurulu düzeyinde toplama özelliğine sahiptir. Ekipman desteği yüksektir. Ancak yalnızca Windows işletim sisteminde çalışabilir ve taşınabilirliği zayıftır.
Mevcut test verisi yönetimi platformu, test verilerinin merkezi yönetimini gerçekleştirse de, platform çoğunlukla veri depolama için geleneksel ilişkisel veritabanlarını kullanır [3], büyük veri depolama ve uygulama yeteneklerinden yoksundur [4] ve büyük ekipman test verileri depolama ve hesaplama gereksinimlerini karşılamak zordur. İddia.
2 Mevcut sorunlar
Ekipman test yöntemlerinde ve test yöntemlerinde yapılan değişikliklerle, ekipman test verilerinin miktarı önemli ölçüde artmıştır. Mevcut ekipman testi veri yönetimi platformunun, ekipman test departmanının gereksinimlerini karşılaması giderek zorlaşmaktadır. Spesifik belirtiler şunlardır:
- Mevcut ekipman test veri yönetim platformlarının çoğu, ekipman test işi ile zayıf bir şekilde bağlantılı olan ve ekipman test işinin tüm yaşam döngüsü sürecinin izlenmesini ve yönetimini gerçekleştiremeyen genel amaçlı platformların ikincil gelişmeleridir.
- Mevcut ekipman test veri yönetimi platformları, çoğunlukla geleneksel ilişkisel veritabanlarına ve bağımsız donanım ortamlarına dayanmaktadır ve zayıf depolama kapasitesi ve yavaş hesaplama hızı ile birlikte. Büyük ekipman test verileri saklanamıyor ve büyük ekipman test verilerinin analizi ve madenciliği gerçekleştirilemiyor.
- Mevcut ekipman test veri yönetimi platformunun tek bir veri görüntüleme yöntemi vardır ve test unsurları zayıf bir şekilde ilişkilidir, bu da rafine yönetimin ihtiyaçlarını karşılamak zordur.
- Mevcut ekipman testi veri yönetimi platformu, ekipman test verilerinin depolanmasına, ekipman test verilerinin toplanmamasına ve derin madencilik işlevlerine ve düşük ekipman test verileri kullanım özelliklerine odaklanmaktadır.
Ekipman testi büyük veri yönetimi platformu
3.1 Platforma giriş
Ekipman testi büyük veri yönetimi platformu, veri toplama, veri depolama, veri yönetimi, veri madenciliği ve diğer modüller dahil olmak üzere mikro hizmet modeline dayalı olarak geliştirilmiştir ve ekipman test verilerinin verimli bir şekilde toplanmasını, hızlı okumasını, merkezi yönetimini ve madencilik kullanımını destekler.
Platform, çevrimiçi toplama, çevrimdışı toplama, değişim toplama ve rapor toplama gibi çeşitli ekipman testi veri toplama yöntemlerini destekler. Dağıtılmış dosya sistemi HDFS, dağıtılmış veritabanı HBase ve dağıtılmış veri ambarı Hive, büyük ekipman test verilerinin güvenli ve verimli bir şekilde depolanmasını sağlamak için benimsenmiştir. Ekipman test verilerinin çok boyutlu ilişki yönetimi yöntemi aracılığıyla ekipman test verilerinin verimli yönetimini gerçekleştirin. Sinir ağları gibi makine öğrenimi algoritmalarını kullanın ve ekipman test verilerini analiz etmek ve madencilik yapmak için vektör makinelerini destekleyin. Ekipman test verilerini "toplama, depolama, yönetme ve kullanma" entegrasyonunu gerçekleştirin.
3.2 Platform Teknik Mimarisi
Bu makale, platformu ekipman test verilerinin tam yaşam döngüsü sürecine göre dört katmana ve toplam on mikro hizmete ayırır.Farklı mikro hizmetler, platformun farklı işlevlerinden sorumludur ve RESTful arayüzleri aracılığıyla iletişim kurar [5]. Platformun teknik mimarisi Şekil 1'de gösterilmiştir.
Şekil 1 Platform teknolojisi mimarisi şeması
Büyük veri toplama katmanı: Büyük veri toplama mikro hizmetleri dahil olmak üzere birkaç büyük veri toplama sunucusundan oluşur. Ekipman test verilerinin toplanması ve ön işlenmesi gerçekleştirilir.
Büyük veri depolama katmanı: Büyük veri depolama mikro hizmetleri ve platform verilerinin depolanmasından sorumlu ilişkisel depolama mikro hizmetleri dahil olmak üzere büyük veri depolama bilgi işlem kümelerinden oluşur. Büyük veri depolama mikro hizmeti, büyük ekipman test verilerinin ve dizin verilerinin depolanmasını gerçekleştirir. İlişkisel depolama mikro hizmetleri, sistem iş verilerinin ve bazı dizin verilerinin depolanmasını gerçekleştirir.
Platform yönetimi katmanı: platform yönetimi mikro hizmetleri, deney yönetimi mikro hizmetleri, yapılandırma merkezi mikro hizmetleri, kayıt merkezi mikro hizmetleri, ağ geçidi mikro hizmetleri, kimlik doğrulama merkezi mikro hizmetleri ve platform iş mantığı işlemesinden sorumlu diğer mikro hizmetler dahil olmak üzere birkaç büyük veri yönetimi sunucusundan oluşur . Platform yönetimi mikro hizmeti, platform işinin yönetiminden sorumludur ve platform parametre ayarı, kullanıcı yönetimi ve kişisel bilgi yönetimi gibi işlevleri gerçekleştirir. Test yönetimi mikro hizmeti, test işinin yönetiminden sorumludur ve test yönetimi, test verileri yönetimi, test süreci tasarımı ve testle ilgili kaynak yönetimi işlevlerini gerçekleştirir. Yapılandırma merkezi mikro hizmeti, tüm mikro hizmetler için yapılandırmayı harici olarak güncelleme işlevini sağlar. Kayıt defteri mikro hizmetleri, platformdaki mikro hizmetlerin keşfi ve yönetimi gibi işlevlerin tamamlanmasından sorumludur. Ağ geçidi mikro hizmeti, istek yönlendirme, yük dengeleme ve doğrulama ve filtreleme gibi işlevleri uygulayan tüm platformun girişidir. Kimlik doğrulama merkezi mikro hizmeti, kullanıcının kimlik doğrulamasını tamamlamaktan sorumludur.
Büyük veri uygulama katmanı: Büyük veri madenciliği mikro hizmetleri ve büyük veri görselleştirme mikro hizmetleri dahil olmak üzere büyük veri depolama ve bilgi işlem kümelerinden oluşur ve platformun veri madenciliği ekranından sorumludur. Büyük veri madenciliği mikro hizmetleri; doğrusal regresyon, karar ağaçları, sinir ağları, destek vektör makineleri, Bayes sınıflandırması ve madencilik ekipmanı test verilerinde kümeleme gibi makine öğrenme yöntemlerini kullanır. Büyük veri görselleştirme mikro hizmeti; histogramlar, dağılım grafikleri, çizgi grafikleri ve ağaç grafikleri gibi grafikler aracılığıyla ekipman testi veri madenciliği sonuçlarının görselleştirilmesini tamamlar.
3.3 Platformun temel işlevlerinin gerçekleştirilmesi
3.3.1 Ekipman test verilerinin yığın halinde depolanması
Ekipman testi büyük veri yönetimi platformunun yapılandırılmış ekipman test verilerini, yapılandırılmamış ekipman test belgelerini, ekipman testi ses ve video dosyalarını ve ekipman testi kızılötesi görüntüleri saklaması gerekir. Depolama içeriği formatı karmaşıktır ve elde etmek için birden fazla büyük veri depolama yönteminin karıştırılması gerekir Büyük ekipman test verilerinin depolanması.
Bu platform, tüm yaşam döngüsü verilerini test etmek için HDFS, HBase ve Hive depolama ekipmanını kullanır.
HDFS, dağıtılmış bir dosya sistemidir ve HBase ve Hive'ın veri depolaması için temel oluşturur. HDFS, aynı dosyanın birden çok kopyasını farklı tek makinelerde dağıtılmış bir şekilde depolayarak yüksek veri güvenliği ve yüksek verim sağlar.
HBase, son derece yüksek verime sahip, sütun yönelimli dağıtılmış bir depolama veritabanıdır. Json'a benzer bir depolama yöntemi kullanır. Boş öznitelik değerlerine sahip sütunlar, depolama alanını kaplamaz ve seyrek verileri depolamak için çok uygundur.
Hive, yapılandırılmış verileri depolayan dağıtılmış bir büyük veri deposudur.Yapılandırılmış verileri büyük bir tabloya eşleyerek SQL deyimi sorgusu uygular.Dezavantaj, depodaki verilerin güncellenememesidir [6].
Test belgeleri ve test ses ve video verileri çoğunlukla yapılandırılmamış bir biçimde depolanır ve bu, dosyalar biçiminde HDFS'de depolanmaya uygundur. Yapılandırılmış test verileri veri tabanında depolandıktan sonra genellikle değiştirilmez ve Hive veri ambarında depolanmaya uygundur. Test kızılötesi görüntüsü, küçük boyut ve büyük miktar özelliklerine sahiptir. Depolama için bir dosya sistemi kullanılıyorsa, arama hızı yavaştır ve okuma performansı zayıftır, bu da madencilik ihtiyaçlarını karşılamak zordur. HBase'in Anahtar-Değer saklama mekanizmasını kullanarak, kızılötesi görüntü HBase Değerinde ikili kod biçiminde depolanır ve kızılötesi görüntünün hızlı konumlandırılmasını ve okunmasını gerçekleştirebilen Rowkey tarafından aranır [7].
Kızılötesi görüntüleri depolayan HBase'nin tablo yapısı Tablo 1'de gösterilmektedir:
Tablo 1 Kızılötesi görüntü saklama tablosu
Satır anahtarı on sekiz basamaktan oluşur: İlk sekiz basamak görüntünün oluşturulduğu tarihi, ikinci iki basamak resim türünü ve son sekiz basamak kızılötesi görüntü numarasını gösterir. Görüntü tipi alanı görüntünün formatını kaydeder ve görüntü değeri alanı kızılötesi görüntünün ikili kodunu saklamak için kullanılır.
Okuma performansını sağlamak için, görüntü değeri alanının boyutu 1M'yi geçmemelidir. Tek bir kızılötesi görüntünün boyutu genellikle 1M'yi geçmez ve 1M'den büyük görüntünün kesilmesi gerekir ve kesilen görüntünün HBase'deki görüntü değeri alanına bölünmesi Görüntünün farklı kısımlarının görüntü değeri alanında farklı süreleri vardır. Damga niteliği, kızılötesi görüntü, zaman damgası özniteliğine güvenerek geri yüklenebilir. Yedeklilik uğruna, HBase Sürümü 5'e ayarlanmıştır, yani görüntü değeri alanı farklı zaman damgası özelliklerine sahip en fazla 5 Değere sahiptir, yani görüntü 5 parçaya kadar kesilebilir ve toplam boyut 5M'yi geçmemelidir.
HDFS, HBase ve Hive'da depolanan verilerin indekse göre aranması gerekir Ekipman test verileri indeks bilgileri, HBase'deki ekipman test verileri indeks tablosunda saklanır. Tablo formatı Tablo 3'te görülebilir.
3.3.2 Ekipman testi veri ilişkilendirme yönetimi
Geleneksel ekipman testi veri yönetimi yöntemi, yalnızca ekipman test verilerini testle ilişkilendirir ve verilerin kaynağı, toplama ekipmanı ve toplama personeli gibi bilgileri elde edemez Ekipman testi verileri ilişkilendirme yönetimi, gösterim yöntemi aracılığıyla veriler, kişiler ve ekipman arasındaki ilişkiyi kurar. Verinin tüm yaşam döngüsünün görüntülenmesini gerçekleştirmek için ilişki.
Ekipman testi veri ilişkilendirme yönetimi yöntemiyle yönetilen veriler aşağıdaki işaretlere sahip olmalıdır:
(1) Test verileri,
(2) Test verilerinden sorumlu kişi
(3) Test verilerinin kaynağı
(4) Veri kaynağı yöntemini test edin
(5) Test veri kaynağı yönteminin operatörü
(6) Bu verileri kullanan veriler
(7) Bu veriler nasıl kullanılır
(8) Bu verileri kullanan operatörler
Veri kaynağının izlenmesi gerektiğinde, test veri kaynağı alanı, alan değeri belirli bir cihaz olana kadar sürekli olarak yinelemeli olarak çağrılır, böylece veriler tarafından oluşturulan korelasyon diyagramı çizilebilir.
Veri kullanımının değerlendirilmesi gerektiğinde, bu verileri kullanan veri alanı, alan boş olana kadar özyinelemeli olarak çağrılır, böylece bu verileri doğrudan veya dolaylı olarak kullanan tüm veriler bulunabilir ve ilişkilendirme diyagramı çizilebilir. Yukarıdaki iki korelasyon diyagramını birleştirerek, veri yaşam döngüsü korelasyon diyagramı çizilebilir.
Örnek olarak A verisi alındığında, tam yaşam döngüsü ilişkisinin örnek bir diyagramı Şekil 2'de gösterilmektedir:
Şekil 2 Veri tüm yaşam döngüsü korelasyon diyagramı
Derinlik ilk veya enine arama algoritması, ekipman test verilerinin ilişki ilişkisini depolayan tablo üzerinde gerçekleştirilir ve tüm test verileri arasındaki ilişki ilişkisi görüntülenebilir. Şekil 3'te gösterildiği gibi:
Şekil 3 Test verilerinin tüm yaşam döngüsünün korelasyon diyagramı
Test verilerinin kaynağı, test veri kaynağının yöntemi, test veri kaynağının operatörü, bu verileri kullanan veriler, bu verileri kullanma şekli ve bu verileri kullanan operatör gibi işaretlenen öğe sayısının belirsizliğini göz önünde bulundurun. Geleneksel bir ilişkisel veritabanı kullanılıyorsa, yukarıdaki alanların farklı biçimlerde depolanması ve bağlantılar aracılığıyla sorgulanması gerekir, bu da düşük sorgu verimliliğiyle sonuçlanır. HBase, seyrek depolama özelliklerine sahiptir ve veri öğelerindeki boş sütunlar depolama alanını işgal etmez. Depolanması gereken yukarıda işaretli öğelerin sayısı tablodaki karşılık gelen sütun sayısından fazla olduğunda, platform, diğer veri öğeleri için depolama alanını artırmadan verileri girmek için otomatik olarak sütunlar ekleyebilir, böylece tüm işaretli öğeler büyük bir HBase tablosunda saklanabilir. Sorgu verimliliğini artırmak için.
Ekipman test verileri ile ilgili bilgiler, HBase'deki test verileri indeks tablosunda saklanır ve tablo formatı Tablo 3'te görülebilir.
3.3.3 Ekipman test verilerinin çok boyutlu yönetimi
Test yöneticilerinin büyük ekipman test verilerini yönetmesine yardımcı olmak için, çok boyutlu bir test veri yönetimi yönteminin oluşturulması gerekir.
Bu platform, ekipman test verilerini yönetmek için on katmanlı bir ağaç diyagramı kullanır Varsayılan ekipman test verileri sınıflandırma dizisi model, test yapısı, test aşaması, test birimi, test, test verileri paketi, test verileri alt bölümü paketi ve test veri türüdür. Şekil 4, varsayılan sınıflandırma sırası kullanılarak oluşturulan ekipman test verileri sınıflandırmasının bir ağaç diyagramıdır Parantez içindeki sayı, bu düğüm altında bulunan testlerin sayısını gösterir.
Şekil 4 Ekipman test verilerinin sınıflandırma ağacı diyagramının şematik diyagramı
Ağaç yapısının ikinci ila beşinci katmanında bulunan model, test niteliği, test aşaması ve test ünitesinin dört test verisi sınıflandırma yöntemini serbestçe birleştirerek, test uzmanlarının rahatlığı için 24 farklı ekipman test verileri sınıflandırma ağaç diyagramları oluşturulabilir. Ekipman test verilerini birden çok boyutta görüntüleyin.
Ekipman test verilerinin sınıflandırma ağacı diyagramını oluşturmak için iki adım gereklidir:
(1) Sözlükten tüm model, test yapısı, test aşaması ve test ünitesi bilgilerini okuyun;
(2) Yönetim personeli tarafından seçilen sınıflandırma sırasına göre ekipman test verileri sınıflandırma ağaç diyagramını oluşturun.
Platform, ekipman test verileri sınıflandırma ağacı diyagramının oluşturulması için tüm bilgileri depolamak için yedi tablo kullanır: model sözlük tablosu, test doğası sözlük tablosu, test aşaması sözlük tablosu, test birimi sözlük tablosu, test bilgisi saklama tablosu, test verileri indeks tablosu ve ağaç diyagramı yön tablosu. Ekipman test verileri sınıflandırma ağacının ilk altı katmanı, test bilgisi saklama tablosu ve ağaç indeks tablosu tarafından oluşturulur ve son dört katman test verileri indeks tablosu tarafından oluşturulur.
Model sözlük tablosu, deneysel doğa sözlük tablosu, deneysel aşama sözlük tablosu, deneysel birim sözlük tablosu ve ağaç haritası indeksi tablosu az miktarda bilgiyi yönetir ve kolay sorgulama için geleneksel bir ilişkisel veritabanında saklanmalıdır. Test bilgisi saklama tablosu ve test verileri indeks tablosu, HBase'de depolanması gereken büyük miktarda bilgi, birçok geri alma süresi ve seyrek yapıya sahip verileri depolar.
HBase yerel olarak yalnızca RowKey sorgusunu destekler Sorgu hızını artırmak için, alınacak tüm bilgilerin RowKey'e gömülmesi ve alma sırasına göre sıralanması gerekir. Test birimleri için en yaygın kullanılan test sınıflandırma sırası model, test yapısı, test aşaması ve test ünitesidir, bu nedenle test bilgileri saklama tablosu RowKey buna göre tasarlanmıştır.
Test bilgisi saklama tablosu RowKey on sekiz ondalık basamaktan oluşur İlk dört basamak test modelini gösterir, beş ila altı basamak testin doğasını gösterir, yedi ila sekiz basamak test aşamasını gösterir ve dokuz ila on bir basamak test birimini gösterir. On iki ila on sekiz basamak, aynı modeldeki, aynı yapıdaki, aynı aşamadaki ve aynı birimdeki testin sırasını gösterir.
Test verileri indeks tablosu RowKey, yirmi sekiz ondalık basamaktan oluşur İlk on sekiz basamak, test verilerinin ait olduğu test RowKey'dir ve on dokuz ila yirmi basamak, test verilerinin ait olduğu test verileri paketinin 21'den 22'ye kadar kimliğidir. Bit, test verilerinin ait olduğu test verisi alt bölüm paketinin kimliğidir, yirmi üç ila yirmi dört bit, test verisi tip kimliğidir ve son dört bit, ait olduğu test verisi altbölüm paketinin aynı tipteki verilerdeki test verilerinin dizisidir.
HBase, verileri RowKey boyutuna göre saklar.Test verileri model, test yapısı, test aşaması ve test birimi sırasına göre sıralandığında, istatistik düğümü altındaki test sayısının tüm veri tablosunu aramasına gerek yoktur, sadece belirli bir aralığın varlığını araştırır Veri. Örneğin, A1 modelinin sözlük kimliği 0001 ve ilk örnek aşamasının sözlük kimliği 02 ve RowKey'de 000102000000000000 ile 000102999999999999 arasındaki veri sayısı A1'e ait testin modelidir ve test aşaması ilk örneklemin deneme sayısıdır.
Test verilerini serbestçe birleştirilmiş bir şekilde kategorilere ayırırken, istatistik düğümü altındaki test sayısının, son derece verimsiz olan tüm test bilgisi saklama tablosunu alması gerekir. Deneme sayısı bilgisini depolamak için bir ağaç haritası indeks tablosu oluşturarak ve buna göre düğüm altındaki deneme sayısını hesaplayarak, bir ağaç haritası oluşturma hızı büyük ölçüde geliştirilir. Test bilgisi saklama tablosundaki veri öğeleri değiştiğinde, dendrogram indeks tablosundaki veriler otomatik olarak güncellenir.
Ağaç haritası dizin tablosunun yapısı Tablo 2'de gösterilmektedir:
Tablo 2 Dendrogram indeks tablosu
Ayrıntılı test bilgilerini görüntülerken, ağaç şemasında belirlenen model kimliği, test doğası kimliği, test aşaması kimliği, test birimi kimliği aracılığıyla sorgu aralığını sınırlayabilir ve test depolama konumunu hızlı bir şekilde bulabilirsiniz.
Test bilgisi saklama tablosu sadece temel test bilgilerini değil, aynı zamanda testle ilgili personel ve ekipman bilgilerini de depolar HBase'in sütun odaklı özelliklerine dayanarak, geleneksel ilişkisel veritabanlarından kaçınarak personel bilgilerini ve ekipman bilgilerini depolamak için belirli sayıda sütun önceden ayarlanabilir. Testle ilgili bilgiler dağınıktır ve farklı tablolarda saklanır, bu da karmaşık sorgulara yol açar. Personel veya ekipman sayısı tablodaki ilgili sütunların sayısını aştığında, platform verileri girmek için otomatik olarak sütunlar ekleyebilir.
HBase, dosyaları sütun ailelerine göre okur ve bir seferde okunması gereken veriler mümkün olduğunca aynı sütun ailesine yerleştirilmelidir. Bu yazıda tasarlanan test bilgileri saklama tablosu Tablo 3'te gösterilmektedir:
Tablo 3 Test bilgileri saklama tablosu
Test verileri indeksi tablosu, ekipman test verileri, ekipman test verileri konum indeksi bilgileri ve ilgili bilgilerin temel bilgilerini depolar.HBase'in sütun odaklı özelliklerine dayanarak, belirli sayıda sütun depolama veri kaynağı, veri kaynağı yöntemleri, operatörler ve bu verilerin kullanıcıları önceden ayarlanmıştır. Veriler, bu verileri kullanma yöntemi ve bu verileri kullanan operatör gibi bilgiler.Sütun sayısı yetersiz kaldığında, platform verileri girmek için otomatik olarak sütunlar ekler. Test veri indeksi tablosunun yapısı Tablo 4'te gösterilmektedir:
Tablo 4 Test veri indeksi tablosu
Platform uygulaması ve etkinliği
Ekipman testi büyük veri yönetimi platformu, bir havacılık biriminde denendi.Platform, bir büyük veri toplama sunucusu, bir büyük veri yönetimi sunucusu ve üç sunucudan oluşan bir büyük veri depolama bilgi işlem kümesi dahil olmak üzere beş Sugon sunucusunda konuşlandırıldı. Ekipman testi büyük veri yönetimi platformu aracılığıyla, birim, ikincil uzaktan test departmanı ile otomatik veri toplamayı ve çok formatlı büyük geçmiş ekipman test verilerinin verimli ve güvenli bir şekilde depolanmasını gerçekleştirmiştir. Ünitenin orijinal Oracle tabanlı ekipman testi veri yönetimi platformuyla karşılaştırıldığında, bu platformun veri okuma hızı yaklaşık% 50 ve veri yazma hızı yaklaşık% 60 arttı. Aynı zamanda, orijinal platformun veri kaynaklarını takip edememe, ekipman test verilerini birden çok boyutta görüntüleyememe ve veri madenciliği ve kullanım yöntemlerinin bulunmaması sorunlarını çözerek, ünitenin ekipman test veri yönetimi ve uygulama yeteneklerini etkin bir şekilde geliştirir.
Sonuç
Ekipman testi büyük veri yönetimi platformu, büyük ekipman test verilerinin otomatik olarak toplanmasını, verimli ve güvenli depolamayı, çok boyutlu ilişki yönetimini ve derin madencilik uygulamalarını gerçekleştirmek için ekipman test departmanlarında yaygın olarak kullanılabilir. Ayrıca, ekipman test verilerinin iyileştirilmiş yönetiminin teşvik edilmesi ve ekipman test verilerinin kullanımının iyileştirilmesi üzerinde olumlu bir etkiye sahiptir.
(Tam metnin sonu)
