Veri ambarına dayalı bilimsel araç ve ekipmanların veri analiz sistemi
Li Yuquan, Wu Tong
(Bilgisayar Bilimi ve Teknolojisi Okulu, Guizhou Üniversitesi, Guiyang, Guizhou 550025)
: Veri analizine yatırılan insan gücü ve malzeme kaynaklarından nasıl tasarruf edileceği ve bilimsel araçların ve ekipmanların yönetiminde yönetim verimliliğinin nasıl iyileştirileceği, bilim ve teknoloji yönetimi departmanı için büyük bir endişe konusudur. Veri ambarı teknolojisi, yöneticilere karar vermede yardımcı olmak için analiz verilerini etkili bir şekilde kullanmak amacıyla mevcut bilimsel enstrüman ve ekipman verilerinin çok boyutlu analizi için kullanılabilir. Bundan yola çıkarak makale, bilimsel cihaz ve ekipmanların veri kaynaklarını analiz ederek analiz konularını ortaya koymaktadır.Model tasarımı, ETL fonksiyonu ve OLAP fonksiyonu tasarımı ile veri ambarına dayalı bilimsel bir enstrüman ve ekipman veri analiz sistemi gerçekleştirilmektedir. Sistemin geliştirilmesi ve araştırılması, bilimsel araç ve ekipmanların yönetiminde veri ambarı teknolojisinin uygulanmasının uygulanabilirliğini kanıtladı ve veri ambarına dayalı bilimsel ve teknolojik bir veri karar destek sisteminin daha da kurulması için temel oluşturdu.
: Bilimsel ekipman; veri ambarı; ETL; OLAP
: TP311 belge tanımlama kodu: ADII: 10.19358 / j.issn.1674-7720.2017.01.027
Alıntı biçimi Li Yuquan, Wu Tong. Veri ambarına dayalı bilimsel araç ve ekipmanların veri analiz sistemi J. Mikrobilgisayar ve Uygulama, 2017, 36 (1): 89-92.
0 Önsöz
Bilimsel aletler ve ekipman, bilimsel araştırma ve teknolojik yenilik için temel koşullardır. Gelişmiş bilimsel aletler ve ekipman, ülkenin bilimsel ve teknolojik gelişme düzeyini yansıtır. Yüksek hassasiyetli büyük ölçekli bilimsel aletler, bilim adamlarının bilimsel araştırma sonuçları elde etmesine daha iyi yardımcı olabilir [1]. Bilim ve teknolojinin ekonomik ve sosyal kalkınmayı destekleme ve bilim ve teknoloji kaynaklarının tüm toplumda verimli bir şekilde tahsis edilmesini ve kapsamlı entegrasyonunu teşvik etme yeteneğini geliştirmek için, her il, bilimsel araç ve ekipman bilgilerinin kayıt ve bakımının gerçekleştirilebileceği büyük ölçekli bir bilimsel araç ve ekipman paylaşım platformu kurmuştur. Bilimsel alet ve teçhizatın (özellikle büyük ölçekli aletler ve teçhizatın) kaynak paylaşımını ve merkezi yönetimini gerçekleştirmek için randevu hizmeti gibi işlevleri yerine getirin [2]. Bilimsel aletlerin ve ekipman platformlarının sürekli uygulanması ile büyük miktarda veri üretilmiştir.Bu verilerin analizi ve madenciliği verilerin arkasına gizlenmiş birçok bilgiyle sonuçlanacaktır.Bu bilgilerin etkin kullanımı yönetim personeline bilimsel bir karar verme temeli sağlayacaktır. Bununla birlikte, bilimsel cihaz ve ekipman verilerinin mevcut istatistiksel analizi hala manuel analiz aşamasındadır ve bu da yanlış analiz verileri, uzun istatistiksel analiz süresi ve karar vermeyi destekleyemeyen veri analizi sonuçları ile sonuçlanmaktadır.
Veri ambarı, geçmiş değişiklikleri yansıtan ve yönetim karar verme sürecini desteklemek için kullanılabilen konu odaklı, entegre, nispeten istikrarlı bir veri koleksiyonudur [3]. Bu çalışmada veri kaynağı olarak belirli bir ilde bilimsel araç ve ekipman paylaşım platformu kullanılmış olup, veri ambarının ilgili teknolojisi kullanılarak bilimsel araç ve gereçler için veri ambarı bazlı bir veri analiz sistemi kurulmaktadır.Sistem, veri ambarı bazında OLAP analizi yaparak analiz sonuçlarının net bir şekilde görüntülenmesini gerçekleştirebilmektedir. İlgili yöneticilerin karar alma ihtiyaçlarını karşılamak için.
1 Veri kaynağı analizi
Bir ildeki mevcut bilimsel alet ve ekipman paylaşım platformu temel olarak alet ve ekipman bilgilerini, hizmet sağlama bilgilerini ve hizmet rezervasyon bilgilerini içerir. Platformun işlem istatistikleri işlevi, esas olarak ekipmanın coğrafi dağılımını, farklı disiplinlerdeki sayının değerini ve her yıl yeni enstrüman sayısının değerini saymaktır. Veri kaynaklarının analizi sonucunda, ekipmanın kullanım oranı ve paylaşım oranı ile ekipman tarafından sağlanan hizmetlerin bilgilerinin de yöneticilerin yönetim işinde ustalaşmayı umdukları önemli göstergeler olduğu bulunmuştur [4]. Bu nedenle, orijinal işlem istatistiklerine dayalı olarak aşağıdaki veri analizi gereksinimleri önerilmiştir:
1.1 Kullanım analizi
Ekipman kullanım analizi, platforma kayıtlı ekipman içindir.Her yıl sağlanan bilgiler ve kullanım zamanına bağlı olarak, son yıllardaki kullanımla birlikte, bilim ve teknoloji departmanı, belirli popüler alanlarda veya belirli bölgelerde ekipman sübvansiyonlarını artırabilir. Tanıtımın genişletilmesi; ve sağlayıcı, ekipman ve ekipman kullanımına göre ilgili ekipmanı ekleyebilir veya azaltabilir ve makinenin yıllık harici kullanımını artırabilir veya azaltabilir. Kullanım analizi temel olarak kullanım oranı ve paylaşım oranının analizini içerir.
Kullanım oranının hesaplama yöntemi şöyledir: yıllık makine saatleri / nominal makine saatleri ×% 100 ve nominal makine saatleri genellikle 200 × 8 saattir.Kullanım oranı% 100'den büyükse,% 100 yerine belirli değer kaydedilir; paylaşım oranının hesaplama yöntemi : Yıllık harici makine saati / yıllık makine saati ×% 100, paylaşım oranı% 100'den büyükse% 100 olarak sayılacaktır [5].
1.2 Hizmet analizi
Aletler ve ekipman, işleme ve test etme gibi hizmetler sağlar ve hizmetler için çeşitli faturalama yöntemleri vardır, bu nedenle, enstrüman hizmetleri için faturalama yöntemlerinin dağılımını hesaplamak ve faturalama yöntemlerinin rasyonelliğini karşılaştırarak gözlemlemek gerekir. Cihaz sağlayıcısı için maliyetlerden tasarruf etmek ve hizmet talep eden için makul bir ücretlendirme modeli sağlamak için, hizmet maliyeti ve faturalandırmanın cihazın eskimesine, yıllık kullanımına ve hizmet faturalandırmasına bağlı olarak makul olup olmadığı gibi bilgileri analiz edin.
2 model tasarım
2.1 Kavramsal model tasarımı
Kavramsal model tasarımı, veri ambarı model tasarımının birincil görevidir [6]. Kavramsal tasarım sayesinde veri ambarının ana temaları ve ilişkileri belirlenebilir.
Yukarıda belirtilen talep analizine göre çözülmesi gereken iki sorun var. Birincisi, mevcut aletlerin kullanımıyla ilgilidir. Aletin kullanımının, aletin temel bilgilerinden, konumundan ve disiplininden analiz edilmesi gerekir; ikincisi, aletin servisiyle ilgilidir, çünkü aletin servis ücretinin makul olup olmadığını görmek istiyorum, bu nedenle Hizmet türü, ücret türü, ücret vb. Bilgileri toplamanız gerekir. Bu iki soruya göre veri ambarının iki teması olduğu belirlenebilir: ekipman ve ekipman konusu - analitik alet ve ekipman kullanımı ve hizmet konusu - analiz hizmetlerinin durumu. Gerekli veriler, ekipman verilerini ve hizmet verilerini içerir. Her temanın öznitelik bilgilerinin açıklaması Tablo 1'de gösterilmektedir.
2.2 Mantıksal model tasarımı
Veri ambarı ilişkisel bir veritabanına dayandığından veri ambarında kullanılan mantıksal model, veri ambarı temasının mantıksal gerçekleştirilmesini, yani her bir temaya karşılık gelen ilişkisel tablonun ilişkisel modunun tanımını tanımlayan ilişkisel modeldir.
Veri ambarının tasarımı aşamalı bir iyileştirme sürecidir [7]. Tasarım yapılırken genellikle bir veya birden fazla konu tamamlanır.Sistemde sadece iki konu olduğu için cihaz ve hizmetin iki konusu doğrudan buraya yüklenir. Veri ayrıntı düzeyi açısından, kaynak verilerde güne özgü zaman bilgileri bulunduğundan, tarih "minimum ayrıntı düzeyi" ilkesini izler ve diğer veriler de en küçük veri ayrıntı düzeyini seçebilir. Enstrüman temasında, ilgili enstrüman paylaşım oranı ve kullanım oranı mevcut "yıllık makine saatleri" ve "yıllık mevcut makine saatleri" ile hesaplandığından, bu ölçümler doğrudan OLAP modeline eklenebilir. Aynı şey "servis" teması için de geçerli. Nihai veri ambarının mantıksal modeli Şekil 1'de gösterilmektedir.
2.3 Fiziksel model tasarımı
Fiziksel model, veri dizini stratejisi, veri depolama stratejisi vb. Gibi veri ambarındaki mantıksal modelin gerçekleştirme modudur [8]. Veri ambarının mantıksal modeli, boyut tabloları ile olgu tablolarını birbirine bağlamanın sorgu performansını iyileştirmek için veri ambarı ortamında kullanılan bitmap bağlantı dizinlerinin kullanımı için uygundur. Veri kaynağı, bilimsel araç paylaşım platformundaki araç ve hizmettir.Birincil anahtar, sorgulamada verimsiz olan 25 basamaklı bir dizidir.Bu nedenle, vekil anahtar veri ambarının [9] cihaz ve servis tablosunda ayarlanır ve diğer tablolara alternatifler eklenir. anahtar. Bunların arasında, vekil anahtar kendi kendine artan bir tamsayıdır ve ikame anahtarı tekrar etmeyen bir değerdir.Örneğin, tarih tablosundaki ikame anahtarı bir karakter türü olabilir ve değer, sorguyu büyük ölçüde geliştirebilen belirli bir tarihtir (Çin yılı ve ayı) etkililik. Ayrıca verilerin yönetimini kolaylaştırmak için birim, coğrafi konum ve konu sınıflandırması gibi bilgiler araç tablosundan ayrı bir tabloya ayrılmıştır.
3ETL tasarımı
ETL süreci, çeşitli veri kaynaklarından verilerin çıkarılmasını, verilerin "temiz", tutarlı ve kullanılabilir verilere dönüştürülmesini ve ardından verilerin veri ambarına yüklenmesini içerir. Veri ambarının gerçekleştirilmesindeki en önemli bağlantıdır [10]. Bu sistem, ETL'yi uygulamak için SQL Server ve SSIS kullanır.
Veri kaynağı verilerinin analizi sayesinde, cihaz ve ekipmanın tarihi, konumu, disiplinin türü ve diğer veriler sabitlenir, bu veriler tam olarak yüklenebilir ve ekipman bilgileri ve servis bilgileri zamanla sürekli güncellenir, bu nedenle bunlar için Artımlı yükleme mekanizması, artımlı verilerin zaman damgası [11] tarafından çıkarıldığı veriler için ayarlanır. Veri dönüştürme işleminde, veri türleri, numaralandırılmış veriler, karakter biçimleri, vb. Esas olarak dönüştürülür.Veri yüklenirken birincil ve yabancı anahtar kısıtlamalarını önlemek için, veri ambarı sıralı yüklemeyi gerçekleştirmek için önce yabancı anahtarları silebilir.
ETL'nin gerçekleştirilmesi, kodlama ve SSIS araçlarıyla birlikte yapılır. SQL kodu, numaralandırılmış verilerin eşleştirilmesini gerçekleştirmek için kullanılır.Örneğin, bir iş birimini temsil eden kaynak verilerde birim türü 1'dir. Burada doğrudan "iş birimini" saklayabilirsiniz. SQL deyimleri ayrıca bir tarih tablosu oluşturmak için gereklidir; SSIS ETL için kullanılabilir Tüm süreç düzenlenmiştir [12] Şekil 2, SSIS platformu tarafından tasarlanan cihaz ve ekipman verilerinin çıkarılması, dönüştürülmesi ve yüklenmesi sürecidir.Diğer verilerin ETL süreci şekildeki forma benzer. Bu SSIS işlerini SQLServerAgent'ta zamanlanmış görevler olarak ayarlamak, ETL işlem döngüsünü gerçekleştirebilir.
4 Analiz fonksiyonu gerçekleştirme
Veri ambarı temelinde, karşılık gelen OLAP modeli SSAS kullanılarak oluşturulabilir.Bu sistemdeki OLAP modeli ile veri ambarı modeli arasındaki fark, temelde veri gösterimini kolaylaştırmak için OLAP modeline birden fazla hesaplama üyesi çiftinin eklenmesidir.Şekil 3 OLAP modelindeki araçtır. Ekipman çok boyutlu veri modelinde, şekildeki hesap makinesi sembollerinin bulunduğu sütunlar hesaplanan üyelerdir.
Çok Boyutlu İfadeler (MDX), standart bir OLAP sorgu dilidir [13]. Çoğu OLAP Sunucusu, SSAS ve Hyperion Essbase gibi MDX desteği sağlar. MDX, çok boyutlu veri tanımını ve işlemlerini destekler. SSRS'de MDX ile işbirliği yapmak, sadece ilk bölümde önerilen veri analizi işlevini gerçekleştirmekle kalmaz, aynı zamanda çeşitli grafikler içeren raporlar da üretir ve ASP.NET tarafından geliştirilen Web sistemine kolayca entegre edilebilir.
Yukarıda belirtilen veri göstergelerini analiz etmek için, SSRS'de aşağıdaki MDX ifadesi, bölgedeki, özne türündeki ve tarihteki ekipman ve ekipmanın paylaşım oranı ve kullanım oranının değerini içeren bir "sorgu veri seti" oluşturmak için kullanılır.
ÜYE İLE [Ölçüler]. [Ekipman paylaşım oranı]
AS [Ölçüler]. [Harici Yıl Saati] / [Ölçüler]. [Yıllık Saat]
ÜYE Önlemler. Ekipman kullanım oranı
AS [Ölçüler]. [Yıllık Zaman] / ([Ölçüler]. [Alet Sayısı] * 1600)
BOŞ OLMAYI SEÇİN {
[Ölçüler]. [Alet ve ekipman paylaşım oranı], [Ölçüler]. [Alet sayısı], [Ölçüler]. [Enstrüman ve ekipman kullanım oranı], [Ölçüler]. [Harici yıl süresi], [Ölçüler]. [Yıllık süre ]} SÜTUNLARDA,
BOŞ DEĞİL {(
[DimDate]. Yıl. Yıl .ALLMEMBERS *
[DimGeography]. [İl-Şehir / İlçe]. [ŞEHİR ADI].
ALLMEMBERS * DimDiscipline. Büyük-Orta-Küçük.
[SMALLNAME] .ALLMEMBERS * [DimDepartment].
[QUALITY_CN]. [QUALITY_CN] .ALLMEMBERS *
DimInstrument. VALUERMB. VALUERMB.
ALLMEMBERS)} SATIRLARDA
FROM [Enstrüman Kullanımı]
Şekil 4 Yıl içindeki yeni cihaz ve ekipman sayısının eğilimi Yukarıdaki MDX açıklamasına göre, bir dizi rapor alınabilir.Şekil 4, her yıl yeni alet ve ekipman sayısının eğilimidir.Yıl içinde yeni alet ve ekipman sayısını elde etmenin mevcut yolu, kaynak veri platformu bakımcılarının veritabanını her yıl kontrol etmeleridir. Trend grafiğinin istatistikçi tarafından manuel olarak çizilmesi gerekir; bu, zaman alıcı ve yoğun emek gerektirir. Şekil 5, 2015 yılı alet ve ekipman kullanım oranlarının dağılım haritasıdır. Analitik enstrümanların en yüksek kullanım oranına sahip olduğu şekilden görülebilmektedir. Şekil 6, alet ve ekipmanların yıllık kullanım oranlarının bir çizelgesidir.Şekilden alet ve ekipmanların son yıllarda kullanımını görebilirsiniz.Diğer veriler de aynı şekilde sunulmuştur.
SSRS ve Web sistemi geliştirme platformu ASP.NET arasındaki iyi uyumluluk nedeniyle, sistem ASP.NET kullanılarak geliştirilmiştir. Rapor gösterimi açısından, ASP.NET altındaki ReportViewer kontrolünü kullanın ve raporu tarayıcıda görüntülemek ve çalıştırmak için IReportServerCredentials arayüzünü çağırın ve raporu bir Excel veya PDF dosyası olarak indirin [14].
5. Sonuç
Bu makale, belirli bir ildeki büyük ölçekli bir bilimsel enstrüman ve ekipman paylaşım platformuna dayanmaktadır.Platform üzerindeki kaynak veriler analiz edilerek, karar analizi teması önerilmiş ve bir veri ambarına dayalı bilimsel bir enstrüman ve ekipman veri analiz sistemi kurulmuştur.Bu sistem OLAP analizini tamamlayabilir ve Analiz sonuçları açıkça görüntülenebilir ve veri analizi sonuçları yöneticilere bilimsel kararlar vermede etkili bir şekilde yardımcı olabilir. Sistemin geliştirilmesi ve araştırılması, bilimsel araç ve ekipmanların yönetiminde veri ambarı teknolojisinin uygulanmasının uygulanabilirliğini kanıtladı ve veri ambarına dayalı bilimsel bir veri karar analiz sisteminin daha da kurulması için temel oluşturdu.
Referanslar
[1] Sun Li. Büyük ölçekli bilimsel aletlerin ve ekipmanların kaynak tahsisi optimizasyonu üzerine araştırma D. Pekin: Pekin Jiaotong Üniversitesi, 2015. 2 Xiao Lipeng, Tang Guangping. Büyük ölçekli bilimsel aletlerin ve ekipmanın yurtiçi ve yurtdışında açık paylaşımı için analiz ve karşı önlemler J. Laboratuvar Araştırma ve Keşif, 2016,35 (4): 275-278.
[3] Song Jie. Birden çok veri kaynağı türü için veri ambarı yapımı ve ETL'nin anahtar teknolojileri üzerine araştırma [D] Shenyang: Northeastern Üniversitesi, 2008.
[4] Xu Jing, Wang Dazhou, Çin'deki büyük ölçekli bilimsel aletlerin ve ekipmanların kullanım durumunun analizi ve bunun politika sonuçları J. Disiplinlerarası Bir Perspektifte Mühendislik Araştırma-Mühendisliği, 2010, 2 (3): 209-216.
[5] Wang Lizhen, Zhou Lihua, Chen Hongmei, vb. Veri Ambarı ve Veri Madenciliğinin İlkeleri ve Uygulamaları (İkinci Baskı) [M] Pekin: Science Press, 2014.
[6] INMON W H. Veri ambarının oluşturulması [M]. NewYork: John Wiley ve Sons, Inc, 2005.
[7] Yu Jianfei, Zhu Jiayuan, Zhang Hengxi Veri Ambarının Tasarım Süreci Araştırması J Bilgisayar Mühendisliği, 2003, 29 (19): 4-5.
[8] Wang Xiaopeng, Wu Tong.Üretim kalite kontrol veri ambarı modelinin tasarımı ve uygulaması J. Bilgisayar Teknolojisi ve Geliştirme, 2015 (6): 181184.
[9] Xu Shu, Luo Jun. Vekil anahtar teknolojisi ve yazılımın yeniden kullanımındaki uygulaması J Mikroelektronik ve Bilgisayar, 2007, 24 (8): 136138.
[10] ROOT R, MASON C. Pro SQL Server 2012 BI Çözümleri [M]. Apress, 2012.
[11] Dai Hao, Yang Bo ETL'de artımlı veri çıkarma mekanizması üzerine araştırma J Bilgisayar Mühendisliği ve Tasarımı, 2009, 30 (23): 5552-5555.
[12] KNIGHT B, VEERMAN E, MOSS J M, ve diğerleri. SQL Server 2012 Integration Services Advanced Course (Second Edition) [M]. Wang Jing, Xie Lianpeng, tercüme. Pekin: Tsinghua University Press, 2014.
[13] Cai Yanning, Ye Xuemei, Wang Hongqiao, ve diğerleri Askeri eğitim değerlendirmesi için veri ambarı modelinin tasarımı ve uygulaması J. Bilgisayar Mühendisliği, 2006, 32 (1): 276-278.
[14] TURLEY P, BRUCKNER R, SILVA T, ve diğerleri SQL Server 2012 Reporting Services Advanced Course (Second Edition) [M] Yan Jiong, tercüme Pekin: Tsinghua University Press, 2014.
