Özel iş odaklı kurumsal meta veri yönetimi
[Kılavuz] Bu içerik, Puyuan Information Software Genel Müdür Yardımcısı, Büyük Veri Ürün Hattı Genel Müdürü tarafından seçilmiştir. Wang Xuan İlk Çin Veri Standardizasyon ve Yönetişim Konferansı'nda ve 6 Kasım 2016'da DAMA'nın açılış töreninde verilen başlık "İş Odaklı Kurumsal Meta Veri Yönetimi" Konuşma.
İlk Veri Yönetişimi Konferansı, Çin Veri Standardizasyonu ve Yönetişim Semineri'ni başlattı. Büyük veri çağında, hükümet, çeşitli endüstriler ve kuruluşlar veri varlıkları ve değer yaratmaya eşi görülmemiş bir vurgu yaptı, ancak "veri standardizasyonu, veri yönetimi, veri kalitesi" ve diğer temeller Veri kapasitesi oluşturma, hak ettiği ilgiyi görmedi. Puyuan Büyük Veri, uzun yıllardır büyük veri yönetişimine odaklanıyor.Çin Kalkınma Bankası, Devlet Şebekesi, Şangay Mobil, Qinshan Nükleer Enerji Santrali gibi birçok büyük kuruluş için veri yönetimi çözümleri sunmuş ve Çin'in büyük veri altyapısını ve verilerini aktif olarak tanıtmıştır. Standardizasyon ve yönetişimin tam uygulaması. Bu konferansın toplanması, veri standardizasyonu ve yönetişiminin hayatın her kesiminden kademeli olarak ilgi ve ilgi görmeye başladığını ve açık ve paylaşılan bir büyük veri endüstrisi ekolojisinin yavaş yavaş şekillendiğini gösteriyor. Toplantıda, Çin Elektronik Standardizasyon Enstitüsü, Tsinghua Üniversitesi Veri Bilimi Araştırma Enstitüsü ve Uluslararası Veri Yönetimi Derneği Çin Şubesi (DAMA Çin), ulusal büyük veri standardizasyonunun test doğrulaması ve uygulama tanıtımı için veri standardizasyonu ve yönetişimi konusunda stratejik bir işbirliği anlaşması imzaladı. Standart bir büyük veri endüstriyel ekolojik ortamının oluşumunu ortaklaşa teşvik etmek için Puyuan Information ve Alibaba gibi büyük veri sağlayıcıları ile çalışmak için net bir plan yapıldı.
Toplantıda, Puyuan Information Software genel müdür yardımcısı ve büyük veri ürün hattı genel müdürü Wang Xuan, dar yönetim kapsamı, zor işletme entegrasyonu, uygulama senaryolarının eksikliği ve kusurlu teknoloji nedeniyle kurumsal meta verilerin değerinden bahsetti. "Yalnız meta veri yönetimi" sunarak yayınlamak genellikle zordur. Otomasyon ve gerçek zamanlı veri varlığı toplama, iş veri haritası sıralama elde etmek için bir havayolu ve birçok durumda meta veriye dayalı kullanıcı self servis veri sorgulama uygulamalarını uygulamak için bir güç grubu sağlamak için bir lojistik firmasında genel meta veri yönetimi platformunun uygulanmasıyla birleştirildi, paylaşım Puyuan'ın meta veri çözümü.
Puyuan, bir lojistik şirketi için bir meta veri yönetim platformu mimarisi inşa etti. Bu yılın, Puyuan'ın veri yönetişimine odaklandığı 9. yıl olduğu bildirildi.Büyük veri ürünleri, bankaların temel işlerinde, enerji veri varlık yönetiminde ve telekomünikasyon bilgilendirmede kullanıldı. Sarsılmaz bir piyasa konumuna sahiptir. Gelecekte Puyuan, veri standardizasyonu ve yönetişimindeki düzenini daha da derinleştirecek, şirketlerin iç ve dış veri yönetişimini ve yönetimini standartlaştırmasına, kurumsal veri varlıklarının değerini artırmasına ve gelecekteki kurumsal dijital dönüşümlere daha iyi yanıt vermesine yardımcı olacak.
Wang Xuan'ın Konuşmasının Kaydı
Bilişimin tamamında meta veri yönetiminin rolünü paylaşma fırsatına sahip olduğum için çok mutluyum. WeChat grubumuzda, şirketler için meta verilerin kullanımının ne olduğunu sık sık tartışıyoruz? Herkes meta veri yönetiminin zor olduğunu ve yapıldıktan sonra bunun bir çaba israfı olabileceğini ve sonunda hiçbir etkisi olmadığını kabul eder. Bir meta veri platformunun profesyonel bir geliştiricisi olarak, kendimi her zaman rahatsız hissettim. Kurumsal meta veri yönetimi aslında çok önemlidir. Son zamanlarda bir araştırma raporunda Gartner, "kurumsal meta veri yönetiminin gelecekte kurumsal bilişimin temel altyapısı olacağını" açıkça belirtti. Büyük veri ortamının tamamında, bilgi giderek daha karmaşık hale geliyor. Şirketlerin bu bilgileri otomatik olarak yönetmesine yardımcı olacak bir meta veri yönetimi yoksa, bilgilerin etkili bir şekilde kullanılması zor olacaktır.
Şekil: Meta veri yönetiminin Gartner'ın bilgi kapasitesi çerçevesindeki konumu (resim kaynağı: Gartner)
1. Kurumsal meta veri yönetiminin mevcut durumu Meta veri yönetimi çok önemli olduğundan, meta veri yönetiminin mevcut durumuna bir göz atalım. Meta veri yönetiminin mevcut durumunu tanımlamak için "yalnızlığı" kullanabileceğimizi düşünüyorum. Meta veri yönetimi yalnızlığı esas olarak dört yönden yansıtılır:
Şekil: Lonely Enterprise Meta Veri Yönetimi
1. Dar yönetim kapsamı Meta veri yönetiminin mevcut dar kapsamı esas olarak iki seviyede yansıtılır: Birinci seviye, meta verilerin yalnızca veri ambarıyla ilgili teknik meta verileri yönetmesi ve en fazla, veri ambarı ile ilgili sistem düzeyini ondan uzakta yönetmesidir. Kurumsal meta veri yönetimini gerçekleştirin; ikinci düzey, veri ambarları alanında bile, yalnızca teknik meta veriler yönetilir, ancak iş meta verileri yönetilmez. Bu, herkesin yalnızca bir grup tablo yapısını görmesine neden olur, ancak bunları anlayamaz. Özel anlamı. Dahası, yönetilen teknik meta veriler doğru değildir ve meta veri sistemine tam olarak yansıtılamaz.
Şekil: Dar yönetim kapsamı
2. İşletmeyi birleştirmek zor Birkaç yıl önce, UnionPay Veri Yönetimi Departmanından sorumlu kişi bana, bu sistemin departmanın oyuncak sistemi haline gelmesinden özellikle korktuğunu söyledi. Tüm fonksiyonlar yalnızca Veri Yönetimi Departmanı tarafından dahili olarak kullanılabilir ve harici personel onu kullanamaz. Aslında söylediği çok mantıklı Herhangi bir sistem işe yaramalı Bu sistemi sadece bir departman kullanıyorsa sistem cansızdır Tüm departmanların bu sistemi kullanmasına nasıl izin verilir? Çok önemli bir şey.
Şekil: İşletmeyi birleştirmek zor
3. Uygulama senaryolarının olmaması Mevcut bakış açısına göre, meta veri uygulama senaryolarının çoğu meta verilerin dahili işlevlerine odaklanmıştır; bunlara yalnızca meta verilerin işlevlerinden haberdar olan kan ilişkisi analizi, kan hattı analizi, sürüm yönetimi vb. Gibi birçok CTO dahildir. Bu işlevlerin tümü kuruluştadır. Bilişimde kullanılır, ancak gerçekte, meta verilerin rolü yalnızca bu sınırlı işlevlerde yansıtılmaz.
Şekil: Uygulama senaryolarının olmaması
4. Kusurlu teknoloji Son analizdeki yukarıdaki üç sorunun tümü, kusurlu meta veri yönetimi teknolojisinden kaynaklanmaktadır. Eksik meta veri yönetimi teknolojisi temel olarak üç yönden yansıtılır: Birincisi, ölçeklenebilirlik açısından güçlü değildir. Kurumsal meta veri yönetimi yalnızca verileri yönetmekle kalmamalı, aynı zamanda iş verilerini ve hatta mimariyi de yönetmelidir, ancak artık birçok araç bunları yönetemez. İkincisi, toplama yeteneği zayıftır ve birçok şirket meta veri yönetimi yapmaktadır. Manuel olarak yardımcı kayıt yapmanız gerektiğinde, herkes için çok acı vericidir ve bilgi bağlantısını gerçekten kuramaz; üçüncü olarak, veri bağlantısı gerçek zamanlı olarak görüntülenemez ve birçok kuruluşun meta veri yönetimi hala T + 1'de kalır ( T + 1 aşaması bile değil Veri varlıklarının mevcut durumunu anlamak genellikle bir hafta hatta bir ay sürer.Böyle hızlı bir veri büyüme oranıyla bu, işletmelerin ihtiyaçlarını karşılamaktan uzaktır.
Şekil: Kusurlu teknoloji
2. İş için meta verilerin değerini ortaya çıkarın
Meta veri yönetiminin bu yalnız statükosundan kurtulmak için dört yönden ilerleyebiliriz:
1. Ölçeklenebilirliği teknik olarak geliştirin ve otomatik toplama gerçekleştirin Meta veri yönetiminin işletmelere daha fazla iş senaryosu getirmesi için, meta veri yönetiminin teknik yeteneklerini geliştirmek çok önemlidir. İlk olarak, meta veri yönetiminin ölçeklenebilirliğini artırmalıyız. Pek çok makalede bahsettiğim şey budur. Çoğu meta veri ürünü artık CWM standardına uygundur. Bu mimari yalnızca veri ambarıyla ilgili meta verileri destekler, ancak iş ve mimari gibi meta verilerin toplanmasını desteklemez. Bu nedenle, meta veri yönetimi mimarisinin uyumlu olduğu spesifikasyonlar, en düşük MOF'a daha fazla daldırılmalıdır. Şu anda yapmakta olduğumuz yeni nesil platformlar da dahil olmak üzere her zaman temel temel olarak MOF'u kullandık.Ortadaki tüm mikro hizmet mimarisi, hizmetlerin, verilerin ve operasyon ve bakım süreçlerinin birleşik yönetimini sağlayan meta veriler tarafından yönetiliyor. İkinci olarak, meta veri toplama yeteneğini geliştirmeliyiz. 2010'da Puyuan'a geldim. Bu altı yıl boyunca, komut dosyalarını toplamadan, depolanan prosedürlere, raporlara ve çeşitli sözdizimi ağaçlarını analiz etmeye kadar çeşitli meta verilerle karşı karşıya kaldık. Mükemmele giden bir nokta,% 100 toplamaya çalışın.
Şekil: Meta veri yönetimini iyileştirmek için teknik yetenekler
2. İş meta veri yönetimi yeteneklerini geliştirin ve iş kullanıcıları tarafından yaygın olarak kullanılmasını sağlayın Meta veri yönetiminin değerini tam anlamıyla oynamanın öncülü, iş personelinin meta veri yönetim sistemini anlamasına ve öğrenmesine izin vermektir.Şu anda, iş meta verilerini toplamak çok önemli hale geliyor. Artık Excel formları aracılığıyla iş meta verilerini toplama yöntemi, satış görevlilerinin çeşitli veri öğelerini doldurmasını gerektiriyor. Bunları sistemde topladıktan sonra, işletme meta verilerini görebilseler bile iş meta verileri ile teknik meta veriler arasındaki ilişkiyi bilmiyorlar. , Ancak bu iş verilerinin teknik yolunu yansıtamaz. Yukarıdaki sorunları çözmek için öncelikle otomatik toplama vazgeçilmezdir.Ayrıca, iş meta verileri belgelerden analiz edilebilir ve ardından iş meta verileri ve teknik meta veriler eşleştirilerek daha fazla kullanıcının meta veri sistemine katılımı sağlanabilir. Kullanın.
Şekil: İş personelinin meta veri yönetim sistemini kapsamlı bir şekilde kullanmasına izin verin
3. İş odaklı özelleştirilmiş uygulamaları gerçekleştirmek için işle birleştirin Artık meta veri yönetim sistemi yalnızca belirli dahili işlevlerin kullanımıyla sınırlıdır.Üst veri yönetiminin değerini gerçekleştirmek için, meta veriler hizmet odaklı bir sistem haline getirilmeli, kuruluşun çeşitli senaryolarına gömülmeli ve diğer sistemler için yetenekler sağlamalı ve diğer sistemlere izin vermelidir. Daha otomatik hale gelin. Meta veri yönetiminin rolü, kullanıcılara yalnızca meta verilerin ne olduğunu bildirmekle kalmamalı, aynı zamanda kurumsal bilişimin tüm yönlerine entegre çok önemli bir altyapı haline gelmelidir.
Şekil: İş odaklı özelleştirilmiş uygulamaların gerçekleştirilmesi
4. Bir self servis veri kaynağı oluşturmak için veri üretim hattını açın Meta veri yönetimi bir altyapı haline geldikten sonra, ürünlerin üretim hattında nasıl çalışır? Örneğin, akıllı bir şehirde büyük bir veri platformu oluşturduktan sonra, verileri eskisi gibi kullanmak mümkün değilse, aslında geliştiricilerin verileri kendilerinin alması mümkündür ve bu da tüm endüstri hattını daha basit hale getirir. Bir havayolu ile iletişim kurduğumuzda, şu anda sıkıntı yaşadıklarını öğrendik, çünkü tüm iş sistemleri veri istemek için veri departmanına geliyor ve veri departmanının tek tek açıklamaları ve verileri içe aktarması gerekiyor.İş sistemlerinin artmasıyla temelde çok meşgul. Bir self servis veri üretim hattı oluşturmak için meta verileri kullanırsanız, iş geliştiriciler veri platformundan verileri kolayca alabilir ve bu, iş geliştiricilerin memnuniyetini artırırken veri departmanının iş yükünü azaltabilir.
Şekil: Veri üretim hattını açmak için meta veri yönetimini kullanın
Üç, Puyuan Enterprise Meta Veri Yönetimi Uygulaması Şu anda birçok kurumsal meta veri yönetimi durumumuz var. Daha önce China Development Bank, CITIC ve UnionPay gibi finans şirketleri yapıyorduk. Bu yıldan itibaren lojistik endüstrisi ve havacılık endüstrisinin de temellere odaklanarak meta veri yönetimine dikkat etmeye başladığını gördüm. Cinsel veriler işe yarıyor, sizinle paylaşmak için birkaç tipik vaka daha seçmeme izin verin.
1, Bir lojistik şirketi : Otomatik ve gerçek zamanlı veri varlığı toplama
Şekil: Bir lojistik kuruluşunun meta veri yönetimi platformu mimarisi. Bir lojistik kuruluş, nispeten eksiksiz bir veri platformu oluşturmuştur. Meta veri yönetimi platformumuz, 90'dan fazla iş sistemini yönetmelerine yardımcı oldu, mevcut tüm süreci optimize etti ve toplama doğruluğunu elde etti İster basit bir ortam (GP'nin toplanması gibi), ister karmaşık bir ortam (depolanan prosedürlerin toplanması gibi) olsun,% 95, hatta% 99, otomasyonu sağladık.
Şekil: Bir lojistik şirketinin meta veri toplama sonuçlarıyla ilgili çok ilginç bir şey var. O zamanlar bir lojistik şirketinin 500'den fazla raporu vardı. Otomatik toplamadan sonra 50 raporun hiçbir sistemle ilişkilendirilmediği keşfedildi. Ancak o zaman, Yararsız 50 raporu tutmak ve bunları güvenle rapor listesinden çıkarmak, otomatik toplamanın etkisidir. Birçok kişi şunu sorabilir: Otomatik olarak toplanan yalnız bir meta veri değil mi? Aşağıdaki resmi görebilirsiniz. Aslında, meta verileri geliştirme süreçlerine entegre ettik ve her geliştirme bağlantısı, gereksinimlerini iyileştirmek için meta veri hizmetlerini kullanacak.
Şekil: Yazılım yaşam döngüsüne dayalı meta veri yönetimi, özellikle test dağıtım aşamasında. Aslında, meta veriler tasarım durumunu, test durumunu ve üretim durumunu içerir. Polimorfik meta veriler, ideal koşullar altında tutarlı olmalıdır, ancak gerçek ortamda çok farklıdır. Anlaşmak zor. Bir sistemin çevrimiçi olup olamayacağını, geliştirme yöneticilerinden ve operasyon ve bakım personelinden çift satır onay gerektirdiğini biliyoruz. Geliştirme ve yönetimde, geliştiriciler, geliştirme ve tasarımın tutarlı olmasını sağlamak için manuel olarak karşılaştırıyorlardı.Artık meta veri yönetim sistemi doğrudan bir fark raporu verebilir.Geliştirme yöneticisi, rapordaki farklılığa dayanarak sistemin lansman gereksinimlerini karşılayıp karşılamadığına karar verebilir. , Aşağıdaki resim, oluşturduğumuz standartlaştırılmış süreçlerden bazılarını, düzenli analizleri ve bunlar için varlık haritalarını göstermektedir Bu harita hala daha teknik bir veri haritasıdır.
Sistemin çalıştırılması ve bakımı sırasında, bir lojistik firmasında bu tür şeyler sıklıkla oldu: bir test sistemi, test tamamdı, ancak üretim aşamasındayken, bu sistemin lansmanının bir dizi sistemi etkileyeceği keşfedildi ve iade edilmesi gerekiyordu. Sağladığımız otomatik meta veri toplama yetenekleri, meta verilerin kapsamlı bir şekilde toplanmasını sağlayabilir, iki durum arasındaki farkı tamamen karşılaştırabilir, sistemin çevrimiçi etkisini önceden öğrenebilir ve ardından sistemin çevrimiçi olup olamayacağına karar verebilir ve bir dizi Süreç, buna göre hazırlık yapmak için diğer sistemleri önceden bilgilendirin.
2, Bir havayolu İş verileri haritası Bir havayolunda yaptığımız şey, esas olarak ticarileştirilmiş veri haritalarıdır. Orijinal veri haritaları teknik personel içindir. İş kullanıcıları, kaç sistem olduğu veya sistemler arasındaki ilişki ile ilgilenmedikleri için, iş kullanıcıları yalnızca ve İşle ilgili şeyler, farklı iş konularına ait verilerin nerede olduğuna, iş modelleri arasındaki ilişkiye ve istediğim iş verilerini nereden alabileceğime bağlıdır. Bu nedenle, tüm havayolu modelini düzenledik ve verileri işletme personelinin anlayabileceği şekilde sunduk.
Şekil: Bir havayolunun iş verileri haritasını sıralama
Şekil: Bir havayolunun veri varlıklarının dağılımı
3. Bir güç grubu: iş meta verilerine dayalı iş kullanıcısı self servis veri sorgusu Enerji sektöründeki iş personelinin BT seviyesi sınırlı olduğu için kendi başlarına rapor tasarlayamazlar, rapor sistemi üzerinden self servis sorgulama yapamazlar, bu nedenle güç grubu her gün iş personelinden gelen çok sayıda taleple başa çıkmak zorundadır. Güç grubunun tüm metadatalarını çözdük ve rapor hattına entegre ettik.İş metadata ile teknik metadata arasındaki yazışma sayesinde, iş personeli iş verilerine karşılık gelen teknik kanalları sorgulayabilir ve sonunda raporu sunabilir. Bu şekilde, işletme personelinin kendi başlarına rapor tasarlamasına izin verilir, bu da veri departmanının iş yükünü büyük ölçüde azaltır.
Şekil: Bir güç grubunun işletme personelinin kendi tasarladığı raporlar. Bir güç grubunda, bir iş verileri haritası da yaptık. Her bir yerdeki iş kullanıcıları veriler için farklı biliş yeteneklerine sahip olduğundan, bu veri haritası iş süreçlerini hedefliyor. Evet, bu veri haritasından her bir sürecin düğümlerinde hangi verilerin olduğunu görebilirsiniz, böylece işletme personeli ihtiyaç duydukları verileri bu şekilde bulabilir.
4. Bir telekom operatörü: iş meta verilerine dayalı self servis veri hizmeti Burada bir telekom operatöründe yaptığımız, tüm verilerin serbest bırakılması ve yönetilmesidir. Metadata, tüm veri üretim hattını oluşturmak için kullanılır.Veri yayınlandığında, geliştiriciler verileri kendileri elde edebilir.Bu, telekom operatöründe çok iyi bir etkiye sahiptir. Aslında sadece dahili geliştiriciler değil, bazı tüketiciler ve veri alıcıları da bu şekilde kendileri veri elde edebilirler; tabii ki veri duyarsızlaştırma ve veri gibi çeşitli sorunlarla da karşılaşırlar. Öğe görüntüleme, veri izinleri vb. Ancak etkin bir şekilde çözüldü.
Resim: Bir telekom operatörünün işletme meta verilerine dayalı self servis veri hizmeti Yukarıdakiler konuşmanın tüm içeriğidir, izlediğiniz için teşekkür ederiz!
Bitirme: Tao Jiachen
Redaksiyon: Min Li
Editör: Liu Wenqing
Talimatları yeniden yazdırın Yeniden yazdırmanız gerekirse, lütfen yazarı ve kaynağı makalenin başında belirgin bir yerde belirtin (şu adresten çoğaltılır: Datapie ID: datapi) ve makalenin sonuna önemli bir Datapie QR kodu yerleştirin. Orijinal logolara sahip makaleler için lütfen iletişim e-postasına [makale adı-yetkilendirilecek genel hesap adı ve kimliği] gönderin, beyaz liste yetkilendirmesi için başvurun ve gerektiği gibi düzenleyin. Lütfen yayınladıktan sonra iletişim e-postası bağlantısını (aşağıya bakın) geri bildirimde bulunun. Yetkisiz yeniden baskılar ve uyarlamalar için, yasalara göre yasal yükümlülükleri takip edeceğiz.
