"Programcı": Nesnelerin İnterneti için büyük bir veri platformu olan TIZA STAR'ın mimarisinin analizi
Bazı insanlar Nesnelerin İnternetinin üçüncü bilgi teknolojisi dalgasına öncülük ettiğini söylüyor.
İlk dalga kişisel bilgisayarların ortaya çıkması ve bilgi çağında ilk devrimi yaratmasıydı.Bu dalga Microsoft ve IBM gibi devler yarattı.
İkinci dalga, bilgisayarlar ve insanlar arasındaki bağlantıyı gerçekleştiren bilgi aktarımı ile karakterize edilen İnternet ve mobil İnternettir.Bu dalga, Google, Facebook ve BAT gibi yerli devler haline geldi.
Üçüncü dalga, nesneler ve nesneler ile insanlar ve nesneler arasındaki kapsamlı bağlantıyı gerçekleştiren bilgi algısıyla karakterize edilen Nesnelerin İnternetidir.Bu dalga henüz bir oligopol oluşturmadı, ancak sensör teknolojisi, iletişim teknolojisi ve büyük veri işleme teknolojisinin gelişmesiyle birlikte Gelişmeyle birlikte, Nesnelerin İnterneti, kamu işleri yönetimi, kamusal sosyal hizmetler ve ekonomik kalkınma ve inşaat alanlarında her yerde çiçek açtı ve ulaşım yönetimi, enerji tasarrufu ve çevre koruma, lojistik ve perakende gibi gittikçe daha fazla sektör dahil oldu.
2
arka fon
Her Şeyin İnterneti çağı yavaş yavaş geliyor Yetkili raporlara göre, küresel Nesnelerin İnternetine bağlanan terminal sayısı 2020'de 50 milyara ulaşacak ve veriler patlayıcı bir büyüme gösterecek. Bu veriler ne kadar büyük? Tipik bir örnek verin:
Belli bir iş makineleri grubunda 100.000 iş makinesi ekipmanı bulunmaktadır,
Her cihazdaki toplama terminali, her 10 saniyede bir veri yükler ve her verinin boyutu 1K'dır.
Bir yıldaki veri miktarı 365 gün * 860 milyon = 300 milyar,
Bir yılda kullanılan depolama alanı 300 milyar * 1K = 300TB'dir.
Yüksek kullanılabilirliği sağlamak için genellikle üç yedek veri deposu yapıyoruz, yani böyle bir kuruluş yılda 1 PB veri depolayabilir ve 1 PB, 50 ulusal kütüphanenin toplam bilgi miktarına eşittir.
Nesnelerin İnterneti verilerinin içerdiği değer de çok yüksektir.Örneğin, araç terminali tarafından yüklenen veriler, şehir içi araç planlaması için karar verme yardımı sağlayabilen grup yolculuğunun zamanını, modunu ve rotasını önceden tahmin etmek için kullanılabilir; endüstriyel ekipmana takılı sensörler , Endüstriyel ekipmanın kullanım durumunu gerçek zamanlı olarak toplayın ve ekipman teşhisi, enerji tüketimi analizi, kalite kaza analizi vb. Gerçekleştirin; çeşitli çevresel sensörlerle toplanan veriler hava kalitesinin iyileştirilmesine, su kirliliği kontrolüne vb. Yardımcı olabilir.
3
Geleneksel mimarinin darboğazı
Böylesine büyük miktarda IoT verisiyle karşı karşıya kalan geleneksel teknik mimarinin üstesinden gelinmesi zor olmuştur.
Her şeyden önce, geleneksel mimariler büyük ölçüde ilişkisel veritabanlarına dayanır ve ilişkisel veritabanlarının indeks yapısı temelde bir B + ağacıdır.Terminal sayısındaki artışla birlikte veritabanı okuma ve yazma üzerindeki baskı keskin bir şekilde artar, okuma ve yazma gecikmesi artar ve veritabanı çökme ile karşı karşıya kalır. . İkincisi, büyük miktarda verinin depolanmasını desteklemek zordur ve geleneksel veritabanları yatay olarak genişletilemez, bu nedenle genişletme maliyeti çok yüksektir ve PB / EB düzeyindeki verilerin okunması ve yazılması zorlaşır. Son olarak, büyük ölçekli veri işlemeyi gerçekleştirmek zordur.Geleneksel olarak, veri analiz modeli veritabanının SQL veya depolanmış prosedürlerine dayanır ve veriler dağıtılmış bir şekilde işlenemez.Çoğunlukla bir SQL tüm veritabanını çökertebilir.
Pek çok sektörde IoT büyük verisinin değerini gerçekleştirmek için Tianze Information, kurumsal düzeyde bir IoT büyük veri platformu (TIZA STAR) başlattı.
4
TIZA STAR mimarisinin analizi
Peki TIZA STAR tam olarak nedir? Nesnelerin İnterneti için veri erişimi, hesaplama, depolama, değişim ve yönetimi kapsayan açık bir veri işleme platformudur. Bu platforma dayanarak, kullanıcılar kendi IoT çözümlerini kolayca oluşturabilirler. Aşağıdaki şekil TIZA STAR'ın konumunu gösterebilir:
Şekil 1 TIZA STAR'ın Konumlandırılması
TIZA STAR esas olarak hangi sorunu çözüyor? Aşağıdakiler tipik IoT uygulama senaryolarıdır:
-
Nesnelerin İnternetinin güvenliği, veri erişiminden kullanıcılara son sunuma kadar her bağlantının güvenlik korumasını çözer;
-
Gerçek zamanlı erişim, milyonlarca Nesnelerin İnterneti terminalinin problemini çözer ve çok yüksek bir frekansta gönderilen verilere gerçek zamanlı olarak sisteme erişilebilir;
-
Mevcut durum, milyonlarca IoT terminali arasında bir terminalin mevcut durumunu hızlı bir şekilde elde etme sorununu çözer;
-
Geçmişteki durum, milyonlarca IoT terminali arasında geçmişte belirli bir zaman diliminde bir terminalin durum parametrelerini hızlı bir şekilde elde etme sorununu çözer;
-
Talimatların yayınlanması, bir veya daha fazla IoT terminaline talimatların nasıl verileceğini çözer, böylece uzaktan kumanda ve parametre ayarlaması gerçekleştirilebilir.
4.1 Mimari diyagram
Şekil 2 TIZA STAR mimari diyagramı
En alt katman, tümü X86 genel amaçlı sunucuları, mini bilgisayarlar ve üst düzey depolama ekipmanı gibi pahalı bilgi işlem ekipmanı satın almaya gerek kalmadan benimseyebilen ve bir bütün olarak maliyetleri büyük ölçüde azaltabilen aygıt katmanıdır.
En üst katman, temel olarak Nesnelerin İnterneti ve üçüncü taraf sistemlerin çeşitli uygulamaları olan iş katmanıdır. İş katmanının verileri işlemesi ve analiz etmesi gerekmez, yalnızca platform katmanındaki işlenmiş verileri sorgu arabirimi aracılığıyla elde eder ve arabirimde görüntüler.
Orta katman, veri erişim hizmetlerini, veri depolama hizmetlerini, veri hesaplama hizmetlerini (gerçek zamanlı bilgi işlem ve çevrimdışı bilgi işlem dahil), izleme ve alarm hizmetlerini, platform yönetim hizmetlerini ve veri alışverişi hizmetlerini içeren TIZA STAR'dır. Her modül aşağıda ayrıntılı olarak tanıtılacaktır.
4.2 Veri erişimi
Verilere erişildiğinde, sensör veya toplama terminali platforma kablosuz veya kablolu olarak gönderilir ve platform, trafiği yatay olarak ölçeklenebilir her ağ geçidine eşit şekilde yüklemek için yumuşak yük dengeleme (LVS) veya sert yük dengeleme (F5, vb.) Kullanır. Her ağ geçidi, ağa dayalı yüksek performanslı bir ağ erişim programıdır.
Veri erişim protokolü iki seviyeye ayrılmıştır: İletişim seviyesinde TCP, UDP, HTTP ve WEBSOCKET gibi iletişim protokollerini destekler; veri protokolü seviyesinde ise MQTT, JSON, SOAP ve özel ikili protokolleri destekler. Bu iki seviyenin karşılıklı eşleştirilmesi sayesinde, herhangi bir IoT terminalinin ve herhangi bir protokolün veri erişimi kolayca gerçekleştirilebilir.
Şekil 3 TIZA STAR veri erişim protokolü
Ağ geçidi verileri aldıktan ve paketi açmayı tamamladıktan sonra, veri paketini mesaj ara yazılımına gönderir, bu da "patlama trafiği" ve aşağı akış hizmetlerinin kısa süreli kullanılamaması problemleriyle etkin bir şekilde başa çıkabilir. Mesaj ara yazılımı seçiminde Kafka, RabbitMQ ve ActiveMQ'yu karşılaştırdık ve sonunda Kafka'yı seçtik çünkü Kafka'nın aktarım hızı dağıtılmış bir ortamda çok iyidir ve kalıcılığı ve abonelik / yayınlama işlevleri IoT senaryoları ile uyumludur. Çok uyumlu.
4.3 Veri depolama
TIZA STAR, HDFS, HBase, RDBMS ve Redis dahil olmak üzere çeşitli depolama motorları kullanır. Bunların arasında HDFS, yapılandırılmamış verilerin depolanması için çok uygundur, veri yedeklemeyi, kurtarmayı ve taşımayı destekler ve esas olarak sistemde çevrimdışı olarak analiz edilmesi gereken orijinal verileri ve verileri depolamak için kullanılır.
-
HBase, yarı yapılandırılmış verileri depolamak için uygundur ve büyük IoT terminallerinin geçmiş verilerinin sorgulanmasını destekleyebilir.Sistemde, esas olarak terminalin tarihsel yörüngesi ve durumu gibi nispeten büyük verileri depolamak için kullanılır.
-
RDBMS, yapılandırılmış verileri depolamak için uygundur. Genellikle belirli veritabanına göre farklı yüksek kullanılabilirlik dağıtım şemaları kullanır.Sistem temel olarak temel terminal verilerini, sözlük verilerini ve veri analizi sonuçlarını depolamak için kullanılır.
-
Redis, IoT terminallerinin mevcut durumu gibi sık sık güncellenmesi ve erişilmesi gereken verileri önbelleğe almak için genellikle sistemde kullanılan bellek tabanlı bir KV veritabanıdır. Çeşitli KV veritabanları arasından nihayet Redis'i seçtik çünkü Redis, birden çok veri türü ve birden çok veri işlemi için iyi yerleşik destek sağlıyor.
4.4 Veri işleme
Veri işleme, gerçek zamanlı hesaplama ve çevrimdışı hesaplamayı içerir.
Gerçek zamanlı bilgi işlem için, Fırtına ve Kıvılcım akışını karşılaştırdık ve sonunda Storm'u seçtik.İki ana husus var: Bir yandan, Storm'un gerçek zamanlı performansı daha iyi olduğu için, diğer yandan Nesnelerin İnterneti senaryosunda terminal verilerini desteklemesi gerektiğinden Global gruplama, Spark akışı ise yalnızca her RDD'de gruplanabilir. Sonuç olarak, gerçek zamanlı işleme motorumuz olarak Storm'u seçtik ve buna dayanarak, uygulama düzeyinde planlama ve yönetimi destekleyebilen kendi gerçek zamanlı bilgi işlem hizmetlerimizi paketledik. Gerçek zamanlı bilgi işlem hizmetlerine dayanarak, IoT verilerinin temizlenmesi, ayrıştırılması ve alarm haline getirilmesi gibi gerçek zamanlı işlemler kolayca gerçekleştirilebilir.
Çevrimdışı hesaplama şu anda MapReduce ve Hive'ı destekliyor ve Spark için destek de devam ediyor.Öncelikle IoT verilerinin gün / hafta / ay / yıl gibi çoklu zaman boyutlarında rapor analizi ve veri madenciliği için kullanılır ve sonuçları ilişkiye çıkarır Veritabanında.
4.5 Veri Değişim Arayüzü
Veri alışverişi arayüzü esas olarak uygulama katmanı ile platform katmanı arasındaki veri erişimini basitleştirmek ve bir erişim arayüzü katmanını soyutlamak içindir. Bu arayüz katmanıyla, uygulama katmanının Hadoop ve HBase gibi yerel API'leri doğrudan çağırması gerekmez ve hızlı bir şekilde uygulanabilir Geliştirme.
Mevcut veri alışverişi arayüzü şunları destekler: SQL, Restful, Thrift ve Java API, kullanıcılar gerçek duruma göre veri alışverişi yöntemini esnek bir şekilde seçebilir.
Veri alışverişinin içeriği şunları içerir: Nesnelerin İnterneti terminalinin mevcut durumu, Nesnelerin İnterneti terminalinin tarihsel durumu / yörüngesi, talimat verme, veri aboneliği ve yayınlama vb.
4.6 Platform Yönetimi
Platform yönetimi, alarmların izlenmesini ve yönetim kullanıcı arayüzünü içerir.
Alarmları izlemek için Ganglia ve Nagios kullanıyoruz. Bunu üç seviyeden yapıyoruz: donanım seviyesi (sunucu, işlemci, bellek, disk vb.), Süreç seviyesi (var olmayan süreç, anormal bağlantı noktası izleme vb.), Temel iş göstergeleri ( Ara kuyruktaki öğe sayısı, ağ geçidi tarafından kurulan tcp bağlantılarının sayısı vb.)
Yönetim kullanıcı arabirimi, arabirimli kurulum ve dağıtım, kullanıcı yönetimi, terminal yönetimi, küme yönetimi, veri erişim yönetimi, gerçek zamanlı ve çevrimdışı bilgi işlem görevi arabirim yönetimini içerir.
4.7 Platform SDK
Platform SDK'sı, kurumsal kullanıcıların kendi IoT uygulamalarını TIZA STAR'a dayalı olarak özelleştirmelerini kolaylaştırmak içindir. Üç SDK sağlıyoruz: GW-sdk, RP-sdk ve OP-sdk.
-
GW-sdk tabanlı olan yeni bir Nesnelerin İnterneti terminal protokol erişimini hızla ekleyebilir.
-
RP-sdk'ye dayalı olarak, tam bir gerçek zamanlı işleme zinciri hızla geliştirilebilir ve işleme zincirindeki belirli bir modül de hızla geliştirilebilir.
-
OP-sdk'ye dayalı olarak, periyodik olarak programlanabilen bir MapReduce / Spark görevi hızla geliştirilebilir.
4.8 Platform Güvenliği
Nesnelerin İnternetinin güvenliği de giderek daha önemli hale geliyor.Özel bir arabanın bir süre önce kötü niyetli olarak uzaktan kontrol edilmesi olayı, Nesnelerin İnternetinin güvenliğinin önemini yansıtıyor. TIZA STAR, bağlantı güvenliği, erişim güvenliği, ağ güvenliği, depolama güvenliği ve veri kurcalamaya karşı koruma açısından Nesnelerin İnternetinin güvenliğini garanti eder.
-
SSL ve TLS aracılığıyla bağlantı güvenliğini sağlayın;
-
Gizli anahtar kimlik doğrulaması yoluyla veri erişimini etkili bir şekilde kontrol edin;
-
Güvenlik duvarları gibi donanım aygıtları aracılığıyla ağ saldırılarını önleyin;
-
Kopyalama yedekliliği yoluyla veri depolama güvenliğini sağlayın;
-
Her 512 baytta bir CRC kontrol mekanizması, kurcalanmaya karşı korumalı verileri sağlar.
5
Başvurular
5.1 Veri akışı
Ardından, TIZA STAR'ın veri akışına bakmak için Araçların İnternetini örnek alıyoruz.
Şekil 4 Araçların İnternetinin veri akışı
Şekil 4'te gösterildiği gibi, Nesnelerin İnterneti terminali bir kablosuz / kablolu ağ üzerinden TIZA STAR platformuna gönderilir ve bir dizi işlemden sonra çeşitli depolama motorlarında depolanır İşletme, işlenen verilere veri alışverişi arayüzü üzerinden erişebilir. Spesifik süreç aşağıdaki gibidir:
Araca monteli cihazlar veya sensör cihazları, ağ üzerinden LVS / F5 yük dengeleme yoluyla ağ geçidine veri gönderir;
Ağ geçidi verileri aldıktan sonra, genel protokolü analiz eder ve ardından ayrıştırılmış verileri Kafka'ya gönderir ve orijinal veri Konusunda depolar;
Gerçek zamanlı bilgi işlem görevi, verileri orijinal veri Konusundan okur ve veri temizlendikten sonra orijinal veri analizi modülüne gönderir;
Orijinal veri analizi modülü, ayrıştırılmış araç parametrelerini veri konusunu analiz etmek için Kafka'ya gönderir. Ardından ayrıştırılmış verileri alarm değerlendirme modülüne gönderin;
Alarm değerlendirme modülü, mevcut kurallara göre erken uyarı yapar ve üretilen sonuçları Kafka'nın alarm verisi Topic'e gönderir ve ayrıştırılan verileri mevcut durum analiz modülüne gönderir;
Mevcut durum analizi modülü, aracın mevcut durumunu analiz eder ve durum değişirse Redis'e günceller;
Veri içe aktarma modülü, Kafka'daki verileri eşzamansız olarak HBase ve HDFS'ye aktarır;
Çevrimdışı hesaplamalar, çeşitli rapor analizi ve veri madenciliği için HDFS'den verileri periyodik olarak okur;
Kullanıcı iş platformu ve yönetim platformu, veri alışverişi arayüzü üzerinden TIZA STAR platformu verilerine erişebilir.
5.2 Performans karşılaştırması
Tablo 1, Tianze Information tarafından büyük bir inşaat makineleri grubu için yapılan platform yükseltmesinden önceki ve sonraki performans göstergelerinin karşılaştırmasıdır.Eski platform, geleneksel bir IOE tabanlı çözümdür. Donanım ortamı, IBM mini bilgisayarlar, EMC depolama ve Oracle RAC içerir. , Yeni platform TIZA STAR tabanlı bir çözümdür ve kullanılan donanım, sunucularda depolama ile yaklaşık 30 X86 mimarisi sunucusudur.
İnşaat makineleri grubunun kayıtlı terminal sayısı 150.000'e yaklaşmaktadır.Her terminal ülke geneline dağılmıştır.Her 30 saniyede bir platforma bir veri gönderilir.Yüklenen veriler, inşaat makine ve ekipmanlarının konumu ve çalışma koşulları gibi bilgileri içerir. Veriler analiz edilir ve üretimi ve yönetimi iyileştirmek için kullanılır.
Tablo 1 Performans göstergelerinin karşılaştırması
6
son sözler
Ar-Ge'den resmi ticari kullanıma kadar bir buçuk yıl sürdü. TIZA STAR üç aşamadan geçti:
İlk aşama kapalı geliştirme aşamasıdır. TIZA STAR platformunun ilk araştırma ve geliştirmesi, şirketin müşterilerinden birinin acil ihtiyaçlarından kaynaklanıyordu.İş hacminin genişlemesiyle, orijinal veri platformu performansla mücadele ediyordu ve genellikle normal iş ihtiyaçlarını artık destekleyemeyen kesinti süreleri yaşıyordu. Müşterilerimize daha iyi hizmet verebilmek için eski platformu yükseltmeye karar verdik.Amaç, eski platformun performans sorunlarını çözmek için sektörün en son büyük veri teknolojisini kullanmak. Altı aydan fazla bir süre sonra yeni platformu yayınladık.Müşteri işinin normal gelişimini etkilememek için yeni ve eski platformları aynı anda çalıştırmaya karar verdik. Birkaç ay sonra, karşılaştırmanın ardından yeni platform, performans, yüksek kullanılabilirlik ve çalıştırılabilirlik açısından eski platformdan daha iyi performans gösterdi.
İkinci aşama, genişleme aşamasıdır. İlk müşteri için TIZA STAR platformunun başarılı bir şekilde piyasaya sürülmesinden sonra, şirket bu ürünü Nesnelerin İnterneti'nin birçok alanında tanıtmaya başladı, ancak tanıtım süreci çok sorunsuz değildi. Bir yandan, Nesnelerin İnterneti alanında birleşik bir standart olmadığı için, farklı şirketler ve farklı Nesnelerin İnterneti terminallerinin kendi standart dışı protokolleri vardır.Veri erişimi, protokol analizi ve depolamada farklı derecelerde özelleştirme yapmak zorundayız. Öte yandan, daha fazla vaka çevrimiçi hale geldikçe, orijinal platform mimarimiz de birçok sorunu ortaya çıkardı.Bu sorunlara yanıt olarak, Mina'dan Netty'ye ağ iletişim bileşenini değiştirmek ve KV veritabanını tanıtmak gibi birçok ayarlama yaptık. , Hadoop, Hbase ve Kafka'ya büyük bir sürüm yükseltmesi. Bu aşamada, TIZA STAR platformunun farklı sektörlerde başarılı vakaları olmasına rağmen, ekip yine de çok çalıştı. Bu nedenle, Nesnelerin İnterneti platformunu çoğu senaryonun ihtiyacını karşılayacak şekilde paketlemek son derece acildir ve TIZA STAR'ın ürünleşmesi doğmuştur.
Üçüncü aşama, ürünleştirme aşamasıdır. Bu aşamada, veri erişimi, bilgi işlem, depolama ve değişimin tüm yönlerini özetledik; 100'den fazla endüstri protokolü biriktirdik; kullanıcıların platforma dayalı olarak yeni protokollerini ve iş süreçlerini özelleştirmelerini kolaylaştırmak için 3 SDK'yı soyutladık Modül; tam bir kapalı çalışma ve bakım döngüsü oluşturan gelişmiş izleme ve alarm; kurulum, dağıtım, yönetim ve çalıştırma ve bakımın arayüz işlemini gerçekleştirdi; farklı boyutlardaki müşterilerin ihtiyaçlarını karşılamak için standart ve basitleştirilmiş sürümler sağladı. Yarım yıldan fazla süren sıkı çalışmanın ardından TIZA STAR platformu nihayet ticarileştirildi.
Ürün yineleme sürecinde, ilk başarılı ürün lansmanının sevincini ve ürün genişletme sürecindeki kafa karışıklığını yaşadık. Proje ekibi ayrıca ilk beş veya altı kişiden düzinelerce insanın şekillenmeye başladığı bir Ar-Ge ekibine dönüştü. Şu anda, TIZA STAR platformu resmi olarak bir ticari markayı tescil ettirdi ve Nesnelerin İnterneti büyük verileri alanında yazılım telif hakkı ve dört buluş patenti için başvuruda bulundu. Ürünler her açıdan büyük ölçüde iyileştirildi. Umarım gelecekte daha fazla şirket Nesnelerin İnterneti platform terminalleri sağlayabilir. çözüm.
Yazar: Sun Jie, Tin Chak bilgilerinin araştırma ve geliştirme direktörü, şeylerin geliştirilmesinden ve büyük veri yönetimi platformundan ve Jiangsu Eyaleti İnternet Derneği'nden sorumlu. Alibaba ve Fiberhome Technology için art arda çalışmıştır.Arama ve büyük veri alanında geniş deneyime ve büyük ölçekli sistemlerin mimarisine sahiptir.Büyük veri alanında 6 buluş patenti bulunmaktadır.
Sorumlu editör: Guo Rui, büyük veri alanından endişe duyuyorsanız, lütfen raporlar veya katkılar için guorui@csdn.net adresine e-posta gönderin. Başka bir "CSDN Spark kullanıcı grubu", gruba katılmak için başvurmak üzere WeChat guorui_1118'i eklemeye hoş geldiniz, isim + şirket + pozisyonu açıklıyor.
18-20 Kasım 2016 tarihleri arasında, CSDN tarafından oluşturulan yıl sonu teknoloji etkinliği SDCC 2016 Çin Yazılım Geliştiricileri Konferansı Konferans Pekin'de yapılacak.Konferans kuru malların (vakalar) içerik ilkesine bağlı kalıyor Bu konferans 12 ana konu, yaklaşık yüz konuşmacı oluşturdu ve sektörün en iyi CTO'larını, mimarlarını ve teknik uzmanlarını konferansa katılmaya davet etti. Konuklar e-ticaret mimarisi, yüksek kullanılabilirlikli mimari, programlama dilleri, gelişmiş mimarlar, WeChat geliştirme, ön uç, platform mimarisi evrimi, Spark tabanlı büyük veri sistemi tasarımı, otomatik operasyon ve bakım ve konteyner uygulaması, yüksek verimli veritabanı sistemi tasarımı temellerini birlikte tartıştı. Mobil video canlı yayın teknolojisi vb. Orijinal metni okuyun Hemen katılın.
