g u t x .com.tr İpek yolu - Çin'i anlamaya götürürüm

Yazar | CreditEase

Düzenle Xiaozhi

CNUTCon Küresel İşletme ve Bakım Teknolojisi Konferansı'nda, CreditEase Teknoloji Ar-Ge Merkezi, üç büyük akıllı operasyon ve bakım silahını desteklemek için resmi açık kaynağı duyurdu: UAVStack, Wormhole, DBus. Akıllı operasyon ve bakımı desteklemek için ne tür bir çekirdek teknoloji böyle bir silah yaratabilir? Gel gör!

UAVStack, akıllı bir hizmet teknolojisi yığını ve Ar-Ge, işletim ve bakım için entegre bir çözümdür. İHA, İHA'nın kısaltmasıdır, yani İHA mavi gökyüzünde uçabilir ve görevleri akıllıca ve şeffaf bir şekilde tamamlayabilir. Görev robotları (kod adı HIT), tam boyutlu izleme (kod adı UAV.Monitor), uygulama performansı yönetimi (kod adı UAV.APM), hizmet yönetimi (kod adı UAV.ServiceGovern), mikro hizmet hesaplama (kod adı UAV.MSCP) ve kullanıcı deneyimi içerir Yönetim (kod adı UAV.UEM) vb. Bunların arasında, UAV.Monitor + APM, akıllı işletim ve bakım için yalnızca tam boyutlu izleme verilerini toplamakla kalmaz, aynı zamanda gerçek zamanlı izleme ve otomatik sorun teşhisi için araçlar sağlar.Tek noktadan tam boyutlu izleme + uygulama çalıştırma ve bakım çözümüdür.

• Resmi web sitesi: https://uavorg.github.io/main

• Açık kaynak adresi: https://github.com/uavorg

Mevcut UAVStack açık kaynak serisi şunları içerir:

DBus, veri toplama ve gerçek zamanlı veri akışı hesaplamasına odaklanır. Basit ve esnek konfigürasyon sayesinde, kaynak uçtaki verileri müdahaleci olmayan bir şekilde toplar. İş süreçlerinde oluşturulan verileri toplamak için yüksek düzeyde kullanılabilir bir akış hesaplama çerçevesi kullanır. Dönüşümden sonra, abonelik ve tüketim için farklı veri kullanıcılarına sağlanan birleşik bir JSON veri formatı (UMS) haline gelir. DBus, UAV tarafından gerçek zamanlı olarak toplanan tam boyutlu izleme verilerini müdahaleci olmayan bir şekilde toplayarak aşağı akış büyük veri işleme platformu Wormhole için istatistiksel modeller ve makine öğrenimi çalıştırmak için bir veri kaynağı sağlar.

Açık kaynak web sitesi: https://github.com/BriData

Ek olarak, DBus aşağıdaki özellikleri de sağlar:

• Çoklu veri kaynakları, büyük verilerin gerçek zamanlı aktarımını destekler

• Kaynak tarafındaki şema değişikliklerinin farkında, gerçek zamanlı veri duyarsızlaştırma

• İlk yükleme ve bağımsız yükleme

• Birleşik standartlaştırılmış mesaj aktarım protokolü, güvenilir çok kanallı mesaj aboneliği ve dağıtımı

• Alt tablo veri toplama desteği

DBus teknik mimarisi

Wormhole, bir SPAAS (Hizmet Olarak Akış İşleme) platform çözümüdür. Wormhole, büyük veri projelerinin geliştirilmesi, çalıştırılması ve bakımı ile yönetilmesine yöneliktir ve geliştirme ve yönetim sürecini basitleştirmeye ve birleştirmeye kararlıdır. Günümüzün operasyon ve bakımı, tipik bir büyük veri uygulama alanıdır ve Wormhole, özellikle gerçek zamanlı akış ve yarı gerçek zamanlı veri işleme senaryoları akışı için akıllı operasyon ve bakım makine öğrenimi için güçlü bir destektir. Aynı zamanda, görsel bir operasyon arayüzü, minimum konfigürasyon süreci, SQL tabanlı bir iş geliştirme yöntemi sağlar ve büyük veri işlemenin altında yatan teknik ayrıntıları koruyarak geliştirme yönetimi eşiğini büyük ölçüde azaltır. Wormhole'un tasarım konsepti, birleşik akış işleme DAG yüksek dereceli fraktal soyutlaması, birleşik evrensel akış mesajı UMS protokolü soyutlaması ve birleşik evrensel akış mesajı UMS protokol soyutlamasıdır.

Açık kaynak web sitesi: https://github.com/edp963/wormhole.

Sorunlu noktalar, teknolojik yükseltmenin itici gücüdür

Geleneksel işletim ve bakımdan otomatik çalıştırma ve bakıma ve ardından akıllı çalıştırma ve bakıma geçiyoruz. DevOps araç zincirinin sürekli inşası sayesinde, tam boyutlu izleme, CI / CD, otomatik test ve uygulama sanallaştırma yoluyla çalışan otomatik bir işletim ve bakım sistemi oluşturduk. Bununla birlikte, finansal işletme ve bakım sürecinde, aşağıdaki acı noktalarla hala karşılaştık:

1. Otomatik çalıştırma ve bakım, işletim ve bakımın zamanında yapılmasını gerçekten iyileştirmiş, işçiliği büyük ölçüde azaltmış ve hassasiyeti artırmıştır. Bununla birlikte, otomatik yürütme süreci, insanlar tarafından tanımlanan net bir yürütme sürecidir. Sistem uyarlanabilirliği, karar verme yeteneği ve zamanlama gereksinimlerinin sürekli iyileştirilmesiyle, otomatikleştirilmiş işletim ve bakım da marjinal etkiler gördü.

• "Yargılama" olmadan karar veremezsiniz. SRE'nin ne olduklarını açıklığa kavuşturmak için muhakeme ve analize müdahale etmesini ve ardından sisteme talimatlar vermesini gerektiren birçok olası işletim ve bakım olayı vardır. Örneğin: yüksek CPU alarmı bulunduğunda, hizmetin kalitesi düşerse ve uygulama yeniden başlatılmamalıdır. Aslında herkesin işletme ve bakım uzmanı olması zor, SRE olmazsa sorun çözülmez.

• Yetersiz uyarlanabilirlik, manuel müdahalenin histerezisi. Tipik bir durum alarmdır.Alar genellikle deneyime dayalı olarak işletme ve bakım personeli tarafından belirlenen bir stratejidir.Ancak, piyasadaki ve iş geliştirmedeki hızlı değişiklikler önceden belirlenmiş stratejiyi geçersiz kılacaktır. Ya sık alarmlar oluşur ya da rapor raporlanmaz.

2. Geleneksel BT işbirliği modeli giderek daha "oynanamaz" hale geliyor. Geleneksel model, Ar-Ge için iş arama, işletim ve bakım için Ar-Ge ve sistem için işletim ve bakım için "hat" modelidir. Aynı zamanda, BT'nin dili ve iş dili sıklıkla "aynı ördekle konuşur" ve zaman zaman yanlış anlamalar meydana gelir ve bu da düşük verimlilikle sonuçlanır.

• İş ekibi, sistemin çalışma durumunu ve iş operasyon durumunu her zaman, her yerde kolayca ve hızlı bir şekilde anlamayı umuyor.Tabii ki, BT terminolojisini anlamıyorlar. "İnsan" dilini duymak istiyorlar.

• İşletim ve bakım SRE, önemli bir "darboğaz" haline geldi ve deneyimleri biriktirilmedi ve paylaşılmadı.

• Ar-Ge sistemi anlar, iş mantığını anlar, ancak SRE'nin (otomatik uzaktan araçlarla bile) işletim ve bakım yardımı olmadan iş sorunlarını hızla çözmeye "cesaret eder". Kapsamlı bir altyapı anlayışına ve yukarı ve aşağı uygulamalara sahip yardımcılardan yoksundurlar.

3. İş ekibinin, insanların gözlerini özgürleştirmek için daha fazla operasyonel desteğe, hareketliliğe ve çok sayıda etkileşimli kanala ihtiyacı vardır.

• Hiyerarşik raporlama modundan (insanlar insanlar etrafında döner, insanlar insanları arar) veri merkezli, dijital işleme (insanlar veri etrafında döner, insanlar veri arar) genel bir eğilimdir. Bu dönüşümün teknik temeli, iş ekibinin bilgileri hızlı bir şekilde yayabilmesi ve çeşitli kanallar aracılığıyla verileri paylaşabilmesidir (XX sistemine giriş yapmak veya XX'nin liderini veya irtibat kişisini bulmak zorunda kalmadan).

• Operasyonel önlemler doğrudan ve verimli bir şekilde "anlaşılır" bir dilde iş ekibine geri bildirilebilir. Örneğin, sermaye talebi ortaya çıktığında, sermaye transferi ekibi, sermaye transferi yoluyla sermaye talebindeki artışa ayak uydurur, ancak gerçek etkiyi bilmez. Elbette, iş takibi yoluyla görülebilir. Ancak, finans sektörünün özellikleri, mobil ofis / iş seyahati normdur. Her zaman sisteme giriş yapmak gerekli değildir, ancak WeChat, QQ vb. Kullanmak çok daha uygundur.

Yukarıdaki sorun noktaları iki tür sorun olarak sınıflandırılabilir:

Zamanındalık sorunları: İşletme ve bakımın özü, istikrarlı ve güvenilir hizmetler sağlamaktır ve bu hedefe ulaşmanın anahtarı yeterli zamanlamadır.

İşbirliği sorunları: İnsan üretimi işbirliği olmadan yapamaz. Otomatikleştirilmiş işletim ve bakım platformuna veya alet zincirine rağmen, birçok işletim ve bakım senaryosu hala çok fazla manuel işbirliği gerektirir.

Akıllı işletim ve bakımın kendi kendine araştırma yolu

Gartner, algoritma tabanlı işlem ve bakımı (ITOA) AIOps olarak tanımlar ve algoritma, işletim ve bakımdır ve algoritmalar işletim ve bakım alanında kullanılır. Aslında, otomatik operasyon ve bakım sisteminde DevOps araç zincirinde, izlemede hizmet grafiklerinin dinamik çizimi, APM araç kutusunda tek tıklamayla iş parçacığı analizi ve uygulama sanallaştırmada esnek kapasite hesaplamaları gibi algoritmalar uyguladık. Ancak bunların hala "otomasyon" kategorisinde olduğuna ve daha akıllı çözümler gerektirdiğine inanıyoruz.

Giderek müreffeh hale gelen yapay zeka teknolojisi, bunun sistemi "akıllı" hale getirmek için genel bir eğilim olduğunu anlamamızı sağladı. AIOps'u şu şekilde yorumlamaya daha istekliyiz: AIOps, işletim ve bakım modelini dönüştürmeye, verimliliği artırmaya ve gerçek değer yaratmaya yardımcı olmak için BT operasyon ve bakım alanına yapay zeka teknolojisini uygulayan "mühendislik" sürecidir ve ayrıca DevOps'un evrimsel yönüdür.

Özetle, yukarıdaki sorunları çözmenin amacı, AIOps sistemine ihtiyacımız olmasıdır.

• Operasyon ve bakım yönetimi üyeleri: koordinatörler ve sistemler, pasif araçlar değil, operasyon ve bakımla doğrudan ilgili "asistanlar"

• İşletme operasyonu destek üyeleri: koordinatör ve işletme, operasyonda yer alan "asistan"

• İş ve sistem hakkında "her şeyi bilen": iş ve sistemi koordine edin, sistemi yönetin, işi destekleyin

Öyleyse bir AIOps sistemi nasıl kurulmalıdır? Birkaç ilke belirledik:

• Amaç, "büyük ve kapsamlı" AIOps çözümleri yerine gerçek sorunlu noktalardan başlamak, uygun senaryolar ve pilot uygulama için doğru sorunları bulmaktır.

• Teknoloji seçimi açısından, olgun açık kaynak AI teknolojisinden tam olarak yararlanın ve gerekli iyileştirmeleri yapın, ancak tekerleği tekrar etmemeye çalışın.

• Mevcut DevOps araç zincirimizi tamamen devirmek yerine tam olarak kullanın.

Bu değerlendirmenin nedeni:

• AI teknolojisi henüz "sivil bir teknoloji" değil. Uzun süredir geliştirilmiş olmasına rağmen, girdi-çıktı oranı spring, tomcat ve RabbitMQ gibi açık kaynaklı teknoloji yığınlarını kullanmak kadar kolay olmayabilir. Öyleyse önce "nokta" yı yapın ve sonra "yüzü" düşünün. Uygun bir sahneden ayrılın.

• AIOps yıkıcı işletim ve bakım düşüncesi ve etkileri getirecek olsa da, mevcut sistem yazılımını devirmek gerekli midir? AIOps, DevOps'un evrimsel yönüdür ve DevOps araç zinciri ile derin entegrasyon tek yoldur. Bu nedenle, AIOps, mevcut otomatik işletim ve bakım sisteminin yerini almak değil, mevcut sistem zekasını vermektir.

• Mevcut BT iyi varlıklarını yeniden kullanmak ve varlık değerini en üst düzeye çıkarmak da gerekli konulardır.

Uygulamadan sonra otomatik operasyon ve bakımın akıllı işletim ve bakımın temeli olduğunu belirtmekte fayda var. Otomatikleştirilmiş operasyon ve bakım için kalıplama teknolojisi ve çözümleri yoksa, AIOps sadece boş konuşur. Canlı bir metafor kullanmak için, otomatikleştirilmiş işletim ve bakım sisteminde, izleme sisteminin veri toplama gerçekliği algılamak için insan gözleri ve kulakları gibidir ve uzaktan uygulama, geri bildirim gerçekliği için insan eli ve ayağı gibidir. AI sistemi insan beyni gibidir. Algılamaları alır ve bir dizi işlemle kararlar oluşturur. Bu "bilişsel" bir süreçtir ve daha sonra insanlara geri bildirim veya uygulama sonuçları yoluyla "bilgeliği" yansıtır.

Yapay zekamızın gerçekleştirilmesi görev robotudur (kod adı HIT). Akıllı işletim ve bakımı yöneten "beyin" ve insan benzeri davranışlar için bir yazılım sistemidir. Görev robotu aşağıdaki yeteneklere sahip olmalıdır:

HIT'in tasarım konsepti, görev robotu yeteneklerinin bir soyutlamasıdır. Üç temel hizmetten oluşur:

Etkileşim : Etkileşimli. İnsanlarla GUI olmayan etkileşim arayüzünün farkına varın Şu anda iki yön gerçekleştirilmiştir: metin etkileşimi CUI (dahili sistem sohbeti / bildirimi, WeChat / QQ gibi genel IM sistemi), konuşma tanıma ve konuşma sentezi (mobil terminal ekipmanı). İnsanlarla sistem arasındaki iletişim için bir aracıdır, bilgiyi tercüme eder ve yayar, böylece insanların ilgili işi tamamlamak için artık belirli bir sistem arayüzüne bağlı kalmasına gerek kalmaz.

Düşün :karar verme. Bu, otomasyondan temel farktır: İnsan niyetlerini anlamalı, yürütme ortamının bağlamını toplamalı, yürütme planını amaca göre düzenlemeli ve yürütme planında ayarlamalar yapmalıdır. Aynı zamanda, fiili yürütme sürecinde, Etkileşime geri bildirim yoluyla, yürütme planı ve yürütme süreci bilgileri insan benzeri bir şekilde (doğal dil) tanımlanır. Kullandığı temel teknolojiler arasında doğal dil işleme, bilgi grafikleri, makine öğrenimi ve arama teknolojisi bulunur.

Handson :gerçekleştirillen. Chatbot'tan temel fark budur Think tarafından sağlanan yürütme planına göre plandaki ilgili sistemin API'si, gerçek hizmet süreci orkestrasyonunu ve hizmet süreci yürütmesini tamamlayacak şekilde uyarlanır. Aynı zamanda, yinelemeli karar vermeyi (geri bildirim + ayarlama) uygulamak için Think'e geri bildirim sağlaması gerekir; ayrıca yürütme sürecini ve yürütme sonuçlarını Etkileşime geri besleyerek insanların yürütme durumunu anlamalarına yardımcı olur (doğal olmayan dil)

İniş planı

AIOps platformumuz, makine öğrenimi ve istatistiksel model işlemeyi gerçekleştirmek için büyük veri platformlarını kullanan ve akıllı işlem ve bakımı gerçekleştirmek için DevOps araç zincirleriyle derin entegrasyon kullanan görev robotlarına odaklanmıştır. Bu mimari, aşağıdaki seviyelerden yorumlanabilir:

DevOps araç zinciri, HIT görev robotunun bilgi grafiği yapısı için yüksek kaliteli ham veriler sağlar

HIT görev robotunun temel yetenekleri, belirli bir alanın bilgi grafiğinden ve hesaplama modelinden gelir. Şu anda, eğitim alanlarımız arasında sistem API modeli, kişiselleştirilmiş iletişim bağlamı, hizmet topolojisi, yürütme planı, sorun teşhisi vb. Yer almaktadır. Bilgi grafiği, bilişsel ilişkilendirmeyi gerçekleştirmek için kullanılan temel teknolojidir ve bilgi grafiğinin oluşturulmasının nasıl otomatikleştirileceği anahtar noktadır. Olgun bir DevOps araç zinciri, otomatikleştirilmiş bilgi grafiği yapımı için yüksek kaliteli ham veriler sağlayabilir.

API modeli, her zaman gerçek dünya ile senkronize tutulması gereken API meta veri bilgilerini ve uygulamanın / hizmetin örnek bilgilerini içerir. Tam boyutlu gözetim İHA, uygulama görüntü verilerini sağlar.İHA'nın kendisi mikro zeka tasarımını benimsediğinden (otomatik keşif, kendi kendine bakım ve otomatik uyarlamayı vurgular), uygulama görüntü verilerinin kendisi her zaman gerçek dünya ile senkronize edilir. Görev robotu HIT, doğrudan uygulama hizmet profili verilerini toplayarak ve API modelinin bilişsel ilişki yapısını izleyerek bir API modeli oluşturabilir. Mikro zekanın doğal ve yüksek kaliteli özellikleri, otomatik API modelinin bilgi grafiğinin oluşturulmasını garanti eder.

Diğer bir örnek, hizmet topolojisi, hizmetler arasındaki ilişki ilişkisini yansıtmaktır.Microservis mimarisi altında, bu ilişki ilişkisi giderek daha karmaşık hale gelmiştir. Tam boyutlu izleme İHA, gerçek dünya ile zaman içinde senkronize edilebilen mikro zeka fikirlerine dayalı veriler olan bir hizmet haritası sağlar. HIT'in ayrıca yalnızca hizmet grafiğini toplaması ve bilgi grafiğini hizmet topolojisinin bilişsel modeline göre oluşturması gerekir.

Buna ek olarak, çağrı zinciri verileri otomatik olarak zamanlama ilişkileri oluşturmaya yardımcı olabilir, CI / CD proje özellikleri ve personel korelasyon verileri uygulamalar ve ekipler (arıza sorunlarından uygulamalara, koda ve personel izlenebilirliğine kadar), test senaryoları arasında eşleştirme ilişkileri oluşturmaya yardımcı olabilir API'nin girdisi ve çıktısı, API modelinin parametre ilişkisini, anlamsal ilişkiyi ve varsayılan parametrelerini oluşturmaya yardımcı olabilir.

Tam boyutlu izleme İHA, görev robotu HIT'in model eğitimi için tam boyutlu ham veriler sağlar

UAVStack'teki Monitor + APM, gerçek zamanlı izleme + uygulama derinlemesine çalışma ve bakım için bir çözüm sunar (şekilde gösterildiği gibi). Akıllı işletim ve bakım sisteminde, topladığı tam boyutlu izleme verileri, makine öğrenimi ve istatistiksel modeller için orijinal veri kaynağıdır. Tam boyutlu izleme verileri, altyapı performansını, uygulama / hizmet performansını, günlükleri, çağrı zincirlerini, iş parçacığı yığınlarını, müşteri deneyimini, iş göstergelerini, uygulama portrelerini ve hizmet haritalarını kapsar.

Uygulama / Hizmet Portresi : İzleme araştırması, uygulama teknolojisi yığınını otomatik olarak analiz eder ve meta verileri çıkarır.Önemli olanlar, uygulama örneğinin URL'sini, hangi hizmet arabirimi yöntemlerinin ve URL'lerinin bulunduğunu ve hangi istemcilerin kullanıldığını (MQ / DB / Redis / NoSQL / Http / Dubbo, vb.) Ve ziyaret edilecek URL.

Uygulama / hizmet profili veri örneği

Uygulama performans göstergeleri : Uygulama kümeleri, uygulama örnekleri, uygulama ara yazılımı / JVM, hizmet bileşenleri, istemci bileşenleri, URL'ler, veritabanı bağlantı havuzları ve diğer performans göstergeleri dahil

Uygulama günlüğü : Uygulama tarafından oluşturulan ve filtreleme kurallarını destekleyen çeşitli günlükler.

Uygulama performans göstergeleri ve günlük veri örnekleri

Uygulama ortamı performans indeksi : Sanal makine / fiziksel makine sistem seviyesi ve işlem seviyesi göstergeleri, örneğin CPU, bellek, bağlantı sayısı, ağ trafiği, disk GÇ, vb.

Uygulama ortamı performans endeksi veri örneği

Çağrı zinciri : Hizmet / istemci / yöntem seviyesi, sınıf / yöntem, zaman alıcı, durum, istek mesajı, yanıt mesajı vb. İçerir.

Çağrı zinciri veri örneği

Servis haritası : Hizmetler arasında otomatik olarak çağrı ilişkilendirmeleri oluşturun

Servis grafiği veri örneği

İş parçacığı yığın verileri : Her iş parçacığının JVM iş parçacığı Dökümü + cpu, bellek tüketim verileri

İş parçacığı yığını veri örneği

Web tarayıcısı istemci deneyimi verileri : Sayfa yükleme, sayfadan ayrılma, JS hatası, Ajax isteği, coğrafi bilgiler, istemci IP'si vb.

Web tarayıcısı istemci deneyimi verileri (Ajax) örneği

İş göstergeleri : Uygulama, gömme noktaları veya günlükler aracılığıyla özel göstergeler sağlayabilir

İş göstergesi veri örneği

Veri yolu DBus, tam boyutlu izleme verilerini sürekli ve uyarlanabilir bir şekilde büyük veri depolamaya aktarır

İHA aracılığıyla tam boyutlu izleme verileri toplansa da bu veriler doğrudan makine öğrenimi ve istatistiksel modeller için kullanılamaz. Bunun nedeni, depolama ve sorgu gereksinimlerinin gerçek zamanlı izleme alanının ihtiyaçlarına göre tanımlanması, dolayısıyla aşağıdaki özelliklere sahip olmalarıdır:

• Farklı depolama kaynaklarında depolanır, örneğin, hizmet profili verileri MongoDB'de depolanır, uygulama günlükleri ve çağrı zincirleri Elastic Search'te depolanır, uygulama performans göstergeleri ve temel performans göstergesi verileri RocketMQ, vb.

• BIN günlük biçimi, JSON biçimi, Düz günlük biçimi gibi farklı şema tanımları vardır ve performans göstergelerinin şeması, çağrı zincirinin şemasından farklıdır.

• Örneğin, farklı değişim stratejileri, uygulama yükseltmelerine bağlı olarak hizmet profili verileri düzensiz olarak değişir ve günlük verileri de aynı olabilir.

Veri yolu DBus, bu üç sorunu çözmek için iyi bir yoldur.

DBus, çeşitli veri kaynaklarını destekleyebilir ve yalnızca müdahaleci olmayan yerleştirme elde etmek için yapılandırması gerekir. Toplama terminali, veri tabanının günlük toplama terminalini, günlük toplama terminalini ve Flume özel eklentilerine dayanan çeşitli toplama terminallerini içerir Bu toplama terminalleri, veri toplama çalışmasını tamamlamak için verileri gerçek zamanlı olarak Kafka ile senkronize eder.

Dbus çoklu veri kaynağı desteği

DBus, farklı formatları standart bir formata (UMS formatı) dönüştürebilir. Veri dönüştürme ve çıkarma için farklı formatlara ve ilgili konfigürasyonlara göre verileri gerçek zamanlı olarak analiz edecek ve hesaplayacaktır. Örnek olarak uygulama performans göstergelerini ve iş göstergelerini alın: veri formatı, JSON formatında hiyerarşik bir veri olan MDF dosya formatıdır (bir UAV formatı) ve DBus tarafından nihai olarak çıkarılan UMS veri formatı tablo tabanlı bir veri formatıdır. Temel veri birimi olduğundan verilerin düzleştirilmesi gerekir Bir MDF günlüğü birden çok UMS verisine karşılık gelir.

DBus, farklı formatların standardizasyonunu destekler

DBus, bu türlere ve biçim değişikliklerine uyacak şekilde otomatik olarak uyarlama yeteneğine sahiptir. İndikatörlerin dinamik eklenmesini destekler.İHA'dan gelen MDF verileri her seferinde yeni indikatör tipleri getirse bile bu yeni indikatörler verinin analizini etkilemeyecek, aynı zamanda dinamik şema değişikliklerini de desteklemekte yani veriyi otomatik algılamasını sağlamaktadır. UMS formatı, aynı sürüme ait olmayan verileri bulduğunda, veri sürümünü ve sütun bilgilerini vb. Kaydeder, sürüm numarasını otomatik olarak yükseltir ve verilerin yeni bir sürümünü oluşturur. Örneğin, aşağıdaki yeni sürüm, eski sürümden bir tane daha RC406 alanına (bir uygulama performans göstergesi, Http yanıt kodu) sahiptir.

DBus, sürüm değişikliklerini formatlamak için otomatik olarak uyarlanır

Büyük veri işleme Wormhole, hedef senaryolar için tam boyutlu izleme verilerine dayalı makine öğrenimi ve istatistiksel model işleme gerçekleştirir

Wormhole, görev robotları için hesaplama modellerinin üreticisidir. Wormhole, Spark'a dayanır. Akış için Kafka çevrimiçi gerçek verilerine bağlanabilir ve ayrıca toplu işleme için HDFS çevrimdışı geçmiş verilerine bağlanabilir. Spark'ın yanı sıra, kullanıcıların UI aracılığıyla gerçekleştirebilecekleri bir dizi yeni kavram ve işleme modelini de özetler Akış işlerini uygulamak ve yönetmek için basit yapılandırma, kullanıcıların yalnızca verilerin nereden geldiğini ve bir akış işini başlatmak için akışta hangi mantığı yürüteceğini seçmesi gerekir. Wormhole, yalnızca yerdeki birden fazla havuzu desteklemekle kalmaz, aynı zamanda akış üzerinde işlemeyi de destekler.Ayrıca, HBase'e inmeden önce akış üzerinde bazı veri temizleme uzantılarını ve diğer işlemleri de yapabilir.

Solucan deliği teknik mimarisi

Şu anda, görev robotumuz HIT'in eğitim teması "sorun teşhisi" nin hesaplama modeli Wormhole tarafından uygulanmakta ve eğitilmektedir. Gerçek üretim sürecinde, makine öğrenimi ve bazı klasik istatistiksel modeller esas olarak kullanılmaktadır:

• Zaman serisi verileri için eğilim tahmin modeli: Son birkaç güne dayalı olarak gelecekteki önemli bir göstergenin eğilimini tahmin edebilir.

• Dizin ilişkilendirme kombinasyon modeli: Anormallikleri değerlendirmek için hangi dizin kombinasyonlarının yeterli koşullar olduğunu belirleyin.

• Birleşik göstergelerin anormal nokta tanımlama modeli: birleşik göstergelerin zaman serilerindeki anormal noktaların otomatik olarak belirlenmesi.

• Sorun düğümünün temel neden analizi modeli: birden çok düğümdeki anormal davranışın alaka tanıma modeli.

Örneğin, HIT görev robotu, her on dakikada bir HBase'den en son kısa veri penceresini (birkaç gün) çıkarmak için yürütme planına göre Wormhole'u çalıştırır. HIT [Zaman serisi verileri için Trend tahmin modeli] ve [ Birleşik göstergeler için anormallik noktası tanımlama modeli] On dakikalık artımlı verilerde anormallik noktalarını belirleyin, sonraki bir saatteki gösterge eğilimini tahmin edin ve artan izleme gösterge eğiliminde 10 dakikalık bir gecikme elde etmek için uygun istatistiksel toplama yapın. Belirlenen anormal noktalar ve bir sonraki saatteki önemli göstergelerin trend tahmin tablosu, anormal noktaların ciddiyetine göre erken uyarı için de kullanılabilir. Erken uyarı sisteminin tamamının yapay olarak dahil edilmediği görülebilir.Makine öğrenme modeline ve artan verilere göre yarı gerçek zamanlı olarak hesaplanır.Modelin doğruluğu ne kadar yüksekse erken uyarı o kadar doğru olur.

Başka bir örnekte, HIT görev robotu "sorun teşhisi" bilgi grafiğini seçer ve kullanır ve uygulama performans göstergeleri aracılığıyla CPU'nun yüksek olduğunu bulur. İş parçacığı yığını verilerini bağlayarak, hangi iş parçacıklarının yüksek CPU'ya neden olduğunu öğrenebilir ve iş parçacığının kod yığını ilişkilendirilebilir Hangi hizmet URL'sinin ilişkili olduğunu bulmak için hizmet profiline gidin. Hizmet URL'si korelasyon hizmeti performans endeksi aracılığıyla, yüksek eşzamanlı erişimden kaynaklanıp kaynaklanmadığını öğrenebilirsiniz. Korelasyon hizmet grafiği, hangi yukarı akış sistemlerinin hizmet URL'sini çağırdığını ve hangi aşağı akış sistemlerinin olabileceğini izleyebilir Etkilenecek, ilişkili çağrı zinciri verileri hangi iş taleplerinin neden olduğu geriye doğru izlenebilir ve hatta bu iş taleplerinin bir sonraki zaman diliminde en yüksek seviyeye ulaşacağı tahmin edilebilir.

Görev robotu HIT, API modeli aracılığıyla yürütme planını uygular

Görev robotları ile sıradan sistemler arasındaki bir diğer önemli fark, sıradan sistemlerin kodlama yoluyla bir şeyi "mekanik olarak" başarmak olarak kabul edilebilmesidir. Sistemin kendisi söz konusu olduğunda, "ne yaptığımı" anlamıyor. Görev robotu hedef güdümlüdür. API modeline ve diğer bilişsel modellere (bilgi grafiği) dayalı bir yürütme planı oluşturur ve yürütme planını uygulamak için API modelini kullanır. Yürütme planının özü, DevOps sistem API'sini çağırmaktır.

Sistemi çevrimiçi olarak ele alırsak, görev robotuna "bu gece 19: 30'da ağ geçidi çevrimiçi olacak" hedefi verdik. Görev robotu, "elektrik imza ağ geçidi" sistemini serbest bırakmak için CI / CD sistemi Hubble'ın "tek tıklamayla serbest bırakma" işlevini sürmek olduğunu "temel amaç anlayışı" sayesinde bilir. API modeli, görev robotunun cümle kalıplarının, anahtar kelimelerin ve alaka düzeyinin analizi yoluyla CI / CD sistemine bağlanmasına yardımcı olur. Ayrıca, işlevler ve API'ler arasındaki korelasyon yoluyla buildApp ve deployApp olmak üzere iki API çıkarır. Ayrıca iki tane elde etmeye de yardımcı olur API parametresi doldurma. Son olarak, birkaç API'nin yürütme sırasını artı yürütme süresini belirlemek için API modelindeki zamanlama korelasyonuna güvenin ve son olarak yürütme planını belirleyin. Elbette, planı uygulama süreci "problem teşhisi" nin bilişsel modeline bağlıdır.

Görev robotlarının çevrimiçi akıllı denetimler gerçekleştirmesine izin vermek, sorunların ele alınmasına yardımcı olmak ve hatta operasyonel işbirliğini desteklemek gibi hedef odaklı başka birçok uygulama senaryosu vardır.

AIOps ekip oluşturma

Son olarak ekibimiz hakkında konuşalım. AIOps ile yüzleşirken herkesin takımın nasıl yapılandırılması gerektiğini düşüneceğine inanıyorum. Bence AI ekosistemi büyük veriye benziyor ve iki temel rol var: AI bilim adamı ve AI saha mühendisi (FE). İlki, AI biliminin gelişimini teşvik eder ve yeni bir AI bilgi sistemi oluşturur; ikincisi, gerçek değer yaratmak için AI bilgisini belirli bir üretim alanına ve hayata uygular.

Ekibimizin konumu, AI teknolojisini tasarlayan bir ekip olan AI FE'dir. Böyle bir ekibin birkaç özelliği olmalıdır:

• Mevcut AI teknolojisini tam olarak anlayın ve ustalaşın

• Daha olgun bir açık kaynak yapay zeka teknolojisi seçmek tek yoldur

• İşletme ve bakım alanındaki teknoloji konusunda net olun (izleme, konteyner teknolojisi, CI / CD, sorun teşhisi vb.), Tercihen bir uzman

• Operasyon ve bakım sahnesine aşina, standartlar, mantık ve çalışma ve bakım prensiplerini anlayın

Ekibimizin temel olarak iki tür rolü vardır:

• Algoritmik veri mühendisi: ana algoritma teknolojisi, AI teknolojisi, belirli mühendislik becerilerine sahip, işletim ve bakım bilgisini anlıyor

• Servis arka plan mühendisi: servis teknolojisi konusunda uzman, AI teknolojisi hakkında belirli bir anlayışa sahip, Ar-Ge / test / çalıştırma ve bakıma aşina olma ve işletim ve bakım deneyimine sahip olma

Görev robot ekibi, ilk günlerde sanal bir ekip olarak kuruldu. Yeni alanlar karşısında Ar-Ge / O & M sisteminde yeni modeller deneme ihtiyacı nedeniyle, algoritma sınıf arkadaşları, arka uç hizmet sınıf arkadaşları, operasyon ve bakım sınıf arkadaşları bir araya getirildi. Bilgi etkileşimi, deneyim paylaşımı ve diğer yollarla, herkesin anlayışta kademeli olarak senkronize olmasına izin verin. Ve herkesin baştan sona tüm süreçte ustalaşmasını gerektirir. Buna ek olarak, akıllı işletim ve bakımın geliştirilmesiyle, UAV, Wormhole, DBus ve diğer ekipler, mimari, teknoloji ve yerleştirme konusunda kademeli olarak anlaşmaya vardılar.

CreditEase Açık Kaynak Teknolojisi

CreditEase Teknoloji Topluluğu, CreditEase teknoloji ekosisteminin inşasının önemli bir parçasıdır ve CreditEase teknolojisini sergileyen ve dış alışverişler oluşturan kapsamlı bir topluluktur. CreditEase Technology College, CreditEase Technology World (WeChat genel hesabı), CreditEase Technology Conference ve diğer formların sahibidir. Topluluk esas olarak CreditEase dahili çalışanları, ortakları ve teknoloji meraklıları içindir.

Bunlar arasında, sürekli açık kaynak teknolojisini açmak ve teknolojinin ortak büyümesini teşvik etmek, teknoloji topluluğunun temel hedeflerinden biridir. Bugün resmi olarak açık kaynak olan UAVStack, Wormhole, DBus vb. Dahil olmak üzere yedi dizi yazılım teknolojisi açıldı. Daha fazla açık kaynak için, lütfen Technical College resmi web sitesine bakın.

CreditEase Açık Kaynak Yazılım Serisi

Bugünün Tavsiyesi

Okumak için aşağıdaki resme tıklayın

Yeni mezunların ve genç programcıların hızla büyümesine yardımcı olacak 12 ipucu

Yazışma: Ay'ı Yansıtan Lotus Farklı - Tamamlanacak Colombo Lotus TV Kulesi'ni ziyaret edin

Netflix korku filmi "Blindfolded Your Eyes" sosyal platformlarda "gözleri bağlı" trendine neden oldu

Bir "yılan" yetiştirin, Benks Mamba veri çevrimiçi oyuncusu

Liuliu, Wu Xiubo'nun 100.000 yuan'den fazla harcadıktan sonra borç almak zorunda kaldığını söyledi ve bu sefer Wu Xiubo'nun orijinal ortağı gerçekten kızmıştı.

HTC Vive'ın ilk kablosuz kiti duyuruldu

Kaptan Jack'in "Karayip Korsanları", Depp Amca olmadan aynı mı kalacak?

Nokia, Motorola, BlackBerry hakkında "Makine Hikayeleri"

Chen Qiaoen'in yeni dizisi yayınlanacak, erkek başrol Yu Zheng tarafından övgüyle karşılanacak ve kadın ikinci Chen Qiaoen'den daha çekici mi?

190324 Fane Wang Junkai ve hayvanları aynı çerçevede sevimli ve sıcak

Ubisoft, Rainbow Six Siege için Japonca DLC'nin güncelleme tarihini duyurdu

Bay Cangın yeni eseri "The Escape Flower" bir gece geç saat draması olarak biraz renkli.

Altmış altı, Wu Xiubo ve Chen Yulin'i bir araya getirdi: sonunda birbirlerine işkence etmelerine izin verin