Özel Geleneği alt üst edin ve size veritabanından farklı bir bilgi işlem sistemi söyleyin
Bu makale var 2282 kelime , Okumanız tavsiye edilir 7 dakika
Bu makale, yapılandırılmış verilerin herkes için en yeni dinamiklerini açıklamaktadır.
[Kılavuz] Veritabanı, mevcut veri analizinde veri varlığının en önemli biçimidir, ancak kapalı yapısı ve 40 yıldır ilişkisel cebirin temel gelişiminin olmaması nedeniyle, çoklu veri hesaplamalarının hesaplama ihtiyaçlarını karşılamak zordur. Konuşmacı Jiang Buxing, yapılandırılmış verilerin ve büyük veri hesaplamalarının ortak kümesine ve düzenli hesaplamalarına yanıt olarak hesaplamaları açıklama ve uygulamada ilişkisel cebirin karşılaştığı zorlukları analiz edecek ve keşfedecek. Yapılandırılmış verilerin hesaplama özelliklerini inceledikten sonra, daha uyarlanabilir olmayı öneriyor Ayrıca, daha açık bir bilgi işlem yeteneği gönderme planı oluşturacak ve son olarak yeni nesil veri ambarlarının görünümünü paylaşacaktır.
Bu ders, Runqian Software'in kurucusundan seçilmiştir. Jiang Buxing 28 Mart 2017'de Tsinghua Big Data "Technology · Frontier" konferans serisinde verilen konu "Geleneği alt üst edin ve size veritabanından farklı bir bilgi işlem sistemi söyleyin" Konuşma.
Jiang Buxing'in konuşması esas olarak dört bölüme ayrılmıştır. İlk bölüm esas olarak mühendislik problemlerinden bahsediyor, mühendislikte ilişkisel veri tabanının uygunsuz yönlerini nasıl çözmeliyiz. İkinci bölümde ilişkisel cebirin teorik sisteminde pek çok sorun var, geliştirmek için hangi yöntemleri kullanmalıyız. Üçüncü kısım, büyük verinin bilgi işlem teknolojisidir. Dördüncü bölüm, bu problemlere dayanarak ne tür yeni bir veritabanı sistemi tasarladığımızı dört gözle bekliyoruz.
Jiang Buxing: Veritabanları söz konusu olduğunda, sadece depolama için değil, aynı zamanda hesaplamalar, özellikle hesaplamaları içeren veri ambarları için de geçerlidir. Veritabanının saklaması gereken veriler nispeten düzenlidir ve verilerin yasallığını sağlamak için belirli kısıtlamalara sahip olacak şekilde tasarlanmalıdır, böylece belirli bir kapanma derecesine sahiptir. Ancak veri hesaplaması her yerde ... Şu anda, tüm hesaplamalar veri tabanına aktarılmamalı, bunun yerine her yerde bulunan hesaplamaları uygulamak için daha açık ve hafif bir hesaplama motoru bulunmalıdır.
Gerçek veri çeşitliliği ve veri kaynaklarının gerçek zamanlı doğası göz önüne alındığında, veritabanı dışı hesaplama gerçekten bir ETL sürecini uygulayabilir. ETL önce E, sonra T, sonra L'dir, temizlenir ve sonra dönüştürülür ve sonra yüklenir; depolama sürecini azaltabilir ve gereksiz ara tabloları azaltabilir ; Yürütme yolunu optimize edebilir. Veritabanından bağımsız bilgi işlem gücü varsa, kararsız veriler veritabanı dışında yapılabilir ve dosya sistemine indirilebilir. Bununla birlikte, ara verilere hala ihtiyaç vardır çünkü veri işlemlerinin karmaşıklığı önlenemez.
Veri merkezi, veritabanı dışında bilgi işlem gücü gerektiren tipik bir senaryodur. Harici arayüzü gelişigüzel yazılamaz ve yürütülemez ve bir miktar erişim kontrolü ve veri duyarsızlaştırma gereklidir.Bu nedenle, birden fazla veri kaynağı programlanabilir ve entegre hibrit hesaplama içeren harici bir hizmet yapısıdır. Hafiftir ve çok bağımsız bir şeyden çok entegre edilebilir. Veritabanı görece çok bağımsız bir süreçtir ve entegrasyonu özellikle uygun değildir. Böyle bir yol veri merkezine hizmet edebilir.
İlişkisel veri tabanının teorik temeli ilişkisel cebirdir.SQL adında biçimsel bir dili vardır.Uygulamadaki pratik problemleri göz önünde bulundurarak, başka bir cebir sistemi-ayrık veri seti tasarladık.
Tüm işlemler toplu değildir. Farklılık, set üyelerinin setin dışında var olabilmesinde somutlaşır; bağımsız operasyonlar veya diğer serbest üyeler yeni set operasyonları ile birleştirilir.
Aşağıda yaklaşık Ayrık veri uygulaması :
Ardından SQL'in zayıflığı olan düzenli hesaplama gelir. Sıralı hesaplamalar doğal olarak kümelenme ve ayrıklığın bir kombinasyonudur. Sıranın anlamı bir öğenin sırası değildir. Bu anlama sahip olması için bir koleksiyonda olması gerekir. Tek bir sıra anlamı yoktur. Temelde bankalar arası alıntı, düzenli gruplama ve konum kullanımı hakkında.
Vaka Analizi: Bir hisse senedinin art arda kaç gün yükseldiği. SQL gruplama fikri ile yapılırsa hala yükseliyor, onu önceki verilerle bir gruba ayıracağız, düşerse yeni bir grup oluşturulacak ve ardından en uzun gruplama hesaplanacak. Bir JAVA programcısıysa, önce silinebilir, yükseldiğinde bir artırabilir ve düştüğünde temizleyebilir. Fakat ilişkisel veri tabanı sayesinde bulduğum çözüm çok dolambaçlı, yani bu benim işe alım sınav sorularımdan biri, özellikle şirketseniz geri alıp deneyebilirsiniz, geçme oranı yaklaşık% 30'a ulaşabilir.
Aslında, cebir sistemi iyi tasarlanmışsa veya yöntem iyiyse, daha az hesaplanabilir. Sonraki, yüksek vasıflı bilgi işlem teknolojisini içerir, esas olarak geçiş, bağlantı ve paralellik hakkında konuşur. Aslında, paralellik esas olarak bölümleme veya kümeleme problemini çözmek içindir.
İlişkisel cebirde bağlantı aslında en zahmetli işlemdir.Aslında ona farklı bir açıdan bakarsak, ayrılıktan bahsettiğimizde de karşılaştık.Yabancı anahtarın işaret ettiği rekor, yabancı anahtar yerine o kayıt olarak kabul edilir. Karşılık gelen sayılar eşitse, onu o kayda işaret eden bir nesneye dönüştürün. İlişkisel veritabanları için artık en hızlı çözüm, yazışmaları karma hale getirmek, karma değerini hesaplamak ve sonra karşılaştırmaktır.Karma değeri ağırsa, tek tek karşılaştırılmalıdır.Çok ağırsa, iki kez karma. Birçok yorucu operasyona neden olur.
Opak artıklık şeması: Yapılandırılmış veri hesaplaması genellikle veri yoğun bir görevdir; veri dağıtıldıktan sonra, okuma basıncı birden çok düğüm tarafından paylaşılır; her veri parçasının birden fazla yedeği vardır ve bir düğüm başarısız olduktan sonra diğer düğümler tarafından hesaplanabilir.
Ek olarak, yedek lastik tipi hafıza dağıtımı, harici hafıza gibi yedek tipi kullanamaz.
Veritabanı (OLAP) ve veri ambarı (OLTP) farklıdır. OLTP özellikle açık bir büyük veri görevi değildir, ancak çok fazla eşzamanlılığı vardır.Özellikle işlem tutarlılığını vurgular ve veri yapılarının çeşitliliğine sahiptir. OLAP işinde yer alan veri karmaşıklığı da nispeten yüksektir ve verileri okumada tutarlılık yoktur. İlişkisel veritabanları aslında bu iki gereksinimi birleştirir ki bu aslında uygun değildir.
Gerçek hesaplama problemlerini çözmek için veri ambarını kullanın. Açık bir sistem olan bilgi işlem motorunun aksine, veri ambarı veri türünü üstlenemez, ancak yeni bir veri ambarı oluştururken, veri organizasyonunun farklı olmasını zorunlu kılabilirsiniz. Çok sayıda veriyi bir arada düzenlemek ve depolama miktarını azaltmak, genellikle performansta bir gelişme anlamına gelir; birincil anahtarlar, genel verimliliği artıran dış işaretçi birincil anahtarlarına eşdeğer olan birden çok katman halinde serileştirilir ve oluşturulur.
İki saatlik harika konuşma sona erdi ve herkes Bay Jiang'a teknoloji hakkında birçok soru sordu. OLTP işi söz konusu olduğunda, OLAP işi arasındaki fark, herhangi bir işlemin basitçe dağıtılan bir grup sunucu içerebilmesidir. Mühendislik sorunları söz konusu olduğunda, veri hesaplamaları ve veritabanları da daha fazla gelişmeye sahip olacak ve bu böyle devam edecek.
Misafir profili
Jiang Buxing, Runqian Software'in kurucusu ve baş bilim adamı, Tsinghua Üniversitesi'nde bilgisayar bilimi ustası, "Doğrusal Olmayan Raporlama Modellerinin İlkeleri" nin yazarı vb. 1989'da, Çin'in ilk uluslararası Olimpiyat matematik takımı şampiyonu, bireysel altın madalya. 2000 yılında Runqian Company kuruldu. 2004 yılında, doğrusal olmayan rapor modeli ilk olarak Çin tarzı karmaşık rapor oluşturma sorununu mükemmel bir şekilde çözen Runqian raporunda önerildi ve şu anda bu model rapor endüstrisinin standardı haline geldi. Runqian Software, 7 yıllık geliştirmenin ardından 2014 yılında, ilişkisel cebir modellerine dayanmayan ve karmaşık yapılandırılmış büyük veri hesaplamalarının geliştirme ve hesaplama verimliliğini etkin bir şekilde artıran bir hesaplama motoru olan esProc'u piyasaya sürdü. Runqian Software, 2015 yılında Forbes Çin web sitesi tarafından "2015 Forbes Çin Listelenmemiş İlk 100 Potansiyel Şirket" seçildi. 2016 yılında, Çin Elektronik Bilgi Sektörü Geliştirme Enstitüsü tarafından "Çin Yazılım ve Bilgi Hizmeti Sektöründe 2016 İlk On Önde Gelen Figür" ödülüne layık görüldü. . 2017'de, yeni nesil veri ambarı, bulut veritabanı ve bağımsız inovasyon araştırma ve geliştirmesine sahip diğer ürünler yakında kullanıma sunulacak.
Bitirme: Wang Zhimeng Zhang Dongyang
Redaksiyon: Lu Miaomiao
Editör: Wen Jing
