Bulut bilişim veri analizini iyileştirmek için Microsoft Azure 3 büyük veri hizmetini günceller
Microsoft'un bulut bilişim platformu Azure, kısa süre önce veri gölü depolama hizmeti Data Lake Storage Gen2'nin resmi sürümü ve tam olarak yönetilen veri hizmeti Data Explorer dahil olmak üzere üç veri hizmetinde güncellemeleri duyurdu.Ayrıca, hibrit veri entegrasyon hizmeti Data Factory'nin önizleme sürümü de piyasaya sürüldü. Kullanıcılara uygun maliyetli ve güvenli bulut bilişim veri analizi hizmetleri sunmayı bekleyin.
Veri gölü depolama hizmeti Data Lake Storage Gen2, Azure yapılandırılmamış depolama hizmeti Blob Storage'ın ölçeklenebilirliği, güvenlik modeli ve zengin işlevlerinin yanı sıra analiz için tasarlanmış yüksek performansı bir araya getiren büyük veri analizi için uygundur. Dosya sistemi aynı zamanda Hadoop dağıtılmış dosya sistemiyle uyumludur ve kullanıcıların maliyet ve performans arasında seçim yapmak zorunda kalmadan bulut bilgi işlem veri gölü hizmetlerini seçmelerine olanak tanır.
Resim kaynağı: Microsoft
Microsoft, kendi veri gölü depolama hizmetinin ana hedeflerinden birinin Apache ekosistemi ile uyumlu olmak olduğuna dikkat çekti.Bunu başarmak için Microsoft, resmi olarak Apache Hadoop ve Spark'ın bir parçası olan Azure Blob dosya sistemi sürücüsünü geliştirdi. , Ve Hadoop'un birçok ticari sürümüne eklenmiştir.
Data Lake Storage Gen2'nin analiz performansını daha da iyileştirmek için Microsoft, dosya koleksiyonlarını hiyerarşik dizinlere ve iç içe geçmiş alt dizinlere entegre etmek için hiyerarşik ad alanları kullanır. Bu tür ad alanı, büyük miktarda veri analizi mimarisi için çok önemlidir, çünkü Hive veya Spark gibi araçlar genellikle çıktıyı geçici bir konuma yazar ve işlemin sonunda konumu yeniden adlandırır.Hiyerarşik ad alanı yoksa, yeniden adlandırma genellikle analiz işleminin kendisinden daha uzun sürer. Bu nedenle, hiyerarşik ad alanı Yürütmek için daha az işlem gerektiğinden, iş yürütmeyi hızlandırabilir ve maliyetleri düşürebilir.
Veri Gezgini, büyük miktarda akış verisinin gerçek zamanlı analizini gerçekleştirebilen, hızlı ve yüksek düzeyde ölçeklenebilir, tam olarak yönetilen bir veri analizi hizmetidir.Veri yapısını değiştirmeden saniyede 1 milyar kaydı sorgulayabilir. Hizmet, Data Lake Storage, SQL Data Warehouse ve Power BI gibi diğer Microsoft bulut bilişim hizmetlerine bağlanabilir. Veri Gezgini, hızı artırmak ve işlemleri basitleştirmek için iki ayrı hizmetten oluşur: Motor hizmeti ve veri yönetimi hizmeti, her ikisi de bir bilgi işlem düğümleri kümesi biçiminde Azure'da dağıtılır.
Resim kaynağı: Microsoft
Veri yönetimi hizmeti, çeşitli ham veri türlerinin sindirilmesinden sorumludur ve veri temizleme, yürütme hatası ve geri basınç gibi görevleri yönetir.Ayrıca, otomatik indeksleme ve sıkıştırma mekanizmaları aracılığıyla verileri hızlı bir şekilde işleyebilir. Motor hizmeti, giriş ham verilerini ve kullanıcı sorgularını işlemekten sorumludur ve Otomatik Ölçeklendirme ve veri parçalama yoluyla yüksek performans hedeflerine ulaşır.
Son olarak, Microsoft'un bu seferki güncellemesi, hibrit veri entegrasyon hizmeti Data Factory'nin bir önizleme sürümünü de piyasaya sürdü. Data Factory hizmeti, veri hareketini ve dönüşümünü otomatikleştirmek için kullanılan bir hizmettir. Yapılandırılmış, yarı yapılandırılmış ve yapılandırılmamış verilerle ilgili 80'den fazla yerleşik veriye sahiptir. Kaynağın bağlayıcı. Ek olarak, hizmet aynı zamanda, kullanıcılara Spark'ı öğrenmek veya dağıtılmış altyapıyı derinlemesine anlamak zorunda kalmadan veri dönüştürme tasarlama, oluşturma ve yönetme sürecinde görsel bir deneyim sağlayan Mapping Data Flow veri iş akışı görselleştirme aracı sağlar. .
