Büyük veri çağında zorunlu beceriler Ali HBase'nin yayınladığı büyük hamleler nelerdir?
Önsöz
HBaseCon, Apache HBase tarafından düzenlenen resmi bir teknik konferanstır. Asıl amacı, açık kaynak dağıtılmış bir büyük veri depolama olan HBase'in kullanımını, geliştirilmesini ve geliştirilmesini paylaşmak ve değiş tokuş etmektir. HBaseCon 2012'de piyasaya sürüldü. Genellikle HBaseCon, Amerika Birleşik Devletleri'nde düzenlenmektedir. Bu, HBaseCon'un Asya'da ilk kez düzenlendiği ve Apache HBaseCon 2017Asia olarak adlandırılmıştır. Dahası, Çin'in Shenzhen kentindeki bu konferans için yer seçimi, HBase'nin Çin'deki popülaritesini ve Çinli geliştiricilerin HBase topluluğuna yaptığı olağanüstü katkıları göstermek için yeterlidir.
Apache HBase, Apache Hadoop üzerine kurulu, dağıtılmış ve ölçeklenebilir bir Anahtar-Değer veritabanıdır ve büyük veri bağlamında yüksek performanslı rastgele okuma ve yazma yetenekleri sağlar. HBase teknolojisini araştıran, kullanan ve yeniden geliştiren ilk Çinli şirket olan Alibaba, 2010 yılından beri HBase kullanıyor. Yaklaşık 7 yıllık geliştirmeden sonra, HBase depolamasını kullanan işletme şu anda 1.000'den fazla ve onbinlerce birimi var. HBase kümesinin ölçeği, HBase'de depolanan veriler PB düzeyine ulaşmıştır.
Açık kaynak ve paylaşım ruhuna bağlı kalarak Alibaba, HBase'in pratik deneyimini ve HBase topluluğuna HBase teknolojisinin gelişimi üzerinde derin bir etkisi olan Bucket Cache ve Reverse Scan gibi iyileştirmeleri sürekli olarak besliyor. Aynı zamanda, HBase topluluğu için iki PMC ve iki Commiters da eğitildi ve Ali'nin HBase topluluğundaki etkisi ortada. Yani bu sefer HBaseCon 2017 Asya. Ali bir HBase PMC ve 2 Committers ile birlikte iki kıdemli HBase geliştiricisi gönderdi ve bu da size pek çok kuru ürün getirdi.
Ali kuru mal serisi
1. Güçlü eşzamanlı çoğaltma
Geleneksel HBase aktif-bekleme küme senkronizasyon şeması, aktif ve bekleme kümeleri arasındaki verileri geçici olarak senkronizasyon dışı yapan eşzamansız çoğaltmadır. Olağanüstü durumdan kurtarma için, kullanıcıların güçlü tutarlılık modelini terk etmesi gerekir. Güçlü tutarlılık semantiğinden vazgeçemeyen kullanıcılar, etkin ve bekleme kümeleri arasında veri okuma ve yazma tutarlılığını sağlamak için bir dizi karmaşık mantık yazmalıdır. Alibaba'nın HBase teknik uzmanı Tian Yin, bu HBaseCon Asia'daki herkese güçlü bir eşzamanlı çoğaltma çözümü getirdi.
Tianyin'e göre, güçlü eşzamanlı çoğaltma çözümü, aynı şehir ağı koşullarında eşzamanlı çoğaltmanın eşzamansız çoğaltmaya kıyasla verimde yalnızca% 2'lik bir azalmaya sahip olması için etkin ve beklemedeki eşzamanlı yazma ve RemoteLog teknolojisini kullanır. Ana kütüphaneye bir talep geldiğinde, eşzamanlı olarak yerel ve yedek kütüphanelere yazar Bekleme kütüphanesine senkronize yazma işlemlerinin tam yazma yolunu alması gerekmez, ancak doğrudan RemoteLog'a yazarak senkronize yazma yükünü ve gecikmesini azaltır. Eşzamanlı bağlantıya ek olarak, ana kitaplıktan bekleme kitaplığına veri kopyalamak için bir dizi eşzamansız bağlantı da vardır.Bu nedenle, normal koşullar altında, RemoteLog verilerinin bekleme kitaplığına yeniden oynatılmasına gerek yoktur. Ana kitaplık hizmet verilemediğinde yalnızca RemoteLog'un yeniden oynatılması gerekir. Asenkron replikasyon bağlantısı tarafından bekleme veritabanına senkronize edilmeyen veriler için, asenkron replikasyonda yalnızca birkaç saniyelik veri gecikmesi vardır, bu da ana veritabanından bekleme veritabanına geçişin kısa sürede tamamlanabilmesini sağlar.
Bu çözüm, konferans alanında güçlü bir tepki uyandırdı.Birçok HBase kullanıcısı bunun uzun süredir bekledikleri bir özellik olduğunu ve en kısa sürede kullanmayı umduklarını söyledi. Tianyin, bu işlevin şu anda Alibaba'nın iç şubelerine göre uygulandığını, işletildiğini ve geliştirildiğini ve gelecekte topluluğa geri döneceğini söyledi.
İki, HBase'de SQL
Ali HBase çok sayıda dahili kullanıcıya hizmet verir ve yeni kullanıcılar buna erişmeye devam eder. Bununla birlikte, HBase kullanan kullanıcıların büyük bir kısmı geleneksel SQL veritabanlarından aktarılmaktadır.HBase'in satır anahtar tasarımı ve API kullanım alışkanlıkları onlar için uygun değildir. Bu dönüştürülmüş kullanıcılar için eşiği düşürmek için Ali, HBase'de bir SQL katmanı tanıttı. Ali'den kıdemli bir HBase geliştirme mühendisi olan Tian Mu, HBase'de SQL'in nasıl oynanacağını ayrıntılı olarak açıkladı.
Optimizasyon sayesinde, Alibaba'da HBase ve yerel API'ye erişmek için SQL kullanma hızı neredeyse aynıdır ve SQL sözdizimi açısından HBase çoklu sürüm ve zaman damgalarını ve diğer NoSQL işlevlerini yaratıcı bir şekilde destekler.
Ek olarak, HBase'de hem global ikincil dizinler hem de yerel ikincil dizinler desteklenir. Kullanıcıların, iş tasarımını basitleştiren, istek verimliliğini artıran ve kullanım maliyetlerini düşüren birden çok sütun üzerinde dizinler oluşturmasına olanak tanır.
Üç, kümeler arası bölüm kopyası
HBase genellikle büyük miktarda veri taşır.Günlük üretim sürecinde, işin gelişmesi ve şirketin veri merkezinin planlanmasıyla birlikte, bu büyük miktardaki verilerin sık sık yeniden konumlandırılması gerekir, bu da genellikle işletim ve bakım için çok baş ağrısıdır. . Alibaba'nın HBase topluluğundan bir Committer, Alibaba'nın küme arası bölüm kopyası için senaryolar ve olgun çözümler araştırıyor ve paylaşıyor.
Zhengyan ilk olarak Alibaba'da veri kopyası gerektiren yaygın senaryoları tanıttı.Örneğin, yeni bir veri merkezi kurulduğunda, HBase kümesinin bir bütün olarak yeni bir bilgisayar odasına taşınması gerekir; örneğin, farklı bilgisayar odalarındaki HBase kümelerinin artımlı veri senkronizasyonu replikasyonu kullanabilir. Ancak, mevcut veriler için daha verimli bir çözüm yoktur.Başka bir yaygın senaryo veri kurtarmadır ve geleneksel HBase yedekleme ve geri yükleme araçları veri kurtarma kapsamını kontrol edemez.
Bu nedenle Alibaba, çeşitli hata koşullarını ve olağanüstü durumdan kurtarmayı otomatik olarak işleyebilen basit ve verimli bir veri kopyalama işlevi sağlayan HBase'de yerleşik olan Aralık Veri Kopyalama işlevini geliştirdi. 200 TB'lık bir tabloyu başka bir kümeye kopyalamak için bu işlevi kullanın. 5 saatten az sürer.
Dördüncüsü, bağlantı optimizasyonunu oku ve yaz
Ali'nin HBase kullanımı sırasında, HBase'nin kendisine çok sayıda okuma ve yazma performansı optimizasyonu yapıldı. Alinin HBase topluluğundan PMC ve Committer Amaterasu, Alinin bu konudaki bazı başarılarını paylaştı.
1. HBaseRPC'nin verimini büyük ölçüde artıran ve gecikmeyi azaltan HBase'in yerel RPC sunucusunu değiştirmek için Netty'yi kullanın;
2. Yeni HFileBlock kodlama formatını tanıtın, sıralı aramayı ikili aramaya çevirin ve HBase'in rastgele okuma yeteneğini geliştirin
3. Yazma bağlantısını bölün, engellenen işleyici kaynaklarını serbest bırakın ve HBase yazmanın verimini iyileştirin;
Ali'nin bu optimize edilmiş siyah teknolojileri, HBase'nin yeteneklerini yeni bir seviyeye taşıdı. Ve bu optimizasyonlar ve işlevler artık topluluğa geri verildi ve tüm HBase kullanıcıları bu teknik bonusları yeni sürümde alabilir.
sonuç olarak
Ali'nin getirdiği teknoloji paylaşımının yanı sıra olay yerindeki diğer birçok şirket de HBase kullanımındaki iyileştirme ve deneyimlerini beraberinde getirdi. Örneğin, Xiaomi, HBase'nin yerel bir eşzamansız API'ye sahip olmadığı boşluğunu dolduran AsyncClient'i uygular; HBase kümelerini otomatik olarak genişletmek ve küçültmek için kubernetes'i, hızlı gelişmeye ve hızlı iş değişikliklerine esnek bir şekilde uyum sağlamak için nasıl kullanacağını bilir; Fiberhome ağı, yakın hat sorgularını daha kararlı hale getirmek için kaynakları okur ve yazar. Bekle.
Yukarıda bahsedilen önemli teknoloji paylaşımına ek olarak, HBaseCon konferansının her oturumu çok heyecan vericiydi ve herkese bir düşünce çarpışması ziyafeti getirdi. Apache HBase "usta" Michael Stack de toplantıya katıldı ve HBase'nin mevcut durumunu ve geleceğini tartışmak için HBase geliştiricileriyle bir yuvarlak masa toplantısı düzenledi.
HBaseCon'un bu seferki popülaritesi, yerli işletmelerin ve geliştiricilerin HBase için heyecan ve beklentilerini doğrudan gösteriyor. HBaseCon konferansı, HBase kullanıcılarına yalnızca en yeni teknolojik ilerlemeyi getirmekle kalmaz, gerekli olanı paylaşır ve diğer şirketlerin gelişmiş deneyimlerini emer; aynı zamanda HBase kullanıcıları ve geliştiriciler arasındaki iletişim için bir köprü görevi görür ve geliştiricilerin görmesine olanak tanır. Sektör eğilimleri ve kullanıcı ihtiyaçları birlikte HBase'i daha erişilebilir, daha yüksek performanslı ve daha kararlı bir büyük veri depolama haline getirdi. Bu HBaseCon konferansı iyi bir başlangıç. Umarım HBaseCon Asia daha iyi ve daha iyi hale gelir ve size daha fazla kuru mal getirir!
Sonuna yaz
Büyük veri çevrimiçi depolama, HBase ile ilgileniyorsanız veya HBase'i daha iyi kullanmak ve daha fazla NB ürünü geliştirmek istiyorsanız, iletişim kurmak ve birbirinizle iletişim kurmak için lütfen benimle (Zhengyan, zhengyan.ywl@alibaba-inc.com) iletişime geçin Öğrenin!
yazar hakkında
Yang Wenlong, Hua Ming Zhengyan, Alibaba Depolama Teknolojisi Bölümünün kıdemli araştırma ve geliştirme, HBase açık kaynak topluluğu Committer. Dağıtılmış depolama sistemi tasarımı ve uygulamasının seri üretiminde zengin deneyime sahip açık kaynak teknolojisi meraklıları.
