g u t x .com.tr İpek yolu - Çin'i anlamaya götürürüm

Rsync ve FastDFS arasındaki farkı ve bağlantıyı açıklayın

Genel Bakış

Dağıtılmış dosya depolaması yapılırken, genellikle iki araç kullanılır: Rsync ve FastDFS Bugün, ikisi arasındaki farkı kısaca tanıtacağım.

Rsync mimarisi

Rsync komutu, dosyaları LAN / WAN aracılığıyla birden çok ana bilgisayar arasında hızlı bir şekilde senkronize edebilen bir uzak veri senkronizasyon aracıdır. rsync, dosyaları yerel ve uzak ana bilgisayarlar arasında senkronize etmek için "rsync algoritmasını" kullanır.Bu algoritma, her seferinde dosyanın tamamını göndermek yerine yalnızca iki dosyanın farklı kısımlarını aktarır, bu nedenle hız oldukça hızlıdır.

Rsync, istemci ve sunucuya bölünmüştür. İstemci, esas olarak sunucuyla iletişim kurmaktan ve en son dosyaları elde etmekten sorumludur; buradaki mekanizma, FastDFS'den farklıdır. Gerçek zamanlı performans olmadığı için, Rsync, sunucu tarafındaki tüm dosyaları senkronize edecektir. Tekrar karşılaştırdıktan sonra, bir değişiklik olduğunda değiştirilen dosyalar senkronize edilecektir. -delete komutu eklenirse, sunucu tarafında silinen dosya da istemci tarafında silinecektir; FastDFS, bir değişiklik olduğu sürece gerçek zamanlı olarak senkronize edilir, Her gruptaki sunuculara senkronizasyon için bildirim gönderilecek, bu nedenle güncelleme mekanizması tek tek karşılaştırılmayacak ve senkronizasyon verimliliği daha yüksek olacaktır;

İstemcinin yalnızca bir yapılandırma dosyası vardır: rsyncd.secrets (dosya adı ve yolu özelleştirilebilir, çünkü istemci yürütüldüğünde bir parametre olarak geçirilmesi gerekir) Bu yapılandırma dosyası oturum açma parolası (yalnızca parola) ile yapılandırılır ve kullanıcı adı belirtilir Parametreler ile belirtildiğinde;

Sunucu tarafında üç yapılandırma dosyası vardır:

Rsyncd.conf: İzleme ipini ve bağlantı noktasını, ana bilgisayara izin verme / reddetme (istemci IP'si), günlük bilgisi, dosya bloğu (senkronize dosya bilgileri sağlar) ve ref dosya bilgilerini (aşağıda belirtilmiştir) yapılandıran temel yapılandırma dosyası Güvenlik ve motd dosyaları);

Rsyncd.security: bağlı istemcinin kimliğini doğrulamak için kullanılan kullanıcı / pwd anahtar / değer çiftini tanımlar; birden fazla tanımlanabilir;

Rsync.motd: Bu dosya, istemci sunucuya bağlandığında görüntülenen kolay anlaşılır metni tanımlar.Bunu temizleyebilir veya bazı metinleri özelleştirebilirsiniz;

FastDFS

FastDFS ve HDFS arasındaki en büyük fark, dosyaları kesmemesidir (dilim depolama), bu nedenle küçük dosyaların depolanması için daha uygundur; FastDFS'nin iki temel bileşeni vardır: İzleyici Sunucusu ve Depolama Sunucusu, ilki dosya dizinlerini kaydetmek için kullanılır ve ikincisi Dosyaları depolamak için kullanılır; izleyici sunucusu ve depolama sunucusu gevşek bir şekilde bağlanır. Fiziksel depolamayı genişletmek için, yalnızca bir makine ekleyin, yapılandırma depolama sunucusu olarak adlandırılır ve bir izleme sunucusunu işaret eder ve izleyici sunucusu yeni eklenen sunucuyu kaydeder; Çünkü depolama, yapılandırılmış izleyici ip ve bağlantı noktasına göre Tracker sunucusuna bildirimler gönderecektir.

Bir depolama sunucusu N Grup içerebilir ve her Grup N Depo içerebilir Her Depo bir depolama alanıdır Aynı gruptaki Depolar karşılıklı bir yedekleme ilişkisine sahiptir. Yukarıda belirtildiği gibi, bu artış türüdür. Yedekleme türü; yeni bir depolama alanı, izleyici ile ilk kez iletişim kurar:

İzleyici, önce depolama sunucusu listesini yeni depolamaya senkronize edecek ve ardından en son listeyi diğer eski depolamaya gönderecek, böylece gruptaki yeni listenin bildirimi tamamlanacak ve yeni depolama durumu FDFS_STORAGE_STATUS_INIT olarak ayarlanacaktır;

Ardından, izleyici kendisiyle senkronize etmek için eski bir Depolama sunucusunu atar ve aynı zamanda yeni depolama durumu FDFS_STORAGE_STATUS_WAIT_SYNC'dir (güncellenecek dosya yoksa, FDFS_STORAGE_STATUS_ONLINE olarak ayarlayın) ve tüm dosyaları tek seferde yeni depolama birimiyle senkronize edin. , Durum FDFS_STORAGE_STATUS_ONLINE olarak ayarlanacaktır;

Verileri senkronize ettikten sonra, yeni depolama alanı izleme sunucusuna ilk kez bir sinyal gönderdiğinde, izleme sunucusu durumunu FDFS_STORAGE_STATUS_ACTIVE olarak ayarlayacaktır;

Bir grubun depolama alanı, makine grubundaki en küçük depolama kapasitesine sahip makinedir; erişim süreci, istemcinin bir izleyiciye erişecek şekilde yapılandırılmasıdır ve bu izleyici, müşteriye hangi makinenin atanacağını belirlemek için dosya adını takip etmekten sorumludur. Tek kullanım için, istemci geri gönderilen depolama sunucusuna bir dosya isteği gönderir, ancak güvenliğin dikkate alınması gerekir;

Bir dosya almanız / yüklemeniz gerektiğinde, önce izleyiciyle iletişim kurun (yükleme için parametre gerekmez, indirme işlemi dosya adını sağlamalıdır, bu dosya adı yükleme sırasında FastDFS tarafından oluşturulur), geri dönmek için izleyicide kullanılabilir bir depolama alanı seçin , Ve sonra dosyaları almak için depolama sunucusuyla iletişim kuruyorsunuz.

Aslında, ikisi arasındaki temel fark, birincisinin nispeten zayıf gerçek zamanlı performansa sahip olması ve manuel komut dosyası senkronizasyonu gerektirmesi ve ardından bunu bir crona koymasıdır; FastDFS, aynı gruptaki makinelerin karşılıklı yedeklemesini otomatik olarak gerçekleştirir.

Editör daha sonra daha fazla devop ve DBA içeriği paylaşacak ve ilgilenen arkadaşlar buna dikkat edecek ~