Kötü niyetli işletim ve bakım nedeniyle, Weimeng 36 saat boyunca kapalı kaldı Şirketler risk önleme yeteneklerini nasıl güçlendirebilir?
25 Şubat'ta Weimeng, SAAS iş verilerinin yapay olarak zarar gördüğünü belirten bir duyuru yayınladı. İncelemeden sonra, şirketin SaaS iş üretim ortamının ve verilerinin, grubun Ar-Ge merkezi operasyon ve bakım departmanındaki bir çekirdek operasyon ve bakım çalışanı tarafından zarar gördüğü ve bunun, şirketin müşterilere SaaS ürünlerini sunmakta geçici olarak yetersiz kalmasına ("SaaS üretim ortamı ve veri imhası") neden olduğu öğrenildi.
Şirket, olayı 24 Şubat 2020'de Baoshan Bölgesi Kamu Güvenliği Bürosu'na ("Baoshan Bölgesi Kamu Güvenliği Bürosu"), Şangay, Çin'e bildirdi ve çalışan, Baoshan Bölgesi Kamu Güvenlik Bürosu tarafından cezai bir şekilde gözaltına alındı. Bu makalede InfoQ, Tencent Cloud'un en değerli uzmanı ve dbaplus topluluğunun eş sponsoru Yang Jianrong'u, uygulayıcılara yardımcı olmayı umarak şirketlere bazı risk önleme önerileri sunmaya davet etti.
Aşağıda, Bay Yang Jianrongun yanıtının tam metni yer almaktadır:
Endüstride ne zaman veri olayları görsek, kendimizi daha duygusal hissederiz, ancak daha fazlasına ihtiyacımız olan şey iç gözlem, çünkü bu alarmımızı çalabilir. Weimob teknik ekibi, tamamen girişimci bir ekipten geldi ve yavaş yavaş daha olgun bir güvenlik yönetimi standardı oluşturdu.Sunucu ve veri erişim hakları için açık bir hiyerarşik ve hiyerarşik yetkilendirme yönetim sistemine sahip. Bu sefer ihmal olsa da, aslında bir kurbandı. Tarafından.
Olay takibine göre, Tencent Cloud, Weimob'u en başından beri güçlü bir şekilde destekledi ve Weimob'a ve müşterilerine maliyet ne olursa olsun yardım etmek için birçok teknik uzman gönderdi, böylece kurtarmanın sorunsuz bir şekilde ilerlemesi sağlandı. Ancak sorun şu ki, düzeltmek ve onarmak için bir dizi işlem, sistem ve teknolojinin birbirini tamamlaması gerekiyor ve bu kalıcı bir iyileştirme sürecidir. Milan Kundera bir keresinde şöyle demişti: Asla kaçabileceğinizi düşünmeyin, çünkü her adım nihai sonucu belirler.
Kişisel bir anlayışa göre, ilgili ortam karmaşık olduğundan ve birçok ekip içerdiğinden, verimliliği ve doğrulamayı geri yüklemek biraz zaman alır. Veri kurtarma açısından, verilerin bir dereceye kadar kaybedilebileceği, ancak karıştırılamayacağına dair yazılı olmayan bir kural vardır. Kayıp veriler başka yollarla da düzeltilebilir, ancak veriler karışırsa onarım karşılaştırması kaybolur. Bu kötü niyetli bir işlem olduğu için kurtarılması daha zor olacaktır.
Daha sonra, bu tür kazalarda kayıpları üç açıdan nasıl en aza indireceğimi açıklayacağım: şirkete yardımcı olmayı umarak süreç, teknoloji ve sistem.
1. İşlem
1. Meşgul olmak ve kaotik olmamak için başarısızlık delme sürecini iyileştirin ve ortak bir hedef olarak işbirliği içinde tamamlayın
Pek çok şirketin arıza tatbikatıyla ilgili bazı şüpheleri olacaktır, çünkü bu bazı potansiyel gizli tehlikeler getirecektir, hareket edememe, hareket etmeye cesaret edememe, bir sorun olduğunda, onarım verimliliği o kadar düşük olur, herkes ve ekip kendi parçalarına daha fazla dikkat eder İş, açıkça bazı ilgili bağlantıları görmezden geliyor, böylece arıza sondajının sürecini ve özelliklerini düzenleyebilir, bunları çözebilir ve sağlamlaştırabilir ve sorunlarla uğraşırken meşgul olabilir ve kaotik olmayabilir.
2. Arıza yanıt sürecini iyileştirirseniz, sorumlu belirli kişi farklı düzeylerdeki sorunlu sistemlere müdahale eder
Neden birçok sorunu çözme süreci kontrol edilemez? Bir yandan ekip çalışmasına ihtiyaç duyulurken, diğer yandan sorunu geçici olarak koordine etmek ve tanımaktır.Sorun giderme etkinliği nispeten düşüktür.Arızaların sınıflandırılmasını, ilgili ekibe zamanında bildirmeyi ve bazı sorunları bir ön işleme bağlantısı olarak ele almayı düşünebilirsiniz. Önceden erişim.
3. İşletme ve bakım işlemlerinin raporlanması gerekir
İşletme ve bakım, hazırlıksız işlemler yapmaz, fişleme işlemleri yapmaz (bazı test edilmemiş komut dosyalarına geçici olarak ekleme yapmak gibi), önemli işlemler ve büyük işlemlerin zamanında raporlanması ve bildirilmesi, pasifin aktif hale getirilmesi gerekir.
4. Bağımsız bir hizmet denetim mekanizmasını gerçekleştirmek için denetim sürecini tanıtın
Denetim bağlantısı nispeten önemli bağımsız bir bağlantıdır ve bir hizmet denetim mekanizması kurulabilir ve bağımsız denetim hizmetleri aracılığıyla potansiyel gizli tehlikeler keşfedilebilir ve sorunlar zaman içinde düzeltilebilir.
5. İş anormalliklerinin erken uyarısı, ilgili bağlantı katmanlarını senkronize etme ihtiyacı
İşletme düzeyindeki istisnalar için, iş erken uyarısı özellikle kritiktir. İlgili bağlantılara erken uyarı ve senkronizasyon, sistem çığlıklarını önleyebilir.
2. Teknoloji
1. Kurtarma işlemini kontrol edilebilir ve verimli hale getirmek için yedekleme ve kurtarma sistemini iyileştirin. Örneğin, temel yedekleme (tam yedekleme ve artımlı yedekleme) ve etkin veri kurtarma (binlog tabanlı geri dönüş teknolojisi)
Bir yedekleme ve kurtarma sisteminin inşası, veritabanı inşasının temelidir ve hizmet kullanılabilirliğini ölçmek için son damladır.Kurtarma verimliliğini artırmak için tam yedekleme ve artımlı yedeklemeyi tam olarak birleştirir.
Örneğin, aşağıda bir tam yedekleme ve her zaman artımlı uygulama stratejisi uygulayan ve ardından bu temelde binlog tabanlı geri dönüşü uygulayan tam yedekleme ve artımlı yedekleme şeması verilmiştir.
2. Küme ortamının kurtarılması, sistemin zayıf halkasıdır
Sistem hizmetleri birbirine bağlıdır.Bu, daha önce çok az kişinin dikkat ettiği bir şeydir, bu yüzden bunun sert bir kemik olduğuna ve ona odaklanmamız gerektiğine şüphe yok.
3. Kötü niyetli / kazara silmeyi önlemek için geri dönüşüm kutusu teknolojisini kullanın
Yedekleme, anormal koşullar altında bazı veri kurtarmayı çözebilir, ancak verimlilik nispeten düşüktür Standart bir bakış açısına göre, tehlikeli işlemlerden nasıl kaçınılacağı ve daha zarif ve kontrol edilebilir işleme yöntemlerinin nasıl kullanılacağı, düşünmemiz gereken bir sorundur.
Drop işlemi varsayılan olarak gönderilir ve geri döndürülemez.Veritabanı işlemlerinde kaçışla eş anlamlıdır.Yedekleme yoluyla geri yüklenmediği sürece MySQL düzeyinde şu anda karşılık gelen bir Drop işlemi kurtarma işlevi yoktur, ancak Drop işlemini bire dönüştürmeyi düşünebiliriz. Tersinir bir DDL işlemi.
Varsayılan olarak, MySQL'deki her tablonun karşılık gelen bir ibd dosyası vardır. Aslında, Drop işlemi bir yeniden adlandırma işlemine dönüştürülebilir, yani dosya testdb'den testdb_arch'a taşınır; izinler açısından testdb_arch işletme tarafından görünmezdir ve yeniden adlandırma işlemi sorunsuz olabilir Bu silme işlevini gerçekleştirmek için, belirli bir süre sonra temizlenebileceği onaylanırsa, veri temizleme, aşağıdaki şekilde gösterildiği gibi mevcut iş sürecine görünmez.
Buna ek olarak, iki ek öneri daha var: Birincisi, pt-osc aracını kullanmak veya bakım dönemindeki değişiklikler gibi büyük tablo değişiklikleri için düşük yoğun dönemlerde çevrimiçi değişiklikleri olabildiğince dikkate almak. Bunları burada tekrar etmeyeceğim.
4. Hizmet izin ayarları, istemci izinlerini belirtmeniz gerekir
İnternet endüstrisinde ana veri tabanını ve yedekleme veri tabanını işletmelere göre yönetmek yaygın bir uygulamadır.Birçok şirket genellikle işletim ve bakım için daha fazla yetki verir ve bu da birçok arızaya neden olan potansiyel bir risktir.
Bu bağlamda, otorite problemini iyileştirmek için çoklu bağlantılarda kullanılabilecek aşağıdaki tasarım çizimine (öğretmen Zhang Wenyu'dan) başvurabiliriz.
3. Sistem
Sistem nispeten katı ve ilgisizdir Sistemin temel taşı olarak yardımcı olacak teknoloji ve süreç özellikleri arasında bazı denge noktaları bulabiliriz. Örneğin şifrenin güvenlik seviyesi ayarı, yetki yönetimi için onay sisteminin tanıtılması vb. Burada tekrarlanmayacaktır.
son sözler
Son olarak, tüm teknik uygulayıcıların mesleki etik kurallarına uyabileceğini ve tüm şirketlerin risk önleme bilincine sahip olabileceğini ve bu tür olaylarda kayıpları etkili bir şekilde azaltabileceğini umuyorum.
yazar hakkında:
Yang Jianrong, Tencent Cloud'un en değerli uzmanı, dbaplus topluluğu eş sponsoru, Oracle ACE, Rekabetçi Dünya kıdemli DBA'sı
Beni takip edin ve bu makaleyi iletin, "bilgi almak" için bana özel bir mesaj gönderin, 4999 yuan değerinde ücretsiz bir InfoQ mini kitabı alabilirsiniz!
