Bu eğitim rehberi sizi kel olmayan bir veri mühendisi yapacak!
Belki de veri araştırması alanında çalışmak isteyenler, veri mühendisleri ile veri bilimcileri arasındaki farkı her zaman anlamamışsınızdır ve hatta birçok insan bunun aynı şey olduğunu düşünebilir. Eğer gerçekten öyle düşünüyorsan, yanılıyorsun! Bu iki konum arasındaki fark şimdi giderek artıyor, derinliklerindeki benzerlikleri ve farklılıkları anlayamıyorsanız, kesinlikle ileride adım atmanızı bekleyen birkaç maden yok. Bu makaleyi okumalıyım!
Bir veri mühendisinin işi çok tekniktir. Altyapı analizinden veri ambarlarına kadar birçok kavramı kapsayan veri sistemi mimarisinin tasarlanması ve sürdürülmesinden sorumludurlar. Veri mühendislerinin yaygın olarak kullanılan komut dosyası dillerini derinlemesine anlaması ve veri analiz sistemini kullanarak ve geliştirerek verilerin kalitesini ve miktarını sürekli olarak iyileştirmesi gerekir. Ayrıca, verileri modellemek, madencilik yapmak, doğrulamak ve elde etmek için adımlar ve süreçler oluşturmaktan da sorumludurlar.
Sektördeki yetenekli veri mühendislerine olan talebin hızla artacağı tahmin ediliyor. Modern dünyada, şirketler ve kuruluşlar veri elde etmek ve depolamak için sağlam bir veri mimarisine ihtiyaç duyar. Bir şirket veri bilimini kullanması gereken noktaya geldiğinde, veri mühendislerine ihtiyaç duyar. Sonuç, günümüzde veri mühendisleri için acil bir ihtiyaçtır.
Bazı şirketler, projede gerekli veri mühendisliği beceri ve deneyiminin öğrenilebileceğini ve biriktirilebileceğini düşünmektedir. Umbel'in kıdemli yöneticisi Kevin Safford, bu tür düşüncelerin genellikle yanlış olduğuna inanıyor. Dikkatli çalışmazsanız, verileri kullanılabilir, erişilebilir ve doğru kılmak ve analizin doğru olduğundan emin olmak için gerçekten veri hatları, veri yönetimi sistemleri, veri analizi oluşturun ve tüm ara kodları yazın. Seks - eğer bu deneyime sahip değilseniz, bunların yavaş öğrenileceğini düşünebilirsiniz. Birçok insanın bu şekilde düşündüğünü gördüm. Çoğu yanlış ve yanlış şeyler aynı. "
Veri mühendislerinin ve veri bilimcilerinin becerileri ve sorumlulukları genellikle örtüşür, ancak iki konum arasındaki farklar giderek artmaktadır.
Veri bilimcileri, büyük verileri iş zekasına dönüştürmeye odaklanırken, veri mühendisleri de veri üretimi için veri mimarisi ve altyapısı oluşturuyor. Veri bilimcilerin çalışma ortamı ve altyapısı oluşturmak için veri mühendislerine ihtiyaç duyar.
Veri bilimcileri, altyapı ile etkileşimi oluşturmak ve yönetmek yerine altyapı ile etkileşime daha fazla önem verirler ve sorumlulukları arasında ham verileri yararlı, anlaşılır ve yürütülebilir bilgilere dönüştürmeyi de içerir. Veri mühendisleri veri altyapısını ve veri temellerini incelerken, veri bilimcileri büyük veriyi inceler.
Veri temeli, tüm raporlama ve analiz biçimlerini destekler. Bir veri mühendisinin amacı, raporlama ve analizi desteklemek için güvenilir, eksiksiz ve güncel veriler sağlamaktır. Sağlam bir veri temeli, şirketlere büyük fayda sağlayarak, daha verimli bir şekilde hareket etmelerini ve kararlar almalarını sağlayacaktır. Avantajlar şunları içerir:
- Organizasyonel iletişimi ve işbirliğini artırın
- Veriler için tek noktadan alışveriş
- Kaydın tek bir sürümünü saklayın
- İşletme içinde bilgi anlaşması fikir birliğine ulaşılmasını desteklemek
Verimli bir veri temeli olmadan, bir kurumsal organizasyonun güvenlik riski artacak ve organizasyon verimsiz hale gelecektir. Zayıf bir veri temeli, bir soruya birden fazla yanıt üretecektir ve akıllı iş kararlarını desteklemek için yeterli değildir.
Veri mühendislerinin, yapılandırılmış sorgu dilinin (SQL) derinlemesine anlaşılması dahil, veritabanı yönetimini iyi anlamaları gerekir. Altyapı, araçlar, çerçeveler ve hizmetler oluşturmaları gerekiyor. Bazı insanlar, veri mühendisliğinin veri biliminden çok yazılım mühendisliği ve uygulama geliştirmeye yönelik olduğuna inanıyor. Diğer yararlı beceriler şunları içerir:
- Apache Hadoop, Hive, MapReduce ve Hbase kullanımında deneyim.
- Makine öğrenimi (ML), veri bilimcilerin araştırma odağıdır, ancak bunun bir miktar anlaşılması da veri mühendisliği için önemlidir. Makine öğrenimi, büyük veriyle yakından ilgilidir. (Makine öğrenimi, büyük verilerin işleme akışını basitleştirir, büyük verilerin işlenmesine yönelik teknolojiyi sağlar ve rasyonelleştirir.)
- Kod bilgisi kesinlikle bir artıdır. C / C ++, Java, Python, Perl, Golang veya diğer dillere aşinalık faydalı olacaktır. Linux, UNIX ve Solaris bilgisi de çok faydalıdır çünkü bunlar işletim sistemi işlevlerinin ve donanımının temel nedenleridir.
- Veri mühendisleri için, ETL (veri çıkarma, dönüştürme ve yükleme) deneyimi bir zorunluluktur. ETL, kaynak sistemden veri alan ve veri ambarında depolayan bir veri ambarı oluşturma sürecidir. Segment veya Oracle Warehouse Builder gibi ETL araçlarına ve Panoply veya Redshift gibi veri depolama çözümlerine aşina olmak çok faydalıdır.
Bilgisayar alanında, veritabanı ve depo yapımı için ETL kullanılmaktadır. Veri çıkarma, dönüştürme ve yükleme 1970'lerde popüler hale geldi. Veri çıkarma, homojen ve heterojen veri kaynaklarından veri çıkarmayı ifade eder. Veri dönüştürme, verilerin saklama kolaylığı için (daha sonra incelenecek ve analiz edilecek) uygun bir yapıya veya forma dönüştürülmesi anlamına gelir. Veri yükleme, verilerin bir veri mağazasına, veri depolama alanına veya veri ambarına indirilmesi ve aktarılması sürecini ifade eder.
İyi tasarlanmış bir ETL sistemi, kaynak sistemden veri alabilir ve veri tutarlılığını ve kalite standartlarını sağlayabilir. Veriler ayrıca bir ön demo biçiminde iletilebilir, geliştiricilerin uygulamalar geliştirmesine ve son kullanıcıların değerini belirlemesine olanak tanır.
Geleneksel olarak ETL sistemleri, uygulamalardan, farklı satıcılardan ve bilgisayar donanımından gelen verileri entegre eder. Ham veri içeren bağımsız sistemler genellikle farklı kişiler tarafından çalıştırılır ve kontrol edilir. Örneğin, bir bordro sisteminin yöneticisi satış ve satın alma verilerini birleştirebilir.
Veri ambarı, verileri depolamak, raporlamak ve analiz etmek için kullanılır. Modern iş zekası için gelişimi çok önemlidir. Veri ambarları, bir veya daha fazla kaynaktan entegre verileri merkezi olarak depolar, güncel verileri ve geçmiş verileri aynı anda depolar ve bu da analiz raporları geliştirmek için kullanılabilir.
Bir veri ambarı (veya güncellenmiş yapılandırılmış veri gölü) olmadan, büyük veri ve veri bilimiyle ilgili herhangi bir işleme çok pahalı veya ölçeklendirilmesi zor hale gelecektir. İyi tasarlanmış bir veri ambarı olmadan, analistlerin aynı problemi incelemesi ve farklı sonuçlar alması kolaydır. Veya bitmiş ürün veri tabanının araştırmasında (veri ambarı olmadan) yanlışlıkla gecikmelere veya kesintilere neden olabilir.
Genel olarak, bir veri mühendisi olmak, bilgi teknolojisi veya bilgisayar bilimi ve diğer ilgili eğitimlerde bir derece sertifikası almayı gerektirir. Her çalışma ortamının gereksinimleri giderek daha kişisel hale geldikçe, veri mühendisliği öğretimi de daha esnektir.
Dereceniz ve mesleki eğitiminiz önemlidir, ancak yeterli değildir. Ek sertifikalar da değerlidir, yararlı olanlar şunları içerir:
- CCP Veri Mühendisi Sertifika Sınavı (Cloudera Sertifikalı Veri Mühendisi Sertifikası) - ETL araçları ve analitiğinde deneyim kanıtı sağlar.
- Google'ın temel veri mühendisliği becerilerine aşinalık sertifikası.
- IBM Certified Data Engineer (Büyük Veri) - büyük veri uygulamalarında iş deneyimini aktarır.
Tamamlayıcı sertifika da mümkündür. Örneğin, MCSE (Microsoft Sertifikalı Çözüm Uzmanı) birçok konu içerir ve MCSE: Veri Yönetimi ve Analitik, MCSA (Microsoft Sertifikalı Sistem Yöneticisi): İş Zekası Raporu ve MCSA: Microsoft Bulut Platformu dahil olmak üzere belirli konular için ek sertifikalar vardır . Ek olarak, bazı veri endüstrisi etkinlikleri de harika eğitim ve öğretim kaynakları sağlayabilir (aynı zamanda İnternet'e erişim için iyi fırsatlar sağlar). Belirli durumlara göre etkili eğitim sağlayabilen birçok çevrimiçi kurs da vardır.
