Veri bilimcisi ile veri mühendisi arasındaki fark nedir?
Makine zekası alanının sürekli gelişimi ile yeni roller ortaya çıkmaya devam ediyor ve mevcut roller genişlemeye devam ediyor. Birçok kişi veri bilimcileri ve veri mühendisleri arasındaki farkı net bir şekilde anlamıyor. Bu makaleler, bu iki farklı kariyer yolu için gerekli olan belirli becerileri açıklamaktadır.
Aşağıdakiler, veri bilimcileri ve veri mühendislerinin temel yetkinliklerinden ve örtüşen alanlarından bazılarıdır:
Veri bilimcisi-matematik ve istatistik, bilgisayar bilimi, makine öğrenimi ve yapay zeka / derin öğrenme, verilerle gelişmiş analiz ve hikaye anlatımı.
Veri mühendisi-üretim düzeyinde programlama, dağıtılmış sistemler, veri dönüştürme, veri analizi ve veri hatları.
Örtüşen alanlar-veri analizi ve programlama.
Farklılaştıran faktörleri daha iyi anlamak için bu alanlara dalalım.
Veri bilimcileri genellikle uygulamalı matematik ve / veya istatistik ve bilgisayar bilimi alanlarında bir geçmişe sahiptir. Makine öğrenimi, istatistiksel öğrenmenin matematiksel temeline dayanır. Matematik bilgisi olmadan, veri biliminde mükemmel sonuçlar elde etmeye çalışsanız bile, tam bir bakış açısına sahip olmak zordur.
Veri bilimcilerin ayrıca gerekli içgörüleri geliştirmek için iş alanı uzmanlarıyla etkileşime girmesi gerekir. Veri bilimcilerin ayrıca, şirketlerin veri varlıklarını kullanmalarına yardımcı olmak için verileri analiz etmeleri (keşifsel veri analizi) gerekir.
Veri bilimciler ayrıca uygun makine öğrenimi algoritmalarını seçmek, onları eğitmek ve doğruluklarını test etmek için yöntemler tasarlamak için arka plana sahip olacaklar.
Buna ek olarak, bir veri bilimi projesinin sonuçlarının iş paydaşlarına anlaşılır bir şekilde iletilmesi gerektiğinde, veri bilimcilerin hikayeleri anlatmak için verileri kullanma sanatında yetkin olmaları gerekir. Bu çalışma, karmaşık sonuçları ve gözlemleri, paydaşların anlayabileceği ve eyleme geçebileceği şekilde sözlü ve görsel olarak iletebilmelidir.
Veri bilimcileri, çoğu R veya Python'da olan kodlama becerilerini de geliştirmelidir. Veri bilimcilerin programlama becerileri genellikle veri mühendislerinin seviyesinin üzerinde değildir - onlar da olmamalıdır!
Veri mühendisleri genellikle bilgisayar bilimi alanında bir dereceye sahiptir. Geçmişleri genellikle Python, Java veya Scala gibi dillerdedir. Odak noktaları dağıtılmış sistemler ve büyük veridir. Veri bilimcilerle karşılaştırıldığında, programlama becerileri daha ileri düzeydedir ve özellikle yüksek kullanılabilirliğe sahip üretim sistemleri oluşturmak için uygundurlar.
Bu programlama becerilerini kullanarak, veri mühendisleri büyük ölçekte veri ardışık düzenleri oluşturabilir. Bu, çok sayıda büyük veri teknolojisinin entegre edilmesini içerir. Veri mühendisinin görevi, iş için hangi araçların uygun olduğuna karar vermektir. Veri mühendisleri ayrıca veri teknolojileri ve çerçeveleri ve bunların veri ardışık düzenleriyle nasıl entegre edileceği konusunda derin bir anlayışa sahiptir. Ek olarak, veri mühendisleri kümeler, DevOps ve DataOps'tan sorumlu olanlarla yakın çalışır.
Veri mühendisleri, üretim ortamı için veri bilimcileri tarafından seçilen makine öğrenimi algoritmalarını da uygular. Örneğin, bu, veri bilimcileri tarafından kullanılan R'deki sınıflandırma algoritmalarını daha güçlü bir üretim platformuna dağıtmayı içerebilir.
Veri mühendislerinin programlama becerileri genellikle veri bilimcilerinin becerilerini aşsa da, tabii ki, programlama konusunda birbiriyle örtüşen becerilere sahiptir. Örneğin, bir veri hattı üretmek için bir veri bilimcisi planına sahip olmak aşırı genişleyebilir ve bu görev doğrudan veri mühendisinin çalışması kapsamındadır. Burada, becerileri birbirini tamamlayıcı niteliktedir çünkü veri bilimcileri veri ardışık düzenleri tasarlayabilir ve veri mühendisleri bunları programlayıp bakımını yapacaktır. Veri bilimcilerinden genellikle veri ardışık düzenlerini programlamaları beklenmemelidir.
Diğer bir örtüşme alanı da veri analizidir. Veri bilimcilerinin analitik becerileri genellikle veri mühendislerininkinden daha fazla gelişmiştir. Veri mühendisleri bazı temel analizleri gerçekleştirebilir, ancak veri bilimcilerin kolayca yapabileceği daha gelişmiş analiz ihtiyaçlarını karşılayamazlar.
Birçok şirket, yukarıda belirtilen beceri setlerini gerçek iş unvanlarıyla eşleştirirken hata yapar. Her şeyden önce, iki şeyi tek başına yapabilen birini bulmaya çalışmanın sonsuz döngüsüne düşmeyin, veri bilimcisi ve veri mühendisinin işini tamamlamasını beklemeyin. Elbette bazı tek boynuzlu atlar olabilir, ancak talepleri çok yüksek ve maaşları da yüksek. Ayrıca, kiraladığınız tek boynuzlu at ayrılmaya karar verirse ne olur?
Diğer bir hata, veri bilimcisinin veri mühendisinin işini yapmasına izin vermektir. Bir veri hattı oluşturmak kolay değildir, üretim programlama çerçevesi hakkında ileri düzeyde bilgi gerektirir. Veri bilimciler bu becerileri edinebilir, ancak bu, bu kaynağın en etkili kullanımı değildir. Veri bilimcileri, üretim sistemleri kuran, veri ardışık düzenleri oluşturan ve makine öğreniminin sonuçlarını ortaya çıkaran mühendisler değildir.
Öte yandan, bir veri mühendisinin bir veri bilimcisinin işini tamamlaması, çok yaygın olmasa da bir hatadır. Bazı veri mühendisleri, matematiksel ve istatistiksel bilgilerini ve buna karşılık gelen makine öğrenimi becerilerini geliştirerek becerilerini genişletir. Bu kariyer yolu bazen başka bir kariyer kategorisi, yani "makine öğrenimi mühendisi" üretir.
Makine öğrenimi mühendisleri genellikle bir veri mühendisliği geçmişinden gelirler, ancak veri biliminin belirli yönlerinde zaten yetkinler ve veri bilimi ile veri mühendisliği arasında gidip geliyorlar. Bu kategori gerçekten bir tek boynuzlu at değil, makine öğreniminin nasıl çalıştırılacağını ve optimize edileceğini anlayan bir veri mühendisidir. Makine öğrenimi mühendisleri, veri bilimcileri tarafından oluşturulan içeriği alır ve ürünlerini hazır hale getirir.
ODSC East 2019, bu iki alanda birden fazla yolu kapsayan eksiksiz bir odak alanına sahiptir. İster veri bilimcisi ister veri mühendisi olun, ODSC seminerleri, dersleri ve eğitim kursları veri bilimi uzmanları için idealdir! Veri bilimi ve veri mühendisliğinin aşağıdaki temel alanlarında bazı olağanüstü konferanslar:
Veri bilimci
Verilerle Programlama: Python ve Pandalar
Veri Bilimciler için Nedensel Çıkarım
https://odsc.com/training/portfolio/causal-inference-for-data-scientists?utm_campaign=ODSC20Eastutm_source=KDNutm_medium=DSvDEBlog
Üretimde Salesforce Ölçekli Makine Öğrenimi Sağlama
Shiny'de Orta Seviye RMarkdown
https://odsc.com/training/portfolio/intermediate-rmarkdown-in-shiny?utm_campaign=ODSC20Eastutm_source=KDNutm_medium=DSvDEBlog
Tidyverse modelleme
Tensorflow 2.0 ve Keras: Yenilikler, Paylaşılanlar, Farklı Olanlar
https://odsc.com/training/portfolio/pre-trained-models-transfer-learning-and-advanced-keras-features?utm_campaign=ODSC20Eastutm_source=KDNutm_medium=DSvDEBlog
Gerçek Dünya için Taklit Öğrenme-Pekiştirmeli Öğrenme
Bootstrap Bozulduğunda
https://odsc.com/training/portfolio/when-the-bootstrap-breaks?utm_campaign=ODSC20Eastutm_source=KDNutm_medium=DSvDEBlog
Python, R ve SAS Kullanarak Öneri Motorları ve Derin Öğrenme Modelleri Oluşturma
AI Uygulamalarını Ray ile Ölçeklendirme
https://odsc.com/training/portfolio/scaling-ai-applications-with-ray-2?utm_campaign=ODSC20Eastutm_source=KDNutm_medium=DSvDEBlog
Veri mühendisi
Verilerle Programlama: Python ve Pandalar
https://odsc.com/training/portfolio/programming-with-data-python-and-pandas?utm_campaign=ODSC20Eastutm_source=KDNutm_medium=DSvDEBlog
Veri Bilimi için Mühendislik
Üretimde Salesforce Ölçekli Makine Öğrenimi Sağlama
https://odsc.com/training/portfolio/title-coming-soon-18?utm_campaign=ODSC20Eastutm_source=KDNutm_medium=DSvDEBlog
Orbyter Kullanarak Tekrarlanabilir Veri Bilimi
https://odsc.com/training/portfolio/reproducible-data-science-using-orbyter?utm_campaign=ODSC20Eastutm_source=KDNutm_medium=DSvDEBlog
Tidyverse modelleme
https://odsc.com/training/portfolio/modeling-in-the-tidyverse?utm_campaign=ODSC20Eastutm_source=KDNutm_medium=DSvDEBlog
Spark Yapılandırılmış Akış ile Gerçek Zamanlı Tahmine Dayalı Analitik
https://odsc.com/training/portfolio/real-ish-time-predictive-analytics-with-spark-structured-streaming?utm_campaign=ODSC20Eastutm_source=KDNutm_medium=DSvDEBlog
Gerçek Dünya için Taklit Öğrenme-Pekiştirmeli Öğrenme
https://odsc.com/training/portfolio/title-coming-soon-20?utm_campaign=ODSC20Eastutm_source=KDNutm_medium=DSvDEBlog
Veri Bilimi Yapmak: AIG, Amazon, Albertsons
https://odsc.com/training/portfolio/title-coming-soon-11?utm_campaign=ODSC20Eastutm_source=KDNutm_medium=DSvDEBlog
Python, R ve SAS Kullanarak Öneri Motorları ve Derin Öğrenme Modelleri Oluşturma
https://odsc.com/training/portfolio/building-recommendation-engines-and-deep-learning-models-using-python-r-and-sas-3?utm_campaign=ODSC20Eastutm_source=KDNutm_medium=DSvDEBlog
Hayneedle'de Görsel Arama
https://odsc.com/training/portfolio/visual-search-on-hayneedle?utm_campaign=ODSC20Eastutm_source=KDNutm_medium=DSvDEBlog
Kısacası, veri bilimcilerin ve veri mühendislerinin birbirini nasıl tamamladığını anlamak önemlidir. Yetenekli bir veri bilimi ekibi iki beceriden oluşur. Veri bilimcilerinin veri mühendislerinin işini yapmasına izin vermek, iyi kaynak israfıdır ve bunun tersi de geçerlidir. Hem yetenekli bir veri mühendisi hem de uzman bir veri bilimcisi olan bir tek boynuzlu at bulmanız çok zor. Bu nedenle, her üyenin diğerlerinin becerilerini tamamlayabileceği ve birlikte iyi çalışabileceği bir ekip kurmanız gerekir.
