2019'da veri biliminin gelişme eğilimleri nelerdir? 12 büyük inek bunu söylüyor
2018 yılında veri bilimi ve analizi alanındaki ana gelişmeler nelerdir? 2019'daki ana trendler neler? Bu makale sektördeki 12 büyük ineğin görüşlerini öneriyor, nasıl değerlendirdiklerine bir göz atalım!
Meta Brown, @ metabrown312, "Data Mining for Dummies" kitabının yazarı, A4A Brown başkanı. Yönetim ve teknik personel arasında etkili iletişimi geliştirmeye kararlıdır.
Yapay zeka, 2018'de sıcak bir analiz konusu oldu.
Son zamanlarda, diğer analitik uygulamalarla karşılaştırıldığında, yapay zeka daha güncel görünüyor. Ne yazık ki çoğu tartışma anlamsız.
Bilgisayar öncüsü Alan Turing, bir zamanlar insan zekasına rakip yeteneklere sahip bilgisayarları hayal etmişti. Yapay zeka, bilgisayar tarafından oluşturulan konuşmaları insan konuşmalarından farklı hale getirmeyecek.
Yapay zeka uygulamalarıyla mevcut etkileşimimizi düşünün. Siri veya Alexa gibi kişisel asistanlar, sanki gerçek insanlarla iletişim kurmak farklı değilmiş gibi faydalı olabilir. Ancak çevrimiçi yardım sağlayan robot müşteri hizmetleri hayal kırıklığı yaratıyor - yalnızca pratik bir soru sormanız gerekiyor ve bunun sadece düşüncesiz bir robot olduğunu hemen göreceksiniz.
Turing'in tanımına göre yapay zeka henüz ortaya çıkmadı. New York Üniversitesi'nde psikoloji ve sinirbilim profesörü Gary Marcus, yapay zekanın en büyük yanlış anlaşılmasının "ona yakın olduğumuzu düşünmek" olduğunu söyledi.
Gerçek hayatta, bilgisayar destekli mantığın pratik uygulamalarına sahibiz. İnsan gibi düşünmeseler de hızlı ve tutarlıdırlar. Bunlar değerli özelliklerdir. Bu uygulamalar, makinenin potansiyel olarak hileli işlemleri işaretlemek ve arabaları çalıştırmak gibi bazı pratik işler yapmasını sağlar.
Açık teknik sınırlamalar olsa da, kamu ve hatta teknik personelin yapay zeka için gerçekçi olmayan gereksinimleri ve beklentileri var. Abartı çok fazla paniğe neden oldu. AI hayal kırıklığına uğratmaya başlıyor ve bu hayal kırıklığı yalnızca artacak.
Tom Davenport, @tdav, Babson College'da seçkin bilgi teknolojisi ve yönetimi profesörü, Uluslararası Analiz Enstitüsü'nün kurucu ortağı, MIT Dijital Ekonomi Programı araştırmacısı ve Deloitte Analytics'in kıdemli danışmanı.
Uluslararası Analiz Enstitüsü tarafından yapılan yıllık trend tahmininde, tercih ettiğim birkaç nokta var:
Şirketler, model dağıtım oranlarına giderek daha fazla önem veriyorlar - Rexer Data Science tarafından yapılan bir ankete göre, şirketlerin yalnızca% 10-15'i "neredeyse her zaman" sonuçları dağıtıyor ve şirketlerin% 50'si "sık sık" sonuçları dağıtıyor. Şirketlerin kalan% 35 -% 40'ı, analitik modelleri yalnızca ara sıra veya nadiren başarıyla uyguluyor. Başarılı dağıtım oranlarının% 10'dan az olduğunu iddia eden bazı şirketlerle karşılaştım. Elbette konuşlandırılmamış bir analiz modelinin ekonomik bir değeri olmayacaktır. Bu nedenle şirketlerin 2019'da dağıtım oranlarını ölçmesi ve artırması gerekiyor.
Amatör veri bilimcileri ve iş analistleri var olmaya devam edecek. Veri biliminin ön saflarında yer alan grafiksel analiz ve aramaya dayalı analizin yükselişi ve artan otomatikleştirilmiş makine öğrenimi, amatörlerin giderek daha fazla analitik işler yaptığını göreceğimiz anlamına geliyor. Bu eğilimle gereksiz yere mücadele etmek yerine, ona eşlik etmeye konsantre olmak daha iyidir. Bu aynı zamanda, belirli sayıda profesyonelin ya oldukça karmaşık ve zor modelleme görevlerine yönelmesi gerektiği ya da iş sorunlarını anlamaları ve kurumsal değişikliklere yanıt vermeleri gerektiği anlamına gelir.
Carla Gentry, @data_nerd, veri bilimi danışmanı, Analytical-Solution'ın sahibi.
2018, analitik ve veri bilimi için altın bir yıl. Aynı zamanda, bu ifadenin yetenekler ve deneyim tarafından desteklenip desteklenmediğine bakılmaksızın, yapay zeka, sinir ağları ve makine öğreniminin patlayıcı büyümesini de gördük. Yapay zekanın tıp ve güvenlik alanlarında kullanımı arttı ve önyargı, yetenek ve deneyim krizleri olup olmadığına bakılmaksızın, bazı insanların bu durumlarda verinin yaşam eşit olduğunu unuttuğunu düşünüyorum. Giyilebilir cihaz ve Nesnelerin İnterneti (Google Home, Alexa vb.) Örnekleri bize bu durumun var olmaya devam edeceğini söylüyor.
2019'da aynı moda sözcüklerden daha fazlası olacak ve birçok şirket, sinir ağlarının öğrenmek için binlerce örneğe ihtiyaç duyduğunu anlamaya başlıyor. Daha da kötüsü, sinir ağının yeni tür şeyleri tanımasını istediğiniz her seferde, sıfırdan başlamanız gerekir (en azından zaman alıcı) - yetenek başka bir sorundur, Geoffrey Hinton, Yejin Choi ve Yann LeCun dışında, sinir yoktur. Ağ uzmanları, bu nedenle yetenek havuzunda seçilmeyi beklemeyin.
Veri bilimi, veri toplama ve fikir oluşturma anlamına gelir. Bazı durumlarda, yapay zeka, makine öğrenimi veya sinir ağlarında uzman olmamızı beklemek gerçekçi değildir. Bu nedenle, farklılıkları daha dikkatli incelemeliyiz. Aynı zamanda, bu teknolojinin yeni geleceğinde, yeni kullanıcıların rekabet edebilmek için daha güçlü becerilere sahip olması gerekir. Endişem, makinelerin nasıl öğrendiğine ve yapay zekanın nasıl kullanılacağına dair gerçek bir anlayış eksikliğinin, bazı şirketlerin / algoritmaların / işletmelerin zayıflıklarını ortaya çıkarmaya devam edecek olmasıdır.
Gelin bu teknolojileri kucaklayalım! Ancak, yanlış bir şey yaparsanız, sonuçlarına katlanmak zorunda olduğunuzu anlayın!
Bob E. Hayes, @bobehayes, araştırmacı, yazar ve danışman, Broadway üzerinden İşletme Yayıncısı, Endüstriyel Örgüt Psikolojisi alanında doktora derecesine sahiptir.
Veri bilimi ve analizi alanında, pekiştirmeli öğrenme, sohbet robotları ve toplum üzerindeki etkileri dahil olmak üzere insanların makine öğrenimine olan ilgisi artmaya devam ediyor.
2019'da, AI alanındaki etiğin, gizlilik ve güvenlik konuları da dahil olmak üzere gittikçe daha fazla ilgi görmesi bekleniyor. Odak noktası, algoritmaların belirli kararları nasıl verdiğini anlamak olacaktır: Yalnızca makine öğreniminin karar vermemize yardımcı olabileceğini bilmemiz gerekmiyor, aynı zamanda nasıl çalıştığını (nasıl kararlar alıyor) bilmemiz gerekiyor. Ayrıca, ABD şirketleri, tüketici kişisel verilerinin nasıl kullanılacağına odaklanacak. California, California Tüketici Gizliliği Yasasını (Ocak 2020'de yürürlüğe girecek) kabul etti ve diğer eyaletlerin de aynı şeyi yapacağı umuluyor.
Yapay zeka ve makine öğreniminin sahte haberlerin üretilmesinde ve yayılmasında daha büyük bir rol oynayacağından endişeliyim. DeepFakes, insanların kolayca video içeriği üretebildiklerini gösterdi, bu da insanların söylemediklerini ve yapılmayan eylemleri gösteriyor. Max Tegmark'ın dediği gibi, yapay zekanın potansiyel dezavantajlarının farkına varmak korku yaymak değil, bir "güvenlik projesi" dir.
Veri uzmanlarının veri bilimini eğitim kampları, MOOC'lar ve üniversite kursları yoluyla öğrenmeleri için birçok yol olsa da, veri analizi yöntemlerinde veri olmayan profesyoneller için daha fazlasını görebileceğimi umuyorum ( Yöneticiler ve ön saflardaki çalışanlar gibi) eğitim girişimleri.
Cassie Kozyrkov, @quaesita, Google Cloud Baş Karar Mühendisi. Aşk istatistikleri, yapay zeka, veri, kelime oyunları, sanat, bilim kurgu, drama, karar bilimi.
2018'deki önemli bir gelişme, veri biliminin demokratikleşmesidir. Bulut teknolojisinden (bulut teknolojisi, insanların bir veri merkezi oluşturmak zorunda kalmadan kaynak yoğun büyük verileri ve yapay zeka uygulamalarını denemelerine olanak tanır), Kubeflow gibi araçlara (bu araçlar, uzmanlığı olmayanlara ölçeklenebilir veri bilimi sağlar Sıradan insanlar), 2019'da veri biliminin herkes için bir araç olma eğilimini daha da hızlandıracaklar.
Doug Laney, @Doug_Laney, Gartner başkan yardımcısı, seçkin analist ve baş veri sorumlusu, "Bilgi Ekonomisi" kitabının yazarı.
Gartner'ın 2019 yıllık veri analizi strateji tahmini yeni yayınlandı. Bunların arasında: Giderek daha fazla şirket stratejisi, bilginin önemli kurumsal varlıklardan biri olduğunu ve analizin temel bir yetenek olduğunu açıkça belirtiyor. Sadece BT stratejisi değil, aynı zamanda kurumsal strateji ve planlardan da bahsediliyor.
Aynı zamanda, veri eğitimi programlarının daha yaygın hale geleceğini ve özellikle analiz ihtiyaçları daha karmaşık hale geldiğinde iş profesyonellerinin ve veri analizi uzmanlarının daha iyi iletişim kurmasına yardımcı olacağını umuyoruz. Bilgi ekonomisinin ilkeleri ve uygulamaları gittikçe daha fazla benimsenirken, baş veri sorumlularının, işletmelerin bilgi varlıklarını resmi olarak değerlendirmek için baş finans görevlileriyle daha fazla işbirliği yapabileceklerini umuyoruz. Uygulama, bunu yapmanın birçok müşterimizin bilgi yönetimine ve işine fayda sağlayabileceğini kanıtlamıştır. Ancak analitik ve dijital etik hala bir sorun ve şirketlerin veri bilimi ekipleri için endüstri davranış kurallarını uygulamaya başlayacağına inanıyoruz.
Buna ek olarak, önümüzdeki 3-5 yıl içinde, çoğu yeni ticari sistemin gerçek zamanlı bağlamsal verileri kullanarak sürekli zekayı benimsemesini bekliyoruz; kuantum hesaplama kavram kanıtı projeleri, mevcut analitik teknikleri önemli ölçüde aşacak; gelişmiş ve otomatikleştirilmiş içgörüler, mutlak Önceden oluşturulmuş raporların çoğu; konum analizi kullanımı yaklaşık 10 kat artacak ve makine öğrenimi, veri bilimcileri bulma rekabeti kolaylaştıracaktır.
@Kdnuggets, KDnuggets başkanı, veri bilimcisi, KDD konferansı ve SIGKDD'nin kurucu ortağı Gregory Piatetsky, LinkedIn 2018 En İyi Sesler "Veri Bilimi ve Analizi" listesinde birinci sırada yer aldı.
2018'deki önemli gelişmeler:
GDPR (Genel Veri Koruma Yönetmeliği) Mayıs 2018'de yürürlüğe girdi. Bu sadece Avrupa'da değil, Amerika Birleşik Devletleri ve diğer bölgelerde de önemli bir kilometre taşıdır. Birçok şirket gizlilik politikalarını güncelliyor. Bununla birlikte, tüketici mahremiyetinin önemli ölçüde korunup korunmayacağı yoksa yeni gizlilik hükümleri kapsamında her zamanki gibi iş yapılıp yapılmayacağı henüz belli değil.
Veri biliminin demokratikleşmesi devam ediyor ve giderek daha fazla araç, daha geniş veri bilimi içgörüleri elde etmemize olanak tanıyor. Özellikle AWS tarafından yayınlanan yeni araçları fark ettim.
AI riski: Kendi kendine giden bir arabanın neden olduğu ilk ölümcül kaza meydana geldi - kendi kendine giden araba, elinde bisiklet tutan bir yaya ile çarpıştı. Bu, insanların AI'nın kaçınılmaz risklerine olan ilgisini artırdı. Aynı zamanda, sürücüsüz arabalar (ve otomatik yapay zeka) ideal sıfır hata standardıyla sınırlı kalmamalı, mevcut gerçek risklerle karşılaştırılmalıdır. Örneğin, insan sürüşü son derece tehlikelidir.Sadece Amerika Birleşik Devletleri'nde, 2017'de trafik kazalarında 37.000 kişi öldü.
2019'daki ana trendler:
Veri bilimi otomasyonu hızlanmaya devam edecek, ancak en azından önümüzdeki birkaç yıl içinde veri bilimcilerin çalışmaları tamamen değiştirilmeyecek.
AI ilerlemesi ve abartılı: AI ilerlemesi gerçek olsa da, AI yutturmaca daha hızlı artacaktır.
Çin, yapay zeka alanında önemli bir oyuncu haline geldi ve birçok Çinli şirket sadece Amerika Birleşik Devletleri'ni kopyalamak yerine kendi yeniliklerini yapıyor.
Takviyeli öğrenme, AI ilerlemesinde giderek daha önemli bir rol oynayacaktır. Örneğin, RL, Montezuma's Revenge Atari oyununda, ister bilgisayarlar ister insanlar tarafından yaratılmış olsun, bu oyundaki tüm önceki rekorları çok aşan inanılmaz bir 100 rekora ulaştı.
Bill Schmarzo, @schmarzo, Hitachi Vantara IoT ve Analytics CTO'su.
2018'de büyük veri, veri bilimi veya analitik alanındaki büyük gelişmeler:
Ticari paydaşların makine öğrenimi ve derin öğrenmedeki iş değişikliği potansiyeli konusundaki farkındalığı önemli ölçüde artmıştır. Bu, çok sayıda yayınlanmış kullanım durumundan kaynaklanmaktadır.
Veri gölü hala yanlış bir varlıktır. Birçok şirket, veri gölünü pahalı veri ambarlarının ve ETL'nin maliyetini azaltmanın bir yolu olarak görüyor, ancak veri gölünün işbirliğine dayalı bir değer yaratma platformu olarak kullanılabileceğini tam olarak anlamıyorlar, böylece iş paydaşları ve veri bilimi ekipleri bundan türetebilir. Ve iş değerini artırın.
2019'daki ana trendler:
Önde gelen şirketler için, büyük veri ve veri bilimi girişimleri BT'den çok iş tarafından yönlendirilecektir. İş liderleri, iş sonuçlarını yönlendirebilecek ve büyük veriye, Nesnelerin İnterneti'ne ve veri bilimine (makine öğrenimi, derin öğrenme, yapay zeka) öncelik verebilecek bu iş alanlarını kişisel olarak belirleyecek, doğrulayacak, inceleyecek ve değerlendirecek.
Önde gelen şirketler, temel iş ve operasyonel süreçleri optimize etmek için veri bilimini kullanmanın yanı sıra (bu, cazip bir yatırım getirisinden başlayarak hala arzu edilir), verilerde saklı olan müşterilerin, ürünlerin ve işlemlerin içgörülerinin yeni para kazanma fırsatları olacağını da anlayacaktır. itici güç.
Kate Strachnyi, @StorybyData, veri görselleştirme uzmanı, "The Disruptors: Data Science Leaders and Journey to Data Scientist" adlı podcast'in yazarı Humans of Data Science'ın sunucusu.
2018'de veri bilimi ve analitiğindeki önemli gelişmeler:
"Genel Veri Koruma Yönetmeliği" (GDPR): Mayıs 2015'te yürürlüğe giren Avrupa Birliği Yönetmelikleri, AB vatandaşlarının kişisel verilerini daha iyi kontrol etmelerini sağlamak için tasarlanmış bir dizi yönerge sağlar. Diğer yerler teşvik edilmiş ve benzer standartlar geliştirilmiştir. Örneğin Kaliforniya, tüketicilerin şirketlerin hangi bilgileri topladığını, neden topladıklarını ve kimlerle paylaştıklarını bilmelerine olanak tanıyan kendi dijital gizlilik yasasını çıkardı.
Self servis iş zekası (BI) araçları: BI araçları, veri analistleri ve iş analistleri arasında daha yaygın hale geliyor. Ancak, bu araçların kullanıcılarının perde arkasındaki analizle tutarlı olup olmadığı belirsizdir. Alanları araca sürükleyip bırakmayı ve grafikler oluşturmayı öğrenen kullanıcılar ile arka uçta ne olduğuna dair gerçek anlayış arasında bir hız farkı var gibi görünüyor.
2019'daki ana trendler:
Veri etiği ve mahremiyet: Veri bilimi sürecinin her adımında, veri işleme etiğine / mahremiyetine daha fazla önem verilecektir; veri işiyle uğraşan kişilerin bu görevlerin önemini anlaması gerekir. Dünya giderek daha dijital hale geldikçe, bireyler, şirketler ve hükümetler bu konuyla giderek daha fazla ilgileniyor.
Süreç otomasyonu: Şirket, maliyetleri düşürmek ve verimliliği artırmak için süreçleri otomatikleştirmeye devam edecek. Bu otomasyon, otomatik süreci yürütmekten sorumlu personel için işsizliğe neden olabilir. Bu nedenle, insanların bu hızla değişen ortamda zamana ayak uydurmak için sürekli olarak yeni beceriler öğrenmesi gerekiyor.
Reklam Direktörü @Ronald_vanLoon, Ronald van Loon, veri odaklı şirketlerin başarılı olmasına yardımcı oluyor. Veri, veri bilimi, nesnelerin interneti ve yapay zeka alanında ilk on etkileyiciden biri.
2018 yılında uçtan-uca veri yönetimi geliştirilmiştir. Şirket, güvenilir içgörüler elde etmek ve dijital ekonomi ile tutarlı altyapı inşaatı ve iş modellerini desteklemek için tüm veri kaynaklarını kullanıyor ve analitik olgunluğu da iyileştirildi. Makine öğrenimi geniş çapta kabul görmektedir ve tüm yazılım satıcıları bunu kendi uygulamalarına dönüştürür ve belirli alanlarda çözümler sunar.
2019'da, daha gelişmiş derin öğrenme uygulamalarını desteklemek ve yeniliği daha da teşvik etmek için daha entegre donanım ve yazılım çerçeveleri olacak. Derin öğrenme uygulamaları, yeni ve modern AI mimarilerini desteklemek için tamamen optimize edilmiş donanım ve yazılım yığınları gerektirir. Optimum derin öğrenme performansı ve yeteneklerine yönelik hızlandırılmış talebe yanıt vermek için çeşitli alanlarda satıcılar arasında bu tam yığın yaklaşımının yükselişini göreceğiz.
Gerçek zamanlı uç analizi, IoT cihazlarının büyümesiyle hızla büyüyecek ve gerçek zamanlı analiz daha kolay hale gelecek ve gerçek zamanlı içgörülere göre hızlı tepki vermeyi kolaylaştıracak.
Favio Vazquez, @FavioVaz, veri bilimci, fizikçi, hesaplama mühendisi. Ciencia y Datos'un kurucusu.
Veri Bilimi (DS) için 2018, hem teori hem de pratikte muazzam ilerlemelerle sürprizlerle dolu bir yıl. Veri bilimi için, bu alanı gerçek bir bilime dönüştürmeye yardımcı olmak için birkaç farklı araştırma yöntemi önerilmiştir. Bunu bir yıldan fazla bir süredir tartışıyorum ve son zamanlarda daha fazla insanın bunun hakkında konuştuğunu fark ettim. Makine öğrenimi (ML) açısından, AutoML çok büyüktür ve ayrıca otomatik derin öğrenmeyi içerir.
