Kuru mallar Büyük veri analizi mühendisinin iş arama stratejisi
İnternetin yükselişiyle birlikte yapay zeka ve büyük veri popüler alanlar haline geldi.Giderek daha fazla şirket veri madenciliği ve analizi yoluyla iş kararları için tavsiyelerde bulunmaya başladı.İç pazarda yapay zeka ve büyük veri konusunda çok sayıda yetenek var. boşluk. Bununla birlikte, veri analistlerinin sektöre girmek için daha kolay teknik becerilere ihtiyaçları vardır ve geçiş / kendi kendine çalışma son derece uygun maliyetlidir, bu da onları büyük veri alanında popüler bir kariyer haline getirir.
Kısa bir süre önce, Leifeng AI Araştırma Enstitüsü'nün 5. Mesleki Yayın Odasında, Shanshu Technology'nin algoritma mühendisi Zhao Kezhen, "Büyük Bir Fabrikadan Yeni Bir Şirkete Karar Verme Yolu" konulu bir iş araştırmasını paylaştı ve bir işe alım sunumu yaptı. Açık sınıfın video URL'sini tekrar oynatın:
Zhao Kezhen: Shanshu Technology'de Algoritma Mühendisi, Tianjin Üniversitesi İnşaat Mühendisliği Fakültesi'nden lisans derecesi ile mezun oldu ve Stanford Üniversitesi Mühendislik Fakültesi'nden geleneksel mühendislik disiplininden algoritma mühendisine kadar mezun oldu. Shanshu Technology, büyük veriyle ilgili çalışmalar yapmaktadır.
Konuyu paylaş: Büyük veri analizi mühendisinin iş arama paylaşımı - büyük fabrikadan işletmeye almaya kadar karar verme yolu
Ana hatları paylaşın:
1. Kişisel deneyim ve neden Shanshu Teknolojisini seçmelisiniz;
2. Büyük veri analiz mühendisinin profesyonel içeriği;
3. Endüstriyel senaryolarda büyük veri analizinin uygulama örnekleri;
4. Büyük veri analizi / madenciliği için kendi kendine çalışma önerileri;
5. Shanshu Teknolojisinin işe alım içeriği ve iç kanalları.
Leifeng.com AI Araştırma Enstitüsü paylaşım içeriğini şu şekilde düzenler:
Herkese merhaba, AI Araştırma Enstitüsü'nün profesyonel yayın odasına hoş geldiniz. Paylaşımın konuğuyum, Zhao Kezhen. Bu paylaşım içeriği daha çok işyerinde yeni olan veya alanlarda büyük veri analizi ile ilgili pozisyonlara geçmek isteyen iş arayanlar içindir. Bu paylaşım şunları içerir:
İlk olarak, kısaca kişisel deneyiminizi ve Shanshu Teknoloji Şirketini seçme nedeninizi tanıtın;
İkinci olarak, büyük veri analistlerinin ne yaptığını, sektördeki sınıflandırmaların neler olduğunu ve işte hangi becerilerin gerekli olduğunu vb. Kısaca tanıtın;
Üçüncüsü, Dachang ve Shanshu Teknolojisindeki deneyimime ve belirli endüstriyel senaryolara dayanarak, herkesin büyük veri analistlerinin iş içeriğini anlamasına izin verin;
Dördüncüsü, size büyük veri analistlerinin ihtiyaç duyduğu bazı öğrenme önerileri ve kaynakları (Stanford'da okuduğum yüksek kaliteli kurs kaynakları dahil) sağlamak için kendi çalışma, iş ve iş deneyimimi birleştirin;
Beşincisi, Shanshu Teknolojisinin iş ve şirket durumunu ayrıntılı olarak tanıtacağım, algoritma mühendislerinin işe alma ihtiyaçlarını açıklayacağım ve özgeçmişleri yayınlamak için bir kanal sağlayacağım.
Kişisel deneyim ve neden Shanshu Teknolojisini seçmelisiniz
İlk olarak, basit bir kişisel tanıtım yapın. Tianjin Üniversitesi Mühendislik Fakültesi'nden bir lisans derecesi ile mezun oldum ve inşaat mühendisliğine benzer bir şekilde inşaat mühendisliğinde hidrolik mühendisliği okudum. Okul boyunca, mekanik ve matematikle ilgili birçok bilgi öğrendim ve Nankai Üniversitesi'nden finans alanında ağırlıklı olarak matematik, ekonomi ve finansla ilgili temel teorileri inceleyerek çift diploma aldım. Stanford Institute of Technology'den çevresel akışkanlar mekaniği alanında yüksek lisans yaptı.Bu ana dal, katı doğrusal cebir bilgisi ve programlama becerileri gerektirir. Ayrıca lisansüstü öğrenciler, lisans derslerinden çok da farklı olmayan ücretsiz bir ders seçme sistemini benimsedikleri için öğrenciler kolejdeki diğer dersleri seçebilirler.Bu nedenle bu ana dalın kredilerini tamamladıktan sonra Wu Enda'nın makine öğrenimi kursu CS229, Li Feifei'nin derinliği gibi bazı popüler dersleri de aldım. Öğrenme ve görüntü tanıma CS231n.
Daha sonra eğitimim boyunca, sektörler arası istihdam fikrine sahibim. O zamanlar, sektördeki çoğu doktora öğrencisinin AI tasarımı yaptığını ve lisansüstü dersler ile veri madenciliği arasındaki bağlantının daha doğal olduğunu düşünürsek, veriyle ilgili staj arayışlarına başladım. İlk araştırma enstitüsünün yaz tatilinde, büyük bir yerli üreticinin merkezinde yeni kurulan büyük veri analizi bölümünde veri analiz mühendisi olarak çalıştım ve iki aydan fazla bir süre sonra iade teklifini aldım. İkinci yarıyılın ilk yarıyılında Stanford mezunları tarafından kurulan bir başlangıç şirketi olan Shanshu Technology ile temasa geçtim ve katılmak için Çin'e dönme teklifi aldım. Şu anda Shanshu Teknolojisinde, makine öğrenimine odaklanan bir algoritma mühendisi olarak çalışıyorum.
Kişisel deneyimlerime dayanarak, Bugünkü paylaşımım esas olarak üç soruyu yanıtlıyor: Neden disiplinler arası büyük veri alanına girmeyi seçtiniz? Neden istihdam için Çin'e dönmeyi seçmelisiniz? Büyük bir fabrika ile bir startup arasındaki fark nedir, neden bir startup seçtim? Bu üç sorun aynı zamanda çoğu iş arayanın karşılaştığı aşağı yukarı sorunlardır.
Birincisi, kariyer yönünün seçimidir. Bölümümün yönü ile karşılaştırıldığında, Büyük veri alanının birkaç bariz avantajı vardır: yetenek açığı çok büyük, göreceli maaş seviyesi nispeten yüksek ve büyüme oranı nispeten hızlı.
İnternet popüler hale geldiğinden, her gün büyük miktarda veri ürettik ve veri depolama teknolojisi daha da geliştirildi, bu nedenle büyük verilerin arkasındaki değer gittikçe daha önemli hale geldi. Aslında, bankacılık, e-ticaret ve diğer alanlarda, veri analizi zaten eksiksiz bir profesyonel ekolojiye sahiptir, ancak bilgi teknolojisinin gelişimi, veri analizine daha fazla uygulama senaryosu getirmiştir ve e-ticaret alanının mevcut gelişimi tek başına onu getirmiştir. Tedarik, satış, depolama, nakliye ve hatta geleneksel endüstriler gibi veri uygulamalarının da veri madenciliği için gereksinimleri vardır.Önümüzdeki birkaç on yıl içinde, bu talep azalmayacak ve büyük verilerin kullanımında büyük bir boşluk var.
Şu anda, kolejlerin ve üniversitelerin büyük veri analizi ve yapay zeka alanında çok az muadili var.Birçok profesyonel bilgisayar, finans veya istatistikten geliyor.Ancak istihdam piyasasında büyük talep var, bu nedenle ücretler de artıyor.
Büyüme oranına gelince, bir yandan büyük verinin karşılaştığı endüstriyel sahneler sürekli güncellenip genişliyor.Şu anda İnternet e-ticaret sektörü daha popüler olabilir ve birçok geleneksel endüstri de karar verme optimizasyonu yapmak için büyük verileri kullanmaya çalışıyor; Veri madenciliği teorisi de zamanla ilerliyor.Bu nedenle, veri madenciliği algoritmalarıyla ilgili uygulayıcıların projenin pratik ilerleme yeteneğini sürdürmesi ve teorik öğrenmeyi sürdürmesi gerekiyor.Bu tür uygulayıcıların yüksek bir eleme ve baskı oranı var, ancak aynı zamanda hızla büyüyorlar.
İkinci soru neden Çin'e döndüğüm. Sebeplerden biri kişinin kendi durumuna göre yaptığı seçimdir, burada fazla bir şey söylemeyeceğim. Büyük veri endüstrisinde Çin ve ABD arasındaki farklar.
Gelişmiş bir ülke olarak Amerika Birleşik Devletleri, birçok uygulama senaryosunda nispeten olgun veri toplama, yönetim ve analiz süreçlerine sahiptir. Son teknoloji araştırma ilerlemesine ek olarak, endüstriyel uygulamalar açısından Çin ve Amerika Birleşik Devletleri genellikle çok farklı değildir ve hatta Çin'in gelecekte daha geniş bir geliştirme alanı vardır, ancak bazı geleneksel endüstrileri veya e-ticaret ve lojistik gibi yeni endüstrileri içerir. Büyük veri uygulamasının genel seviyesi hala nispeten yavaştır.
Çin'in veri alanındaki geliştirme alanı herkese daha fazla fırsat verecek, bu yüzden aslında büyük veri endüstrisinde parlamak için çok iyi bir seçim. Şimdi bu sektöre giren insanlar, bir dereceye kadar, bu sektörde temas kuran ve sorunları çözen ilk yetenek grubu olacaklar.
Üçüncü soru, yeni başlayanlar ile büyük şirketler arasındaki farkların neler olduğudur. Aslında ikisinin de kendine göre avantajları var. Büyük şirketler, istikrar, açık sistemler, iş seviyelerine derinlemesine maruz kalma, alt bölümlerde derinlemesine geliştirme ve açık tanıtım kanalları gibi avantajlara sahiptir. Yeni kurulan şirketlerin avantajları şunlardır: daire yönetimi, hakimiyet, projelere kapsamlı şekilde maruz kalma, doğrudan müşteri katılımı ve Dik bir büyüme eğrisi ile endüstrinin farklı alanlarına girebilir.
Dezavantajlar açısından büyük şirketler dar görüş, iş değiştirmeden terfi güçlüğü, sabit iş içeriği ve modu, "vida" haline gelme gibi sorunlar yaşayabilir. Başlangıç şirketleri nispeten istikrarsızdır ve ekibin güvenilirliği, yukarıdaki avantajların garanti edilip edilmeyeceğini etkileyecektir.
Ben şahsen başlangıç şirketleri veya büyük fabrikalar tarafından yeni kurulan önemli departmanlara gitmeyi tercih ediyorum çünkü Her ikisinin de bir özelliği vardır, yani bazı alt bölümlerde "vida" olmak yerine çok sayıda iş ve projeye maruz kalabilirler. Kanımca, sektöre girişin ilk aşamasındaki en önemli şey sektör vizyonudur Sadece büyük resme bakarak derin uygulama alanında en iyi seçimi yapabiliriz. Bu nedenle, ilk resmi işim bir başlangıç şirketiydi. Ayrıca, çalıştığım büyük bir fabrikanın büyük veri departmanı da aynı avantajlara sahip, yeni kurulmuş ve işletme seviyesine hızlı bir şekilde bağlanabilir ve iç yönetimi de düz, bu da bana egzersiz için birçok fırsat verebilir.
Diğer nedenler arasında ekip çalışması ve büyüme fırsatları yer alır. Silikon Vadisi'nde Shanshu Teknolojisinin CTO'su Bay Wang Zizhuo ile şans eseri tanıştım ve Shanshu ekibine katılmaya karar verdim. Shanshu Teknolojisi hala büyüme aşamasında olduğu için beni çok sayıda projeye maruz bırakabilir ve her proje bir endüstri veya endüstriyel çözümdür. Ek olarak, çok güçlü teknik ve teorik araştırma gücüne sahip kurucu ekibe ek olarak, Shanshu Technology, sektördeki en iyi bilim adamlarından oluşan bir gruba sahiptir. Bunlar, sektördeki süper kaliteli kaynaklardır. Bu nedenle, bireyler için, Shanshu Teknolojisinin çalışması sadece bu seçkin bilim insanlarıyla çalışmak değil, aynı zamanda çok sayıda projeyle çalışmak anlamına gelir.
Shanshu Technology, büyük veriye dayalı bir danışmanlık şirketidir. Ana müşterileri Çin endüstrisindeki büyük ve orta ölçekli işletmelerdir. Büyük verilere dayalı gelişmiş bilgi işlem ve endüstri çözümleri, şirketlerin karar verme becerilerini geliştirmelerine yardımcı olabilir.
Shanshu Technologynin beklentilerinin çok iyi olmasının nedeni, bir yandan gittikçe daha fazla sayıda endüstriyel şirketin genel ortamdaki verilere dikkat etmeye başlaması, ancak BAT gibi veri ekiplerini ve hatta büyük ölçekli BAT gibi veri ekiplerini yetiştirmek için yeterli kaynağa sahip olmayabilmeleridir. İşletmelerin aynı zamanda Shanshu Teknolojisinin de değeri olan özel ve anormal karmaşık sorunlar için dış kaynak hizmetlerine girmeleri gerekir. Öte yandan, Shanshu Technology'nin kurucu ekibinin tamamı Stanford'un yüksek eğitimli yetenekleridir ve zengin endüstri ve akademik deneyime sahiptirler ve güçlü teknik güce ve son teknoloji teorik araştırma gücüne sahiptirler. Google, IBM, Boeing ve Amerika Birleşik Devletleri için çalıştılar. Enerji Bakanlığı, Çin Elektrik Şebekesi ve diğer kurumlar operasyonel karar verme sürecini optimize etme sorununu çözüyor.
Büyük veri analizi mühendisi meslek içeriği
Büyük veri analistlerinin iş içeriği, şirketin iş gereksinimleri ve kariyer geliştirme yollarından bahsedeyim.
Veri analizi kavramı herkese yabancı değildir, temelde bazı veri kaynaklarının özelliklerini keşfetmek, bunlara karşılık gelen sonuçlara varmak veya bazı ticari olayların nedenlerini takip etmektir. Geleneksel veri analizinden farklı olarak, büyük veri analizi yalnızca kendi veri istatistiklerine dayanmakla kalmaz, aynı zamanda bazen diğer gerekli veri kaynaklarını toplamak, düzenlemek ve birleştirmek için bazı dış faktörleri de dikkate alması gerekir ve veri ölçeği nispeten büyüktür. İstatistiksel analizle sınırlı olmayan, belirli çalışan paralel araçlar ve algoritmalara hakim olmanız gerekir.
Bununla birlikte, deneyimlerime dayanarak, çoğu veri analistinin son çalışma içeriği hala yaygın olarak kullanılan bazı istatistiksel teorilere ve geleneksel veri analizi yöntemlerine dayanmaktadır, ancak bu adımdan önce birçok büyük ölçekli veri seti düzenlenir, birleştirilir ve hesaplanır. Süreçler ve bu süreçler bazı yeni beceriler ve teoriler gerektirir.
Bir boyuttan, mevcut büyük veri analizinin iki genel yönü vardır:
Bir iş yönü , Bu yön, uygulayıcıların işi daha derin bir şekilde anlamasını ve göreceli olarak güçlü bir istatistik teorik bilgisine sahip olmasını, büyük veri kümelerinin basit bir şekilde işlenmesini ve ardından gerekli boyutlarda verileri elde etmesini gerektirir ve en önemli yetenek , Ticari pazarın ve işletmenin gereksinimlerine göre sorunları tespit edebilme ve sonuçlara ulaşabilme. Genel olarak, iş için ne kadar az harici veri kaynağına ihtiyaç duyulursa, erken aşamada fiziksel mantık o kadar basit ve geleneksel iş analizine o kadar yakın olur.
Örneğin, bu çeyrekte belirli bir şirketin belirli bir departmanının tüm siparişlerini aldıktan sonra, siparişin kaynağı hakkında bölge ve döneme göre istatistik yapmanız ve ardından sonuçları çıkarmanız, anormallikleri izlemeniz, kaynağı bulmanız ve veri performansına dayalı çözümler önermeniz gerekiyor. Tüm bu süreç iş analizidir. Veri miktarı belirli bir ölçeğe ulaştığında ve doğrudan Excel gibi araçlarla analiz etmenin bir yolu olmadığında, boyutu tüm işletmenin belirli bir çeyreğindeki tüm siparişlere genişletmek gibi verileri önceden işlemek ve önceden hesaplamak için bazı büyük veri platformlarını kullanmak gerekir. Bunların arasında, sonuçların çıktılarını ürün türü, müşteri türü vb. Gibi birden çok boyutta analiz ettiğimizde, işin içinde olan bazı küçük büyük veri analistlerinin iş içeriğidir.Bu adıma kadar, ilgili veri analizi işle birleştirilir. Çok yakın.
Şu anda, büyük veri analistlerinin birçok alandaki temel çalışma içeriği, büyük veri platformunda verileri sıralamak ve almak için SQL ve diğer araçları kullanmak, bazı ön hesaplamaları yapmak ve ardından analiz ve işlemler için Excel'i kullanmaktır. Ancak, farklı senaryolarda, bu pozisyonun farklı geliştirme yönleri olacaktır: veri ürünleri yapanların belirli talep kontrol yeteneklerine ve proje yönetimi yeteneklerine sahip olması gerekir; karar verme desteği verenlerin bazı işletmelerde biraz iş hassasiyetine ihtiyacı vardır. Başlamadan önce, belirli bir işin başlatılıp başlatılmayacağını, hangi çözümlerin mevcut olduğunu ve hangi çözümlerin karı maksimize edip riskleri azaltabileceğini vb. Belirlemek için pazar verilerinin çeşitli boyutlarını analiz edebilmek gerekir; müşteriler dahil veri işlemleri vardır. Operasyonlar ve ürün büyütme operasyonları, vb. Büyüme noktalarını bulmak ve verileri uygulamak ve yinelemek için bazı geçmiş verileri ve veri yasalarını birleştirmelidir.
Bu iş içeriğinden, aslında işe karşı önyargılı olan büyük veri analistlerinin pazarlar, ürünler veya operasyonlarla birlikte birden fazla geliştirme yönüne sahip olabileceğini görebiliyoruz.İşletme, işlem ve ürünlerin pazarla daha yakından entegre olan kısımlarına bağlı kalabilirler. Karar verme seviyesine girene kadar büyümeye devam edin, beklenti çok parlak.
Bu tür iş odaklı büyük veri analisti için iş gereksinimleri, beceri açısından çok yüksek değildir. Temel olarak sayıları almak için SQL kullanmayı öğrenin, bazı verileri işlemek için büyük veri platformunu kullanın, veri analizi için Excel'in üst düzey işlemlerini kullanın, rapor yazma ve temel görselleştirme tekniklerine sahip olun, bu alanda iş bulmaya çalışabilirsiniz. Ek olarak, bu pozisyonun temel yetkinliği, iş duyarlılığınızda ve iş anlayışınızın derinliğinde yatmaktadır ve bunlar, gerçek işte biriktirilmesi gereken yumuşak güçlerdir.
Diğeri teknik Temeli hala veri analizidir, ancak işin odağı değişmiştir. Veri madenciliği yönündeki büyük veri analistleri, verileri izlemeye, istisnaları kilitlemeye, nedenleri bulmaya ve diğer görevlere ek olarak, belirli bir çözümle ilgili ek bir talep düzeyiyle karşı karşıyadır. Örneğin, bir web sitesi reklamlardan elde edilen geliri en üst düzeye çıkarmak istiyorsa, web sitesinin trafik dağılımına ve hatta farklı müşteriler için hedef yerleşime göre uygun bir yerleşim planı ve ücretlendirme planını nasıl benimseyeceğinizi düşünmeniz gerekir. Bu, bazı öneri sorunlarını içerir. Bir dizi makul teslimat modeli, yukarı doğru reklam planının kar maksimizasyonunu dikkate almalıdır, aşağı doğru, gerçek trafiği en üst düzeye çıkarmak için müşterilere reklam önermeyi düşünmelidir, bu mantık dizisi, yalnızca sonuçları analiz etmek için büyük miktarda veri toplamaya dayanmaz , Ayrıca iş mantığı, algoritma teorisi ve deneyime dayalı varsayımlara dayalı çözümler önerin - aslında, bu aşamada, büyük veri analistleri büyük veri mühendisleri ve bilim insanlarına doğru ilerledi. Aynı zamanda büyük veri araçlarına dayalı bazı veri madenciliği algoritmaları, geleneksel makine algoritmaları ve hatta derin öğrenme algoritması bilgisi bu süreçte kullanılacaktır. Açıkçası, bu zaten bir algoritma mühendisinin işi.
Ancak aslında birçok uygulama senaryosunda, büyük veri analistlerinin sistemler gibi sorunları ve öneri ve tanımlama gibi büyük kategorileri çözmesi gerekmez, yalnızca belirli çalışma senaryolarındaki bazı küçük sorunlar için basit makine öğrenimi modelleri oluşturmaları gerekir. Rastgele regresyon, lojistik sınıflandırıcı vb. Örnek olarak küçük bir uygulama senaryosunu ele alalım.Müşteri verileri verildikten sonra, bu müşteriyi taramak ve hedeflenen hizmetleri sağlamak için belirli bir ürün alt kategorisine büyük ölçüde eğilimli müşterileri belirlemek için bir sınıflandırıcı eğitilmelidir. . Bu nispeten basit bir sınıflandırma problemidir ve farklı durumlara göre modelleme için farklı yöntemlerin kullanılması gerekir.
Kısacası, ister geleneksel makine öğrenme yöntemlerini ister derin öğrenme yöntemlerini kullanıyor olsun, teknolojiyi tercih eden büyük veri analistlerinin, sorunları çözmek, verileri yinelemek, verileri güncellemek ve parametreleri sürekli olarak ayarlamak için modeller oluşturmaya çalışmak için belirli veri madenciliği algoritmalarını kullanmaları gerekir. Veri madencilerinin çoğunun çalışma mantığı, bir dizi işlemdir.
Fiyatlandırma, öneri, konuşma tanıma, NLP, vb. Gibi birçok farklı geliştirme yönü de bu yönde alt bölümlere ayrılmıştır, ancak bu yön matematik, doğrusal cebir, bilgisayar algoritması teorisi ve güçlü bir temel gerektirir. Kod yetenekleri. Ek olarak, makine öğrenimi ve derin öğrenme algoritmaları hala güncelleniyor. Temel olarak, makaleler güncellendiğinde yeni algoritmalar görünecektir. Bu nedenle, bu özellik herkesin öğrenmeye devam etmesini, makaleleri okumaya devam etmesini ve kişisel bilgilerini herhangi bir zamanda güncellemesini gerektirir.
Sektörde, teknik olarak daha eğilimli kişiler genellikle teknik uzmanlar ve veri bilimcileri doğrultusunda gelişir veya deneyim biriktirdikten sonra algoritmik yenilikler gerçekleştirmek için endüstri ve akademiyi birleştirir. Bu alanda çapraz profesyonel gelişim isteyen iş arayanlar için, önce bazı düşük vasıflı büyük veri analizi pozisyonlarına girmenizi, sektörde belirli problem çözme yeteneklerini biriktirmenizi ve ardından ileri çalışmalarla belirli alanlarda veri madenciliğine yaklaşmak için çok çalışmanızı öneririm. .
Şu anda, büyük veri analistleri ve veri madencilerinin endüstrileri, veri toplama ve yönetiminin nispeten olgun ve sistematik olduğu finans ve devlet işleri alanlarında yoğunlaşmıştır.Bunlardan finans endüstrisindeki büyük veri analistleri nispeten niceliksel olacak ve iş analizine odaklanacaktır. , Yüksek derecede finansal teori bilgisi gerektirir. Bununla birlikte, İnternet şirketleri gelecekte en büyük büyük veri yetenek açığına sahip sektör olabilir.Örneğin, tüm e-ticaret ve lojistik endüstrileri zincirinin akıllı yönetimi ve karar verme optimizasyonu belirli büyük veri algoritmalarına dayalı olarak uygulanmalıdır; ve hükümet işleri alanı genellikle İnternet + platformuna dayanır. Akıllı yönetimi gerçekleştirmek için bazı dış kaynak yöntemleri benimseyin. Ek olarak, Toutiao gibi bilgi tabanlı İnternet şirketleri de reklam önerileri ve kullanıcı büyümesi gibi büyük veri analiziyle ilgili popüler işlere sahip olacak.
Mobil internet bilişimiyle donatılmış olgun şirketler haricinde, endüstriyel şirketlerin büyük veri uygulamalarına yönelik talepleri temelde depolama optimizasyonu, maliyet kontrolü ve nicel tahmin gibi birçok alt alanda yoğunlaşmaktadır. Daha olgun büyük veriye sahip şirketler, daha önce bahsettiğimiz öneri algoritması gibi derin yetiştirme alanında rafine modellerin oluşturulmasına daha fazla önem verirler, ancak şekillenmeye başlayan büyük veriye sahip şirketler ve geleneksel şirketler için maliyet kontrolü ve kâra dayanır. Geliştirilmiş basit algoritmanın global optimizasyon şeması daha önemlidir.
Veri analizi ile veri bilimi arasında da farklılıklar vardır. Temel olarak, veri analizi için üç teknoloji yığını vardır: veritabanı işleme, ayrıntılı komut dosyası işleme (bazı şirketlerin bu beceri için belirli gereksinimleri vardır), boyutsal analiz + görselleştirme. Veri bilimi, göreceli olarak güçlü programlama becerileri, matematik becerileri ve algoritma becerileri gerektiren veri analizi becerilerine dayanmaktadır ve eşik nispeten yüksektir.
Büyük veri analizi endüstriyel senaryolar uygulama örnekleri
Sektördeki büyük veri analizi ile ilgili çalışmalarımı tanıtmak için size kısa bir örnek vereyim. Çoğu veri analizi pozisyonu belirli temel modelleme becerilerini de gerektirdiğinden, veri analiziyle ilgili işi basitçe üç ana senaryoda sınıflandırıyorum:
Birincisi veri izlemedir. Bu tür bir senaryo temelde sabit bir erişim mantığıdır.Sadece iş piyasasının veya veri modelinin ihtiyaçlarına göre veritabanından meta verileri çıkarması ve ardından mantıksal birleştirme ve işlemler yoluyla çıktı sonucunu işlemesi gerekir. Veri izleme çalışması tekrarlanabilirlik özelliklerine sahiptir.Periyodik olarak sabit kalibreli veriler üretmesi ve belirli bir süre boyunca veri dağılımını izlemesi, veri anormalliklerini kilitlemesi ve anormallikler bulunduğunda, işle birleştirilen veritabanında teşhis edilmesi ve sonunda bir analiz raporu oluşturulması gerekir. . Sayılara, Excel istatistiklerine erişmek için genellikle SQL kullanıyorum ve son olarak raporlamak için PPT yapıyorum.
İkincisi, veri analizidir. Bu senaryo, veri izlemeye benzer, fark, çoklu erişim ve farklı analiz yöntemlerini içerebilen sabit erişim mantığı olmamasıdır, çünkü nihai amacı, veri düzeyinde bazı olayların nedenlerini ve sonuçlarını bulmaktır. Analizden önce, yüzlerce veya binlerce endüstriyel boyutun verilerinden belirli bir etkiye neden olan boyutu doğrudan tespit etmek bizim için zordur. Ek olarak, bu sahnenin son sunumu, bazı ön uç bilgiler ve uygun görselleştirme yazılımı gerektiren bir rapordur.
Üçüncüsü veri modellemedir. Bu senaryonun analize dayanması, iş gereksinimlerine göre model şemasını soyutlaması ve modelleme için ilgili gereksinimleri tamamlamak için veri setini keşfetmesi gerekir.
Bu üç senaryoya ek olarak, büyük veri analistlerinin pozisyonuna ait olmayan ancak endüstriyel fiyatlandırma, endüstriyel satış tahmini, depo yönetimi, tedarik zinciri optimizasyonu vb. Gibi büyük veri ile ilgili işlere yakından güvenmesi gereken başka senaryolar da vardır. Veri madenciliği, modelleme ve optimizasyon için işlem araştırması ve diğer algoritma bilgilerini birleştirmek gerekiyor.
Aşağıdaki, herkese bu üç senaryonun fiili işteki özel uygulamasını bildirmek için benim özel bir çalışma örneğidir. Bu, şirketimiz tarafından yapılan bir fiyatlandırma projesinin altındaki bir alt bağlantıdır:
(Bu fiyatlandırma projesine özel çalışma örneği açıklaması için lütfen 00:26:30 'daki videoya tekrar bakın, )
Büyük veri analizi / madencilik için kendi kendine çalışma önerileri
Büyük veri analizi ve ön veri madenciliği kendi kendine çalışma için bazı öneriler sunacağım ve size bazı bilgiler vereceğim.
Bugün, büyük veri analizi işleri için gerekli beceriler şunları içerir:
Birincisi, veri toplama becerileri, hangi verilerin işlenmesi gerektiği / hangi boyutlar / analiz edilecek konuların nasıl tanımlanacağı, vb. Çoğu şirket, ön işleme için SQL + R / Python ve diğer yazılımların kullanılmasını gerektirir.
İkinci olarak, veri işleme becerilerinin veri temizleme görevlerini daha esnek bir şekilde gerçekleştirmenize yardımcı olabilecek R / Python gibi araçlarda uzmanlaşması gerekir. Ancak, nispeten az miktarda veriye sahip veriler için, Excel'i doğrudan işlemek için kullanabilirsiniz, bu da üst düzey Excel becerilerine hakim olmayı gerektirir.
Üçüncüsü, veri analizi becerileridir. Sosyal beceriler, iş zekası, iş anlayışı ve istatistiksel bilgiyi içerir.
Dördüncüsü, veri görüntüleme becerileri herkesin mükemmel görselleştirme ve iyi ifade becerilerine sahip olmasını gerektirir.
Standart konfigürasyon SQL + Excel'dir. Bu yeteneklere güvenmek temelde bazı işler veya staj fırsatları bulmanıza yardımcı olabilir.
SQL için, temelde nispeten basit uygulamalı dilbilgisi öğrenmek için çaylak eğitimine gitmenizi öneririm, çalışırken öğrenebilirsiniz ve anlamıyorsanız, sorgulamak için arama motorlarını kullanmayı öğrenmelisiniz. Ayrıca doğrudan Leecode web sitesine gidip veri yapısı sorularını gözden geçirmenizi öneririm.Kolaydan zora doğru farklı çözümler olacaktır.Bir sorunu çözmek için farklı yöntemler deneyebilirsiniz. SQL'de uzmanlaşmak, temel olarak sektördeki veri erişim görevleriyle baş edebilir.
Excel için temel işlemler gereksinimleri karşılayamaz. En azından basit tablo verisi işleme, sorgu, sıralama vb. Gibi yaygın olarak kullanılan istatistiksel araçların, vlookup gibi gelişmiş işlevlerin, çok boyutlu referans sayısal formüllerin ve görselleştirme çizelgelerinin yetkin kullanımını gerektirir (grafik gösterimi, güzelleştirme, Gelişmiş grafikler, simge eklentileri, vb.) Ve çok yaygın kullanılan veri perspektifleri. Ek olarak, bazı veri işleme süreçleri de VBA geliştirmeyi içerir.Bu konuya ilgi duyuyorsanız, kendiniz de öğrenebilirsiniz.
SQL + Excel + PPT'nin üç aracında ustalaşırsanız, temelde büyük verilerle ilgili işleri bulmaya çalışabilir ve ardından kişisel gelişim yönünüze ve iş ihtiyaçlarınıza göre kendi beceri geliştirme yönünüzü belirleyebilirsiniz.
Ek olarak, bazı komut dosyası dillerini öğrenmek isteyen öğrenciler için Python'u tavsiye ederim.Bu yazılımın kullanımı ve başlatması kolaydır. Temel Python sözdizimi ve veri depolama yöntemleri hakkında bilgi edinmek için Liao Xuefeng'in resmi web sitesine gidebilirsiniz. Veri işleme hakkında bilgi edinmek için, doğrudan pandalar kılavuzunu okuyabilirsiniz ( - Sayfa 500'den başlayarak, temel olarak genel sözdizimi talimatlarını tanıtır. Mevcut veri işleme işi genellikle SQL + pandas komutları kullanılarak yapılır.
Yapılandırılmış işlemede ustalaşmanız gerekiyorsa, numpy paketi hakkında bilgi edinebilir ve işinizde kullanabilirsiniz. Makine öğrenimi ve derin öğrenmede, bu veri paketinin birçok uygulaması vardır.
Veri analizine dayalı veri madenciliği, kendi kendine öğrencilerin doğrusal cebirde iyi bir temele sahip olmasını ve makine öğrenimi ve derin öğrenme hakkında bilgi edinmesini gerektirir. Geleneksel makine öğrenimi teorisi ile ilgili olarak, nispeten eksiksiz bir kurs Wu Enda'nın CS229'udur. Endüstride rastgele ayırma ve saf Bayes gibi yaygın sınıflandırma ve regresyon sorunları söz konusudur. CS229 temelde bunu kapsar, ancak bu Müfredat daha teoriktir, bu nedenle matematiksel teori için gereksinimler çok yüksektir. Çalışmalarınızda daha sonra çeşitli "zor ve çeşitli hastalıklar" ile karşılaşabilirsiniz, ilgili yazıları veya teknik blogları okuyabilirsiniz (ilgili çözümleri ve fikirleri bulun). Daha pratik kurslar arasında, Spark platformuna dayalı bazı basit öneri algoritmaları, düz çizgi kümeleme ve endüstri ile yakından entegre olan diğer uygulamalar ve kurslar dahil olmak üzere Stanford CS246 kursunu öneriyorum.
Ek olarak, veri madenciliği alt bölümündeki bazı teorik dersler için, referansınız için bilgilere ( ünlü bir sarı kağıt ekledim.
Geleneksel makine öğrenimi ile ilgili çalışma, bu teorilere hakim olmanın nispeten yeterli bir hazırlık olduğu söylenebilir. Unutulmamalıdır ki sanayi dünyası ile akademik dünya arasında önemli bir fark, sektördeki endüstriyel verilerin çok "kirli" olmasıdır.Birçok zor problemle karşılaştığımızda sınıflandırma gibi model eğitimi için ideal veriyi elde edemiyoruz. Sektördeki sınıflandırma dengesizliği gibi yaygın problemler, uygun bir çözüm bulmak için endüstriyel senaryolarla birlikte farklı algoritmalar ve endüstriyel uygulama anlayışını denememizi gerektirir. Ek olarak, farklı şirketlerdeki veri analizi pozisyonlarının özel iş içeriği değişecektir. Bu nedenle endüstri deneyimi ve öğrenme ve anlama becerisinin çok önemli olduğunu düşünüyorum.
Shanshu Technology'nin işe alım içeriği ve dahili kanalları
Daha sonra, Shanshu Teknolojisini tanıtacağım ve size bazı pozisyonların işe alım ihtiyaçlarını anlatacağım.
Shanshu Technology, Temmuz 2016'da kuruldu, merkezi Pekin, Dongcheng Bölgesi'nde bulunuyor ve Shanghai Yangpu District-Shanghai Shanshu Network Technology Co., Ltd.'de bir yan kuruluşu var. Kurulduğu yılın Ağustos ayında, Shanshu Technology, Zhene Fund ve Northern Light Venture Capital'den ortak bir yatırım aldı. Melek turlu finansman 2,1 milyon ABD dolarına ulaştı ve 2016'da Çin'in büyük veri alanında yeni bir rekor kırdı. Temmuz 2017'de Shanshu Technology, Pagoda Investment, ardından Jiangmen Venture Capital ve Lenovo Venture Capital liderliğindeki yaklaşık 40 milyon yuan finansman miktarıyla bir finansman turunu tamamladı.
Şirket, beş Stanford profesörü ve doktorası tarafından ortaklaşa kuruldu ve yurtiçi ve yurtdışında birinci sınıf bilim adamlarından oluşan bir ekibi bir araya getirdi. Amaç, her Çinli şirketin karar verme sürecini özelleştirme ve optimize etme ve bunu inovasyon yoluyla birleştirme becerisine sahip olmasını sağlamak için mükemmel yapay zeka karar verme teknolojisini kullanmaktır. Bazı makine öğrenimi ve derin öğrenme teknolojileri ile operasyon araştırması optimizasyon teknolojileri işletmelere hizmet eder. Mevcut ortaklar arasında JD.com, SF Express, Debon, Wanda, Didi ve Yonghui gibi çeşitli sektörlerdeki dev şirketler bulunmaktadır.
İşte şirketimizin ilk birkaç kurucusu:
Shanshu Technology, kuruluşundan bu yana "National High-tech Enterprise", "Zhongguancun Technology Enterprise" ve Dark Horse New Retail Top 50 gibi irili ufaklı düzinelerce ödül kazandı. Geleneksel danışmanlık şirketleriyle karşılaştırıldığında, şirketimizin bazı avantajları vardır: güçlü optimizasyon ve çözüm teknolojisi, verilerden karar almaya kadar kapalı döngü hizmet yetenekleri ve en iyi veri karar bilimcilerinden oluşan bir ekip. Ayrıca, büyük şirketlerle işbirliği konusunda çok fazla deneyime sahibiz ve hala büyük şirketlerle derinlemesine işbirliğini sürdürüyoruz.
İş projelerimiz arasında akıllı tahmin, envanter optimizasyonu, ambar otomasyonu, gelir yönetimi ve e-ticaret, perakende ve diğer endüstriler için akıllı konum seçimi gibi bir dizi çözüm sunulması yer alıyor.
Bunların arasında Shanshu Teknolojisinin akıllı saha seçimi ve depo yönetimi gibi başarılı örneklerini tanıtacağım.Bu projelerin uygulanması sırasında, Shanshu Teknolojisinin hangi yeteneklere ihtiyacı olduğunu da görebiliriz.
Durum 1: Akıllı site seçimi. Perakende sektöründeki ilgili projeler arasında bir mağaza lokasyon projesi yaptık. Geleneksel yer seçimi, genel olarak, endüstri deneyimine dayalı olarak bir hedef alanı kabaca tanımlar ve yerinde ziyaretler ve nihai onay için personel gönderir. Bu projede geleneksel site seçimi yöntemini tersine çevirerek site seçimi problemini bir optimizasyon problemine dönüştürdük.Bu problemin temel amacı geliri artırmak, marka pazarlaması yapmak, nüfus kapsamını ve rahatlığını artırmaktır.
Gelir açısından, çok sayıda mağazanın akış verileri göz önüne alındığında, belirli iş deneyimleriyle birlikte, mağaza geliriyle ilgili birkaç ana özelliği (nüfus kapsamı, en yakın metro istasyonuna uzaklık gibi büyük ölçekte paylaşılan özellikler) keşfettik ve Küçük özellikler (vitrin basamaklarının yüksekliği, kapının önünde korkuluk olup olmadığı gibi daha ayrıntılı özellikler) Özelliklerin nicelleştirilmesinden sonra, çeşitli tahmin modelleri benimsenir ve bu da aylık gelir doğruluğunu% 90'a kadar çıkarır. Kapsama açısından, Şangayın ana özelliklerini her bir ızgaraya koyuyoruz ve yer seçimi hedefi olarak küresel gelir ve nüfus kapsamının optimal işlevini buluyoruz. Tamsayı programlama yoluyla en uygun ızgarayı elde ettikten sonra, bunu iş personeli alanıyla birleştiriyoruz. Araştırın, en yüksek gelirin küçük özelliklerini karşılayan adresi bulun ve belirleyin. Bu süreçte, veri analistlerinin işi daha derinlemesine anlaması gerekmektedir.
Bunların arasında, mağaza özelliklerinin gelir üzerindeki etkisi açısından, gerçek dünyadaki sorunları bir modele ayırıyoruz ve hedefler, kısıtlamalar ve makine öğrenimi tahminiyle ilgili yöntemler kullanıyoruz. Bu, büyük veri analistlerinin güçlü veri arama, işleme yetenekleri, mantıksal düşünme, erişim ve modelleme yeteneklerine sahip olmasını gerektirir.
Durum 2: Akıllı depo yönetimi. Bu projede, depolama probleminin tamamını birçok alt probleme ayırıyor ve problem süreci perspektifinden ikmal problemleri, yerleştirme problemleri, sipariş dalgası problemleri ve yönlendirme problemlerini seçmek olarak ikiye ayırıyoruz.Bu dört problemin ortak optimizasyonu Çözüm, en düşük yenileme ve toplama maliyetiyle en iyi çözümdür.
Yenileme sorunu, klasik bir depolama sorunudur. İlk olarak stok SKU'larını satış ısısına göre gruplandırıyoruz.Yüksek hacimli ürünler için stratejimiz ayrı ayrı yer açmaktır.Bu tür ürünler genellikle promosyon halindedir; düşük hacimli ürünler daha az depoya sahip olur ve bu miktarlar olabilir Bir dönemin ihtiyaçlarını karşılayın.
Yerleştirme konusu, ürünler arasındaki korelasyon derecesinin göz önünde bulundurulmasına ek olarak, ürün satış coşkusu konusunu da içerir. Öncelikle sıcak satış ürünleri, toplama başlangıç noktasına en yakın konuma yerleştirilmelidir (başlangıç noktası bitiş noktasından ayrılmışsa, bitiş noktasına en yakın olması gerekir). Alaka düzeyi açısından, iki ürünün aynı anda bir siparişte görünme olasılığı ne kadar yüksekse, ürünlerin alaka düzeyi de o kadar yüksektir. Toplayıcıların toplama mesafesini olabildiğince azaltması gerekir. Ayrıca aynı tür ürünler farklı raflarda görünebilir ve bu da yerleştirme sorununu daha karmaşık hale getirir.
Sipariş dalgası oluşturma konusu, bir toplayıcının tek bir toplama yolunda birden fazla toplama görevi gerçekleştirebileceğini ifade eder.Aynı yolda, tek bir görev listesine toplama görevleri oluşturmak için birden çok nesil kullanılır. Depo yönetiminde görünen birden çok sipariş sipariş havuzuna girecek ve ardından sipariş havuzundaki siparişler optimum sipariş konsolidasyonuna ulaşacaktır. Bu sayıda, sipariş dalgasının güvenilirliğini sağlamak için zamanındalığı da dikkate alacağız.Örneğin, nispeten düşük bir işbirliği tutumuna sahip siparişler, vasat etkiye sahip siparişler, ancak uzun vadeli sipariş havuzları zamanında kurtarma gerektirir.
Yol planlama problemi, basit bir en kısa yol algoritması ile çözülebilecek bir problem değildir.Aynı SKU farklı raflara yerleştirilebilir.Bu nedenle, sadece görev listesindeki tüm SKU'ların raf pozisyonları, daha fazla yol planlaması yapılmadan önce belirlenebilir. Yukarıda bahsedilen durum daha karmaşıktır, ancak yine de geleneksel depo yönetimi kategorisine aittir.
Ayrıca, insansız depo planlama yönetimi yöntemlerine sahibiz. Geleneksel depo planlaması ile karşılaştırıldığında, ölçeğimiz daha büyük ve uygulama daha iyi.
Şirketimizin projeleri genellikle birçok alt projeye bölündüğünden, işin doğasını hızlı ve derinlemesine anlayabilen ve veri madenciliği ve operasyon araştırmasında belirli fikirlere sahip güçlü kapsamlı yeteneklere, aktif düşünmeye sahip insanlara ihtiyacımız var.
Ayrıca özetledim Shanshu Teknolojisinin bazı büyük projelerinin ortak noktaları:
İlki, birçok proje için ön çalışma olan proje tabanlı bir tahmin motorudur. , Aşırı uyumu önlemek ve acil durumlar için daha doğru tahminler yapmak için verilerin özelliklerini tanımlamalı ve araştırmalıyız. Bu verilerin boyutsallığı nispeten yüksektir ve genellikle eksiklik, gürültü ve orijinal bilgileri ifade etmede zorluk gibi yaygın sorunlar vardır.
İkincisi, çok kanallı öngörülen yenileme planıdır , Envanter yönetimine dayalı mevcut ikmalleri optimize eden, böylece envanter yönetiminin doğruluğunu artıran.
Üçüncüsü, veriye dayalı fiyatlandırmadır. Şirketin kendi verilerinin benzersiz türlerine ve özelliklerine dayalı olarak, harici verilerle birleştirilmiş ve farklı fiyatlandırma faktörlerine göre, fiyatlandırma ve kâr gibi temel göstergelerdeki değişiklik eğilimini otomatik olarak gireceğiz. Ayrıca, farklı hedeflere göre fiyatlandırma stratejilerini esnek bir şekilde ayarlayacağız. Dinamik fiyatlandırma, promosyon fiyatlandırması, temel müşteri fiyatlandırması ve paket fiyatlandırma gibi sorunları çözmek için.
Ek olarak, çok boyutlu, çok senaryolu akıllı dağıtım lojistiği ve nakliye planlama çözümleri için, birden fazla işletmenin kısıtlamaları göz önünde bulundurularak tüm kaynakları planlamak çok zordur. Ayrıca, hizmet seviyelerini sağlarken nakliye maliyetlerini de olabildiğince düşürmemiz, kaynak kullanımını iyileştirmemiz ve lojistik yanıt hızını artırmamız gerekiyor. Bu süreçte, onu desteklemek için nispeten güçlü bir algoritmaya ihtiyaç vardır. Araç planlama optimizasyon algoritmamız, nakliye verimliliğini önemli ölçüde artırabilir, paketleme sorunları, mantıksız kaynak eşleştirme ve kentsel bölgelere ayırma gibi gerçek hayattaki iş kısıtlamalarını çözebilir ve böylece manuel planlamanın işçilik maliyetini serbest bırakır.
İş senaryolarına dayalı site seçim şemaları açısından, yukarıda bahsettiğimiz örnek, küresel tabanlı saha seçim şemalarından biridir. Vermek için makine öğrenimi, derin öğrenme ve operasyonel planlama modellerini birleştireceğiz.
Örneğin:
PonyPlus
StockGo
job@shanshu.ai
kezhen@shanshu.ai
Yukarıdakiler, bu sayıda davetliler tarafından paylaşılan tüm içeriklerdir. Daha fazla genel sınıf videosu için lütfen izlemek için Leifeng.com'a (herkese açık hesap: Leifeng.com) AI Araştırma Topluluğu'na gidin. WeChat genel hesabını takip edin: AI Araştırma Enstitüsü (okweiwu), en son genel sınıf canlı yayın süresi önizlemesini edinebilirsiniz.
