Çukur olduğunu bilerek hala atlıyor musun? Büyük veri geliştirmeyi öğrenmek için nihai kılavuz
Geçtiğimiz üç yılda büyük veri kelimesi sadece büyük internet devlerinin stratejik planlamasında değil, ulusal hükümet raporlarında da pek çok kez yer almış, büyük veri kuşkusuz çağın yeni gözdesi haline gelmiştir. Büyük veri, çoğu insana son derece profesyonel olduğu ve giriş engelinin yüksek olduğu hissini verir. Meraklı insanlar internet üzerinden bazı kavramları öğrenebilirken, bazı insanlar büyük verinin getirdiği fırsatları görebilir, büyük veri öğrenmenin seline yatırım yapabilir ve kendi faydalarını sağlamak için büyük veri endüstrisine katılabilir. Büyük veriyi öğrenmenin "engebeli" yolculuğunu yaşadıktan sonra, okula giden yoldaki ayrıntılar neler? "Çukur" a düşmek kolay mı? Envanteri birer birer alalım.
1
Burada büyük veriyi öğrenmek isteyen birçok öğrenci olduğuna inanıyorum.Büyük veri öğrenme eteğini indirebilirsin: 740041381, bir dizi sistem büyük veri öğrenme eğitimini ücretsiz olarak edinebilirsin
Birlikte geçtiğimiz çukurlar
Yeni başlayanların çoğu, başlangıç aşamasının erken aşamalarında, temel olarak çeşitli çevrimiçi topluluklarda "iğneyi samanlıkta bul" Zhihu, Baidu:
"Büyük verinin öğrenme yolu nedir?"
"Öğrenci Partisi, java biliyor, sadece bir bilgisayar! Büyük veri geliştirmeyi nasıl öğrenebilirim?"
"Dil R veya Python öğreniyor mu?"
"Zamanım veya param yok, kendi başıma öğrenebilir miyim?"
"Artık büyük veri geliştirme çok sıcak, hangi büyük veri geliştirme öğrenim kurumunun güvenilir olduğunu kim bilebilir?"
"Sıfır temel ile büyük veriyi öğrenmek ve büyük bir veri geliştirme mühendisi olmak istiyorsanız, nasıl başlayabilirim? Çevrimiçi eğitimler, kitaplar veya Daniel blogları tavsiye ediyor musunuz?"
Kendi kendime çalışma sürecinde birçok sapma yaşadım. Örneğin, ortamı kurarken her zaman her tür tuhaf soruyla karşılaşıyorum ve cevap bulamıyorum; örneğin, İnternet'teki çeşitli materyallerin kalitesini nasıl ayırt edeceğimi bilmiyorum ve bilimsel olarak nasıl kullanacağımı bilmiyorum. Kafası karışmış, bir başarı duygusu olmadan, çok fazla adaletsizlik yürüdü, sayısız çukura bastı ...
İlk olarak: dil öğrenmeye çok fazla zaman ayırın
Pek çok insan, sıfır temele sahip oldukları için dille başlar.Java'yı öğrenen birçok büyük adam sadece gramer, veri yapısı ve çekirdek programlamanın temellerini öğrenmenize izin vermekle kalmaz, aynı zamanda J2EE, HTML5, Struts2, SpringMVC, Mybatis ve Hibernate öğrenmenizi de önerir. Aman tanrım, bu bilgi sadece büyük veri görselleştirme aşamasında kullanılabilir. Bu kadar çok şey öğrenmek istiyorsan neden büyük veriyi öğrenmeye zahmet ettin? Önde ve arkada bir "kuşatma aslanı" olmak güzel. Aslında, bir dilin, veri yapısının ve çekirdek programlamanın gramer temelini öğrenmenin iyi olduğunu ve dilin çabasının bir gecede olmadığını biliyorsunuz.Neyse ki, büyük veri ekolojik mimarisini öğrenirseniz, programlama bileşeni pek bir şeyi hesaba katmaz. İş, ölçek, ürün tasarımı, uygulama senaryoları ve sorunları ele almak ve çözmek için diğer hususlar, bu nedenle bu alana ilk girdiğinizde, kendi dil becerilerinizi yavaşça geliştirmek için çok geç değildir. Acemiyseniz, python'dan öğrenmeniz önerilir, kod basit ve öğrenmesi kolaydır.
İkincisi: Linux çok derinden öğreniyor
Büyük veri mimarisinin Linux temelli olduğu inkar edilemez, ancak Linux'un sadece bir sistem olduğunu anlamalısınız. Açıkça söylemek gerekirse, hala büyük veriye hizmet ediyor.Büyük bir veri ekosistemi oluşturmak için yalnızca temel Linux bilgisini kullanmanız yeterli. , Ancak temel komutlara çok fazla alıştırma yoluyla hakim olunmalıdır. Dahası, büyük ölçekli şirket operasyonlarında, sistem komut dosyaları çalıştırılarak oluşturulur ve gelecekte bulut ana bilgisayarlarının popülerleştirilmesi için Linux ortamını oluşturmaya gerek yoktur.
Üçüncüsü: kitaplara aşırı bağımlılık
Hadoop'un tanınmış yetkili rehberi gibi pek çok kitap nispeten klasiktir, ancak yeni başlayan biri olarak kitabı okumak yeterli değildir ve öğrenmenin odağını kavrayamazsınız. Ayrıca teknoloji çok fazla uygulanmalı ve şu anda birçok kitap var ve tartışılan bilgi noktaları çok sığ ... Birincisi, gerçek işletmelerde kitap yayıncılığının genellikle teknolojinin gerisinde kalması. Sonuçta, teknoloji bu çağda çok hızlı güncelleniyor.
Dördüncü: deneysel platform yapımı
Pek çok insan öğrenme sürecinde deneysel ortamda çok fazla zaman geçirir. Sürüm güncellemeleri veya başka nedenlerle bazı yazılım paketlerini çevrimiçi olarak indirmek, birçok yazılım paketi yakında uygulanamaz; sürüm ve ortam çok farklı olduğu için bazı çevresel sorunlarla karşılaşılır, yalnızca küçük bir sorun olabilir, ancak bir çözüm bulmak zordur. . Derinden yaralandı.
Peki büyük veriyi öğrenmek için nasıl bir "duruş" kullanılmalı?
2
Büyük veri geliştirme için doğru duruşu öğrenin
İyi bir temel oluşturmak ve daha fazla uygulamalı alıştırmalara hazırlıklı olmak
Çiçek hastalığının düştüğünü ve şirkete vardıklarında uygulamalı yeteneklerinin son derece zayıf olduğunu söyleyen pek çok insan var. Proje deneyimine sahip olun, ilgili projeler sahibi olun veya çalışın, gerçekten uygulamalı bazı fikirleri gerçekleştirin, bloglar, github projeleri vb. Gibi bazı düşünceleri hızlandırın, öğrenme sürecini ve uygulama sürecini kaydetmek özetlemenin en iyi yoludur.
her şeyden önce Dil vakfı . Bir java temeliniz varsa ve java oldukça iyiyse, büyük veriyi öğrenmek mantıklı bir yöndür. Java 0 tabanlıysa, python öğrenin. Daha sonraki aşamalarda büyük verinin yapay zeka ile aynı seviyede olduğunu hissediyorum. Ancak python tek başına yapay zekayı destekleyemez ve başka şeyler öğrenmeniz gerekir.Büyük verinin ana dili java'dır. Büyük veriden veya yapay zekadan bağımsız olarak hassasiyeti öğrenmek zordur. Giriş için python seçmeniz önerilir.
Bunu takiben Hadoop temelleri , Önce Hadoop'un çalışmasına, ilkelerini anlamasına ve dağıtılmış depolama ve bilgi işlem fikirlerini öğrenmesine izin verin.
sonra Adım adım öğrenin MapReduce programlama geliştirme, Hive veri ambarı araçları, açık kaynak veritabanı HBase, Spark ekosistemi, Storm gerçek zamanlı geliştirme.
İyi yapmak istiyorsanız, önce araçlarınızı keskinleştirmeli ve platform araçlarını seçmelisiniz.
Bazı insanlar deneysel ortamın sadece bir bilgisayarla nasıl çalıştırılacağını soruyor? Sanal makine kullanmak mümkündür, ancak bilgisayarın konfigürasyonu nedir? 16G, birden fazla çekirdekli CPU var mı? Tek cpu mu yoksa birden çok cpu mu? Neyse, bir hadoop kümesi kurdum ve üç sanal makineyi açtığımda hiç arkadaşım yok. o ( ) o
Bellek çubukları satın almak, belleği genişletmek ve sanal makineleri başlatmak için birkaç yüz yuan harcarsanız, genel bulut büyük veri hizmetlerini kullanmayı da deneyebilirsiniz.
Huawei, genel bulut üzerinde kurumsal akıllı EI büyük veri hizmetini başlattı. Son zamanlarda fiyat düşürüldü. Minimum spesifikasyon kümesi 1,99 Yen / saate düşürüldü. Baştan sona büyük ölçekli bir deney bir veya iki yüz yuan'a mal olacak. Gerçek büyük veriyi öğrenmek gerçekten pahalıdır ve donanım çok pahalıdır. Ancak isteğe bağlı ödeme yapan genel bulutun yardımıyla, maliyetleri büyük ölçüde azaltabilirsiniz ve büyük kuruluşlar tarafından sağlanan bu tür faydaları kullanmakta iyi olmalısınız.
İyi çalışma alışkanlıkları sebat ve sebat olmalıdır
Öğrenme hedefleri geliştirin, bir öğrenme planı yapın, planı takip edin, bazı öğrenme topluluklarına katılın ve öğrenmeyi tamamladığınız için kendinize küçük ödüller verin. Mümkünse, sistematik ve düzenli öğrenme için öğrenme verimliliğini artırabilecek ve sorunları zamanında çözebilecek çevrimiçi ücretli bir öğrenme kursu seçin.
3
Son olarak küçük bir öneri
Yeni mezunlar için
Sağlam bir temelin atılması önemlidir.Üniversite süresince genellikle veri yapısı, algoritma temeli, işletim sistemi, derleme ilkesi, bilgisayar ağı gibi dersler verilmektedir. Bu dersler dikkatli bir şekilde çalışılmalıdır.Sağlam bir temelden sonra, diğer şeyleri öğrenmede büyük sorunlar yaşanmaz ve birçok büyük şirket mülakat sırasında bu ilgili içerikleri soracaktır. BT sektöründe çalışacaksanız, bunlar size çok büyük fayda sağlayacaktır.
İş tecrübesi olan ve kariyerini değiştirmek isteyen öğrenciler için
İş tecrübesi olan ve kariyerlerini değiştirmek isteyen öğrenciler için başlıca üç husus incelenir, biri temel, diğeri öğrenme yeteneği ve üçüncüsü problem çözme becerisidir. Temel çok iyidir ve birkaç yazılı sınav sorusunu tamamladıktan sonra seviyeyi öğreneceksiniz. Öğrenme yeteneği hala çok önemli, sonuçta Javaweb yazmak ve mapreduce yazmak hala farklı.
Şu anda çok sayıda büyük veri işleme teknolojisi var ve şirketler kullandıklarında sadece birini kullanmıyorlar, sektör de hızla gelişiyor ve her zaman yeni şeyler öğrenmek ve bunları pratikte uygulamak gerekiyor. Son olarak, problem çözme yeteneği veri geliştirmede özellikle önemlidir.Genellikle birçok veri problemiyle karşılaşırız.Örneğin, nihai rapor verileri eşleşmez.Genel olarak, nihai veriler genellikle birçok orijinal veriden gelir. N çoklu işlemden sonra. Verilere duyarlı olmanız, sorunun özünü kavramanız, temel nedenini bulmanız ve sorunu mümkün olan en kısa sürede çözmeniz gerekiyor.
