Sınıflandırma önerilerinin anlaşılması kolaydır: profesyonel veri bilimi ve büyük veri teknolojisi alanındaki pratik araçlar
Veri bilimi ve büyük veri teknolojisi, uygulamalara yönelik bir konu alanıdır, bu nedenle araçlar önemli bir parça haline gelmiştir. İş yerinde, bir veri bilimcisi etkili bir araç seçerse, çabanın yarısı ile iki kat daha fazla sonuç alır. Genel olarak konuşursak, veri bilimcileri işletim veritabanları, veri işleme ve veri görselleştirme gibi ilgili becerilere sahip olmalıdır.Birçok insan ayrıca bilgisayar becerilerinin de vazgeçilmez olduğuna ve veri bilimcilerinin verimliliğini artırabileceğine inanır.
Açık kaynak topluluğu, yıllar boyunca veri bilimi araç setlerinin geliştirilmesine büyük katkılarda bulundu ve bu da veri bilimi alanında sürekli ilerlemeye izin verdi. Burada veritabanları, programlama dilleri, makine öğrenimi, görselleştirme ve bilgisayarlarda bazı açık kaynak araçları topladık. Daha fazla veri bilimcisine ve bu alana ilgi duyan kişiye yardımcı olmayı umuyoruz.
1. Veritabanı
1.1 MongoDB
MongoDB, ölçeklenebilirliği ve yüksek performansı ile bilinen bir NoSQL veritabanıdır. Geleneksel veritabanlarına güçlü bir alternatif sağlar ve belirli uygulamalarda veri entegrasyonunu kolaylaştırır. Özellikle büyük web uygulamaları oluşturmak için uygundur.
İnternet teknolojisinin gelişimi hızla artıyor ve yapay zeka çağı geliyor. Bir sonraki trendi yakalayın. Yardım için İnternetten öğrenmek isteyen, ancak zaman ve kaynak yetersizliğinden vazgeçenler. En son büyük veri gelişmiş materyallerinden ve gelişmiş geliştirme öğreticilerinden bir parça derledim. Büyük veri öğrenme grubu: 740041381 kurumsal öğrenmeyi bulabilir. Gelişmişlere ve katılmak için büyük verinin derinliklerine inmek isteyenlere hoş geldiniz.
1.2 Apache HBase
Apache HBase (Hadoop veritabanı), dağıtılmış ve ölçeklenebilir bir büyük veri deposudur. Veri bilimcileri, büyük verilere rastgele, gerçek zamanlı okuma / yazma erişimine ihtiyaç duyduklarında bu açık kaynak aracı kullanabilir.
2. Programlama dili
2.1 R
R, veri işleme ve grafik işleme için bir programlama dilidir ve veri bilimcileri ve analistleri tarafından kullanılan popüler bir araçtır. Veri bilimcilere göre R, öğrenmesi en kolay dillerden biridir çünkü kullanıcılar için çok sayıda paket ve kılavuz mevcuttur.
2.2 Python
Python, veri bilimcileri arasında yaygın olarak kullanılan bir başka dildir Okunabilirlik ve basitliğe odaklanan genel amaçlı bir programlama dilidir. Python'da veri işleme, makine öğrenimi ve görselleştirme için kullanılabilecek çok sayıda kod kitaplığı vardır.
* Veri biliminde yaygın olarak kullanılan kitaplıklar için makaleye bakın: https://mp.weixin.qq.com/s/dLrZWsqrZW7XqG6phS3R7g
2.3 Ölçek
Scala, Java platformunda çalışan genel amaçlı bir programlama dilidir. Büyük veri kümeleri için uygundur ve esas olarak Apache Spark ve Apache Kafka gibi büyük veri araçları için kullanılır. Bu işlevsel programlama stili, hızı ve daha yüksek üretkenliği beraberinde getirerek, giderek daha fazla şirketin onu veri bilimi araç setlerinin önemli bir parçası olarak yavaşça uyarlamasına yol açtı.
2.4 SQL
SQL, ilişkisel veritabanlarında depolanan veriler için özel bir programlama dilidir. SQL, daha temel veri analizi için kullanılır ve verileri düzenleme ve işleme veya bir veritabanından veri alma gibi görevleri gerçekleştirebilir. Veri bilimi araçları arasında, veritabanındaki verileri filtrelemek ve seçmek için en iyi araçlardan biridir.
2.5 Julia
Julia, teknik bilgi işlem için dinamik bir programlama dilidir. Yaygın olarak kullanılmaz, ancak esnekliği, tasarımı ve performansı nedeniyle, veri bilimi araçları arasında giderek daha popüler hale gelmektedir.
3. Veri Madenciliği
3.1 RapidMiner
RapidMiner, görselleştirme ve istatistiksel modelleme işlevlerine sahip bir tahmine dayalı analiz aracıdır. Yazılımın temeli, ücretsiz ve açık kaynak bir platform olan RapidMiner Studio'dur.
3.2 Veri Erime
Data Melt, gelişmiş matematiksel hesaplamalar, istatistiksel analiz ve veri madenciliği işlevlerine sahip matematiksel bir yazılımdır ve programlama dilleri ile desteklenebilir ve hatta kapsamlı bir eğitim kitaplığı içerir.
Ek olarak, Python ve R'de veri madenciliği için birçok kütüphane var, bu yüzden onları burada tekrar etmeyeceğim.
4. Makine öğrenimi
4.1 Weka
Weka, Waikato Üniversitesi tarafından Java ile yazılmış bir makine öğrenimi yazılımıdır. Veri madenciliği için kullanılır ve kullanıcıların büyük veri setlerini işlemesine izin verir. Weka'nın özelliklerinden bazıları ön işleme, sınıflandırma, regresyon, kümeleme, deneme, iş akışı ve görselleştirmeyi içerir.
4.2 TensorFlow
TensorFlow, programcıların arkasındaki bazı karmaşık ilkeleri anlamadan derin öğrenmeyi uygulamalarına olanak tanıyan sayısal hesaplamalar için bir yazılım kitaplığıdır ve binlerce şirketin derin öğrenmeyi uygulamasına yardımcı olan veri bilimi araçlarından biri olarak listelenmiştir. Bir.
4.2 Apache Mahout
Apache Mahout, ölçeklenebilir makine öğrenimi algoritmaları oluşturmak için bir ortamdır. Algoritma Hadoop'ta yazılmıştır. Mahout, üç ana makine öğrenimi görevi uygular: işbirliğine dayalı filtreleme, kümeleme ve sınıflandırma.
4.3 Turuncu
Orange, veri bilimini eğlenceli ve etkileşimli hale getirmeye adanmış, kullanıcıların verileri kodlamadan analiz etmesine ve görselleştirmesine olanak tanıyan ve ayrıca yeni başlayanlar için makine öğrenimi seçenekleri sunan basit bir veri bilimi aracıdır.
4.4 MLBase
MLBase, Berkeley California Üniversitesi AMP (Algoritmik Robotik) Laboratuvarı tarafından geliştirilen açık kaynaklı bir projedir. Bunun arkasındaki temel fikir, makine öğrenimini büyük ölçekli sorunlara uygulamak için basit bir çözüm sağlamaktır.
5. Veri görselleştirme
5.1 D3
5.2 Eksen
Veri bilimi araçları arasında Axiis, az bilinen bir veri görselleştirme çerçevesidir. Kullanıcıların, anlamlı ve özlü bir biçimde önceden oluşturulmuş bileşenleri kullanarak grafikler oluşturmasına ve verileri keşfetmesine olanak tanır.
İnternet teknolojisinin gelişimi hızla artıyor ve yapay zeka çağı geliyor. Bir sonraki trendi yakalayın. Yardım için İnternetten öğrenmek isteyen, ancak zaman ve kaynak yetersizliğinden vazgeçenler. En son büyük veri gelişmiş materyallerinden ve gelişmiş geliştirme öğreticilerinden bir parça derledim. Büyük veri öğrenme grubu: 740041381 kurumsal öğrenmeyi bulabilir. Gelişmişlere ve katılmak için büyük verinin derinliklerine inmek isteyenlere hoş geldiniz.
6. Diğer araçlar
6.1 Linux
Bash komut dosyası, bilgisayar bilimindeki en temel araçtır ve veri biliminin büyük bir kısmı programlama gerektirir. Paketleri, çerçeve yönetimini, ortam değişkenlerini, erişim yollarını ($ PATH) vb. İşlemek için bazı komut satırları kullanılmalıdır, bu nedenle Linux gereklidir .
6.2 Git
Ekipte kodlama yaparken ekip üyesi kod çakışmalarını çözmek, hataları düzeltmek ve güncellemek için git'i kullanabilirsiniz. Bir açık kaynağa veya özel depoya (Github gibi) kod gönderirken, kod testi için Coveralls ve benzerlerini ve ayrıca kodu üretime dağıtmaya yardımcı olan diğer çerçeveleri kullanabilirsiniz.
6.3 REST API'leri
REST API'leri, yerel eğitim modellerini ve mevcut programları sorunsuz bir şekilde birbirine bağlayabilir. Standart API'ler aracılığıyla arama yapmak veya kullanılabilir uygulamalar geliştirmek, veri bilimi modellerinin tahminlerde bulunmasına gerçekten olanak tanır. Bu aynı zamanda veri bilimindeki büyük rolüdür.
6.4 Docker ve Kubernetes
Docker, çalışanların her bir hizmet için üretim sunucularını merkezi olarak yapılandırmaya gerek kalmadan üretime hazır bir uygulama ortamına sahip olmalarına olanak tanır. Tam bir işletim sisteminin kurulmasını gerektiren sanal makinelerin aksine, docker kapsayıcıları ana bilgisayarla aynı çekirdek üzerinde çalışır ve çok daha hafiftir. Bazı gelişmiş makine öğrenimi kitaplıkları (Tensorflow gibi), belirli ana bilgisayarlarda sorun gidermenin zor olduğu özel yapılandırma gerektirir. Docker iyi bir seçimdir.
Kubernetes (K8s), birden çok ana bilgisayarda kapsayıcıya alınmış hizmetlerin ölçek yönetimi ve dağıtımı için bir platformdur. Esasen bu, docker container'larını çapraz düzey ölçeklenebilir bir küme aracılığıyla kolayca yönetebileceğiniz ve dağıtabileceğiniz anlamına gelir.
6.5 Apache Hava Akışı
Airflow, iş akışlarını programlı olarak oluşturmak, planlamak ve izlemek için yönlendirilmiş döngüsel olmayan grafiği (DAG) kullanabilen nispeten niş bir Python platformudur. İstediğiniz zaman Python veya bash komut dosyalarını kolayca kurmanıza ve kullanıcı dostu bir GUI'de zamanlama işlerini kontrol etmenize olanak tanır.
6.6 Elasticsearch
Elasticsearch aynı zamanda nispeten niş bir araçtır. Elastic, Python istemcisi aracılığıyla ihtiyacınız olan her şeyi rahatlıkla sağlar ve belgeleri hataya dayanıklı ve ölçeklenebilir bir şekilde kolayca indekslemenizi ve aramanızı sağlar. Ne kadar çok veriniz olursa, o kadar çok düğüm başlatır ve sorgu yürütme o kadar hızlı olur. Birçok işlevi vardır ve hatta çok dilli çözümleyiciler gibi özel eklentileri destekler.
6.7 Homebrew
Homebrew, Mac OS sistemi için bir araçtır ve paket yönetimi olmadan OS sisteminin kusurunu oluşturan, kutudan çıkar çıkmaz kullanılamayan işletim sistemi sisteminin terminal komutu aracılığıyla yüklenmesine yardımcı olabilir.
