2020'de en yüksek potansiyele sahip en iyi 44 açık kaynaklı proje
Kaynak: AI Developer
Bu makale yaklaşık olarak 7600 kelime , Okumanız tavsiye edilir 10 dakika
Bu makale, geliştiricilere çeşitli alanlarda ayrıntılı araçlar sağlar ve büyük potansiyele sahip 11 tür AI aracının bir listesini düzenler.
Eğer başarılı olmak istiyorsanız, önce araçlarınızı keskinleştirmelisiniz.Bu aynı zamanda çoğu geliştiricinin günlük işlerinde en önemli geliştirme ilkesidir. Geliştirme içeriğiyle eşleşen araçları seçmek, genellikle daha azıyla daha çok iş yapmamızı sağlar. Ancak yapay zekanın makine öğrenimi, derin öğrenme, NLP vb. Gibi birden çok alanı karşısında, çeşitli araçlar bazen bize seçenek bırakmaz.
Kısa bir süre önce, javascript tabanlı bir görselleştirme kitaplığı D3js (ağaç haritası görselleştirme), json dosyaları için teknik haritalar oluşturarak geliştiricilere çeşitli alanlarda, büyük potansiyele sahip 11 tür yapay zeka aracını kapsayan ayrıntılı bir araç listesi sağladı. Aşağıdaki gibi organize edilmiştir ve toplamanız şiddetle tavsiye edilir ~
Orijinal bağlantı:
https://github.com/haggaishachar/techmap
içindekiler:
. Klasik makine öğrenimi (1-3)
. Derin öğrenme (4-8)
. Yoğun öğrenme (9-12)
. Doğal dil işleme (13-18)
. Ses tanıma (19-21)
. Bilgisayarla Görme (22-26)
. Dağıtılmış eğitim (27-31)
, otomatik modelleme (32-35)
, IDEs sistemi (36-38)
. Platform (39-41)
Puanlama muhakeme sistemi (42-43)
I. Klasik makine öğrenimi için araçlar
1. SciKit-learn yıldızı 39.2k çatal 19.2k
scikit-learn, Python diline (https://scikit-learn.org/stable/) dayalı güçlü bir makine öğrenimi algoritması kitaplığıdır. Bunlar arasında, algoritma ön işleme, model parametre seçimi, regresyon ve sınıflandırma algoritmalarını içerir.Resmi belge her algoritmanın örneklerini içerir.Kod basit ve güzeldir ve her algoritmanın sonuçları görselleştirilir.Yani python öğrenebilir ve geliştiricilere yardımcı olabilirsiniz. Makine öğrenimi algoritmalarını daha iyi anlamak için kullanışlı bir araç.
Özellikle denetimli öğrenme bölümünde, Scikit-learn genelleştirilmiş doğrusal modeller, destek vektör makineleri, en yakın komşu algoritmalar, Gauss süreçleri, saf Bayes, karar ağaçları ve topluluk yöntemleri ve diğer algoritma eğitimleri sağlar.Ayrıca özellik seçimi ve rastgele gradyan inişini de sunar. Algoritmalar, doğrusal ve ikinci dereceden ayırt edici analiz, denetimli öğrenmede çok önemli kavramlardır.Yarı denetimli öğrenmede etiket yayma algoritmaları ve denetimsiz öğrenmede kümeleme ve boyut azaltma algoritmaları hakkında birçok öğretici de vardır.
GitHub adresi:
https://github.com/scikit-learn/scikit-learn
2. XGBoost star 18.3k çatal 7.3k
Xgboost'un tam adı, Gradient Boosting çerçevesi altında C ++ makine öğrenimi algoritmasını uygulayan eXtreme Gradient Boosting'dir.
XGBoost'un en büyük özelliği, CPU'nun çoklu iş parçacığını paralellik için otomatik olarak kullanabilmesi ve aynı zamanda doğruluğu artırmak için algoritmayı iyileştirmesidir. Güçlü ölçeklenebilirlik, yüksek verimlilik, esneklik ve taşınabilirlik ile optimize edilmiş dağıtılmış bir gradyan artırma kitaplığıdır.
GitHub adresi:
https://github.com/dmlc/xgboost
3. Accord.NET yıldız 3.7k çatal 1.7k
Accord.NET Framework, tamamen C # ( ile yazılmış ses ve görüntü işleme kitaplıklarını birleştiren bir .NET makine öğrenimi çerçevesidir.
Üretim düzeyinde bilgisayarla görme, bilgisayarla dinleme, sinyal işleme ve istatistiksel uygulamalar için ve hatta ticari amaçlar için eksiksiz bir çerçeve oluşturmak için kullanılabilir ve .NET uygulamaları için istatistiksel analiz, makine öğrenimi, görüntü işleme ve bilgisayarla görme ile ilgili algoritmalar sağlar. .
GitHub adresi:
https://github.com/accord-net/framework
II. Derin öğrenme araçları
TensorFlow 2019 ile ilgili veriler
Dördüncü, TensorFlow yıldızı 141k çatal 79.8k
TensorFlow, makine öğrenimi (https://tensorflow.org) için uçtan uca açık kaynaklı bir platform ve 2019'da GitHub'daki en popüler proje.
Kapsamlı ve esnek bir araçlar, kitaplıklar ve topluluk kaynakları ekosistemine sahiptir. Kararlı Python ve C ++ API'leri ve diğer diller için garanti edilmeyen geriye dönük uyumluluk API'leri sağlar; ML'nin araştırma ve geliştirilmesinde geliştiricilere yardımcı olabilir ve Geliştiricilerin ML destekli uygulamaları kolayca oluşturmasına ve dağıtmasına olanak tanıyın.
GitHub adresi:
https://github.com/tensorflow/tensorflow
5. PyTorch yıldızı 35.8k çatal 9k
TensorFlow'un güçlü bir rakibi olan PyTorch, aynı zamanda en yaygın derin öğrenme araçlarından biridir.
PyTorch, güçlü GPU hızlandırmalı tensör hesaplama (NumPy gibi) ve teyp otomatik ayarlama sistemine dayalı derin bir sinir ağı dahil olmak üzere iki gelişmiş işlev sağlayan açık kaynaklı bir makine öğrenimi çerçevesidir; prototiplerden araştırmayı hızlandırabilir Üretime dağıtım süreci.
Daha önce, OpenAI "PyTorch'a dönüşü" resmen duyurdu ve kendi platformunun tüm çerçevelerini PyTorch ile birleştirmeyi planlıyor, bu da PyTorch'un derin öğrenmedeki potansiyelini daha da gösteriyor.
GitHub adresi:
https://github.com/pytorch/pytorch
6. MXNET yıldız 18.4k çatal 6.5k
MXNet, en gelişmiş derin öğrenme modelini (https://mxnet.apache.org/) destekleyen, tamamen işlevsel, programlanabilir ve genişletilebilir bir derin öğrenme çerçevesidir.
MXNet, programlama modellerini (zorunlu ve bildirimsel) ve çok sayıda programlama dilinin (Python, C ++, R, Scala, Julia, Matlab ve JavaScript dahil) kodlarını karıştırma yeteneği sağlar. Kurulumu ve kullanımı kolay, açık kaynaklı bir derin öğrenme aracıdır. Geliştiricilerin hızlı bir şekilde sinir ağları oluşturmasına ve verimli eğitim yapmasına olanak tanıyan bir python arayüzü gluon sağlar.
GitHub adresi:
https://github.com/apache/incubator-mxnet
Yedi, Sonnet yıldızı 8.1k çatal 1.2k
Sonnet, DeepMind tarafından yayınlandı ve TensorFlow'da karmaşık sinir ağları oluşturmak için açık kaynaklı bir kütüphanedir.
Sonnet esas olarak DeepMind tarafından geliştirilen diğer modelleri paylaşmayı kolaylaştırmak için kullanılır.Sonnet, diğer dahili alt modüllerde modüller yazabilir veya yeni modüller oluştururken diğer modelleri parametre olarak geçirebilir; Aynı zamanda, Sonnet bu keyfi hiyerarşik yapıları işlemek için yardımcı programlar sağlar. Deneylerde farklı RNN'ler kullanmak için, tüm süreç sıkıcı kod yeniden yazımı gerektirmez.
GitHub adresi:
https://github.com/deepmind/sonnet
8. DL4J yıldız 11.5k çatal 4.8k
DL4J, java ve jvm ile yazılmış açık kaynaklı bir derin öğrenme kitaplığıdır ve çeşitli derin öğrenme modellerini destekler. DL4J'nin en önemli özelliği dağıtımı desteklemesi ve Spark ve Hadoop üzerinde çalışabilmesidir.Dağıtık CPU ve GPU işlemlerini destekler.Ayrıca Spark'ı birden fazla sunucu ve birden çok GPU üzerinde dağıtılmış derin öğrenme modeli eğitimi gerçekleştirmek için kullanabilir. Daha hızlı koş.
DL4J'nin temel özellikleri şunları içerir: DL4J'de sinir ağı eğitimi, küme yineleme ve paralel hesaplama yoluyla hesaplanır; tüm süreç Hadoop ve Spark mimarisi tarafından desteklenir; Java kullanımı, geliştiricilerin Android cihazların program geliştirme döngüsünde kullanmasına izin verir.
GitHub adresi:
https://github.com/eclipse/deeplearning4j
III. Pekiştirmeli öğrenmeye yönelik araçlar
Dokuz, Spor yıldızı 19.6k çatal 5.5k
Spor salonu, pekiştirmeli öğrenme algoritmalarını geliştirmek ve karşılaştırmak için bir araçtır (https://gym.openai.com/).
Ajan hakkında önceden bilgi gerektirmez ve ana geliştirme dili olarak python kullanır, böylece TensorFlow gibi derin öğrenme kitaplıkları ile kolayca geliştirilebilir ve entegre edilebilir ve öğrenme sonuçları ekranda sezgisel olarak görüntülenebilir. Gym kütüphanesi, takviye öğrenme algoritmalarını formüle etmek için kullanılabilecek birçok test sorusu (yani ortamlar) içerir.Bu ortamlar, ortak arayüzlere sahiptir ve genel algoritmaların yazılmasına izin verir.
GitHub adresi:
https://github.com/openai/gym
10. Dopamin yıldız 8.7k çatal 1.1k
Acemiler ve deneyimli pekiştirmeli öğrenim araştırmacıları için esneklik, kararlılık ve tekrarlanabilirlik ile yeni araçlar sağlamak üzere tasarlanmış Tensorflow tabanlı bir çerçeve.
Çerçeve, beyindeki ödül-motivasyon davranışının ana bileşeni olan ve sinirbilim ile pekiştirmeli öğrenme araştırması arasındaki güçlü tarihsel bağlantıyı yansıtan ve pekiştirmeli öğrenme algoritmalarının hızlı prototiplenmesi için bir araştırma çerçevesi olan "dopamin reseptöründen" esinlenmiştir.
GitHub adresi:
https://github.com/google/dopamine
11. ReAgent yıldız 2.4k çatal 312
Facebook, muhakeme sistemleri (pekiştirmeli öğrenme, bağlam yönetimi, vb.) İçin karar verme muhakeme sistemleri oluşturmak için uçtan uca modüler bir platform başlattı ve bu, akıl yürütme modellerinin oluşturulmasını önemli ölçüde basitleştirebilir.
ReAgent üç bölümden oluşur: kararlar oluşturan ve karar geri bildirimi alan bir model, dağıtımdan önce yeni modelin performansını değerlendiren bir modül ve hızlı yinelemeli hizmet platformu. Aynı zamanda ReAgent, AI tabanlı muhakeme sistemleri oluşturmak için en kapsamlı ve modüler açık kaynak platformudur ve ilgili karar verme sistemlerinin dağıtımını hızlandıracak strateji değerlendirmesini içeren ilk platformdur.
GitHub adresi:
https://github.com/facebookresearch/ReAgent
12. Tensorlayer yıldızı 5.9k çatal 1.3k
Bu, bilim adamları için bir derin öğrenme ve pekiştirmeli öğrenme kitaplığıdır. TensorLayer, aşağıdan yukarıya doğru üç modüle ayrılabilir: sinir ağı modülü, iş akışı modülü ve uygulama modülü.
Keras ve Pytorch ile karşılaştırıldığında TensorLayer, sinir ağı modüllerinin soyut tasarımını iyileştirirken, mevcut katmanları kullanma ve yeni katmanlar geliştirme iş yükünü azaltır.
GitHub adresi:
https://github.com/tensorlayer/tensorlayer
IV. Doğal dil işlemeye uygun araçlar
13. BERT yıldızı 21.3k çatal 5.8k
BERT, iki yönlü bir Transformer'a dayanan büyük ölçekli bir eğitim öncesi dil modelidir.Belirli makine öğrenimi görevlerinde ince ayar yapmak için kullanılabilecek bir dil temsilini öğrenmek için büyük miktarda etiketlenmemiş metin verisini önceden eğitmek için kullanılır.
BERT, NLP alanında bir kilometre taşı olarak bilinir; şu anda, BERT aynı zamanda NLP derin öğrenmenin önemli bir parçasıdır ve sonraki birçok doğal dil işleme modeli bu temelde optimize edilir ve geliştirilir.
GitHub adresi:
https://github.com/google-research/bert
14. Transformers yıldız 21.7k çatal 4.8k
Transformatörler, nöral makine çevirisinde kullanılan bir tür sinir ağıdır. Esas olarak girdi dizilerini çıktı dizilerine dönüştürme görevlerini içerir. Bu görevler arasında konuşma tanıma ve metin-konuşma yer alır.
Bu tür bir görev "bellek" gerektirir ve sonraki cümle, önemli bilgileri kaybetmemek için önceki cümlenin bağlamıyla ilgili olmalıdır (bu oldukça kritiktir). Kullanılan kelimelere dikkat edilerek, RNN veya CNN'nin cümle çok uzun olduğunda bağlamı ve içeriği izleyememesi sorunu çözülebilir.
GitHub adresi:
https://github.com/huggingface/transformers
15. AllenNLP yıldız 8k çatal 1.7k
Doğal dili anlamak için derin öğrenmeyi kullanan PyTorch tabanlı bir NLP araştırma kütüphanesi. Düşük seviyeli ayrıntıları işleyerek ve yüksek kaliteli referans uygulamaları sağlayarak, araştırmacıların yeni dil anlama modelleri oluşturmasına kolay ve hızlı bir şekilde yardımcı olabilir.
AllenNLP, yeni derin öğrenme modellerini tasarlamayı ve değerlendirmeyi kolaylaştırır.Neredeyse tüm NLP problemleri için uygundur.Bazı temel bileşenleri kullanarak, modeli bulutta veya kendi dizüstü bilgisayarınızda kolayca çalıştırabilirsiniz.
GitHub adresi:
https://github.com/allenai/allennlp
16. flair yıldız 8.1k çatal 1k
Adlandırılmış varlık tanıma (NER), konuşma bölümü etiketleme (PoS), kelime anlamındaki belirsizliği giderme ve sınıflandırma gibi mevcut en iyi doğal dil işleme (NLP) modellerinin metne uygulanmasına olanak tanıyan kullanımı kolay bir Python NLP kitaplığı.
Flair, Pytorch'un NLP çerçevesine dayanmaktadır. Arayüzü nispeten basittir ve kullanıcıların Flair gömme, BERT gömme ve ELMo gömme dahil olmak üzere farklı kelime yerleştirmeleri ve belge yerleştirmelerini kullanmalarına ve birleştirmelerine olanak tanır.
GitHub adresi:
https://github.com/flairNLP/flair
17. spaCy yıldız 15.7k çatal 2.8k
Bu, endüstriyel güçte bir Python doğal dil işleme araç setidir.
Python'da en yaygın kullanılan endüstriyel düzeyde doğal dil kitaplıklarından biri haline gelmiştir. Mevcut en iyi doğruluğu ve verimliliği sağlar ve aktif bir açık kaynak topluluğu tarafından desteklenir.
GitHub adresi:
https://github.com/explosion/spaCy
18. fastText yıldızı 20.5k çatal 3,9k
FastText, Facebook Yapay Zeka Araştırma Laboratuvarı'nın (FAIR) açık kaynak kodlu bir metin işleme kitaplığıdır.Etkili metin sınıflandırması ve temsil öğrenimi için metin sınıflandırmasına ve yabancı metin temsiline adanmış bir kütüphanedir.
FastText'in özü, kelimelerin sırasına bakılmaksızın "kelime torbası" yöntemini kullanmaktır; ancak bu, doğrusal değildir, ancak zaman karmaşıklığını logaritmik düzeye indirmek için hiyerarşik bir sınıflandırıcı kullanır ve daha fazla sayıda kategori ile çok sayıda Veri setinde daha verimli.
GitHub adresi:
https://github.com/facebookresearch/fastText
V. Konuşma tanıma araçları
19. Kaldi yıldızı 8.2k çatal 3.7k
Kaldi şu anda konuşma tanıma uygulamaları geliştirmek için yaygın olarak kullanılan bir çerçevedir.
Konuşma tanıma araç seti C ++ ile yazılmıştır.Araştırmacılar ve geliştiriciler Kaldi'yi bir konuşma tanıma sinir ağı modeli eğitmek için kullanabilirler, ancak eğitimli modelin bir mobil cihaza dağıtılması gerekiyorsa, genellikle çok sayıda taşıma ve geliştirme çalışması gerekir.
GitHub adresi:
https://github.com/kaldi-asr/kaldi
Yirmi, DeepSpeech yıldızı 13k çatal 2.4k
DeepSpeech, Baidu'nun derin konuşma araştırma belgelerine dayanan makine öğrenimi teknolojisi kullanılarak eğitilmiş bir model olan açık kaynaklı bir konuşmadan metne motorudur. Bunların arasında proje, uygulama sürecini basitleştirmek için Google'ın TensorFlow'unu kullandı.
GitHub adresi:
https://github.com/mozilla/DeepSpeech
21. wav2letter yıldızı 4.8k çatal 770
Bu, Facebook Yapay Zeka Araştırma Enstitüsü tarafından yayınlanan ilk tam evrişimli otomatik konuşma tanıma araç setidir ve basit ve verimli uçtan uca otomatik konuşma tanıma (ASR) sistemidir.
Wav2letter'ın temel tasarımı, aşağıdakileri içeren üç temel ilkeye dayanmaktadır: binlerce saatlik konuşma veri setlerinde verimli model eğitimi elde etme; yeni ağ mimarilerine, kayıp işlevlerine ve diğer konuşma tanıma sistemlerine bağlanabilen basit ve ölçeklenebilir modeller Temel işlemler ve konuşma tanıma modelinin araştırmadan üretim dağıtımına geçişini kolaylaştırın.
GitHub adresi:
https://github.com/facebookresearch/wav2letter
VI. Bilgisayar görüşü için araçlar
22. YOLO yıldız 16.2k çatal 10.4k
YOLO, görüntü algılama problemlerini çözmek için derin öğrenme alanındaki en gelişmiş gerçek zamanlı sistemdir. Algılama sürecinde, YOLO önce görüntüyü belirtilen sınırlayıcı kutulara böler ve ardından nesnenin kategorisini belirlemek için tanıma algoritmasını tüm sınırlayıcı kutularda paralel olarak çalıştırır. Kategoriyi belirledikten sonra YOLO, nesnenin etrafında optimal bir sınırlayıcı kutu oluşturmak için bu sınırlayıcı kutuları akıllıca birleştirir.
Bu adımların tümü paralel olarak gerçekleştirilir, böylece YOLO gerçek zamanlı olarak çalışabilir ve saniyede 40 görüntüye kadar işleyebilir. Resmi web sitesine göre, Pascal Titan X'te, görüntüleri 30 FPS hızında işler ve COCO test geliştirmedeki mAP% 57.9'dur.
GitHub adresi:
https://github.com/allanzelener/YAD2K
Yirmi üç, OpenCV yıldızı 41.9k çatal 32.4k
OpenCV, CV alanındaki geliştiriciler ve araştırmacılar için önemli bir araç seti olarak bilinen Intel'in açık kaynaklı çapraz platform bilgisayar görüşü kitaplığıdır (https://opencv.org).
Bu, görüntü ön işlemeden ön eğitim model çağrılarına kadar çok sayıda görüntü API'si içeren bir kitaplık kümesidir ve görüntü tanıma, nesne algılama, görüntü bölümleme ve yaya yeniden tanıma gibi ana görüş görevlerini gerçekleştirebilir. En dikkate değer özelliği, eksiksiz bir süreç araçları seti sağlamasıdır, böylece geliştiriciler, her modelin ilkelerini anlamadan görsel görevler oluşturmak için API'yi kullanabilir. C ++, Python ve Java arayüzlerine sahiptir ve Windows, Linux, Mac OS, iOS ve Android sistemlerini destekler.
GitHub adresi:
https://github.com/opencv/opencv
Yirmi dört, Detectron2 yıldız 7.7k çatal 1.4k
Detectron2, PyTorch 1.3'teki önemli bir yeni araçtır. Maskrcnn kıyaslamasından türetilmiştir ve ayrıca detektörün önceki sürümünün tamamen yeniden yazılmasıdır.
Detectron2, yeni bir modüler tasarım sayesinde daha esnek ve genişletilmesi daha kolay hale geldi. Tekli veya çoklu GPU sunucularında daha hızlı eğitim hızları sağlayabilir, daha fazla esneklik ve ölçeklenebilirlik içerir ve bakım kolaylığı sağlar Ve üretimdeki kullanım durumlarını desteklemek için ölçeklenebilirlik.
GitHub adresi:
https://github.com/facebookresearch/detectron2
25. OpenPose yıldızı 15.9k çatal 4.7k
OpenPose İnsan Pozu Tanıma Projesi, Carnegie Mellon Üniversitesi (CMU) tarafından evrişimli sinir ağlarına ve çerçeve olarak caffe ile denetimli öğrenmeye dayalı olarak geliştirilen açık kaynaklı bir kütüphanedir.
İnsan vücut hareketlerinin, yüz ifadelerinin ve parmak hareketlerinin duruş tahminini gerçekleştirebilir. Tekli ve çoklu kişiler için uygundur ve mükemmel bir sağlamlığa sahiptir. Derin öğrenmeye dayalı dünyanın ilk gerçek zamanlı çok kişili iki boyutlu poz tahmin uygulamasıdır. Eylem koleksiyonu, 3D yerleştirme, boyama yardımı vb. Gibi birçok insan poz tahmini örneği buna dayanmaktadır.
GitHub adresi:
https://github.com/CMU-Perceptual-Computing-Lab/openpose
26. Facenet yıldız 10k çatal 4.1k
FaceNet, görüntüleri Öklid uzayına eşlemeyi öğrenmek için derin bir evrişimli sinir ağı (CNN) kullanır ve aynı zamanda genel bir yüz tanıma sistemi olarak da bilinir.
Sistem, yüzü doğrulamak için yüz tanıma sistemini eğitmek için kullanılabilen, yüz düğünleri adı verilen yüzden yüksek kaliteli özellikler çıkarabilir. LFW veri setinde% 99.63 ve YouTube Faces DB veri setinde% 95.12 doğruluk oranına sahiptir.
GitHub adresi:
https://github.com/davidsandberg/facenet
VII. Dağıtılmış eğitim için araçlar
27. Spark MLlib yıldızı 25.1k çatal 21.1k
Spark, açık kaynaklı bir küme bilgi işlem çerçevesidir ve büyük veri alanındaki en popüler açık kaynaklı yazılımlardan biridir (https://spark.apache.org/mllib/)
Spark, bellek içi bilgi işlem teknolojisini kullandığından, bellekteki bilgi işlem hızı Hadoop MapReduce'tan 100 kat daha hızlıdır; bu, Spark MLlib dağıtılmış bilgi işlem çerçevesini çok verimli ve hızlı hale getirir. Kümeleme, sınıflandırma, regresyon ve diğer algoritmalar gibi çoğu makine öğrenimini uygulayabilir ve verilerin küme belleğine yüklenmesine ve birçok kez sorgulanmasına izin verir, bu nedenle makine öğrenimi algoritmaları için çok uygundur.
GitHub adresi:
https://github.com/apache/spark
28. Mahout yıldızı 1.8k çatal 930
Mahout, ölçeklenebilir yüksek performanslı makine öğrenimi uygulamalarını hızlı bir şekilde oluşturmak için dağıtılmış bir doğrusal cebir çerçevesidir (
Mahout çerçevesi uzun süredir Hadoop'a bağlı, ancak algoritmalarının çoğu Hadoop'un dışında da çalışabilir. Birden fazla algoritmanın dağıtılmış Spark kümelerinde çalışmasına izin verir ve CPU ve GPU işlemini destekler.
GitHub adresi:
https://github.com/apache/mahout
Yirmi dokuz, Horovod yıldızı 8.5k çatal 1.3k
Bu, dağıtılmış derin öğrenmeyi hızlı ve kullanımı kolay hale getirebilen, Uber tarafından açık kaynaklı birden fazla makineye dağıtılmış derin öğrenmeye yönelik bir TensorFlow eğitim çerçevesidir.
Raporlara göre Horovod, geliştiricilerin sadece birkaç satır kodla görevleri tamamlamasına izin veriyor. Bu sadece ilk değişiklik sürecini hızlandırmakla kalmaz, aynı zamanda hata ayıklamayı daha da basitleştirir. Derin öğrenme projelerinin oldukça yinelemeli doğası göz önüne alındığında, bu da çok zaman kazandırabilir. Ek olarak, aynı zamanda yüksek seviyeli API'leri kullanmak ve kendi özel operatörlerinizi uygulamak için NVIDIA'nın CUDA araç setini kullanmak gibi yüksek performansı ve düşük seviyeli model detaylarını tamir etme yeteneğini de birleştirir.
GitHub adresi:
https://github.com/horovod/horovod
30. Dask yıldızı 6.2k çatal 994
Geliştiricilerin birden fazla çekirdeğe paralel olması gerektiğinde, Dask, hesaplamayı birden çok çekirdeğe ve hatta birden çok makineye genişletmek için kullanılabilir.
Dask, ana belleğe konulamayan veri kümeleri üzerinde paralel olarak çalışabilen NumPy Dizileri, Pandas Veri Çerçeveleri ve normal listelerin soyutlamalarını sağlar. Büyük veri kümeleri için, Dask'ın gelişmiş koleksiyonları NumPy ve Pandas'a bir alternatiftir.
GitHub adresi:
https://github.com/dask/dask
31. Ray star 10.3k çatal 1.5k
Ray, yüksek performanslı bir dağıtılmış yürütme çerçevesidir.Geleneksel dağıtılmış hesaplama sistemlerinden farklı bir mimari ve dağıtılmış uygulamaları hızlı ve kolay bir şekilde oluşturmak ve çalıştırmak için dağıtılmış bilgi işlem için bir soyutlama yöntemi kullanır.
Ray, tipik bir Master-Slave'e göre tasarlanmıştır. Bunların arasında Master, küresel koordinasyon ve durum bakımından sorumludur ve Slave, dağıtılmış bilgi işlem görevlerini gerçekleştirir. Bununla birlikte, geleneksel dağıtılmış hesaplama sistemlerinden farklı olarak Ray, daha güçlü performansa sahip olan karma görev zamanlaması fikrini kullanır.
GitHub adresi:
https://github.com/ray-project/ray
VIII. Otomatik modelleme için araçlar
32. TPOT yıldız 6.7k çatal 1.2k
TPOT, özellik seçimi ve algoritma modeli seçimini gerçekleştirmek için genetik algoritmalar kullanan Python'da yazılmış bir yazılım paketidir.Tam makine öğrenimi kodunu oluşturmak için yalnızca birkaç satır kod gereklidir.
Makine öğrenimi modeli geliştirme diyagramında, TPOT'un gerçekleştirdiği şey, modellerin ve parametrelerin en iyi kombinasyonunu bulmak için binlerce olası kombinasyonu analiz etmek için genetik algoritmaları kullanmak ve böylece makine öğreniminin model seçimini ve parametre ayarlama kısmını otomatik hale getirmektir.
GitHub adresi:
https://github.com/EpistasisLab/tpot
Otuz üç, AutoKeras yıldız 6.6k çatal 1.1k
Verimli bir sinir mimarisi araması kullanır (ENAS, https://arxiv.org/abs/1802.03268), yazılım paketini hızlı ve kolay bir şekilde kurmak için pip install autokeras kullanın ve ardından kendi veri setinizi kullanarak kendi veri setinizi kullanabilirsiniz. Mimari arama inşaat fikirleri.
Google AutoML ile karşılaştırıldığında, iki yapı fikri benzerdir, ancak fark, tüm AutoKeras kodunun açık kaynak olması ve geliştiriciler tarafından ücretsiz olarak kullanılabilmesidir.
GitHub adresi:
https://github.com/keras-team/autokeras
34. Featuretools star 4.6k çatal 602
Bu, otomatik özellik mühendisliği için açık kaynaklı bir python çerçevesidir (https://www.featuretools.com/).
Geliştiricilerin bir dizi ilgili veri tablosundan özellikleri otomatik olarak oluşturmasına yardımcı olabilir. Geliştiricilerin yalnızca veri tablosunun temel yapısını ve bunlar arasındaki ilişkiyi bilmeleri ve ardından bunu varlık kümesinde (bir veri yapısı) belirtmeleri gerekir. Ardından, varlık setine sahip olduktan sonra, tek bir işlev çağrısında binlerce özellik oluşturmak için Derin Özellik Sentezi (DFS) adlı bir yöntem kullanılır.
GitHub adresi:
https://github.com/FeatureLabs/featuretools
35. NNI yıldız 5.3k çatal 683
NNI, Microsoft tarafından yayınlanan sinir ağı hiperparametre ayarı için açık kaynaklı bir AutoML araç takımıdır ve aynı zamanda en popüler AutoML açık kaynak projelerinden biridir.
NNI'nin en son sürümü, makine öğrenimi yaşam döngüsünün tüm yönleri için daha kapsamlı destek sağlar: özellik mühendisliği, sinir ağı mimarisi araması (NAS), hiperparametre ayarlama ve model sıkıştırma. Geliştiriciler, otomatik makine öğrenimi algoritmalarını kullanarak Bitti, geliştirici bile kolayca başlayabilir.
GitHub adresi:
https://github.com/microsoft/nni
36. AdaNet yıldız 3k çatal 443
AdaNet, Google tarafından açık kaynaklı hafif TensorFlow tabanlı bir çerçevedir (https://adanet.readthedocs.io
/en/v0.8.0/).
AdaNet'in kullanımı kolaydır ve yüksek kaliteli modeller oluşturabilir, bu da makine öğrenimi uygulayıcılarına en iyi sinir ağı mimarisini seçme zamanından tasarruf sağlar ve öğrenen sinir mimarisini bir alt ağlar koleksiyonu olarak kullanan uyarlanabilir bir algoritma uygular.
GitHub adresi:
https://github.com/tensorflow/adanet
IX. IDEs sistemi
37, Jupyter yıldızı 9.3k çatal 2.2k
Jupyter, düzinelerce programlama dilinde etkileşimli hesaplamayı kapsayan bir web uygulamasıdır.
Kullanıcıların açıklayıcı metinleri, matematiksel denklemleri, kodları ve görsel içeriği, araştırma ve öğretim için çok uygun olan, paylaşılması kolay tek bir belgede birleştirmesine olanak tanır. Veri madenciliği platformu Kaggle'da, Python kullanan çoğu veri geliştiricisi, analiz ve modelleme sürecini uygulamak için jupyter'i seçer.
GitHub adresi:
https://github.com/jupyter/jupyter
38. Spyder yıldızı 5.1k çatal 1k
Spyder, bilimsel bilgi işlem için Python programlama dilini kullanan entegre bir geliştirme ortamıdır (IDE).
Kapsamlı bir geliştirme aracının gelişmiş düzenleme, analiz ve hata ayıklama işlevlerinin yanı sıra veri keşfi, etkileşimli yürütme, derinlemesine inceleme ve bilimsel paketlerin görselleştirme işlevlerini bir araya getirir ve aynı zamanda yeni başlayanlar için çok dostudur.
GitHub adresi:
https://github.com/spyder-ide/spyder
Otuz dokuz, Zeppelin yıldızı 4.6k çatal 2.2k
Zeppelin, web tabanlı etkileşimli bir veri analizi platformudur. Spark kümesini varsayılan olarak analiz motoru olarak kullanan, veri görselleştirme çerçevesi sağlayan ve veri odaklı etkileşimli veri analizini destekleyen web tabanlı bir dizüstü bilgisayardır.
Yapılandırma yoluyla, SQL, Python, R vb. Dahil olmak üzere birden çok veri analizi dilini destekler, veritabanı sorgusu, dinamik grafik görüntüsü ve haritalar gibi veri görselleştirme yetenekleri sağlar ve kodu ve analiz sonuçlarını Defter biçiminde kaydedip dağıtabilir.
GitHub adresi:
https://github.com/apache/zeppelin
X. Platform
Kırk, H2O yıldız 4.6k çatal 1.7k
H2O, H2O.ai'nin tamamen açık kaynaklı dağıtılmış hafızalı makine öğrenimi platformudur. H2O, hem R hem de Python'u destekler ve gradyan artırma (Gradient Boosting) makineleri, genelleştirilmiş doğrusal modeller, derin öğrenme modelleri vb. Dahil olmak üzere en yaygın kullanılan istatistikleri ve makine öğrenimi algoritmalarını destekler.
H2O, boru hatları oluşturmak için kendi algoritmalarını kullanan otomatik bir makine öğrenimi modülü içerir. İşlem hattını optimize etmek için özellik mühendisliği yöntemleri ve model hiperparametreleri için kapsamlı bir arama kullanır. H2O, özellik mühendisliği, model doğrulama, model ayarlama, model seçimi ve model dağıtımı gibi en karmaşık veri bilimi ve makine öğrenimi görevlerinden bazılarını otomatikleştirir. Ek olarak, otomatik görselleştirme ve makine öğrenimi yorumlama yetenekleri (MLI) de sağlar.
GitHub adresi:
https://github.com/h2oai/h2o-3
Kırk bir, MLflow yıldızı 5.9k çatal 1.2k
MLflow, makine öğrenimi yaşam döngüsü için açık kaynaklı bir platformdur, açık arabirim, REST API ve basit veri formatına dayalı herhangi bir makine öğrenimi kitaplığı, algoritma, dağıtım aracı veya programlama dili ile kullanılabilir. Kullanıcıların ve makine öğrenimi kitaplığı geliştiricilerinin onu genişletmesine izin veren açık kaynaklı bir projedir.
MLflow artık üç bileşen sağlayan bir alfa sürümüdür: izleme, proje ve model. MLflow'un izleme bileşeni, değerlendirme metrikleri ve parametreleri gibi deneysel verilerin kaydedilmesini ve sorgulanmasını destekler. MLflow proje bileşeni, tekrar tekrar çalıştırılabilen basit bir paketleme formatı sağlar. Son olarak, MLflow'un model bileşeni, modelleri yönetmek ve dağıtmak için araçlar sağlar.
GitHub adresi:
https://github.com/mlflow/mlflow
42. Kubeflow yıldızı 8.3k çatal 1.3k
Kubeflow projesi, Kubernetes üzerinde makine öğrenimini kolay, kullanışlı ve ölçeklenebilir hale getirmeyi amaçlamaktadır. Amacı, diğer hizmetleri yeniden oluşturmak değil, en iyi OSS çözümünü bulmanın kolay bir yolunu sağlamaktır. Dağıtılmış eğitim görevleri için destek.
Etkileşimli Jupyter dizüstü bilgisayarları oluşturmak ve yönetmek için kullanılan JupyterHub, CPU veya GPU kullanacak şekilde yapılandırılabilir ve tek bir ayarla tek bir kümenin boyutuna ayarlanabilir.Tensorflow Eğitim Denetleyicisi, TF Sunma kabı için kullanılır
GitHub adresi:
https://github.com/kubeflow/kubeflow
XI. Puanlama Muhakeme Sistemi
43. ONNX yıldız 7.8k çatal 1.3k
ONNX, eğitilmiş modelleri saklamak üzere makine öğrenimi için tasarlanmış açık bir dosya formatıdır. Farklı yapay zeka çerçevelerinin (Pytorch, MXNet gibi) model verilerini aynı formatta depolamasına ve etkileşime girmesine izin verir. ONNX'in teknik özellikleri ve kodları esas olarak Microsoft, Amazon, Facebook ve IBM gibi şirketler tarafından ortaklaşa geliştirilir ve Github'da açık kaynak olarak barındırılır.
Şu anda, ONNX modellerinin yüklenmesini ve çıkarımını destekleyen resmi derin öğrenme çerçeveleri şunlardır: Caffe2, PyTorch, MXNet, ML.NET, TensorRT ve Microsoft CNTK ve TensorFlow ayrıca ONNX'i gayri resmi olarak destekler.
GitHub adresi:
https://github.com/onnx/onnx
44. Seldon yıldız 1.4k çatal 296
Açık kaynak makine öğrenimi dağıtım platformu Seldon Core, makine öğrenimi modellerinin Kubernetes üzerinde konuşlandırılmasına olanak tanır. Seldon Core'un amacı, araştırmacıların herhangi bir araç setinde veya programlama dilinde makine öğrenimi modelleri oluşturmasına izin vermektir.
Bu aşamada araç, Python tabanlı TensorFlow, Sklearn ve Spark, H2O ve R gibi tanınmış modelleri içeren modelleri destekler. Ayrıca Seldon Core, makine öğrenimi modellerinin REST ve gRPC'yi desteklemesine izin vererek kullanıcıların ilgili kurumsal uygulamaları daha kolay entegre etmesine olanak tanır.
GitHub adresi:
https://github.com/SeldonIO/seldon-core
Editör: Yu Tengkai
Redaksiyon: Lin Yilin
-Bitiş-
Tsinghua-Qingdao Veri Bilimi Enstitüsü'nün resmi WeChat kamu platformunu takip edin " THU Veri Pastası "Ve kız kardeş numarası" Veri Pastası THU "Daha fazla ders avantajı ve kaliteli içerik elde edin.
