"Makine öğrenimini kullanmak hala zor!"
Makine öğrenimini kullanmak hala zor, ancak işler gelişmeye başlıyor.
Yazar | Caleb Kaiser
Çevirmen | Champagne Supernova, Baş Editör | Guo Rui
Üretildi | CSDN (ID: CSDNnews)
Aşağıdaki çeviridir:
Üretimde modelleri dağıtmak için açık kaynaklı bir platform olan Cortex katılımcısıyım. Öncelikle aşağıdaki içeriğin bazı makine öğrenimi ekipleri hakkındaki gözlemlerime dayandığı ve sektöre dair akademik bir anket olmadığı belirtiliyor.
Veritabanı gibi yazılım endüstrisinde her yerde bulunan bir şeyin örneğini kullanın. Bir veritabanı oluşturmak ne demektir? Bir Postgres katılımcısı için "bir veritabanı oluşturmak", bir milyon satırlık C kodu gibidir. Bir Rails geliştiricisi için bu sadece bir rake db: create cümlesi gibi görünüyor.
Açıkçası, her ikisi de doğrudur, ancak farklı soyutlama düzeylerini temsil ederler ve farklı mühendislerin farklı odaklarına uygulanırlar.
Yazılım kendini böyle oluşturur. Modern uygulamalara güç veren temel yazılım - veritabanları, web sunucuları, istek yönlendiricileri, karma kitaplıkları, vb. - onları profesyonel olmayanlar tarafından erişilebilir kılan soyutlama katmanları nedeniyle büyük ölçüde yaygınlaşmıştır. .
Makine öğrenimi, benimseme oranını sınırlayan bu soyutlama katmanından tarihsel olarak yoksundu. Ama şimdi durum değişiyor. Makine öğreniminin uygulanmasını kolaylaştırmaya adanmış yeni bir proje dalgası ortaya çıkıyor.
Model, geliştiriciler için daha kullanıcı dostu bir arayüze ihtiyaç duyar
Makine öğrenimini bir üretim ortamında uygulamak için şunlara ihtiyacınız vardır:
-
Tasarım modellerinde uzmanlık
-
Modelinizi eğitmek için yeterli veri ve fon
-
Makine öğrenimi altyapı bilgisi (dağıtım modeli için)
Bunun sonucu, makine öğrenimi kullanan herhangi bir projenin birkaç uzman tarafından ele alınması gerektiğidir. Bu darboğazın acilen ortadan kaldırılması gerekiyor.
Makine öğrenimi konusunda hiçbir geçmişi olmayan geliştiriciler, üretimde makine öğrenimini kullanabilmelidir, tıpkı bir geliştiricinin kriptografi konusunda bir geçmişi olmayabilir, ancak yine de kullanıcı verilerini korumak için karma kitaplıklarını kullanabilir.
Neyse ki, bu nihayet olacak.
Makine öğrenimi soyutlamasının eksikliğini telafi edin
ML uygulamasını popüler hale getirmek için, geliştiricilerin makine öğrenimi konusunda yüksek düzeyde bir anlayışa sahip olması gerekir - model nedir, ince ayar, çıkarım vb. - ve mevcut soyutlamalar aracılığıyla uygulamalar geliştirmelidir.
Gerekli birçok soyutlama halihazırda araştırma aşamasındadır ve birkaç temel odak alanına aittir:
1. Modeli eğitmek için daha basit bir yola ihtiyacımız var
Gerçek şu ki, makine öğreniminin uygulandığı birçok kullanım durumu için sıfırdan yeni bir model eğitmeye gerek yoktur.
Örneğin, konuşmaya dayalı bir proxy geliştiriyorsanız, Google'ın Meena'nın sizin modelinizden daha iyi performans göstereceği neredeyse kesindir. Bir metin oluşturucu geliştiriyorsanız, kendiniz oluşturmak yerine OpenAI'nin GPT-2'sini kullanmalısınız. Nesne algılama için YOLOv3 gibi bir model en iyi seçiminiz olabilir.
Transfer öğrenimi sayesinde (bir sinir ağının "bilgisinin" yeni bir alana ince ayarlanması süreci), görece az veriyle görevlerinize göre bu yeni açık kaynak modellerinde ince ayar yapabilirsiniz.
Örneğin, gpt-2-simple gibi yeni bir kitaplıkla, GPT-2'de ince ayar yapmak için basit bir komut satırı arayüzü kullanabilirsiniz:
$ gpt_2_simple finetune your_custom_data.txtBu soyutlama katmanıyla, geliştiricilerin makine öğrenimi uzmanlığı hakkında derinlemesine bir anlayışa sahip olmaları gerekmez, yalnızca ince ayar yapmayı bilmeleri gerekir.
Ve mevcut eğitim soyutlaması gpt-2-simple'dan çok daha fazlasıdır. Google Cloud AutoML, kullanıcılara kendi veri kümelerini seçmelerine ve kod yazmadan yeni bir modeli otomatik olarak eğitmelerine olanak tanıyan bir GUI (Grafik Kullanıcı Arayüzü) sağlar:
Kaynak: Google Cloud Vision
Sundar Pichai, AutoML ile ilgili bir makalede şunları söyledi: Bugün yeni sinir ağları tasarlamak için birkaç doktora toplamamız gerekiyor ve umuyoruz ki üç ila beş yıl içinde AutoML binlerce geliştiricinin kendilerine yardım etmesini sağlayacaktır. Özel ihtiyaçlar için yeni bir sinir ağı tasarlayın. "
2. Modelden tahmin üretme süreci basit olmalıdır
Tamam, belirli göreviniz için kolayca eğitimli bir model alabilirseniz. Bu modele dayalı olarak nasıl tahminler üretiyorsunuz?
Birçoğu popüler makine öğrenimi çerçeveleriyle ilgili olan model hizmet işlevleri sağlayabilen birçok proje vardır. Örneğin, TensorFlow'da TF Sunumu ve ONNX'te ONNX Çalışma Zamanı vardır.
Teknoloji devlerinin yanı sıra, bu sorunu çözmeye odaklanan birçok bağımsız açık kaynak projesi var. Örneğin, Bert Extractive Summarizer projesi Google'ın BERT kullanarak metin özetleri çıkarma sürecini kolaylaştırabilir. Aşağıda belgelerden bir örnek verilmiştir:
özetleyiciden içe aktarım Özetleyici body = 'BERT ile özetlemek istediğiniz metin gövdesi'body2 =' BERT ile özetlemek istediğiniz başka bir şey'model = Özetmodel (gövde) modeli (gövde2)Tahminler oluşturmak için bu kitaplığı kullanma işlemi, bir import deyimi kullanmak ve Summarizer'ı bir kez çağırmak kadar basittir.
Bu tür projeler gittikçe daha fazla başlatıldıkça ve geliştirildikçe, geliştiriciler, modeli çok fazla anlamak zorunda kalmadan daha kolay tahminler oluşturmak için modeli kullanabilir.
3. Modelin konuşlandırılması basit olmalıdır
Son darboğaz, altyapıdır.
Bir oyuncak uygulaması için tahminler sağlamak basit ve anlaşılırdır, ancak programınızın büyütülmesi gerektiğinde zorlaşır. GPT-2'yi örnek olarak alın:
-
GPT-2, 5 GB'den büyüktür. Bu kadar büyük bir modeli barındırmak için daha büyük ve daha pahalı bir sunucuya ihtiyacınız var.
-
GPT-2 hesaplama açısından çok pahalıdır. Tek bir tahmin sağlamak için, GPT-2 CPU'yu% 100 kullanımda birkaç dakika işgal edebilir. Bir GPU ile bile tek bir tahmin birkaç saniye sürebilir. Buna karşılık, bir Web uygulaması yalnızca bir CPU ile yüzlerce eşzamanlı kullanıcıya hizmet verebilir.
-
GPT-2 hafızayı çok yer. GPT-2, büyük disk alanı ve bilgi işlem gereksinimlerine ek olarak, çökmeden çalışmasını sağlamak için büyük miktarda bellek gerektirir.
Küçük kullanıcı büyümesiyle başa çıkmak için altyapıyı uygulamanın birçok kopyasına genişletmeniz gerekir. Bu, modeli kapsayıcıya dönüştürmek için Docker kullanmanız, kapsayıcıyı düzenlemek için Kubernetes kullanmanız ve kullandığınız bulut platformu üzerinden otomatik ölçeklendirmeyi yapılandırmanız gerektiği anlamına gelir.
Makine öğrenimi dağıtımlarının üstesinden gelmek için bir altyapı oluşturmak için eksiksiz bir araç seti öğrenmeniz gerekir ve profesyonel geçmişe sahip olmayan çoğu geliştirici bu araçların çoğuna çok aşina değildir:
Makine öğrenimi altyapısı teknoloji yığını
Geliştiricilerin makine öğrenimini kullanması için makine öğreniminin temel yapısının soyutlanması gerekiyor. Cortex gibi projeler sahneye çıktığında budur. (Tam açıklama: Ben bir Cortex katılımcısıyım).
Cortex, bir yapılandırma dosyası ve bir komut satırı arayüzü aracılığıyla model dağıtımının temel geliştirmesini özetler:
Kaynak: Cortex Repo
Cortex gibi projelerin amacı basittir: eğitimli bir model alın ve bunu herhangi bir geliştiricinin kullanabileceği bir tahmin API'sine dönüştürün.
Uygulamalı makine öğrenimini kolaylaştırın
Açıklamak istediğim şey, makine öğreniminin arkasındaki matematiksel ilkelerin anlaşılmasının her zaman zor olacağıdır. Yalnızca bir tahmin işlevini çağırırsanız, makine öğrenimi uzmanı olmanız imkansızdır. Mesele şu ki, bir geliştiricinin ML'yi kendi uygulamalarında kullanmak için bir makine öğrenimi uzmanı olması gerekmiyor.
Makine öğreniminin ekolojik topluluğu nihayet uygulamalı makine öğrenimini basitleştirmeye odaklanacak. Çok az makine öğrenimi bilgisine sahip geliştiriciler, en son modelde ince ayar yapabilir, onu bir API'ye sarabilir ve açık kaynak, sezgisel soyutlamalar kullanarak ölçeklenebilir bir altyapı üzerinde devreye alabilir.
Sonuç olarak, uygulamalı makine öğrenimi daha kolay hale gelecek ve bu uzantı sayesinde neredeyse tüm geliştiriciler makine öğrenimini kullanabilir.
Orijinal: https://towardsdatascience.com/machine-learning-is-still-too-hard-to-use-e344773725af
Yazar hakkında: Cortex Labs'ın kurucu ekibi Caleb Kaiser.
Bu makale bir CSDN çeviri makalesidir, lütfen yeniden basımın kaynağını belirtin.
Yapay zeka çağında, programcılar neden pahalı?
"Hayat Oyunu Babası" yeni taç zatürreden öldü, bir matematik kestanesinin hayatına dönüp baktı
Tanrım, hala dene-yakala-nihayet kullanıyorsun
Pekin'deki Dördüncü Çevre Yolu'nda trafik sıkışıklığının tetiklediği büyük akıllı ulaşım fikri
Şirketinizin sanal makinesi hala boşta mı? Jenkins ve Kubernetes'e dayalı sürekli entegrasyon testi uygulamasına bir göz atın!
Web1.0'dan Web3.0'a: İnternetin son yıllarda gelişimi ve gelecekteki yönünün ayrıntılı analizi
