g u t x .com.tr İpek yolu - Çin'i anlamaya götürürüm

Mükemmel bir makine öğrenimi projesi oluşturmak için bu altı adımda ustalaşın

Tam metin 7778 Kelimeler, tahmini öğrenme süresi 15 dakika

Yukarıdaki beyaz tahta, bir dizi makine öğrenimi projesinin başlangıcını göstermektedir

Makine öğrenimi geniş bir yelpazeyi kapsar. Bu makale, bir bütün olarak makine öğrenimi için geçerli olan tipik sorunları açıklayacak ve makine öğrenimi projelerinin prototipini gerçekleştirmek için bir çerçeve sağlayacaktır.

Önce bazı tanımları netleştirin.

Makine öğrenimi, yapay zeka ve veri bilimi arasındaki fark nedir?

Bu üç tema açıkça tanımlanmamıştır, bu nedenle anlaşılması biraz zordur. Yanlış anlaşılmayı önlemek için sorunu basitleştirdik. Okuyucular, bu makalede bahsedilen makine öğreniminin, belirli sorunları anlamak veya gelecekteki olayları tahmin etmek için verilerdeki yasaları keşfetmek olduğunu düşünebilirler.

Umarım okuyucular aşağıdaki adımları okurken öğrenebilir ve yapabilir ve sonuçları kontrol edebilir. Yaparak öğrenmek.

Bir makine öğrenimi ardışık düzeni üç ana adıma bölünebilir: veri toplama, veri modelleme ve model uygulama. Bu üç adım birbirini etkiler ve birbiriyle bağlantılıdır.

Bir projeye başladığınızda, şu döngüye girebilirsiniz: veri toplamak, modellemek, toplanan verilerin kalitesiz olduğunu bulmak, verileri hatırlamak, modellemek, bu modeli kullanmak, işe yaramadığını bulmak, yeniden modellemek, Bunu kullanarak, yeni modelin hala işe yaramadığını buldum ve tekrar veri topladım ...

Bekle, model nedir? Uygulama nedir? Veriler nasıl toplanır?

iyi soru.

Verilerin toplanma şekli soruna bağlıdır. Aşağıda bazı örnekler gösterilecek ve okuyucular elektronik saatteki müşteri satın alma kayıtlarına da bakabilirler.

Modelleme, toplanan verilerden bilgi bulmak için makine öğrenimi algoritmalarının kullanılmasıdır.

Sıradan algoritmalar ile makine öğrenimi algoritmaları arasındaki fark nedir?

Sıradan algoritmalar, malzemeleri lezzetli yemeklere dönüştürmek için bir dizi talimat olan tarifler gibidir.

Makine öğrenimi ile ilgili özel olan şey, orijinal koşulların talimatlar değil, malzemeler ve tabaklar olmasıdır. Makine öğrenimi algoritmaları, malzemeleri ve yemekleri inceler ve dönüştürme için talimatlar verir.

Pek çok türde makine öğrenimi algoritması vardır ve farklı algoritmaların farklı problemleri çözmede farklı performansları vardır, ancak hedefleri aynıdır, yani verilerde kalıpları veya komut setlerini bulmaktır.

Uygulama, gerçek uygulama tarafından bulunan talimat setidir. Çevrimiçi mağazalarda müşterilere ürün önermek veya tıbbi kurumlar için daha iyi hastalık tespit çözümleri bulmak gibi çeşitli şekillerde kullanılabilir.

Farklı projelerdeki her adımın belirli ayrıntıları farklıdır, ancak ilkeler temelde benzerdir.

Bu makale veri modellemeye odaklanmaktadır. Okuyucunun verileri topladığını ve bir makine öğrenimi modeli oluşturmak için kullanmak üzere olduğunu varsayalım. Bu süreç aşağıdaki adımlara ayrılabilir:

Bir makine öğrenimi projesi, veri toplama, modelleme ve model uygulama olmak üzere üç adıma ayrılabilir. Bu makale modelleme aşamasına odaklanır ve okuyucunun verilere zaten sahip olduğunu varsayar.

1. Problem tanımı-çözülmesi gereken iş problemi nedir? Bunu bir makine öğrenimi problemine nasıl dönüştürebilirim?

2. Veriler - makine öğrenimi verilere ilişkin içgörü kazanmak olduğundan, bu ne tür verilerdir? Sorunla nasıl bir ilişkisi var? Veriler yapılandırılmış mı yoksa yapılandırılmamış mı? Statik mi dinamik mi?

3. Model değerlendirme - başarı nedir? % 95 doğruluk oranına sahip bir makine öğrenimi modeli yeterince iyi mi?

4. Değişkenler - verinin hangi kısmının kullanılması gerekiyor? Bilinen bilgiler veri kullanımını nasıl etkiler?

5. Modelleme - hangi model seçilmeli? Nasıl geliştirilir? Farklı modellerin performansı nasıl karşılaştırılır?

6. Deney - başka ne deneyebilirsiniz? Model beklendiği gibi çalışıyor mu? Bilinen bilgiler diğer adımları nasıl etkiler?

Yukarıdaki konular aşağıda derinlemesine tartışılmaktadır.

1. Problem tanımı - iş problemlerini makine öğrenimi problemlerine yeniden yazın

Makine öğreniminin kullanılıp kullanılamayacağını belirlemek için ilk adım, çözülecek iş problemini bir makine öğrenimi problemine dönüştürmektir.

Denetimli öğrenme, denetimsiz öğrenme, transfer öğrenimi ve pekiştirmeli öğrenme, dört ana makine öğrenimi tekniğidir (yarı denetimli öğrenme, yazmanın basitliği için burada atlanmıştır). Bunlar arasında, denetimli öğrenme, denetimsiz öğrenme ve transfer öğrenimi en çok ticari projelerde kullanılır.

Denetimli öğrenme

Bilinen veriler ve sınıf kriterleri ile makine öğrenimine denetimli öğrenme denir. Makine öğrenimi algoritmaları, kategori standardını etkileyen faktörleri incelemek için tasarlanmıştır. Gözetim, eğitim aşamasında gerçekleşir. Algoritma yanlış sınıf etiketini tahmin ederse, kendisini düzeltmeye çalışacaktır.

Örneğin, birinin kalp hastalığı olup olmadığını tespit etmeye çalışıyorsanız, veri olarak 100 isimsiz tıbbi kaydı ve kategori olarak bir kalp hastalığınız olup olmadığını kullanabilirsiniz.

Makine öğrenme algoritmaları, tıbbi kayıtları (girdi) ve hastanın kalp hastalığı olup olmadığını (çıktı) inceleyebilir ve ardından tıbbi kayıttaki hangi göstergelerin kalp hastalığına neden olduğunu belirleyebilir.

Algoritma eğitildikten sonra, yeni tıbbi kayıt (giriş) algoritmaya geçirilebilir ve algoritma, hastanın kalp hastalığı olup olmadığını (çıktı) tahmin edecektir. Algoritmanın döndürdüğü sonuç sadece hastalık olasılığıdır, mutlak değildir.

Algoritma size şunu söyleyecektir: "Gözlemlere göre, bu kişinin tıbbi kayıtları kalp hastasınınkine% 70 benzer."

Denetimsiz öğrenme

Veri içeren ancak kategori içermeyen makine öğrenimine denetimsiz öğrenme denir. Örnek olarak çevrimiçi video oyun mağazalarındaki müşteri ödeme kayıtlarını alın. Kişiselleştirilmiş hizmetler sağlamak üzere müşterileri gruplandırmak için bu verilerin kullanılması istenebilir. Bu görevi gerçekleştirmek için makine öğrenimi algoritmaları kullanılabilir.

Gruplama gözlemlendikten sonra, kategori etiketi yapay olarak verilir. Bazı gruplar bilgisayar oyunlarıyla ilgilenebilir, bazı gruplar bağımsız oyunları tercih eder ve bazı gruplar yalnızca indirimli oyunlar satın alır. Bu sürece kümeleme denir.

Algoritmanın bir kategori etiketi sağlamadığı, sadece benzer müşteriler arasındaki modelleri aradığı unutulmamalıdır. Sınıf standartları, profesyonellerin vermek için mesleki bilgileri kullanmasını gerektirir.

Transfer öğrenimi

Transfer öğrenimi, mevcut makine öğrenimi modelleri tarafından keşfedilen yasaları iyileştirir ve bunları yeni sorunları öğrenmek için kullanır.

Makine öğrenimi modellerini sıfırdan eğitmek çok fazla para ve zaman israf edebilir. Neyse ki, modeli kendiniz inşa etmek her zaman gerekli değildir. Bazen bir veri türünde bulunan yasalar başka bir veri türünde kullanılabilir.

Örneğin, bir araba sigorta şirketi, sigorta başvurusunda bulunan kişinin kazalardan sorumlu olup olmadığını belirlemek için bir metin sınıflandırma modeli oluşturmak istemektedir.

Wikipedia üzerinden okumuş ve kelimeler arasındaki kuralları hatırlamış (hangi kelimelerin birlikte görünebileceği gibi) mevcut bir modeli kullanabilirsiniz. Modele ince ayar yapmak için sigorta uygulamasını (verileri) ve sonuçlarını (kategori işareti) kullanın ve probleminize uygulayabilirsiniz.

Ticari projelerde kullanılan makine öğrenimi tekniklerinin yukarıdaki üç kategoriye girmesi muhtemeldir.

Ardından bunları sınıflandırma, regresyon ve öneri olarak alt gruplara ayırın.

Sınıflandırma - nesnelerin kategorisini tahmin edin. Örneğin, bir müşterinin belirli bir ürünü alıp almayacağı veya birinin kalp hastalığı olup olmadığı. İkiden fazla kategori olabileceğini unutmayın. Eşyaları iki kategoriye ayırmaya ikili sınıflandırma denir ve nesneleri üç veya daha fazla kategoriye ayırmaya çoklu sınıflandırma denir. Çoklu etiket, aynı şeyin aynı anda birden fazla kategoriye ait olabileceği anlamına gelir.

Gerileme ile belirli değerleri tahmin edin. Örneğin, evin fiyatı veya gelecek ay web sitesini ziyaret eden kişi sayısı.

Birine tavsiye-tavsiye edin. Örneğin, satın alma kayıtlarına göre müşterilere ürün önerin veya okuma kayıtlarına göre okuyuculara kitap önerin.

Bunu bilerek, bir sonraki adım, iş sorunlarını makine öğrenimi terimleriyle tanımlamaktır.

Şimdi araba sigortası davasını takip edin. Sigorta şirketlerinin çalışanlarının her gün binlerce başvuruyu okuması ve başvuru sahiplerinin kazalardan sorumlu olup olmayacağına karar vermesi gerekiyor.

Ancak şimdi başvuru sayısı kademeli olarak personelin işleme kapasitesini aşıyor. Şirketin, her biri kazadan başvuru sahibinin sorumlu olup olmadığını gösteren binlerce başvuru kaydı vardır.

Makine öğrenimi işe yarayabilir mi?

Okuyucu cevabı zaten biliyor olmalı. Ama doğrulayalım. Bu problem yukarıda bahsedilen üç kategoriye girebilir mi: sınıflandırma, regresyon veya kümeleme?

Sorunu tekrar açıklayın.

Bir otomobil sigorta şirketi, aldığı sigorta başvurularını iki kategoriye ayırmayı ummaktadır: başvuru sahibi sorumlu olmalı, başvuru sahibi olmamalıdır.

Anahtar kelime sınıflandırmasını görüyor musunuz?

Analizin sonucu, bunun potansiyel bir makine öğrenimi sınıflandırma problemi olabileceğidir. "Potansiyel", makine öğreniminin bu sorunu çözemeyebileceğidir.

İş sorunlarını makine öğrenimi sorunlarına dönüştürürken, sığlıktan derine geçmeye çalışın. İlk aşamada, birden fazla cümle içeren problem tanımları gereksizdir. Gerektiğinde sorunu karmaşıklaştırın.

2. Veri-ne tür verilerdir? Sorunla nasıl bir ilişkisi var?

Sahip olduğunuz veya toplamanız gereken veriler, çözülecek soruna bağlıdır.

Mevcut veriler, yapılandırılmış veriler veya yapılandırılmamış veriler olabilir. Bu iki tür veri statik veya dinamik verilere bölünebilir.

Çok sayıda satır ve sütundan oluşan tablolar, müşteri işlem bilgilerini kaydeden elektronik tablolar ve tıbbi kayıtları saklayan veritabanları gibi yapılandırılmış veriler. Veriler, ortalama kalp atış hızı gibi sayısal değerler olabilir; cinsiyet gibi kategoriler veya göğüs ağrısının derecesi gibi derece de olabilir.

Resimler, ses dosyaları ve doğal dilde metin gibi basitçe tablo haline getirilemeyen yapılandırılmamış veri verileri.

Statik veriler - değiştirilemeyen geçmiş veriler. Müşteri satın alma kayıtları gibi.

Dinamik verilerle sık güncellenen veriler, eski kayıtları değiştirebilir veya sürekli olarak yeni kayıtlar ekleyebilir.

Bu dört veri türü birbiriyle örtüşebilir.

Statik yapılandırılmış bilgi tabloları, sürekli güncellenen metin ve fotoğrafları da içerebilir.

Kalp hastalığını tahmin etmek için kullanılan veri tablosu cinsiyet, ortalama kalp atış hızı, ortalama kan basıncı ve göğüs ağrısını içerebilir.

Bir sigorta başvuru formu örneğinde, bir veri kalemi gönderilen metin, diğeri bir fotoğraf ve son olarak başvurunun sonucu olabilir. Yeni başvurular girildikçe ve eski başvurular değiştirildikçe, form sürekli güncellenecektir.

İki farklı türde yapılandırılmış veri. Tablo 1.0, sayısal ve kategori verilerini içerir. Tablo 2.0, yapılandırılmış bir biçimde resimler ve doğal dil metni gibi yapılandırılmamış verileri içerir.

Veri türleri farklı olsa da, ilke aynıdır, yani verileri bilgi edinmek veya olayları tahmin etmek için kullanın.

Denetimli öğrenme, hedef değişkenleri tahmin etmek için özellik değişkenlerini kullanır. Kalp hastalığını tahmin etmenin karakteristik cinsiyet değişkenini kullanması gerekebilir ve hedef değişken hastanın kalp hastalığı olup olmadığı olabilir.

Tablo 1.0, kimlik sütunu (sarı kısım, makine öğrenimi modeli oluşturmak için kullanılmaz), özellik değişkeni (turuncu kısım) ve hedef değişken (yeşil) olarak ikiye ayrılmıştır. Makine öğrenimi modeli, karakteristik değişkendeki yasayı tanır ve onu hedef değişkeni tahmin etmek için kullanır.

Denetimsiz öğrenmenin sınıf standardı yoktur, ancak yine de kuralları keşfetmesi gerekir. Bu, benzer örnekleri tek bir kategoriye ayırmak ve aykırı değerleri bulmak anlamına gelir.

Başka bir yerden elde edilen makine öğrenimi algoritmasını değiştirmeniz gerekmedikçe, aktarım öğrenimi ve denetimli öğrenim aynı sorunu çözmelidir.

İş modellerini veya hizmet kalitesini iyileştirmek için müşteri verilerini kullanırken onları bilgilendirmeniz gerektiğini unutmayın. Bu nedenle, her yerde "Bu web sitesi tanımlama bilgileri kullanıyor" komut istemlerini görebilirsiniz. Bu siteler, kullanıcıların tarama alışkanlıklarını inceler ve hizmetleri iyileştirmek için makine öğrenimini kullanır.

3. Değerlendirme-başarılı bir makine öğrenimi modeli nasıl tanımlanır? % 95 doğruluk yeterince iyi mi?

İş sorunlarını makine öğrenimi sorunlarına dönüştürdü ve zaten verilere sahip. Ardından, modelin başarılı olup olmadığına nasıl karar vereceğinizi düşünün.

Sınıflandırma, regresyon ve tavsiye soruları farklı değerlendirme kriterlerine sahiptir. Kriter seçimi sorunun türüne bağlıdır.

Bu projenin başarılı olabilmesi için modelin doğruluğunun en az% 95 olması gerekir.

Sigorta uygulamasından sorumlu kişiyi% 95 doğruluk modeliyle analiz etmek fazlasıyla yeterli olabilir. Ancak kalp hastalığı testi daha doğru sonuçlar gerektirebilir.

Sınıflandırma probleminde dikkate alınması gereken diğer hususlar aşağıdadır.

Yanlış negatif - model sonucun negatif olduğunu öngörür, ancak sonuç aslında pozitiftir. İstenmeyen postaları tahmin etmek gibi sorunlar için yanlış negatifler önemli olmayabilir. Ancak sürücüsüz aracın bilgisayarlı görme sistemi yayaları algılamazsa felakete neden olabilir.

Yanlış pozitif Model sonucun pozitif olduğunu öngörür, ancak sonuç aslında negatiftir. Birine kalp hastalığı teşhisi kondu ama aslında hasta değil. Hastanın yaşam alışkanlıkları üzerinde herhangi bir olumsuz etki veya gereksiz tedavi olmadığı sürece, bu tür hatalar önemli olmayabilir.

Gerçek negatif - model, sonucun negatif olduğunu ve gerçek sonucun da negatif olduğunu tahmin eder. Bu istenen sonuçtur.

Gerçek pozitif Model sonucun pozitif olduğunu ve gerçek sonucun da pozitif olduğunu tahmin eder. Bu aynı zamanda istenen sonuçtur.

Doğruluk - gerçek sonuçlarla eşleşen pozitif tahminlerin oranı. Yanlış pozitif sonuçlar üretmeyen bir modelin doğruluk oranı 1.0'dır.

Geri çağırma oranı tespit edilen pozitif sonuçların tüm pozitif sonuçlara oranı. Yanlış negatif sonuçlar üretmeyen bir modelin geri çağırma oranı 1.0'dır.

F1 değeri - doğruluk ve geri çağırmanın kapsamlı sonucu Değer 1'e ne kadar yakınsa o kadar iyidir.

Alıcı çalışma karakteristiği (ROC) eğrisi ve eğri altındaki alan (AUC) - ROC eğrisinin görüntüsü gerçek pozitif ve yanlış pozitif oranları karşılaştırmak için kullanılır. AUC, ROC eğrisinin altındaki alandır. Tamamen yanlış modelin EAA değeri 0,0 ve tamamen doğru modelin EAA değeri 1,0'dır.

Regresyon problemleri (sayısal tahmin hakkında), tahmin edilen sonuç ile gerçek değer arasındaki hatayı azaltmalıdır. Bir evin fiyatını tahmin ederken, modelin tahmin sonucu gerçek fiyata ne kadar yakınsa o kadar iyidir. Bu hatayı ölçmek için MAE veya RMSE kullanın.

Ortalama Mutlak Hata (MAE) Model tahmin sonucu ile gerçek değer arasındaki ortalama hata.

Kök Ortalama Kare Hatası (RMSE) - modelin tahmin edilen sonuçları ile gerçek değer arasındaki ortalama varyans

Büyük sayısal hataları daha önemli hale getirmek istiyorsanız, bunları ölçmek için RMSE'yi kullanın. Örneğin, 200.000 ABD doları olduğu tahmin edilen bir evin gerçek fiyatı 300.000 ABD dolarıdır ve 100.000 arasındaki fark, 50.000 ABD Dolarının iki katından daha kötüdür. Fark 100.000 ise, fark 50.000'den iki kat daha kötüyse, ölçmek için MAE'yi kullanın.

Önerilen sorunların çözümlerinin test edilmesi daha zordur. Bir yol, modelleme sırasında verilerin bir kısmını gizlemektir. Modelleme tamamlandıktan sonra, verilerin bu kısmının önerilen sonuçlarını tahmin edin ve gerçek sonuçlarla ilişkisini gözlemleyin.

Örneğin, müşteriler için çevrimiçi mağaza ürünleri önerirken, 2010'dan 2019'a kadar olan satın alma kayıtları bilinir. Bir model oluşturmak için 2010'dan 2018'e kadar olan verileri kullanabilir ve ardından modeli 2019'daki durumu tahmin etmek için kullanabilirsiniz. Bu, sorunu sınıflandırmaya dönüştürür, çünkü amaç, birisinin belirli bir ürünü satın alma olasılığının olup olmadığını doğrulamak olur.

Bununla birlikte, geleneksel sınıflandırma yöntemi öneri sorununa en uygun çözüm değildir. Doğruluk ve geri çağırma arasında herhangi bir seviye farkı yoktur.

Makine öğrenimi modeli on ürün önerirse, kesinlikle müşteri ihtiyaçlarını en iyi karşılayan ürünün ilk sayfada gösterilmesini istersiniz, değil mi?

Doğruluk @ k Prensip genel doğruluk ile aynıdır, ancak yalnızca gereksinimleri karşılayan k öğe seçilir. Örneğin, 5'i almak, yalnızca en iyi beş önerinin seçildiği anlamına gelir. 10.000 ürün olabilir ama hepsini müşterilere önermek imkansız.

4. Özellikler-Verilerin özellikleri nelerdir? Bir model oluşturmak için hangi özellikler kullanılabilir?

Veriler değişir. Özellikler, bir veri kümesindeki farklı veri türlerini ifade eder.

Özellikler kategorik tip, sürekli tip (sayısal tip) ve türev tip olarak ikiye ayrılabilir.

Kategorik özellikler-özellik değerleri farklı kategorilere ayrılabilir. Örneğin kalp hastalığı öngörü probleminde hastanın cinsiyeti. Veya birisinin ürünü çevrimiçi mağaza sorusunda satın alıp almadığı.

Ortalama kalp atış hızı veya oturum açma sayısı gibi sayısal olarak ölçülebilen sürekli (veya sayısal) özellikler-özellikler.

Genellikle özellik mühendisliği olarak adlandırılan, verilerden türetilen türetilmiş özellikler-özellikler. Özellik mühendisliği, belirli bir alandaki uzmanlar tarafından veri üretmek için bilginin kullanılmasıdır. Örneğin, son girişten bu yana geçen sürenin yeni özelliğini hesaplamak için oturum açma sayısı ve zaman damgası birleştirilir. Veya tarihi yeni bir çalışma günü olup olmadığına dönüştürün.

Metin, resimler, her şey bir özellik olabilir. Makine öğrenimi algoritmaları tarafından bir model oluşturmak için kullanılmadan önce herhangi bir özelliğin bir değere dönüştürülmesi gerekir.

İşte özellikler hakkında bazı notlar.

Eğitim ve test sırasında özelliklerin tutarlı olduğundan emin olun - model mümkün olduğunca gerçek sisteme yakın özellikler kullanılarak eğitilmelidir.

Alandaki uzmanlarla işbirliği yapın - hangi bilgiler biliniyor ve kullanılması seçilen özellikleri nasıl etkiliyor? Bu bilgileri makine öğrenimi mühendisleri ve veri bilimcileriyle paylaşın.

Özellik değerli mi? Örneklerin yalnızca% 10'u bu özelliği içeriyorsa, modelleme için uygun mudur? En geniş kapsama sahip özellikler tercih edilir, yani çoğu örnek bu özelliklere karşılık gelen verileri içerir.

Mükemmel, hata anlamına gelir -% 100 doğrulukta bir model, genellikle yanlışlıkla test için eğitim verilerinin kullanılmasıyla üretilir. Mükemmel bir model yok.

Temel standartları oluşturmak için özellikleri kullanabilirsiniz. Müşteri kaybındaki uzmanlar, üç hafta boyunca oturum açmamış müşterilerin% 80 oturum kapatma şansına sahip olduğunu biliyor olabilir.

Veya emlakçı, 5'ten fazla yatak odası ve 5'ten fazla banyosu olan bir evin 500.000 dolardan fazla sattığını biliyor olabilir.

Bu standartlar basitleştirilmiştir ve çok kesin olmaları gerekmez. Ancak bunları makine öğrenimi modellerini iyileştirmek için kullanmayı deneyebilirsiniz.

5. Modelleme-hangi modeli seçmeliyim? Model nasıl geliştirilir? Farklı modeller nasıl karşılaştırılır?

Problemi tanımladıktan, verileri, değerlendirme kriterlerini ve özelliklerini belirledikten sonra modellemeye başlayabilirsiniz.

Modelleme, model seçme, modelleri geliştirme ve modelleri karşılaştırma olmak üzere üç bölüme ayrılmıştır.

Model seçin

Bir model seçerken okunabilirlik, sürdürülebilirlik, veri hacmi ve eğitim ve tahmin kısıtlamalarını göz önünde bulundurmanız gerekir.

Okunabilirlik ve sürdürülebilirlik - model kararları nasıl alıyor? Hata nasıl düzeltilir?

Veri hacmi - veriler ne kadar büyük? Veri boyutu değişecek mi?

Eğitim ve tahmin sınırlamaları - bu öğe yukarıdaki iki öğe ile yakından ilgilidir Eğitim ve tahmine ne kadar zaman ve kaynak ayrılabilir?

İlk önce bu sorunları basitleştirin. Sanat eseri açısından mükemmel bir model cazip olabilir. Bununla birlikte,% 2'lik bir performans iyileştirmesi, bilgi işlem kaynaklarının 10 katını ve 5 katını gerektiriyorsa, iyileştirmemek daha iyi olabilir.

Lojistik regresyon gibi doğrusal modellerin anlaşılması genellikle kolaydır ve eğitim ve tahmin hızı, sinir ağları gibi derin modellerden daha hızlıdır.

Ancak gerçek dünyada elde edilen veriler her zaman doğrusal değildir.

O zaman ne yapmalı?

Karar ağacı entegrasyonu ve gradyan artırma algoritmaları, excel tabloları ve veri çerçeveleri gibi yapılandırılmış verileri işlemek için en iyi şekilde kullanılır. Rastgele orman, XGBoost ve CatBoost algoritmaları hakkında bilgi edinin.

Sinir ağları gibi derin öğrenme modelleri resimler, ses dosyaları ve doğal dil metinleri için uygundur. Fiyat, daha uzun eğitim ve tahmin süresi gerektirmeleri ve hata ayıklamalarının daha zor olmasıdır. Ancak bu, kullanılmaması gerektiği anlamına gelmez.

Transfer öğrenimi, derin öğrenme modellerinin ve doğrusal modellerin avantajlarını birleştirir. Önceden eğitilmiş bir derin öğrenme modeli kullanır ve tanıdığı kalıpları doğrusal modele girer. Bu, eğitim süresinden büyük ölçüde tasarruf sağlayacaktır.

Önceden eğitilmiş bir modeli nerede bulabilirim?

Önceden eğitilmiş modeller PyTorch hub, TensorFlow hub, model zoo ve fast.ai framework gibi web sitelerinde bulunabilir.

Ya diğer model türleri?

Modelin prototipini oluştururken makine öğrenimi modelini kendiniz oluşturmanıza gerek yoktur. Öncekiler model kodunu bıraktı.

Önemli olan, girdileri ve çıktıları mevcut modellere uyarlamak için işlemektir. Bu, modelleri ve kategori etiketlerini titizlikle tanımlamak ve çözülmesi gereken sorunları anlamak anlamına gelir.

İlk olarak, asıl iş, girdinin (verilerin) mevcut modelle eşleşmesini sağlamaktır. Bir sonraki adım, çıktının problem tanımı ve değerlendirme kriterlerini karşıladığından emin olmaktır.

Modelleri ince ayarlayın ve geliştirin

Modelin ilk sonuçları her şey anlamına gelmez. Makine öğrenimi modeli, bir araba gibi hata ayıklanabilir ve geliştirilebilir.

Modelin ince ayarı, öğrenme oranının veya optimize edicinin ayarlanması gibi değişen hiperparametreleri gerektirir. Ya da rastgele bir ormandaki ağaçların sayısı ve sinir ağlarının katmanlarının sayısı gibi diğer belirli modellerdeki yapım faktörleri.

Bu ayarlama süreci bir zamanlar manueldi, ancak şimdi yavaş yavaş otomatik hale geliyor ve her yerde olacak.

Ön eğitim modelini geçiş öğrenimi yoluyla çağırmak, yukarıdaki adımların avantajlarını bütünleştirebilir.

Modellerde hata ayıklanırken yeniden üretilebilirlik ve verimlilik önceliklendirilmelidir. Diğerleri, modellerini geliştirmek için sizin adımlarınızı yeniden oluşturabilmelidir. Ana amaç yeni fikirler önermekten ziyade eğitim süresini kısaltmak olduğu için, hata giderme süreci verimlilik odaklı olmalıdır.

Modelleri karşılaştır

Elmaları elmalarla karşılaştırın.

Model 1'i eğitmek için X verisini, değerlendirmek için Y verilerini kullanın

Model 2'yi eğitmek için X verisini, değerlendirmek için Y verilerini kullanın

Aynı veriler kullanılarak farklı modeller eğitilmeli ve değerlendirilmelidir. Model 1 ve 2 değişkendir, ancak X ve Y verileri değildir.

6. Deney - başka ne deneyebilirsiniz? Bulgularımız diğer adımları nasıl etkiler? Model beklendiği gibi çalışıyor mu?

Bu adım diğer tüm adımları içerir. Makine öğrenimi oldukça yinelemeli bir süreç olduğundan, deneylerin gerçekleştirilebileceğinden emin olmalısınız.

Birincil hedef, çevrimdışı ve çevrimiçi deneyler arasındaki zaman farkını en aza indirmektir.

Çevrimdışı deneyler, proje henüz kullanıcılara açılmadığında gerçekleşir. Makine öğrenimi modeli seri üretime başladıktan sonra çevrimiçi deneyler yapıldı.

Her deney, verilerin farklı kısımlarını kullanmalıdır.

Eğitim veri seti - modeli eğitmek için kullanın, genellikle tüm veri setinin% 70-80'ini oluşturur.

Doğrulama / geliştirme veri seti - modeli ince ayar yapmak için kullanın, genellikle tüm veri setinin% 10-15'ini oluşturur.

Test veri seti - modelleri test etmek ve karşılaştırmak için kullanın, genellikle tüm veri setinin% 10-15'ini oluşturur.

Bu veri setlerinin veri hacmi, soru ve verilerin türüne göre biraz dalgalanabilir.

Model eğitim setinde iyi performans göstermiyorsa, bu iyi öğrenmediği anlamına gelir. Çözüm, farklı modeller denemek, mevcut modelleri iyileştirmek veya daha yüksek kaliteli veri toplamaktır.

Model test setinde iyi performans göstermiyorsa, bu, tanıtmanın zor olduğu anlamına gelir. Model gereğinden fazla uygun olabilir. Daha basit bir model kullanın veya daha fazla veri toplayın.

Model gerçek veriler üzerinde kötü performans gösteriyorsa bu, gerçek veriler ile eğitim seti ve veri seti arasında büyük bir fark olduğu anlamına gelir. Önceki iki adımı tekrarlayın. Verilerin çözülecek problemle eşleştiğinden emin olun.

Büyük ölçüde değişmeye çalışırken, içeriği ve nedeni kaydedin. Unutmayın, model ince ayarında olduğu gibi, gelecekte siz de dahil herkes eylemlerinizi tekrarlayabilmelidir.

Bu, en son modellerin ve veri setlerinin düzenli olarak kaydedilmesi gerektiği anlamına gelir.

Projenin prototipini yapmak için yukarıdaki adımları birleştirin

Birçok şirket makine öğrenimi hakkında bir iki şey biliyor, ancak nasıl başlayacağını bilmiyor. Yukarıdaki altı adımda kavramsal bir model yapmak en iyisidir.

Bu tür girişimlerin amacı, iş operasyon modelini temelden değiştirmek değil, şirkete iş değeri katmak için makine öğrenimini kullanma olasılığını keşfetmektir.

Sonuçta amaç, gösterişli trendleri yakalamak değil, gerçekten değerli çözümler elde etmektir.

Projenin prototipini kurmak için zaman sınırı öngörülmüş olup, iki hafta, altı hafta ve on iki hafta daha uygundur. Yüksek kaliteli verilerle, mükemmel bir makine öğrenimi ve veri bilimi uygulayıcısı, kısa sürede nihai modelleme sonuçlarının% 80-90'ına ulaşabilir.

Sektör uzmanları, makine öğrenimi mühendisleri ve veri bilimcileri birlikte çalışmalıdır. Aksi takdirde, yanlış nesne için mükemmel bir model oluşturulabilir ki bu çok kötü bir sonuçtur.

Mümkünse, web tasarımcılarını makine öğrenimi deneylerine yardımcı olmak için çevrimiçi mağazanın düzenini iyileştirmeleri konusunda bilgilendirin.

Projenin prototipinin doğası gereği, işletmeniz makine öğreniminden kazanç sağlayamayabilir. Proje yöneticisi bunun farkında olmalıdır. Makine öğrenimi mühendisleri veya veri bilimcileri de çabalarını boşa harcamaya zihinsel olarak hazırlıklı olmalıdır.

Ancak kar edememek her şeyi kaybetmek anlamına gelmez.

Yararsız modeller de değerlidir, onlardan neyin işe yaramaz olduğunu öğrenebilir ve sonra enerjinizi başka yerlerde harcayabilirsiniz. Deney için bir son tarih belirlemenin nedeni budur. Zaman her zaman yeterli değildir, ancak DDL verimliliktir.

Makine öğrenimi modeli iyi performans gösteriyorsa, sonraki adıma geçin, aksi takdirde önceki adıma geri dönün. Pratikte öğrenmek boş umuttan çok daha hızlıdır.

Not

Veri temeldir. Yüksek kaliteli veriler olmadan, herhangi bir makine öğrenimi modeli işe yaramaz. Makine öğreniminin kullanımı, yüksek kaliteli verilerin toplanmasıyla başlamalıdır.

Uygulamalar her şeyi değiştirecek. Çevrimdışı iyi performans gösteren modeller, çevrimiçi olduklarında iyi performans göstermeyebilir. Bu makalenin odak noktası veri modellemedir. Model kullanıma alındıktan sonra mimari yönetimi, veri doğrulama, modelin yeniden eğitilmesi ve analizi gibi birçok sorunla karşılaşacaktır. Bulut hizmet sağlayıcıları bu hizmetleri sağlayacak, ancak bunları birleştirmek hala siyah bir teknoloji. Patron sizseniz, veri mühendisinize yüksek bir maaş verin. Veri mühendisiyseniz bildiklerinizi patronunuzla paylaşın.

Veri toplama ve model uygulaması, makine öğrenimi ardışık düzeninin en uzun zaman alan kısımlarıdır. Bu makale yalnızca modellemeyi tartışır, ancak yine de veri ön işlemenin ayrıntılarını gözden kaçırır.

İş araçları çeşitlidir. Makine öğrenimi, birçok küçük araçtan oluşan büyük bir araçtır. Kod tabanlarından ve çerçevelerinden farklı uygulama mimarilerine. Her sorunun birçok farklı çözümü vardır. En iyi uygulama yöntemi her zaman güncellenir. Ancak bu makalede tartışılan konular her zaman sabittir.