Makine öğrenimi modeliniz neden yanlış? İşte dört ana neden ve beş iyileştirme önleminin analizi
Geliştiriciler için şu anda aralarından seçim yapabileceğiniz bir dizi makine öğrenimi modeli bulunmaktadır. Leifeng.com, doğrusal regresyon modellerinin belirli değerleri tahmin etmek için kullanılabileceğini, lojistik regresyon modellerinin farklı hesaplama sonuçlarını sınıflandırmak için kullanılabileceğini ve doğrusal olmayan problemlerle başa çıkmak için sinir ağı modellerinin kullanılabileceğini anlıyor.
Her iki durumda da, model seçildiğinde bir sonraki adım, oluşturulan girdi verileri ile beklenen çıktı sonuçları arasındaki dahili ilişkiyi keşfetmek üzere ilgili makine öğrenimi algoritmalarını eğitmek için büyük miktarda mevcut veriyi kullanmaktır. Ancak şu anda bir durum olabilir: Eğitim sonuçları, orijinal girdi ve çıktıya başarıyla uygulanabilir, ancak yeni veriler girildikten sonra çalışmayacaktır.
Ya da daha açık bir şekilde ifade etmek gerekirse, bir makine öğrenimi modelinin gerçekten etkili olup olmadığı nasıl değerlendirilmelidir? Leifeng.com bu konuyu dört açıdan tartıştı: sapma, varyans, doğruluk ve geri çağırma ve beş iyileştirme ölçüsü verdi.
Yüksek Sapma veya Yüksek Varyans
Bir makine öğrenimi modelini değerlendirdiğimizde, yapılacak ilk şey, modelin önyargısının ve varyansının çok büyük olup olmadığını anlamaktır.
Yüksek sapma: Yukarıdaki Şekil 1'de gösterildiği gibi, sözde yüksek sapma, modelin örnekleme noktasındaki gerçek çıktısının beklenen çıktıyla eşleşmediği ve farkın çok büyük olduğu anlamına gelir. Bu sorunun nedeni, modelin verilen girdi ile beklenen çıktı arasındaki ilişkiyi doğru bir şekilde temsil etmemesi ve sonuçta yüksek bir hata oranıyla sonuçlanmasıdır.
Yüksek varyans: Bu durum yüksek sapma durumunun tam tersidir. Bu senaryoda, tüm örnekleme noktalarının sonuçları beklenen sonuçlarla tam uyum içindedir. Görünüşe göre modelin çalışma durumu tamamen normal, ancak aslında gizli sorunlar var. Bu durum genellikle göz ardı edilir Yukarıda bahsedildiği gibi, model orijinal girdi ve çıktıya başarılı bir şekilde uygulanabilir, ancak yeni veriler girildiğinde sonuçlar boşluklarla dolu olacaktır.
Öyleyse soru, bir modelin yüksek önyargıya mı yoksa yüksek varyansa mı sahip olduğu nasıl kontrol edilir?
En doğrudan yöntemlerden biri, verileri çapraz doğrulamaktır. 10 kat çapraz doğrulama, Holdout doğrulama ve bir defalık doğrulama gibi birçok yaygın çapraz doğrulama yöntemi vardır. Ancak genel fikir aynıdır: modelleme için verilerin çoğunu (örneğin% 70) çıkarın, verilerin küçük bir bölümünü (örneğin% 30) örnek olarak bırakın, yeni kurulan modelle test edin ve test sonuçlarını değerlendirin. Tüm örnek veriler tam olarak bir kez tahmin edilene kadar bu işleme devam edin.
Çapraz doğrulamadan sonra, bir modelin sapmasını ve varyansını kolayca kontrol edebilirsiniz. Modelleme verilerinin ve test verilerinin çıktı sonuçlarının beklenen sonuçlarla eşleşmemesi, modelin büyük bir sapmaya sahip olduğu anlamına gelir. Tersine, modelleme verileri normal davranır ancak test verileri eşleşmezse, bu modelin varyansının büyük olduğu anlamına gelir. Aynı zamanda, modelleme verilerinin ve test verilerinin çıktı sonuçları beklenen sonuçlarla eşleşirse, modelin çapraz doğrulamayı başarıyla geçtiği ve sapma ile varyans arasında iyi bir denge olduğu kanıtlanmış olur.
Bununla birlikte, sapma ve varyansın her ikisi de normal olsa bile, bir makine öğrenimi modeli normal çalışamayabilir, çünkü doğruluk ve geri çağırma gibi diğer faktörlerden de etkilenebilir.
Düşük doğruluk veya düşük geri çağırma (Düşük Hassasiyet veya Düşük Geri Çağırma)
Burada, doğru oran ve geri çağırma oranının ne olduğunu göstermek için spam filtreleme örneğini kullanabilirsiniz. Normal koşullar altında, aldığımız e-postaların yaklaşık% 99'u normal e-postalardır ve yalnızca% 1'i istenmeyen e-postalardır (olumlu bir değerlendirme olarak "spam" ve ters bir değerlendirme olarak "normal e-postalar" diyebiliriz. Kullanılacak). Ve bir makine öğrenimi modeli bu şekilde dağıtılan verilerle eğitilirse, eğitim sonucu muhtemelen şu şekilde olacaktır: makinenin değerlendirme sonuçlarının% 99'u doğrudur.Doğru oran yüksek olsa da, gözden kaçırılması gerekir. % 1 spam (bu açıkça istediğimiz sonuç değil).
Bu durumda, bir modelin gerçekten etkili olup olmadığını değerlendirmek için doğru oranı ve geri çağırma oranını kullanmak en uygunudur.
resim gösterdiği gibi Sözde doğru oran, nihayet doğru olan tüm olumlu yargıların oranını ifade eder. . Hesaplama yöntemi, doğru sayıda olumlu yargıyı tüm olumlu yargıların sayısına bölmektir. Geri çağırma oranı, gerçek olumlu sonuçların yüzdesini açıklayan doğru olumlu yargıların sayısını ifade eder. . Hesaplama yöntemi, ileri yargıdaki doğruluk sayısını, ileriye dönük yargıdaki doğruluk sayısının ve ters yargıdaki hata sayısının toplamına bölmektir.
İlk bakışta biraz garip görünüyor, işte belirli rakamlarla bir açıklama. Örneğin, bir model, 1 kez doğru olmak üzere toplam 2 olumlu yargı ve 8'i doğru olmak üzere 10 ters yargıda bulunmuştur. E-posta örneğine bakarsanız, sistemin 9'u normal e-posta ve 3'ü istenmeyen e-posta olmak üzere toplam 12 e-posta aldığı anlamına gelir. O zaman doğru oran 1/2 =% 50 ve geri çağırma oranı 1/3 =% 33'tür.
Doğru oranın bir modelin tahmin doğruluğunu yansıttığı ve geri çağırma oranının da bir modelin gerçek uygulama etkisini yansıttığı görülebilir. Bir makine öğrenimi modelinin tasarım amacı, doğruluk ve hatırlama arasında bir denge bulmak olmalıdır.Bir yandan olumlu yargılarda doğruluk sayısını artırmaya çalışırken, diğer yandan ters yargıda hata sayısını azaltır.
Beş iyileştirme önlemi
Yukarıdaki içeriğe göre, ilgili sapma ve varyans, doğru oran ve geri çağırma oranı problemleriyle karşılaşıldığında, referans için aşağıdaki 5 nokta vardır.
Modelin yüksek bir sapması olduğunda, giriş verisi sayısını artırmaya çalışın. Yukarıda tartışıldığı gibi, modelleme verilerinin ve test verilerinin çıktı sonuçlarının beklenen sonuçlarla eşleşmemesi, modelin büyük bir sapmaya sahip olduğu anlamına gelir. Genel model giriş verilerine ve tahmin hatası arasındaki ilişki şemasına göre (yukarıdaki şekilde gösterildiği gibi), giriş özellikleri arttıkça sapma önemli ölçüde azalacaktır.
Tersine, model yüksek varyansa sahip olduğunda, giriş verilerinin sayısını azaltmayı deneyebilirsiniz. Grafikten de giriş verileri daha da arttığında modelleme verilerinin hataları azalmakla birlikte test verilerindeki hataların artacağı da görülebilmektedir. Bu nedenle, girdi verisi sonsuza kadar arttırılamaz.Yüksek varyans durumunda, ikisi arasında bir denge bulmak için girdi verisinin sayısını azaltmaya çalışın.
Ek olarak, eğitim vakalarının sayısını artırarak, yüksek varyans oluşumu da önemli ölçüde azaltılabilir. Çünkü test senaryolarının sayısı arttıkça, modelin çok yönlülüğü daha iyi hale gelir ve daha değişken verilerle başa çıkabilir, yani varyans o kadar küçük olur.
Doğru oran düşük olduğunda, olasılık eşiğini artırmaya çalışın. Yukarıdaki şekilde gösterildiği gibi, ileri yargıyı ve ters yargıyı bölen olasılık eşiği, doğru hız ve geri çağırma oranıyla yakından ilişkilidir. Eşik arttıkça, modelin pozitif yön hakkındaki yargısı daha ihtiyatlıdır ve doğru oran daha yüksektir.
Tersine, düşük bir geri çağırma oranı olduğunda, olasılık eşiğini düşürmeyi deneyebilirsiniz. Olasılık eşiğinin düşmesi, modelin daha olumlu yargılarda bulunacağı anlamına geldiğinden, ne kadar olumlu yargılarda bulunulursa, geri çağırma oranı buna göre artacaktır.
Kısacası, ne kadar çok yineleme ve hata ayıklama olursa, önyargı ve varyans, doğruluk ve hatırlama arasında bir denge bulma olasılığı o kadar yüksek olur ve etkili bir makine öğrenimi modeli bulma olasılığı o kadar artar.
Kaynak: Leifeng.com tarafından derlenen kdnuggets
