Kuru ürünler Bayesci çıkarıma dayalı sınıflandırma modeli, karşılaşacağınız makine öğrenimi "çukurları"
Bu makale, "Core Reader" (Kimlik: AI_Discovery) genel hesabından çoğaltılmıştır.
Bu makale 3153 Word, önerilen okuma 8 dakika.
Bu makale, Bayesci çıkarıma dayalı bir sınıflandırma modelini öğrenirken ihtiyacımız olan hazırlıkları ve yöntemleri açıklamaktadır.
Matematik hazırlığı
Olasılık: Bir olayın belirsizlik derecesinin nicelendirilmesi, olasılık ne kadar büyükse, olay olasılığı o kadar büyük olur.
Şartlı olasılık: P (A | B), B koşulu altında A'nın oluşma olasılığı.
Bileşik olasılık: P (A, B), A olayının ve B olayının aynı anda meydana gelme olasılığı. Faktörler birbirinden bağımsız ise, ortak olasılık faktör olasılıklarının ürününe eşittir, yani P (A, B) = P (A) P (B). Faktör bağımsızlığı bilinmiyorsa, daha genel bir form vardır: P (A, B) = P (B) P (A | B).
Marjinal olasılık: AP (A, B) veya AP (A, B), ortak dağılımın bir faktörünün toplamı (entegrasyon) diğer faktörün marjinal olasılığını alacaktır.
Bağımsız ve aynı şekilde dağıtılmış: Rastgele bir değişkendeki her değişkenin olasılık dağılımı aynıdır ve değişkenler birbirinden bağımsızdır.
Bayes teoremi
Bir zamanlar şaka vardı: Biri uçağa bindi ve bir bomba getirdi. Neden diye sordu, uçakta 1 bomba olma olasılığının (hipotez) 10.000'de 1 olduğunu söyledi. Olasılık teorisine göre aynı anda iki bombaya sahip olma olasılığı 100'de 1, bu yüzden düşürmek için bir bomba getirdim. Uçakta bomba olma olasılığı.
Bu şaka komik çünkü bu kişi ortak olasılık ile koşullu olasılığı birbirine karıştırıyor Ortak olasılık, iki şeyin aynı anda olma olasılığını ifade eder.Bir uçakta bomba olma olasılığı on binde bir ise, o zaman iki bomba vardır. Olasılık 100 milyonda 1'dir. Koşullu olasılık, bir şeyin başka bir şeyin kısıtlamaları altında gerçekleşmesi olasılığını ifade eder.Kişi zaten bir bomba taşıdıysa, o zaman uçaktaki ikinci bombanın olasılığı, hala on binde bir olan koşullu olasılıktır. (Bombaların birbirinden bağımsız olarak taşındığını varsayarsak).
İki şey A ve B birbirinden bağımsız ise, ortak olasılık P (AB) = P (A) P (B) olarak ifade edilebilir, B verildiğinde A'nın gerçekleşme olasılığını temsil etmek için P (A | B) kullanırız Yukarıda, A ve B birbirinden bağımsız değilse P (A | B) P (A) ve ortak olasılık P (AB) = P (B) P (A | B) olarak ifade edilir.
Buna karşılık, A verildiğinde B'nin oluşma olasılığını temsil etmek için P (B | A) kullanırız ve ortak olasılık P (AB) = P (A) P (B | A) olur. Bu iki denklemi bağlar ve sırasıyla P (B) ile bölersek, çok çekici ve güçlü bir formül elde ederiz.Buna Bayes teoremi diyoruz:
Denklemin sol tarafında P (A | B) olarak adlandıracağız, arka olasılık, denklemin sağ tarafındaki P (A) önceki olasılık, P (B | A) olasılık olarak adlandırılır, ancak arka olasılık ve olasılık fonksiyonu Esasen hala koşullu olasılıktır. Bu isim, Bayes teoreminin sonucun nedenini çıkarması sürecini vurgulamak içindir ve aynı zamanda bir olay meydana geldikten sonra olasılığın düzeltilmesi olarak da anlaşılabilir.
Misal:
Şimdi iki kasemiz olduğunu varsayalım, bir kasede 30 mavi top, 10 kırmızı top ve diğerinde 20 mavi ve 20 kırmızı top var, sorun siz değilsiniz. Topu ondan almak için rastgele bir kase seçme ve maviye dönme olasılığı nedir (çünkü çok basittir). Sormak istediğim soru, rastgele seçtiğim ilk kaseden daha muhtemel olan mavi bir topum var mı?
Kase olayları A1, A2 seçme sürecini ve sırasıyla mavi ve kırmızıya karşılık gelen B1, B2 olayları olarak küçük topları seçme sürecini diyoruz.Önce P (A1 | B1) 'i bulup Bayes formülüne getiriyoruz. Arka olasılık 0.6 olarak bulunabilir, sonra P (A2 | B1) buluruz ve arka olasılık 0.4'tür, yani mavi bir top seçersek, mavi topun ilk çanaktan gelme olasılığı daha yüksektir.
Bayes motivasyonu
Bu kurs serisinin ilk bölümü olan "Aşırı Uyum Sorunları" nda, verilerin eğitim setlerine ve test setlerine bölündüğünden ve çapraz doğrulamamızın öneminden bahsetmiştik. Basitçe söylemek gerekirse, çeşitliliğin amacı modelin genelleme yeteneğini değerlendirmektir ve çapraz doğrulamanın amacı tüm değerlendirme sürecini doğru hale getirmektir.
Modelin genelleme yeteneği neden bu kadar önemli? Laboratuvarda veya endüstride ne olursa olsun, gerçek veri miktarı çok büyük olduğundan ve verilerin büyüme hızı gittikçe daha hızlı hale geldiğinden, kullandığımız veriler yalnızca gerçeklikten örnekleme olarak kabul edilebilir ve modelimiz dokunmaya mahkumdur. Eğitim setinde hiç görünmeyen veriler. Modelin bilinmeyen veriler karşısında iyi bir öngörü etkisine sahip olacağını, yani modelin gözlemin belirsizliği hakkında çıkarımlar yapacağını umuyoruz.
Olasılığı genellikle bir değişkenin belirsizlik derecesini belirtmek için kullanırız ve gerçek bir değişkenin değerini bir olasılık dağılımı olarak ele alırız ve makine öğreniminin perspektifte bir değişikliği olur:
- Bayesian çerçevesinden makine öğrenimi tartışıldığında, sorunun amacı şu hale gelir: mevcut verilerden posterior olasılığı P (l | x) tahmin etmek. Örneğin, sınıflandırma problemleri için, her x için, son olasılığı en üst düzeye çıkaran kategoriyi seçiyoruz.
- Seçtiğimiz modelin sınırlı sayıda parametresi varsa, optimizasyon fonksiyonumuzu vermek için maksimum olasılık tahminini veya maksimum a posteriori tahmini kullanabiliriz.
Şimdi, Bayesci çıkarıma dayalı modelleri tartışarak esas olarak ilk bakış açısına odaklanıyoruz. Bayes teoreminden, olasılık ve önceki olasılık yoluyla posterior olasılığı hesapladığımız görülebilir.Böyle bir modele üretici model denir. Örneğin lojistik regresyon, Bayes teoremini kullanmadan doğrudan posterior olasılığı tahmin eder.Böyle bir modele diskriminant model denir.
Bayesci çıkarıma dayalı sınıflandırma yöntemi
Şimdi tipik bir makine öğrenimi ikili sınıflandırma problemini ele alıyoruz. Eğitim örneklerimizin her birinin birkaç özelliği ve belirli etiketleri vardır. Test örneklerimiz yalnızca özelliklere sahiptir ve etiketleri yoktur. Dolayısıyla, Bayesci çıkarım perspektifinden, bulmamız gereken, maksimize edilmiş bir koşullu olasılıktır (posterior olasılık) P (l | X), bunu bilinen bir X örneğinin öncülü altında anlayabiliriz, Kategori l'den gelme olasılığını en üst düzeye çıkarın. Aynı zamanda şu şekilde de anlaşılabilir: Her X numunesi için, arka olasılığı maksimize edebilen l kategorisini seçiyoruz.
Karşılaştığımız sorun, hava, sıcaklık, nem ve rüzgar gibi dört özelliğe dayanarak tenis oynayıp oynamayacağımızı tahmin etmekse, eğitim örneğimiz aşağıdaki şekilde gösterilmektedir:
Kategori l için Evet ve Hayır olmak üzere sadece iki durum olduğu görülmektedir. Test örneğimiz X (hava = Güneşli, sıcaklık = Soğuk, nem = yüksek, rüzgar = Güçlü) ise, sırasıyla P (l = Evet | X) ve P (l = Hayır | X) hesaplamamız ve ardından karşılaştırmamız gerekir. Boyut ve ardından tahminimizin sonucu olarak daha yüksek olasılıkla tarafın seçtiği kategoriyi düşünün.
Sonraki sorumuz P (l = Evet | X) ve P (l = Hayır | X) sonsal olasılığın nasıl hesaplanacağıdır. Onu Bayes formülüne getiriyoruz:
Bunlar arasında P (l = Evet) iyi anlaşılmıştır, yani Evet olarak işaretlenen örneklerin tüm örneklere oranıdır.Biz buna öncelikli olasılık da diyoruz.Büyük sayılar yasasına göre oluş sıklığına göre tahmin yapabiliriz Olasılık, bu aynı zamanda eğitim örneğinden elde etmek istediğimiz bilgilerdir.
P (X), normalizasyon için kullanılan kanıt (kanıt) faktörüdür ve aynı zamanda X'in ortaya çıkma olasılığıdır. No kategorisinin sonradan olasılığını dikkate alabiliriz:
P (X) 'in aynı olduğu görülebilir, bu nedenle ikisinin boyutlarını karşılaştırdığımızda, bu terimin hesaplamayla hiçbir ilgisi yoktur.
P (X | l = Yes), Evet olarak işaretlenen örneklerde X özelliğine sahip örneklerin oranını ifade eden koşullu olasılıktır.Ayrıca buna olasılık (olasılık) diyoruz, bu da eğitim örneklerinden elde etmemiz gereken şey Gerçek sorun şu ki, X'in kendisini gerçekten bir olay olarak ele alırsak, o zaman test örneğimizin olasılığının sıfır olması ve gözlemlenmemesinin olasılığın sıfır olduğu anlamına gelmemesi çok muhtemeldir.
Naif bayanlar
X'in her bir özelliğin değerini içeren bir vektör olduğunu fark ederiz, bu nedenle P (X | l = Evet) 'i her özellik değerinin koşullu olasılığının ortak olasılığı olarak kabul edebiliriz.Özelliklerin şu şekilde olduğunu varsaymaya devam edersek Birbirinden bağımsız olarak, ortak olasılığın hesaplanması çok kolay hale gelir:
Naive Bayes'de naifin anlamı tamamen aynıdır ve olasılığı basit ve hesaplanabilir kılmak için koşullu bağımsızlık özniteliğini kullanır.
Önce yukarıdaki resmi özetleyelim ve her bir özelliğin koşullu olasılığını hesaplayalım:
Bu nedenle, var:
Hesaplama sonuçları, bu örneğin Evet'e atfedilen posterior olasılığının yaklaşık 0,0053 ve Hayır'ın posterior olasılığının yaklaşık 0,0206 olduğunu göstermektedir. Hayır'ın posterior olasılığının, Evet'in posterior olasılığından çok daha büyüktür, yani böyle bir Örnek, tahmin sonucumuz tenis oynamayacak.
Bayesci çıkarıma dayalı bir sınıflandırma modeli olan Naive Bayes'e ek olarak, makine öğrenimi gerileme problemleri karşısında Bayesci çıkarıma dayalı bir modelimiz var mı? Hatta sorabiliriz, Bayes sadece modele mi uygulandı? Öyleyse, bir sonraki makalemiz sizi Bayesci çıkarımın regresyon modeliyle tanıştıracak.
Sınıf İPUÇLARI
- Genel olarak, Bayes sınıflandırıcıları bir tür üretken modeldir. Naive Bayes, Bayes sınıflandırmasının en basit biçimidir, çünkü özniteliklerin koşullu olasılıklarının birbirinden bağımsız olduğunu varsayar, bu da arka olasılığı hesaplamayı basit ve uygulanabilir kılar.
- Makalemizdeki örnekler ayrı özniteliklerdir, bu nedenle olasılık biçimi bir olasılık kütle işlevidir (PMF), onu sürekli özniteliklere genişletebiliriz, yalnızca olasılık biçimini bir olasılık yoğunluk işlevine (PDF) değiştirmemiz gerekir, ancak özü değildir Değişmeyecek.
- Naive Bayes yöntemini kullandığımızda, çoklu özniteliklerin koşullu olasılıklarının ortak olasılığını hesaplamamız gerekir. Ancak örnek çeşitliliğimiz yeterince zengin değilse, test örneğimizdeki bazı öznitelik değerlerinin eğitim örnekleminin belirli bir sınıfında görünmemesi muhtemeldir.Doğrudan çözersek sıfır olasılık sonucuna neden olur. Böyle bir durumla karşı karşıya kaldığımızda, sıfır olmayan bir özelliğin koşullu olasılığını zorlamak için önceki olasılığı hesaplarken Laplacian düzeltmesini uygulayacağız.
- Bayes sınıflandırıcısını eğitim için kullandığımızda, aslında önceki olasılık P (l) ve olasılık P (X | l) 'yi eğitiyoruz. Doğruluğu tahmin etmek için, yeni eklenen örneklerin özelliklerinde yer alan olasılık tahminlerini sürekli değiştirebiliriz; ayrıca hızı tahmin etmek için tüm P (X | l) ve P (l) 'yi önceden hesaplayabiliriz. Örnekleri test ederken doğrudan tabloyu kontrol edin.
- Naive Bayes'in dayandığı özniteliklerin koşullu bağımsızlığı doğru olmayabilir, bu nedenle her bir özniteliğin belirli bir bağımlılığa sahip olduğunu varsayan ve bazı öznitelik bağımlılıklarını uygun şekilde dikkate alan yarı naif bir sınıflandırıcı (yarı naif) da vardır. (Bu makaleyi okuyabilirsiniz: Yarı naif Bayes sınıflandırıcı)
